Você está na página 1de 410

Tese de Doutorado 1

MODELO MULTICRITRIO PARA APOIAR O USO DE AVALIAES DE DESEMPENHO COM FOCO NOS INDICADORES

Edilson Giffhorn

Universidade Federal de Santa Catarina Programa de Ps-Graduao em Engenharia de Produo

3 UNIVERSIDADE FEDERAL DE SANTA CATARINA Programa de Doutorado em Engenharia de Produo

Edilson Giffhorn

MODELO MULTICRITRIO PARA APOIAR O USO DE AVALIAES DE DESEMPENHO COM FOCO NOS INDICADORES

Tese apresentada ao Programa de PsGraduao em Engenharia de Produo da Universidade Federal de Santa Catarina para a obteno do Grau de Doutor em Engenharia da Produo. Orientador: Prof. Leonardo Ensslin, PhD.

Florianpolis 2011

5 EDILSON GIFFHORN MODELO MULTICRITRIO PARA APOIAR O USO DE AVALIAES DE DESEMPENHO COM FOCO NOS INDICADORES Esta Tese foi julgada adequada para a obteno do Ttulo de Doutor, e aprovada em sua forma final pelo Programa de Ps-Graduao em Engenharia de Produo da Universidade Federal de Santa Catarina. Florianpolis, 25 de maro de 2011.

__________________________ Prof. Antnio Cezar Bornia Coordenador do PPGEP

__________________________ Prof. Leonardo Ensslin, Ph. D. Orientador - UFSC

__________________________ Profa. Dra. Sandra Rolim Ensslin Membro UFSC

Banca Examinadora:

_____________________________ Profa. Dra. Mischel Carmen N. Belderrain Instituto Tecnolgico de Aeronutica - ITA _____________________________ Prof. Dr. Ademar Dutra Universidade do Sul de Santa Catarina UNISUL _____________________________ Prof. Dr. Marcus Vincius A. Lima Universidade Federal de Santa Catarina UFSC _____________________________ Prof. Dr. Srgio Murilo Petri Universidade Federal de Santa Catarina - UFSC

Dedico esta tese minha amada esposa, Maria do Socorro, razo do meu ser.

9 AGRADECIMENTOS Ao meu pai (e saudosa me), pela confiana e compreenso pelas minhas ausncias durante este perodo. minha nova famlia, que, mesmo distncia, prestou apoio e incentivo continuidade do caminho traado. minha esposa, pelo encorajamento, pacincia e apoio incondicional em todos os difceis momentos. Ao orientador Prof. Leonardo Ensslin, Ph. D., pela confiana, competncia e disposio demonstrada ao longo de todos esses anos de convivncia. Aos membros da banca, pelos aperfeioamentos proporcionados pesquisa. Ao corpo docente da Universidade Federal de Santa Catarina, sobretudo os pertencentes ao Programa de Ps-graduao em Engenharia da Produo (PPGEP), pela oportunidade e contribuio ao aprimoramento intelectual e profissional. Aos demais colegas de ps-graduao, em especial aos integrantes do LabMCDA. A todos que, direta ou indiretamente, colaboraram ou participaram para a realizao desta pesquisa.

Meus sinceros agradecimentos.

10

11

Nada mais difcil, e por isso mais precioso, do que ser capaz de decidir. (Napoleo Bonaparte). A mente que se abre a uma nova ideia jamais voltar ao seu tamanho original. (Albert Einstein)

12

13 RESUMO Este trabalho tem como objetivo apresentar a construo de um modelo de avaliao para Indicadores de Desempenho. O incremento da complexidade dos contextos a serem gerenciados, nas ltimas dcadas, tem se caracterizado pela magnitude das consequncias, assim como pelo incremento do nmero de variveis a serem consideradas. Um dos instrumentos gerenciais que a cincia disponibilizou para administrar essas situaes a Avaliao de Desempenho, que operacionaliza as variveis por meio de Indicadores de Desempenho que, uma vez integrados, formam o instrumento de gesto. Uma vez que os indicadores so parte integrante da Avaliao de Desempenho, a forma como so identificados, organizados e mensurados impacta diretamente na validao cientfica da identificao/construo dos indicadores e na confiabilidade das aplicaes de Avaliao de Desempenho. Contudo, a aplicao de um processo de Reviso Sistmica da Literatura revelou oportunidades de aperfeioamento nos indicadores de diferentes metodologias de avaliao. Diante disso, foi selecionada a Metodologia Multicritrio de Apoio Deciso Construtivista como instrumento de interveno para construir o modelo de avaliao devido a seu diferencial de contribuio ao problema de pesquisa em relao s outras metodologias multicritrio. A pesquisa adota a viso Construtivista, o mtodo Qualitativo-quantitativo e desenvolve um Estudo de Caso para testar a aderncia do modelo construdo proposta inicial. A partir do modelo construdo, foi possvel: (i) identificar 58 critrios que compem o modelo para avaliar o desempenho dos indicadores; (ii) traar o Perfil de Impacto dos indicadores de trs aplicaes publicadas de Avaliao de Desempenho, que utilizam diferentes metodologias; (iii) propor aes de aperfeioamento que, caso implementadas, aumentem a performance dos indicadores; e, (iv) traar um Perfil de Impacto para os indicadores do Estudo de Caso aps a aplicao das aes de aperfeioamento. Os resultados evidenciam a disponibilizao de um modelo que permite aperfeioar a operacionalizao dos instrumentos de Avaliao de Desempenho quanto sua forma de identificar, organizar, mensurar e integrar os Indicadores de Desempenho. Palavras-chave: Indicadores de Desempenho, Avaliao Desempenho, Multicritrio de Apoio Deciso - Construtivista. de

14 ABSTRACT This paper aims to present the construction of a Performance Indicators evaluation model. The increasing complexity of the contexts to be managed, in recent decades, has been characterized by the magnitude of their consequences, as well as the increased number of variables to consider. One of the management tools that science has made available to manage these situations is the Performance Measurement which operationalize the variables by means of Performance Indicators that, once integrated, constitutes a management tool. Once the indicators are an integral part of Performance Measurement, how they are identified, organized and measured directly impacts in the scientific validation of the indicators identification/construction and in the reliability of the Performance Measurement. However, the application of a literature systematic review revealed opportunities for improvement in the indicators of different assessment methodologies. Given this, was selected the Multicriteria Decision Aid - Constructivist Methodology as the intervention tool to construct the evaluation model because their differential of contribution to the research problem in relation to other multicriteria methods. The research adopts a constructivist view, the Qualitative-quantitative method and develops a Case Study to test the adherence of the model built with the initial proposal. From the model constructed, it was possible: (i) identify 58 criteria that compose the model to evaluate the performance of the indicators, (ii) to trace the impact profile of the indicators of three published applications of performance evaluation, using different methodologies; (iii) to propose improvement actions which, if implemented, increase the performance of the indicators; and (iv) to draw an Impact Profile to the Case Study indicators after implementation of improvement actions. The results evidence the availability of a model that improves the operationalization of Performance Measurement instruments on its way to identify, organize, integrate and measure Performance Indicators. Keywords: Performance Indicators, Performance Multicriteria Decision Aid - Constructivist. Measurement,

15
LISTA DE FIGURAS

Figura 1: Mudanas de paradigma para o desenvolvimento das medidas dos indicadores de 3 gerao....................................................... 40 Figura 2: Razes alegadas pelos gerentes para no mudar o conjunto de indicadores utilizados. .................................................................. 42 Figura 3: Mapeamento de um sistema emprico A em um simblico Z por meio das representaes-alvo I. ............................................. 51 Figura 4: Quociente da diferena entre dois nveis das escalas. ............ 63 Figura 5: Quociente entre dois nveis das escalas. ................................ 64 Figura 6: Inter-relao entre a Avaliao de Desempenho e os Indicadores de Desempenho......................................................... 78 Figura 7: Processo de Avaliao de Desempenho................................. 89 Figura 8: Atividades que compem o processo de Avaliao de Desempenho. ................................................................................ 90 Figura 9: Continuum entre as vises do conhecimento subjetivista e objetivista. .................................................................................... 94 Figura 10: Circumplexo com os critrios definidores da Estratgia de Pesquisa........................................................................................ 99 Figura 11: Enquadramento metodolgico da pesquisa. ....................... 102 Figura 12: Distribuio temporal dos artigos da amostra. ................... 108 Figura 13: Distribuio dos artigos da amostra por fonte de publicao. .................................................................................................... 109 Figura 14: Nmero de vezes que cada autor est presente na amostra.110 Figura 15: Histograma de contribuio das Bases de Dados para a amostra. ...................................................................................... 112 Figura 16: Nmero de citaes do conjunto amostral no Google Acadmico. ................................................................................ 115 Figura 17: Os 20 autores mais presentes entre as referncias da amostra. .................................................................................................... 119 Figura 18: Os 20 autores mais presentes entre as referncias da amostra excluindo-se as autocitaes. ..................................................... 120 Figura 19: Comparativo dos autores mais utilizados nas referncias ao retirar as autocitaes. ................................................................ 121 Figura 20: Autores da amostra com maior destaque. .......................... 123 Figura 21: Distribuio dos artigos da amostra ao definir Avaliao de Desempenho. .............................................................................. 128 Figura 22: Distribuio dos artigos da amostra ao definir Indicador de Desempenho. .............................................................................. 130

16 Figura 23: Distribuio dos artigos quanto ao instrumento de interveno. ................................................................................ 132 Figura 24: Distribuio dos artigos quanto forma de obteno dos indicadores. ................................................................................ 133 Figura 25: Distribuio da forma de obteno das escalas de mensurao. ............................................................................... 135 Figura 26: Distribuio dos artigos quanto diferenciao do tipo de escalas utilizadas. ....................................................................... 136 Figura 27: Distribuio dos artigos quanto utilizao da integrao de escalas. ....................................................................................... 137 Figura 28: Distribuio dos artigos da amostra quanto existncia de um processo de gerenciamento. ................................................. 138 Figura 29: Distribuio dos artigos quanto existncia de um processo para gerar aes de aperfeioamento. ........................................ 140 Figura 30: Fases da MCDA-C. ........................................................... 143 Figura 31: Contribuies do uso da MCDA-C para as lacunas identificadas. .............................................................................. 149 Figura 32: reas de Preocupao com os respectivos Conceitos. ...... 169 Figura 33: Mapa de Relaes Meios-Fins para a rea de Preocupao Conhecimento do Contexto........................................................ 171 Figura 34: Mapa de Relaes Meios-Fins, Clusters e Subclusters do modelo. ...................................................................................... 173 Figura 35: rvore de Pontos de Vista Fundamentais. ......................... 177 Figura 36: Ramos de Avaliao para o Cluster Definio do Problema. ................................................................................................... 178 Figura 37: Estrutura Hierrquica de Valor. ......................................... 181 Figura 38: Descritores construdos para o modelo. ............................. 185 Figura 39: Descritores D3 e D4. ......................................................... 187 Figura 40: Conjunto de alternativas para o par de Descritores D3 e D4. ................................................................................................... 188 Figura 41: Alternativa A ordinalmente prefervel C. ....................... 189 Figura 42: Alternativa B ordinalmente prefervel D. ....................... 189 Figura 43: Independncia Preferencial Ordinal 1 ............................... 190 Figura 44: Alternativa A ordinalmente prefervel B ........................ 191 Figura 45: Alternativa C ordinalmente prefervel D. ....................... 191 Figura 46: Independncia Preferencial Ordinal 2 ............................... 192 Figura 47: Diferena de atratividade entre as alternativas A e C, para AF fixo em AF-B. ............................................................................ 193 Figura 48: Diferena de atratividade entre as alternativas B e D, para AF fixo em AF-N. ............................................................................ 193 Figura 49: Independncia Preferencial Cardinal 1 .............................. 194

17 Figura 50: Diferena de atratividade entre as alternativas A e B, para EI fixo em EI-B............................................................................... 195 Figura 51: Diferena de atratividade entre as alternativas C e D, para EI fixo em EI-N. ............................................................................. 195 Figura 52: Independncia Preferencial Cardinal 2. ............................. 196 Figura 53: Transformao do Descritor D1 em Funo de Valor. ...... 199 Figura 54: Estrutura Hierrquica de Valor com as Escalas Cardinais. 203 Figura 55: Comparao Par-a-Par dos PVEs 1.2.2.1 Entendimento da Importncia e 1.2.2.2 Aes Favorveis. ................................... 206 Figura 56: Alternativas potenciais para o PVE 1.2.2.1 Entendimento da Importncia e PVE 1.2.2.2 Aes Favorveis. ........................... 207 Figura 57: Matriz de Julgamentos e Taxas de Substituio calculadas pelo software M-Macbeth para os PVEs 1.2.2.1 Entendimento da Importncia e 1.2.2.2 Aes Favorveis. ................................... 208 Figura 58: Estrutura Hierrquica de Valor com as Taxas de Substituio at os PVFs................................................................................. 209 Figura 59: Determinao do desempenho dos indicadores dos trs artigos para o PVE 1.1.1 Identificao dos Atores..................... 214 Figura 60: Perfil de Impacto do status quo da pontuao dos indicadores dos artigos analisados................................................................. 220 Figura 61: Perfil de Impacto aps a implementao das aes de aperfeioamento. ........................................................................ 233 Figura 62: Anlise de Sensibilidade do PVF 1 Definio do Problema. .................................................................................................... 236 Figura 63: reas de interesse para consulta no Portal da CAPES....... 265 Figura 64: Combinao booleana das palavras-chave. ....................... 267 Figura 65: Distribuio geral das publicaes por base consultada. ... 269 Figura 66: Relevncia acadmica dos artigos. .................................... 279 Figura 67: Ramos de Avaliao para o Cluster Definio do Problema. .................................................................................................... 291 Figura 68: Ramos de Avaliao para o Cluster Identificao / Organizao. .............................................................................. 292 Figura 69: Ramos de Avaliao para o Cluster Construo................ 293 Figura 70: Ramos de Avaliao para o Cluster Propriedades Intrnsecas subcluster Mensurabilidade..................................................... 294 Figura 71: Ramos de Avaliao para o Cluster Propriedades Intrnsecas subcluster Operacionalidade. .................................................. 295 Figura 72: Ramos de Avaliao para o Cluster Propriedades Intrnsecas subcluster Teoria da Mensurao. ........................................... 296 Figura 73: Ramos de Avaliao para o Cluster Propriedades Intrnsecas subcluster Legitimao. .......................................................... 297

18 Figura 74: Ramos de Avaliao para o Cluster Propriedades Intrnsecas subcluster Inteligibilidade. ...................................................... 298 Figura 75: Ramos de Avaliao para o Cluster Propriedades Intrnsecas subcluster Homogeneidade. .................................................... 299 Figura 76: Ramos de Avaliao para o Cluster Escalas...................... 300 Figura 77: Ramos de Avaliao para o Cluster Funo de Valor. ...... 301 Figura 78: Ramos de Avaliao para o Cluster Taxa de Substituio. 302 Figura 79: Ramos de Avaliao para o Cluster Aperfeioamento. ..... 303 Figura 80: Obteno da Funo de Valor para o Descritor D1 Identificao dos Atores. ........................................................... 305 Figura 81: Obteno da Funo de Valor para o Descritor D2 Qual o Problema. ................................................................................... 306 Figura 82: Obteno da Funo de Valor para o Descritor D3 Entendimento da Importncia. ................................................... 307 Figura 83: Obteno da Funo de Valor para o Descritor D4 Aes Favorveis. ................................................................................. 308 Figura 84: Obteno da Funo de Valor para o Descritor D5 Operacionalizar. ......................................................................... 309 Figura 85: Obteno da Funo de Valor para o Descritor D6 Expectativa de Ganho. ............................................................... 310 Figura 86: Obteno da Funo de Valor para o Descritor D7 Reviso e Atualizao.............................................................................. 311 Figura 87: Obteno da Funo de Valor para o Descritor D8 Propriedades Essenciais para o Decisor. .................................... 312 Figura 88: Obteno da Funo de Valor para o Descritor D9 Quantidade de Propriedades. ..................................................... 313 Figura 89: Obteno da Funo de Valor para o Descritor D10 Medidas Obrigatrias. ................................................................ 314 Figura 90: Obteno da Funo de Valor para o Descritor D11 Conceitos. .................................................................................. 315 Figura 91: Obteno da Funo de Valor para o Descritor D12 Linhas de Argumentao. ...................................................................... 316 Figura 92: Obteno da Funo de Valor para o Descritor D13 Relaes de Influncia. .............................................................. 317 Figura 93: Obteno da Funo de Valor para o Descritor D14 Estrutura Hierrquica de Valor. ................................................. 318 Figura 94: Obteno da Funo de Valor para o Descritor D15 Estrutura Hierrquica de Valor e Mapas de Relaes Meios-Fins. ................................................................................................... 319 Figura 95: Obteno da Funo de Valor para o Descritor D16 Nveis de Desempenho. ......................................................................... 320

19 Figura 96: Obteno da Funo de Valor para o Descritor D17 Bom. .................................................................................................... 321 Figura 97: Obteno da Funo de Valor para o Descritor D18 Neutro. .................................................................................................... 322 Figura 98: Obteno da Funo de Valor para o Descritor D19 Evidenciar os Valores do Decisor. ............................................. 323 Figura 99: Obteno da Funo de Valor para o Descritor D20 Participao do Decisor.............................................................. 324 Figura 100: Obteno da Funo de Valor para o Descritor D21 Descrio da Propriedade. .......................................................... 325 Figura 101: Obteno da Funo de Valor para o Descritor D22 Mtrica. ...................................................................................... 326 Figura 102: Obteno da Funo de Valor para o Descritor D23 Preciso. ..................................................................................... 327 Figura 103: Obteno da Funo de Valor para o Descritor D24 Factibilidade. .............................................................................. 328 Figura 104: Obteno da Funo de Valor para o Descritor D25 Custo-benefcio. ......................................................................... 329 Figura 105: Obteno da Funo de Valor para o Descritor D26 Propriedades Escalas Nominais. ................................................ 330 Figura 106: Obteno da Funo de Valor para o Descritor D27 Propriedades Escalas Ordinais. .................................................. 331 Figura 107: Obteno da Funo de Valor para o Descritor D28 Participao. ............................................................................... 332 Figura 108: Obteno da Funo de Valor para o Descritor D29 Reconhece Alinhamento. ........................................................... 333 Figura 109: Obteno da Funo de Valor para o Descritor D30 Participao. ............................................................................... 334 Figura 110: Obteno da Funo de Valor para o Descritor D31 Propriedade. ............................................................................... 335 Figura 111: Obteno da Funo de Valor para o Descritor D32 Ttulo. ......................................................................................... 336 Figura 112: Obteno da Funo de Valor para o Descritor D33 Forma de Medir. .................................................................................... 337 Figura 113: Obteno da Funo de Valor para o Descritor D34 Ausncia de Ambiguidades. ....................................................... 338 Figura 114: Obteno da Funo de Valor para o Descritor D35 Propriedade. ............................................................................... 339 Figura 115: Obteno da Funo de Valor para o Descritor D36 Indicador. ................................................................................... 340

20 Figura 116: Obteno da Funo de Valor para o Descritor D37 Nominal para Ordinal. ............................................................... 341 Figura 117: Obteno da Funo de Valor para o Descritor D38 Ordinal para Cardinal................................................................. 342 Figura 118: Obteno da Funo de Valor para o Descritor D39 Nominais. ................................................................................... 343 Figura 119: Obteno da Funo de Valor para o Descritor D40 Ordinais...................................................................................... 344 Figura 120: Obteno da Funo de Valor para o Descritor D41 Intervalo. .................................................................................... 345 Figura 121: Obteno da Funo de Valor para o Descritor D42 Razo. ........................................................................................ 346 Figura 122: Obteno da Funo de Valor para o Descritor D43 Transformao Nominal para Ordinal. ...................................... 347 Figura 123: Obteno da Funo de Valor para o Descritor D44 Nmero de Diferenas. .............................................................. 348 Figura 124: Obteno da Funo de Valor para o Descritor D45 Escalas Semnticas. ................................................................... 349 Figura 125: Obteno da Funo de Valor para o Descritor D46 Linearidade. ............................................................................... 350 Figura 126: Obteno da Funo de Valor para o Descritor D47 Valor Compatvel ao Contexto. ........................................................... 351 Figura 127: Obteno da Funo de Valor para o Descritor D48 Compensaes. .......................................................................... 352 Figura 128: Obteno da Funo de Valor para o Descritor D49 Escalas Semnticas. ................................................................... 353 Figura 129: Obteno da Funo de Valor para o Descritor D50 Nveis de Referncia. ............................................................................ 354 Figura 130: Obteno da Funo de Valor para o Descritor D51 Sistema Preferencial do Decisor. ............................................... 355 Figura 131: Obteno da Funo de Valor para o Descritor D52 Soma Ponderada................................................................................... 356 Figura 132: Obteno da Funo de Valor para o Descritor D53 Independncia Ordinal e Cardinal.............................................. 357 Figura 133: Obteno da Funo de Valor para o Descritor D54 Aes. ........................................................................................ 358 Figura 134: Obteno da Funo de Valor para o Descritor D55 Performance. .............................................................................. 359 Figura 135: Obteno da Funo de Valor para o Descritor D56 Reavaliar a Estratgia. ............................................................... 360

21 Figura 136: Obteno da Funo de Valor para o Descritor D57 Divulgao. ................................................................................ 361 Figura 137: Obteno da Funo de Valor para o Descritor D58 Formato. ..................................................................................... 362 Figura 138: Obteno das Taxas de Substituio para os PVEs 1.2.2.1 Entendimento da Importncia e 1.2.2.2 Aes Favorveis. ....... 363 Figura 139: Obteno das Taxas de Substituio para os PVEs 1.2.1 Qual o Problema, 1.2.2 Por que Importante, 1.2.3 Objetivo estratgico e 1.2.4 Expectativa de Ganho................................... 364 Figura 140: Obteno das Taxas de Substituio para os PVEs 1.1 Atores e 1.2 Sumrio. ................................................................. 365 Figura 141: Obteno das Taxas de Substituio para os PVEs 2.1.2.1 Propriedades Essenciais para o Decisor e 2.1.2.2 Quantidade de Propriedades. .............................................................................. 366 Figura 142: Obteno das Taxas de Substituio para os PVEs 2.1.1 Reviso e Atualizao, 2.1.2 Especificidade do Contexto e 2.1.3 Medidas Obrigatrias. ................................................................ 367 Figura 143: Obteno das Taxas de Substituio para os PVEs 2.2.1.1 Conceitos, 2.2.1.2 Linhas de Argumentao, 2.2.1.3 Relaes de Influncia e 2.2.1.4 Estrutura Hierrquica de Valor................... 368 Figura 144: Obteno das Taxas de Substituio para os PVEs 2.1 Identificao e 2.2 Organizao. ................................................ 369 Figura 145: Obteno das Taxas de Substituio para os PVEs 3.2.2.1 Bom e 3.2.2.2 Neutro. ................................................................ 370 Figura 146: Obteno das Taxas de Substituio para os PVEs 3.2.1 Nveis de Desempenho e 3.2.2 Nveis de Ancoragem. .............. 371 Figura 147: Obteno das Taxas de Substituio para os PVEs 3.1 Fonte da Informao e 3.2 Escala Ordinal. .......................................... 372 Figura 148: Obteno das Taxas de Substituio para os PVEs 4.1.2.2.1 Mtrica e 4.1.2.2.2 Preciso. ...................................................... 373 Figura 149: Obteno das Taxas de Substituio para os PVEs 4.1.2.1 Descrio da Propriedade e 4.1.2.2 Forma de Medir. ................ 374 Figura 150: Obteno das Taxas de Substituio para os PVEs 4.1.1.1 Evidenciar os Valores do Decisor e 4.1.1.2 Participao do Decisor. ...................................................................................... 375 Figura 151: Obteno das Taxas de Substituio para os PVEs 4.1.1 Sistema de Valores do Decisor e 4.1.2 Caractersticas. ............. 376 Figura 152: Obteno das Taxas de Substituio para os PVEs 4.2.1 Factibilidade e 4.2.2 Custo-benefcio. ........................................ 377

22 Figura 153: Obteno das Taxas de Substituio para os PVEs 4.3.1 Propriedades Escalas Nominais e 4.3.2 Propriedades Escalas Ordinais...................................................................................... 378 Figura 154: Obteno das Taxas de Substituio para os PVEs 4.4.1.1 Participao e 4.4.1.2 Reconhece Alinhamento. ........................ 379 Figura 155: Obteno das Taxas de Substituio para os PVEs 4.4.1 Decisor e 4.4.2 Atores................................................................ 380 Figura 156: Obteno das Taxas de Substituio para os PVEs 4.5.1.1 Propriedade, 4.5.1.2 Ttulo e 4.5.1.3 Forma de Medir. .............. 381 Figura 157: Obteno das Taxas de Substituio para os PVEs 4.5.1 Descries e 4.5.2 Nveis. .......................................................... 382 Figura 158: Obteno das Taxas de Substituio para os PVEs 4.6.1.1 Propriedade e 4.6.1.2 Indicador. ................................................ 383 Figura 159: Obteno das Taxas de Substituio para os PVEs 4.1 Mensurabilidade, 4.2 Operacionalidade, 4.3 Teoria da Mensurao, 4.4 Legitimao, 4.5 Inteligibilidade e 4.6 Homogeneidade. ........................................................................ 384 Figura 160: Obteno das Taxas de Substituio para os PVEs 5.1.1 Nominal para Ordinal e 5.1.2 Ordinal para Cardinal. ................ 385 Figura 161: Obteno das Taxas de Substituio para os PVEs 5.2.1.3.1 Intervalo e 5.2.1.3.2 Razo. ....................................................... 386 Figura 162: Obteno das Taxas de Substituio para os PVEs 5.2.1.1 Nominais, 5.2.1.2 Ordinais e 5.2.1.3 Cardinais. ........................ 387 Figura 163: Obteno das Taxas de Substituio para os PVEs 5.1 Transformao e 5.2 Operaes. ................................................ 388 Figura 164: Obteno das Taxas de Substituio para os PVEs 6.2.1.1 Nmero de Diferenas, 6.2.1.2 Escalas Semnticas, 6.2.1.3 Linearidade e 6.2.1.4 Valor Compatvel ao Contexto. ............... 389 Figura 165: Obteno das Taxas de Substituio para os PVEs 6.1 Reconhecimento Cientfico e 6.2 Atratividade. ......................... 390 Figura 166: Obteno das Taxas de Substituio para os PVEs 7.1.1.1 Compensaes, 7.1.1.2 Escalas Semnticas e 7.1.1.3 Nveis de Referncia. ................................................................................. 391 Figura 167: Obteno das Taxas de Substituio para os PVEs 7.2.1 Sistema Preferencial do Decisor, 7.2.2 Soma Ponderada e 7.2.3 Independncia Ordinal e Cardinal.............................................. 392 Figura 168: Obteno das Taxas de Substituio para os PVEs 7.1 Determinao e 7.2 Integrao................................................... 393 Figura 169: Obteno das Taxas de Substituio para os PVEs 8.1.1.1.1 Aes e 8.1.1.1.2 Performance. ................................................. 394

23 Figura 170: Obteno das Taxas de Substituio para os PVEs 8.1.1.1 Aperfeioamento e 8.1.1.2 Reavaliar a Estratgia. .................... 395 Figura 171: Obteno das Taxas de Substituio para os PVEs 8.2.1 Divulgao e 8.2.2 Formato. ...................................................... 396 Figura 172: Obteno das Taxas de Substituio para os PVEs 8.1 Aumento do Entendimento e 8.2 Disseminao das Informaes. .................................................................................................... 397 Figura 173: Obteno das Taxas de Substituio para os PVFs 1 Definio do Problema, 2 - Identificao / Organizao e 3 Construo. ................................................................................ 398 Figura 174: Obteno das Taxas de Substituio para os PVFs 5 Escalas, 6 Funo de Valor e 7 Taxa de Substituio. ......... 399 Figura 175: Obteno das Taxas de Substituio para as reas de Preocupao 1 - Definio, Identificao e Construo, 2 Propriedades, 3 - Fundamentos Matemticos e 4 - Conhecimento do Contexto. ............................................................................... 400 Figura 176: Estrutura Hierrquica de Valor com as Taxas de Substituio. ............................................................................... 401 Figura 177: Anlise de Sensibilidade para o PVF 1 Definio do Problema. ................................................................................... 403 Figura 178: Anlise de Sensibilidade para o PVF 2 Identificao / Organizao. .............................................................................. 404 Figura 179: Anlise de Sensibilidade para o PVF 3 Construo. ..... 405 Figura 180: Anlise de Sensibilidade para o PVF 4 Propriedades Intrnsecas. ................................................................................. 406 Figura 181: Anlise de Sensibilidade para o PVF 5 Escalas. ........... 407 Figura 182: Anlise de Sensibilidade para o PVF 6 Funo de Valor. .................................................................................................... 408 Figura 183: Anlise de Sensibilidade para o PVF 7 Taxa de Substituio. ............................................................................... 409 Figura 184: Anlise de Sensibilidade para o PVF 8 Aperfeioamento. .................................................................................................... 410

24

25 LISTA DE QUADROS

Quadro 1: Diferena entre caractersticas dos instrumentos com indicadores de 1 e 2 gerao e as novas demandas do contexto. 38 Quadro 2: Elementos que contextualizam um Indicador de Desempenho. ...................................................................................................... 55 Quadro 3: Parmetros que especificam um Indicador de Desempenho. 56 Quadro 4: Comparativo das abordagens de Avaliao de Desempenho quanto aos indicadores. ................................................................ 71 Quadro 5: Benefcios e restries das formas usuais de selecionar os Indicadores de Desempenho......................................................... 73 Quadro 6: Artigos selecionados para compor o Referencial Bibliogrfico. ............................................................................. 105 Quadro 7: Autores presentes uma nica vez na amostra. .................... 111 Quadro 8: As 10 obras mais utilizadas como referncia pelos autores da amostra. ...................................................................................... 118 Quadro 9: Critrios utilizados para a Reviso Sistmica da Literatura. .................................................................................................... 126 Quadro 10: Denominao dos instrumentos utilizados uma nica vez na amostra. ...................................................................................... 131 Quadro 11: Diferenas conceituais entre MCDA tradicional e MCDA-C. .................................................................................................... 142 Quadro 12: Contribuies tericas e prticas da pesquisa. ................. 148 Quadro 13: Subsistema de Atores do modelo. .................................... 154 Quadro 14: Caracterizao da discrepncia. ....................................... 155 Quadro 15: EPAs obtidos a partir dos artigos do referencial bibliogrfico e do marco terico. ............................................... 159 Quadro 16: EPAs obtidos a partir das convices do pesquisador...... 161 Quadro 17: Conceitos construdos para o modelo............................... 165 Quadro 18: Continuao dos Conceitos construdos para o modelo. .. 167 Quadro 19: Clusters e Subclusters do modelo de avaliao................ 172 Quadro 20: Matriz de Roberts para os PVEs 1.2.2.1 Entendimento da Importncia e 1.2.2.2 Aes Favorveis. ................................... 207 Quadro 21: Matriz de Impacto com o status quo da pontuao dos indicadores dos artigos analisados. ............................................ 217 Quadro 22: Aes de aperfeioamento e expectativa de impacto no desempenho dos PVEs e na Avaliao Global. .......................... 223 Quadro 23: Simulao da adoo de aes de aperfeioamento. ........ 227 Quadro 24: Matriz de Impacto aps a implementao das aes de aperfeioamento. ........................................................................ 231

26 Quadro 25: Bases de Dados selecionadas para consulta. .................... 266 Quadro 26: Palavras-chave de excluso.............................................. 268 Quadro 27: Distribuio acumulada de publicaes selecionadas por base. ........................................................................................... 270 Quadro 28: Artigos selecionados pelo critrio de alinhamento do ttulo ao tema da pesquisa. .................................................................. 273 Quadro 29: Continuao dos Artigos selecionados pelo critrio de alinhamento do ttulo ao tema da pesquisa. ............................... 275 Quadro 30: Continuao dos Artigos selecionados pelo critrio de alinhamento do ttulo ao tema da pesquisa. ............................... 277 Quadro 31: Artigos com restrio de acesso ao texto completo. ........ 280 Quadro 32: Anlise de contedo para os artigos da amostra bibliogrfica. .............................................................................. 283 Quadro 33: Continuao da anlise de contedo para os artigos da amostra bibliogrfica. ................................................................ 285 Quadro 34: Continuao da anlise de contedo para os artigos da amostra bibliogrfica. ................................................................ 287 Quadro 35: Continuao da anlise de contedo para os artigos da amostra bibliogrfica. ................................................................ 289

27
SIGLAS E ABREVIAES

AD: Avaliao de desempenho AF: Descritor Aes Favorveis AF-B: Nvel Bom do Descritor Aes Favorveis AF-N: Nvel Neutro do Descritor Aes Favorveis AHP: Analytical Hierarchy Process ASG: Anlise de Sistemas Gerenciais ATM: Assessment Tool and Methodology BSC: Balanced Scorecard BPM: Business Process Management CAPES: Coordenao de Aperfeioamento de Pessoal de Nvel Superior CIM: Computer Integrated Manufacturer CPMP: Cambridge Performance Measurement Process CSI: Continuous Strategic Improvement EI: Descritor Entendimento da Importncia EI-B: Nvel Bom do Descritor Entendimento da Importncia EI-N: Nvel Neutro do Descritor Entendimento da Importncia EPA: Elemento Primrio de Avaliao ID: Indicador de desempenho IPC: Independncia Preferencial Cardinal IPO: Independncia Preferencial Ordinal KPI: Key Performance Indicator LabMCDA: Laboratrio Multicritrio de Apoio Deciso Macbeth: Measuring Attractiveness by a Categorical Based Evaluation Technique MADM: Multi Attribute Decision Making

28 MAUT: Multi-Attribute Utility Theory MAVT: Multi-Attribute Value Theory MCDA: Multicriteria Decision Aid, quando nada constar em contrrio assume-se essa significao MCDA: Multicriteria Decision Analysis, quando tiver essa significao ficar explicitado no texto MCDA-C: Multicritrio de Apoio Deciso - Construtivista MCDM: Multicriteria Decision Making OPM: System for Organizational Performance Measurement OPTIM: Operating Profit Through Time and Investment Management PDCA: Plan, do, check, act PMP: Performance Measurement Process PMPD: Performance Measurement for Product Development PMQ: Performance Measurement Questionnaire PNQ: Prmio Nacional da Qualidade PuMP: Performance Measurement Process PVE: Ponto de Vista Elementar PVF: Ponto de Vista Fundamental QFD: Quality Function Deployment QMPMS: Quantitative Model for Performance Measurement System RDF: Results and Determinants Framework SEBRAE: Servio Brasileiro de Apoio s Pequenas e Micro Empresas SMART: Simple Multi Attribute Rating Technique SMART-Performance Pyramid: Strategic Measurement Analysis and reporting Technique Performance Pyramid SPMS: Integrative Strategic Performance Measurement System SWOT: Strengths, Weaknesses, Opportunities, Threats

29 TBG: Tableaux de Bord de Gestion TOC: Theory of Constraints TQM: Total Quality Management

30

31 SUMRIO

1. INTRODUO ........................................................................ 35 1.1 CONSIDERAES INICIAIS .................................................. 35 1.2 TEMA DA PESQUISA .............................................................. 44 1.3 IDENTIFICAO DA AMOSTRA DA LITERATURA ESPECIALIZADA ................................................................................ 45 1.4 PERGUNTA DE PESQUISA E OBJETIVOS ........................... 45 1.4.1 Pergunta de Pesquisa ............................................................... 45 1.4.2 Objetivo Geral .......................................................................... 46 1.4.3 Objetivos Especficos ................................................................ 46 1.5 IMPORTNCIA DA PESQUISA.............................................. 46 1.5.1 Relevncia ................................................................................. 47 1.5.2 Ineditismo .................................................................................. 47 1.6 DELIMITAES E LIMITAES DA PESQUISA ............... 48 1.7 ESTRUTURA DO TRABALHO ............................................... 48 2. PERSPECTIVA TERICA .................................................... 50 2.1 FUNDAMENTOS CIENTFICOS E PRTICOS DOS INDICADORES DE DESEMPENHO.................................................. 50 2.1.1 Definies para Indicadores de Desempenho ......................... 50 2.1.2 Tipos de Indicadores ................................................................ 53 2.1.3 Componentes de um Indicador ............................................... 54 2.1.4 Escalas ....................................................................................... 56 2.1.5 Propriedades Intrnsecas dos Indicadores.............................. 65 2.1.6 Formas de Identificar/selecionar os Indicadores ................... 68 2.1.7 Recomendaes Prticas para a Seleo e Construo de Indicadores........................................................................................... 74 2.1.8 O Papel dos Indicadores na Avaliao de Desempenho ........ 76 2.2 FUNDAMENTOS DA AVALIAO DE DESEMPENHO .... 79 2.2.1 A Avaliao de Desempenho at a Dcada de 1940 ............... 80 2.2.2 A Avaliao de Desempenho nas dcadas de 1940 a 1970..... 82 2.2.3 A Avaliao de Desempenho aps a dcada de 1980 ............. 84 2.2.4 Definies para Avaliao de Desempenho ............................ 86 2.2.5 O Processo de Avaliao do Desempenho .............................. 88 3. METODOLOGIA DE PESQUISA ......................................... 92 3.1 ENQUADRAMENTO METODOLGICO .............................. 92 3.2 PROCESSO PARA A REVISO BIBLIOGRFICA ............ 102 3.3 ANLISE BIBLIOMTRICA E REVISO SISTMICA DA LITERATURA .................................................................................... 107 3.3.1 Anlise Bibliomtrica ............................................................. 107

32 3.3.2 Reviso Sistmica da Literatura ........................................... 125 3.4 INSTRUMENTO DE INTERVENO.................................. 140 4. CONTRIBUIO CIENTFICA ......................................... 147 5. CONSTRUO DO MODELO DE AVALIAO DOS INDICADORES ................................................................................ 152 5.1 ESTRUTURAO .................................................................. 152 5.1.1 Descrio do Problema .......................................................... 152 5.1.2 Identificao dos Atores......................................................... 153 5.1.3 Caracterizao da Discrepncia............................................ 154 5.1.4 Relevncia do Problema ........................................................ 155 5.1.5 Rtulo do Problema ............................................................... 157 5.1.6 Identificao dos Elementos Primrios de Avaliao ......... 157 5.1.7 Construo dos Conceitos ...................................................... 163 5.1.8 reas de Preocupao ............................................................ 169 5.1.9 Mapas de Relaes Meios-Fins.............................................. 170 5.1.10 Clusters .................................................................................... 172 5.1.11 rvore de Pontos de Vista Fundamentais ............................ 175 5.1.12 Estrutura Hierrquica de Valor ........................................... 177 5.1.13 Descritores .............................................................................. 183 5.1.14 Independncia Preferencial Ordinal e Cardinal ................. 187 5.1.15 Legitimao ............................................................................. 196 5.2 AVALIAO .......................................................................... 197 5.2.1 Funes de Valor .................................................................... 197 5.2.2 Taxas de Substituio............................................................. 205 5.2.3 Avaliao Global e Perfil de Impacto ................................... 209 5.3 RECOMENDAES .............................................................. 221 5.3.1 Recomendaes a partir do Modelo...................................... 221 5.3.2 Perfil de Impacto com a Adoo das Recomendaes......... 225 5.3.3 Anlise de Sensibilidade......................................................... 235 6. CONSIDERAES FINAIS E PROPOSTAS PARA A EVOLUO DA PESQUISA .......................................................... 237 6.1 CONSIDERAES FINAIS ................................................... 237 6.2 PROPOSTAS PARA EVOLUO DA PESQUISA .............. 243 REFERNCIAS ................................................................................ 245 ANEXOS ............................................................................................ 265 Anexo A - Etapas do Processo de Identificao do Referencial Bibliogrfico ...................................................................................... 265 Anexo B - Anlise de contedo dos artigos selecionados para a amostra .............................................................................................. 283 Anexo C - Ramos de Avaliao dos Clusters e Subclusters ............ 291 Anexo D - Obteno das Funes de Valor..................................... 305

33 Anexo E - Obteno das Taxas de Substituio.............................. 363 Anexo F - Estrutura Hierrquica de Valor com as Taxas de Substituio........................................................................................ 401 Anexo G - Grficos da Anlise de Sensibilidade............................. 403

34

35 1. INTRODUO

Este captulo apresenta o tema da pesquisa, e est composto por: (i) Consideraes Iniciais; (ii) Tema da Pesquisa; (iii) Identificao da Amostra da Literatura Especializada; (iv) Pergunta de Pesquisa e Objetivos; (v) Importncia da Pesquisa; (vi) Delimitaes e Limitaes da Pesquisa; e, (vii) Estrutura do Trabalho. 1.1 CONSIDERAES INICIAIS

A utilizao de um processo de Avaliao de Desempenho auxilia os decisores a melhor coordenar, controlar e aperfeioar as atividades de gesto. Ao se tratar de assuntos de gesto, um dos aspectos mais crticos traduzir os objetivos e metas em medidas ou Indicadores de Desempenho (FRANCESCHINI et al., 2006). As informaes proporcionadas pela anlise dos resultados dos indicadores permitem o direcionamento das aes para o alcance dos objetivos e metas estratgicos ao aperfeioar o desempenho do contexto (NEELY et al., 2000; NEELY; GREGORY; PLATTS, 2005; ELG, 2007). A utilizao de Indicadores de Desempenho como instrumentos de gesto acompanha a humanidade desde sua antiguidade. Contudo, os primeiros registros formais de sua utilizao esto contidos nos 98 livros contbeis da famlia Mdici, de 1484 (BOURNE et al., 2003), e no Tratactus de Computis et Scripturis do Summa de arithmetica, geometrica, proportioni et proportionalita, obra de 1494 do Frei Luca Bartolomeo de Paccioli, a qual contm descries de mtodos contbeis utilizados pelos mercadores venezianos (BRUDAN, 2009; ENSSLIN; ENSSLIN, 2009). Mas foi somente a partir do advento da Revoluo Industrial, no sculo XVIII, que os indicadores passaram a ser sistematicamente utilizados em favor do controle da produo, permitindo, assim, a reduo do impacto dos recursos no custo final dos produtos (LEO, 1998). Tal viso se manteve ao longo do sculo seguinte. J o incio do sculo XX foi marcado pelo surgimento da produo em massa e do desenvolvimento da Administrao Cientfica. Com isso, a gesto organizacional passou a ter como preocupao a racionalizao do trabalho, para a qual foram desenvolvidos

36 instrumentos que viabilizaram a avaliao das pessoas segundo o seu mrito no processo produtivo (GUIMARES; NADER; RAMAGEM, 1998). O ambiente competitivo se manteve estvel durante a primeira metade do sculo XX at logo aps o final da 2 Guerra Mundial, quando novas foras comerciais e produtivas motivaram o desenvolvimento de novos instrumentos de avaliao. Para se adaptar ao novo contexto, aproximadamente a partir dos anos 1950, foram desenvolvidos diferentes instrumentos gerenciais que objetivaram o aperfeioamento da performance e o alinhamento de aes que conduzissem ao alcance de metas estratgicas. Esses instrumentos foram denominados Mtodos de Avaliao de Desempenho, que, em sua elaborao, receberam contribuies de diferentes disciplinas, dentre as quais, as Cincias Sociais (BRANDO; GUIMARES, 2001). Com isso, os Indicadores de Desempenho utilizados nesses instrumentos tambm migraram o foco, passando a ter a finalidade de avaliar as diferentes etapas dos processos. Por meio dessa breve linha do tempo se constata que as abordagens de Avaliao de Desempenho, e seus indicadores, podem ser agrupados em trs geraes conforme as caractersticas da nfase, dimenses e orientao de seu foco principal (NEELY et al., 2003; GIFFHORN, 2010b; GIFFHORN, 2010c). Neste trabalho o detalhamento das caractersticas das geraes ficar focado nos indicadores. 1 gerao pertencem os indicadores utilizados desde os primrdios da humanidade at o incio da dcada de 1960. Nessa gerao, a nfase da utilizao dos indicadores est no controle dos meios de produo (NEELY, 1999; ENSSLIN; ENSSLIN, 2009; OLIVEIRA; CLEMENTE; CAULLIRAUX, 2009). Quanto s dimenses, os indicadores da 1 gerao esto embasados na perspectiva financeira (custo, lucro) e na produtividade (custo, qualidade) (NEELY et al., 2003; ENSSLIN; ENSSLIN, 2009; GIFFHORN, 2010b; GIFFHORN, 2010c). Desse modo, a orientao dos instrumentos de gesto, que utilizam indicadores de 1 gerao, est na eficincia (THEPPITAK, 2004; OLIVEIRA; CLEMENTE; CAULLIRAUX, 2009) e nos sistemas contbeis (NEELY, 1999). Os indicadores baseados nessas dimenses so chamados Indicadores Tradicionais (NEELY et al., 2003; PARANJAPE; ROSSITER; PANTANO, 2006; ENSSLIN; ENSSLIN, 2009).

37 Enquanto o ambiente competitivo se mostrou estvel, os indicadores desenvolvidos sob as caractersticas da 1 gerao eram adequados (NEELY, 1999). No entanto, os anos que sucederam ao final da 2 Guerra Mundial foram determinantes para alterar o ambiente competitivo, os sistemas produtivos e as relaes de trabalho. Esse novo contexto foi percebido j em 1951 pela General Electric, que implantou o Projeto de Mensurao para se adequar nova realidade, ao promover mtricas descentralizadas (NEELY, 1999, 2005). Da mesma forma, Drucker (1954) alertou para a necessidade de introduzir medidas mais balanceadas, porque o desempenho organizacional no era restrito a indicadores financeiros. Viso igualmente compartilhada por Ridgway (1956), que chamou a ateno para as consequncias de uma mensurao que ignorasse a viso sistmica. Por fim, Quinn (1960) afirmou que um sistema de medio no deveria ser desenvolvido para ser aplicado somente ao contexto especfico ao qual se destina, mas para servir de apoio a metas estratgicas globais. Percebe-se, ento, que o contexto organizacional requeria medidas que pudessem ser utilizadas como instrumento de gesto visando o aperfeioamento em funo do maior conhecimento sobre o contexto. Entretanto, os instrumentos de gesto permaneciam utilizando o conjunto de indicadores tradicionais, restringindo o processo de gesto, uma vez que a nfase permanecia no controle dos processos. Visando suprir a essas demandas foram desenvolvidos, entre os anos 1960 e 1995, os indicadores de 2 gerao (ENSSLIN; ENSSLIN, 2009). A partir desse momento, a nfase da utilizao dos indicadores reside em utiliz-los como instrumentos de gerenciamento, permitindo, ento, a visualizao da interligao entre as mensuraes dos intangveis com o que gera valor ao negcio (NEELY et al., 2003; PARANJAPE; ROSSITER; PANTANO, 2006). A necessidade de incorporar novas dimenses que promovessem a interligao das medidas operacionais s estratgicas foi reconhecida por Skinner (1969). Igualmente reconhecido foi o fato do desempenho industrial no poder ficar limitado s dimenses do custo e eficincia, j que a restrio a ambas conduz no observncia do ambiente competitivo (SKINNER, 1971, p. 36). Portanto, alm das dimenses financeira e da produtividade, foram incorporadas a flexibilidade, a agilidade (velocidade) e a inovao

38 (BITITCI; SUWIGNJO; CARRIE, 2001; ENSSLIN; ENSSLIN, 2009). Com isso, os indicadores de 2 gerao passaram a ter uma orientao multicritrio, com viso multifuncional. Por outro lado, novas alteraes tecnolgicas e no mercado competitivo, ocorridas nas ltimas dcadas do sculo XX, resultaram no reconhecimento que os sistemas de Avaliao de Desempenho deveriam ser desenvolvidos de modo a (NEELY, 1999; NEELY; GREGORY; PLATTS, 2005): Integrar os diferentes departamentos; Balancear medidas financeiras e no-financeiras; Se voltarem ao alcance da estratgia; Orientar o aperfeioamento; Serem dinmicos para se adaptarem s mudanas no contexto; Serem multidimensionais.

Porm, os instrumentos de avaliao at ento existentes apresentavam caractersticas em desacordo a essas demandas. O Quadro 1 evidencia as diferenas entre as caractersticas dos instrumentos de Avaliao de Desempenho, segundo a gerao de seus indicadores, para com as novas demandas exigidas pelo contexto.

Quadro 1: Diferena entre caractersticas dos instrumentos com indicadores de 1 e 2 gerao e as novas demandas do contexto. Fonte: adaptado de Ensslin e Ensslin (2009).

39 Na dcada de 1980, o conjunto de medidas at ento em uso foi objeto de crticas por parte de diferentes pesquisadores, como Hayes e Abernathy (1980), Kaplan (1983, 1984), Johnson e Kaplan (1987), Berliner e Brimson (1988), Neely et al. (2000), dentre outros. A discrepncia existente entre os indicadores usualmente utilizados e os requisitos demandados pelo contexto, motivou a adoo da integrao das avaliaes locais em uma global, de tal modo, a favorecer a sinergia. Surgem, assim, os indicadores de 3 gerao. A 3 gerao de Indicadores de Desempenho mantm os benefcios das geraes anteriores e se volta para a manuteno da relevncia da organizao (NEELY et al., 2003; PARANJAPE; ROSSITER; PANTANO, 2006). Neste caso, a nfase passou a ser o aperfeioamento contnuo do desempenho em contextos especficos e de forma personalizada. As dimenses de avaliao tambm se tornaram personalizadas a decisores especficos. Com isso, a orientao passou a ser multicritrio, mas agora com uma viso baseada nos valores e preferncias de decisores especficos. Para sua operacionalizao, os indicadores dessa gerao passaram a utilizar, alm das escalas ordinais, as escalas cardinais para mensurar propriedades quali-quantitativas. Com isto, passou a ser possvel realizar a integrao das escalas, tornando possvel a comparao do desempenho de tal modo a permitir a obteno de uma avaliao global do contexto. A importncia de se levar em conta tais elementos em um sistema de avaliao organizacional ficou evidente quando, em 1995, um funcionrio do Banco Barings, do Reino Unido, arriscou grandes volumes financeiros em operaes de derivativos que conduziram o banco falncia (GERNIMO et al., 2009). Desde ento, leis e instrumentos de avaliao foram desenvolvidos visando proporcionar maior transparncia e responsabilidade social s organizaes. A consolidao da incorporao das caractersticas da nfase, dimenses e orientao se deu quando os paradigmas da Fenomenologia e do Construtivismo foram incorporados aos processos de Avaliao de Desempenho (SAUNDERS; LEWIS; THORNHILL, 2003). Ou seja, foram necessrias mudanas nos paradigmas utilizados para as medidas dos Indicadores de Desempenho de 3 gerao se comparado aos de geraes anteriores, conforme evidenciado na Figura 1.

40

Figura 1: Mudanas de paradigma para o desenvolvimento d das medidas dos indicadores de 3 gerao. Fonte: adaptado de Ensslin e Ensslin (2009). A consolidao cientfica dos instrumentos de Avaliao de Desempenho baseados nos novos paradigmas ocorre com os trabalhos, om dentre outros, de Skinner (1986) e Keeney (1992) ao reconhecerem que os atributos (critrios ou objetivos) so especficos ao decisor em cada cos contexto, de Bana e Costa (1993) ao explicitar as convices no apoio deciso (convico da interpenetrabilidade e inseparabilidade d erpenetrabilidade dos elementos objetivos e subjetivos; convico do Construtivismo; e, onvico convico da participao do decisor durante o processo de construo do conhecimento) e de Landry (1995) e Roy (1996) que estabeleceram a existncia de limites objetividade nos processos de Apoio Deciso. Em 1993, Bouyssou et al. (1993) publicam o The Manifesto o of The New MCDA Era, no qual atestam que os problemas do mundo real , so marcados por incertezas, conflitos de informao e pelo conhecimento restrito e ambguo dos decisores em relao ao contexto, to e que, portanto, os sistemas de Avaliao de Desempenho deveriam incorporar os valores e preferncias personalizados dos decisores. Visando atender a esse conjunto de demandas, um grupo representativo de pesquisadores particularizou as tcnicas de MCDA tivo incorporando o paradigma construtivista e a perspectiva sistmico sistmicosinergtica. Como consequncia das diferenas tericas metodolgicas resultantes, e respaldado por Munda (2003), a essa ramificao f foi

41 incorporado o C de Construtivista, passando a denominar-se metodologia Multicritrio de Apoio Deciso Construtivista (MCDAC), que se fundamenta nos seguintes paradigmas (ENSSLIN, 2009a):

Singularidade: so considerados os valores e preferncias do decisor; Conhecimentos limitados: o decisor necessita melhorar o entendimento das consequncias de suas decises; Entidade social: os problemas organizacionais so uma entidade social; Recursividade da aprendizagem: participao ativa dos decisores; Princpios da mensurao: atendimento s propriedades das escalas; Legitimidade e validao: reconhecimento, pelo decisor, que representa suas preferncias e valores por meio de instrumentos cientificamente vlidos.

Com isto, um instrumento de avaliao, desenvolvido nesses paradigmas, se torna mais representativo do ambiente que o decisor deseja promover a gesto. E a avaliao global, obtida por meio da integrao dos indicadores, passou a expressar as preferncias ao serem considerados os diferentes pontos de vista presentes no contexto (BOUYSSOU, 1990). Por outro lado, diferentemente das medidas tradicionais, a identificao do conjunto de medidas locais passou a se fundamentar na habilidade de definir o que representa valor aos decisores (CRAM; SHINE, 2004). Entretanto, deve ser ressaltado, que as medidas tradicionais no competem com as no tradicionais, mas as complementam ao prover maior entendimento em relao complexidade dos problemas (THEPPITAK, 2004) Sem desprezar a utilidade dos indicadores das geraes passadas, a nova viso age como um complemento das anteriores ao incorporar outras dimenses ao processo de avaliao e, assim, aumentar a possibilidade de gerar, ao decisor, maior compreenso do contexto. Porm, no uso corrente, freqentemente os indicadores ainda

42 permaneceram: Com orientao histrica e financeira tradicional (NEELY; POWELL, 2004); Com foco na medida, desalinhados com as metas e desbalanceados (LEANDRI, 2001); Genricos e pr-existentes (TANGEN, 2003; DENTON, 2005). Ao estudar os motivos de tal resistncia mudana, Driva, Pawar e Menon (2000) identificaram uma srie de justificativas elencadas pelos gerentes, conforme exibido na Figura 2.

Figura 2: Razes alegadas pelos gerentes para no mudar o conjunto de indicadores utilizados. Fonte: Driva, Pawar e Menon (2000). Duas dessas razes, a lacuna de recursos e no poder esperar pelos resultados, tambm foram identificados por Kaplan e Norton (1996).

43 Bourne et al. (2003), por sua vez, relacionam as seguintes barreiras para a adoo de novos Indicadores de Desempenho: Dificuldade em avaliar a importncia das medidas e em identific-las; Mtricas pobremente definidas; Medidas que no consideram os interesses dos stakeholders; No utilizao do estado-da-arte dos instrumentos de avaliao; Tempo e recursos requeridos; Necessidade de quantificar resultados qualitativos; Grande nmero de medidas; Dificuldade de decompor metas para os nveis inferiores da organizao; Necessidade de sistemas de informao; Desejo por perfeio.

Como resultado de tais barreiras, comum encontrar instrumentos de Avaliao de Desempenho que continuam a se valer de indicadores fundamentados nos paradigmas da 1 e 2 gerao. Muitas vezes, a adoo de indicadores de 1 e 2 gerao decorre de comodismo, como ressaltado por Barr (2005), para a qual, infelizmente, a seleo dos Indicadores de Desempenho, normalmente, tratada como algo meramente trivial, cuja deciso gira em torno de workshops anuais em que as pessoas seguem o caminho mais rpido, fazendo a seleo de medidas a partir de listas genricas de KPIs (Key Performance Indicators). Conforme Denton (2005), os KPIs so os poucos indicadores crticos representativos do contexto. Essa discrepncia resulta em (NEELY, 1999; BOURNE et al., 2000): Incentivo a resultados apenas de curto-prazo; Lacunas estratgicas; Incentivo otimizao local; Desconsiderao do ambiente externo, consequncia, da competitividade.

por

Estudos realizados por Schneiderman (1999), Neely (2000) e Bourne et al. (2002, 2003) j revelaram que cerca de 70% das iniciativas

44 de implantao de sistemas de Avaliao de Desempenho falham. Conforme Denton (2005), o elevado percentual de insucesso das iniciativas de implantao de sistemas de Avaliao de Desempenho se deve: i) utilizao de indicadores genricos; ii) ao no reconhecimento dos valores e necessidades do decisor; iii) desconsiderao da influncia que os demais atores exercem sobre o decisor; iv) continuidade do privilgio dado dimenso financeira; e, v) excluso dos valores dos intangveis e subjetivos dos sistemas de Avaliao de Desempenho. E continua, que, com isso, os sistemas se mantm pobremente desenvolvidos, desalinhados com a estratgia e fazendo com que os decisores no entendam os impactos de suas decises e aes nas medidas. Como resultado dessa falta de entendimento dos impactos das decises, Cram e Shine (2004) afirmam que se perde a oportunidade de obter um importante objetivo da Avaliao de Desempenho, que a de ser um agente da mudana de comportamento. Em concordncia a este pensamento esto Chenhall e Langfield-Smith (2007), pois consideram que o uso exclusivo das medidas tradicionais um impedimento inovao. Santos, Belton e Howick (2002) tambm esclarecem que, apesar de ter havido o reconhecimento da importncia da existncia dos trade-offs no conjunto de medidas utilizado em um sistema de Avaliao de Desempenho, poucas organizaes definem suas medidas considerando essas interdependncias para a integrao das medidas e a obteno de uma avaliao global. Nesse sentido, Theppitak (2004) indica a necessidade do desenvolvimento de pesquisas que foquem no processo de identificao dos Indicadores de Desempenho, em processos que permitam sua integrao e voltados gerao do aperfeioamento contnuo. 1.2 TEMA DA PESQUISA

Visando suprir as oportunidades de pesquisa identificadas, este estudo explora o aperfeioamento da operacionalizao dos instrumentos de Avaliao de Desempenho no que se refere s formas de identificar, organizar, mensurar e integrar os indicadores. O estudo aqui apresentado no visa propor um modelo que confronte as metodologias de avaliao existentes. Mas, propor meios para que a operacionalizao dos Indicadores de Desempenho seja feita de tal forma a proporcionar maior cientificidade, praticidade e, por

45 conseqncia, maior utilidade aos instrumentos de Avaliao de Desempenho. 1.3 IDENTIFICAO DA AMOSTRA DA LITERATURA ESPECIALIZADA

Para a identificao da amostra da literatura especializada de Indicadores de Desempenho foi aplicado o processo desenvolvido pelo LabMCDA da Universidade Federal de Santa Catarina (GIFFHORN; ENSSLIN; VIANNA, 2009; VIANNA; GIFFHORN; ENSSLIN, 2010; TASCA et al., 2010), cujos detalhes podem ser vistos no Anexo A e no item 3.2 - Processo para a Reviso Bibliogrfica. Como resultado da aplicao desse processo foi obtido uma amostra de 39 artigos representativos ao tema de pesquisa. Na seqncia, foram utilizados instrumentos de Anlise Bibliomtrica, item 3.3.1 Anlise Bibliomtrica, ao portflio de artigos visando obter uma ilustrao quantitativa dos dados das publicaes, e uma Reviso Sistmica da Literatura para sua interpretao, item 3.3.2. 1.4 PERGUNTA DE PESQUISA E OBJETIVOS

Este item apresenta a pergunta de pesquisa e os objetivos, geral e especficos, que sustentam seu alcance. 1.4.1 Pergunta de Pesquisa

Com base no que foi apresentado no item 1.1, Consideraes Iniciais, foi formulada a pergunta de pesquisa que motivou o desenvolvimento do presente estudo: Como aperfeioar o processo de identificao e avaliao de indicadores, e suas escalas ordinais e cardinais, nos instrumentos de Avaliao de Desempenho encontrados na literatura especializada?

46 1.4.2 Objetivo Geral

Para operacionalizar o alcance da pergunta de pesquisa tem-se como objetivo geral: Construir um processo para ajudar a aperfeioar a operacionalizao dos instrumentos de Avaliao de Desempenho quanto sua forma de identificar, organizar, mensurar e integrar os Indicadores de Desempenho.

1.4.3

Objetivos Especficos

Os objetivos especficos que sustentam o alcance do Objetivo Geral so: Identificar, na literatura selecionada de artigos de referncia do assunto, os aspectos positivos e negativos existentes quanto ao uso dos Indicadores de Desempenho; Identificar critrios para avaliar os Indicadores de Desempenho; Construir um processo de avaliao de diferentes mtodos de Avaliao de Desempenho, no que se refere a seus indicadores; Testar a factibilidade do processo proposto, por meio da anlise de aplicaes em um Estudo de Caso; Analisar os pontos fortes e oportunidades de aperfeioamento dos modelos de avaliao da ilustrao, quanto ao uso dos indicadores; Anlise crtica do modelo apresentado.

1.5

IMPORTNCIA DA PESQUISA

Este item evidencia a importncia da pesquisa a ser desenvolvida no que se refere a sua relevncia e ineditismo.

47 1.5.1 Relevncia

No presente contexto, destaca-se a relevncia do estudo ao expandir o conhecimento sobre Indicadores de Desempenho ao: Avaliar a forma de identificao e seleo/construo dos indicadores nos diferentes mtodos de Avaliao de Desempenho presentes na amostra bibliogrfica de referncia; Avaliar o atendimento s propriedades das escalas na forma como os diferentes mtodos de Avaliao de Desempenho as utilizam; Proporcionar um modelo que auxilie na identificao/construo de indicadores de forma a que sua utilizao, em um sistema de Avaliao de Desempenho, possibilite maior alcance dos objetivos estratgicos.

1.5.2

Ineditismo

A presente pesquisa est centrada na construo de um modelo que vise o aprimoramento da utilizao de mtodos de Avaliao de Desempenho no que se refere a seus Indicadores de Desempenho. A pesquisa desenvolvida, quanto forma empregada por diferentes metodologias de Avaliao de Desempenho para identificar ou selecionar/construir os indicadores, utiliza os resultados de Petri (2005), que analisou 34 mtodos de Avaliao de Desempenho quanto a seus resultados. Visando expandi-la, este estudo aumentar o conhecimento a respeito dos Indicadores de Desempenho utilizados pelas metodologias de Avaliao de Desempenho e incorpora a anlise de outras metodologias no cobertas por Petri (2005). Por meio do modelo desenvolvido, foram identificadas variveis envolvidas no processo de avaliar indicadores. A utilizao do instrumento de interveno selecionado permitiu, ao decisor, aumentar seu entendimento do contexto e, assim, propor aes que aperfeioam a performance dos indicadores, segundo os critrios do modelo. As aes potenciais so um diferencial do trabalho aqui apresentado, devido possibilidade de aperfeioar a cientificidade dos

48 indicadores em aplicaes de Avaliao de Desempenho. Conforme pode ser constatado nos resultados da Reviso Sistmica da Literatura, h uma carncia de estudos que disponham de processos que visem o aperfeioamento da utilizao dos instrumentos de Avaliao de Desempenho quanto a seus indicadores. 1.6 DELIMITAES E LIMITAES DA PESQUISA

A fim de clarificar o que pertence ao estudo e o que est fora de seu contexto, as delimitaes da pesquisa so: A amostra de artigos do referencial bibliogrfico formada pelos artigos que atenderam aos critrios do Processo de Identificao do Referencial Bibliogrfico; Os critrios utilizados na etapa da Reviso Sistmica da Literatura, item 3.3.2, foram obtidos a partir da definio de Avaliao de Desempenho adotada pelo LabMCDA, item 2.2.4 Definies para Avaliao de Desempenho; O modelo de avaliao dos indicadores foi construdo segundo a percepo do decisor (pesquisador), tendo como base o referencial bibliogrfico; Parte-se do princpio de que os diferentes mtodos de Avaliao de Desempenho identificados no referencial bibliogrfico foram adequadamente desenvolvidos para o objetivo a que se destinam; Considera-se que as aplicaes a serem avaliadas no Estudo de Caso foram elaboradas conforme as recomendaes dos mtodos de Avaliao de Desempenho.

Devido presena da subjetividade no processo de estruturao do modelo a presente pesquisa tem limitao quanto generalizao de seus resultados. 1.7 ESTRUTURA DO TRABALHO

A apresentao da pesquisa est dividida em: (i) seo 1 de carter introdutrio; (ii) seo 2 com a Perspectiva Terica, composta

49 pelos Fundamentos Cientficos e Prticos dos Indicadores de Desempenho e pelos Fundamentos da Avaliao de Desempenho; (iii) seo 3 com o detalhamento da Metodologia de Pesquisa; (iv) seo 4 com a explicitao das Contribuies Cientficas (terica e prtica); (v) seo 5 com a Construo do Modelo de Avaliao dos Indicadores e o Estudo de Caso; e, (vi) seo 6 com as Consideraes Finais e Propostas para Evoluo da Pesquisa.

50 2. PERSPECTIVA TERICA

O propsito deste captulo consiste em estabelecer um referencial terico sobre os Fundamentos Cientficos e Prticos dos Indicadores de Desempenho e dos Fundamentos da Avaliao de Desempenho. 2.1 FUNDAMENTOS CIENTFICOS E PRTICOS DOS INDICADORES DE DESEMPENHO Este item descreve: (i) definies para Indicadores de Desempenho; (ii) tipos de indicadores; (iii) componentes de um indicador; (iv) escalas; (v) propriedades intrnsecas dos indicadores; (vi) formas para identificar/selecionar os indicadores; (vii) recomendaes prticas para a seleo e construo de indicadores; e, (viii) o papel dos indicadores na Avaliao de Desempenho. 2.1.1 Definies para Indicadores de Desempenho

Cabe inicialmente definir o que so Indicadores de Desempenho. Por meio do processo de Reviso Sistmica da Literatura, descrito no item 3.3.2, foi possvel constatar a utilizao no convergente de diferentes definies para os Indicadores de Desempenho. O que pode ser percebido que diferentes definies podem ser adotadas conforme as especificidades do contexto a que se destinam. Antes de apresentar a definio a ser utilizada no presente estudo, importante destacar o alcance que distintos autores possuem quanto definio para Indicadores de Desempenho, portanto, s definies a seguir descritas so incorporadas as indicaes de a qual contexto reside o foco de destaque. Em uma viso genrica, Grnberg (2004) apresenta os indicadores como os fatores que possuem alto impacto na performance global. Franceschini et al. (2008, p. 138), por sua vez, se valem da Teoria da Representao para afirmar que:

51
A definio de Indicador de Desempenho est estritamente relacionada noo de representaoalvo. A representao-alvo a operao que almeja tornar um sistema emprico, ou parte deste, tangvel, de tal modo, a permitir avaliaes, comparaes, formular predies, tomar decises, etc. Portanto, de um modo geral, um Indicador de Desempenho uma aplicao que, de acordo com a representao-alvo, homomorficamente mapeia as manifestaes empricas nas correspondentes manifestaes simblicas.

A Figura 3 ilustra o mapeamento de um sistema emprico A em um sistema simblico Z por meio das representaes-alvo I, que so os indicadores. Na figura, a1, a2 e a3 so propriedades do sistema emprico, e z1 e z2 so as representaes das propriedades no sistema simblico.

Figura 3: Mapeamento de um sistema emprico A em um simblico Z por meio das representaes-alvo I. Fonte: Franceschini et al. (2008, p. 139) Em uma perspectiva de gesto da produo, Driva, Pawar e Menon (2000) defendem que os indicadores so medidas internas que focam na comparao de atividades e processos para prever as operaes e o alcance das metas estabelecidas. Neste mesmo sentido esto Drongelen, Nixon e Pearson (2000) ao afirmarem que os Indicadores de Desempenho so as variveis que indicam a efetividade e eficincia do processo, sistema, ou parte de um sistema, comparado a um valor de referncia. Com essa mesma conotao, Amaratunga e Baldry (2002) consideram que os indicadores so meios de propiciar a comparao do processo final com seu incio, uma vez que as medidas de desempenho provem a base para avaliar o quo bem se est progredindo para alcanar objetivos pr-determinados. Sob uma perspectiva de produtividade, Bourne et al. (2003), Tangen (2003) e Neely, Gregory e Platts (1995, 2005) definem os

52 Indicadores de Desempenho como mtricas utilizadas para quantificar a eficincia e efetividade das aes. De forma semelhante, Popova e Treur (2006), e Popova (2007), enfatizam que os Indicadores de Desempenho so mtricas que mostram o estado atual do que se quer avaliar, e que ao permitir o monitoramento e a anlise, proporcionam uma viso clara do funcionamento corrente da organizao. E, alm disso, podem ser usados para definir objetivos que precisam ser alcanados, para comparar sua performance com a dos competidores. Sob o ponto de vista da estratgia organizacional, Bourne et al. (2000) atestam que os Indicadores de Desempenho so as medidas que sustentam a estratgia. Igualmente, Tapinos, Dyson e Meadows (2005) consideram que so variveis que permitem a constatao se o processo de planejamento estratgico: (i) suporta o alcance das metas organizacionais; (ii) efetivo; (iii) eficiente; (iv) conduz adoo de estratgias de sucesso; e, (v) considerado um processo de sucesso. Por outro lado, Cram e Shine (2004) se inserem na perspectiva decisria ao tratar os Indicadores de Desempenho como mensuraes feitas para prover os dirigentes com recursos que permitam avaliar, de tal modo, que essa avaliao possa ser feita para fazer julgamentos de valor segundo determinados critrios. Leandri (2001), por sua vez, considera que os indicadores so instrumentos de mensurao que traduzem os julgamentos subjetivos em mtricas precisas, as quais podem ser armazenadas e analisadas para poder monitorar a alterao na performance dos processos. J a European Environment Agency (2008) considera que os indicadores so instrumentos de medida, geralmente quantitativa, que podem ser usados para ilustrar e comunicar um conjunto de fenmenos complexos em uma forma mais simples, incluindo suas tendncias e progressos. Seguindo a mesma linha, Bossel (1999) defende que os indicadores condensam a complexidade numa quantidade manejvel de informaes significativas em um subgrupo de observaes que auxiliam as decises e direcionam as aes. J Stubbs (2004) defende que so importantes ferramentas de gesto que provem um valor de referncia a partir do qual se pode estabelecer uma comparao entre as metas planejadas e o desempenho esperado. Frente diversidade encontrada, para efeito desse estudo, ser utilizada a definio de Ensslin e Ensslin (2009), que consideram que:

53 Os Indicadores de Desempenho so instrumentos de gesto utilizados para medir as propriedades do contexto que, na perspectiva dos gestores (decisores), explicam seus objetivos.

Evidenciada a definio de Indicador de Desempenho adotada, o tpico seguinte aborda os diferentes tipos de indicadores presentes na literatura. 2.1.2 Tipos de Indicadores

H diferentes formas de classificar os Indicadores de Desempenho. As variaes apresentadas neste estudo no so exaustivas, mas se resumem s mais comumente encontradas. Quanto perspectiva temporal, os indicadores podem ser Lagging e Leading. Os indicadores Lagging, para Leandri (2001), medem o reflexo dos objetivos-chave no resultado final de um processo e so usados para saber se os mesmos foram alcanados. Para o Ministrio da Defesa (2006), so indicadores que aferem os resultados (outcomes) associados aos objetivos da organizao. J para Theppitak (2004) e Denton (2005), so aqueles que medem os efeitos das aes, medindo suas caractersticas a posteriori. Diferentemente, os indicadores Leading so aqueles utilizados para monitorar as atividades, ou seja, so instrumentos que ao medir o alcance dos objetivos-chave, demonstram a evoluo do trabalho (LEANDRI, 2001). Neste caso, Theppitak (2004) e o Ministrio da Defesa (2006) consideram que, por serem indicadores que avaliam se as aes e atividades conduziro aos objetivos esperados, so denominados direcionadores do desempenho (drivers), que permitem avaliar a tendncia e convergncia das aes em relao aos resultados esperados. Estes indicadores, por permitirem a reorientao dos esforos, so fundamentais no processo decisrio. Outra forma de diferenciar os tipos de indicadores a utilizada por Franceschini et al. (2008), que se refere a indicadores objetivos (aqueles que correlacionam objetivamente as manifestaes empricas com as simblicas) e indicadores subjetivos (aqueles que mapeiam manifestaes empricas em simblicas dependentes de percepes pessoais).

54 Quanto s propriedades que representam Chiesa e Frattini (2007) indicam os seguintes tipos de indicadores: (i) Quantitativos Objetivos: utilizam mtricas numricas obtidas a partir de algoritmos que produzem a mesma avaliao independentemente do responsvel pela mensurao; (ii) Quantitativos Subjetivos: empregam mtricas numricas baseadas no julgamento pessoal de um especialista, cuja avaliao subjetiva traduzida em uma pontuao numrica; e, (iii) Qualitativos Subjetivos: so expresses de julgamentos pessoais. Na viso da gesto da qualidade, Tangen (2003), Tapinos, Dyson e Meadows (2005) indicam que os indicadores podem ser operacionais, tticos ou estratgicos, dependendo do tipo de processo ao qual a propriedade a ser mensurada esteja associada. Sob a mesma perspectiva, Barclay (2002) agrupa os indicadores em internos (baseados em processos pertencentes a programas) e externos (baseados na organizao como um todo e nos clientes). Tambm na perspectiva da gesto da qualidade, Paladini (2002) classifica os indicadores em: (i) in-line (indicadores de produtividade): mensuram o processo produtivo; (ii) off-line (indicadores de suporte): mensuram as atividades que do suporte ao processo produtivo; e, (iii) on-line (indicadores da qualidade): mensuram as relaes entre a organizao e o mercado. Uma vez que as diferentes classificaes apresentadas no so mutuamente exclusivas, neste estudo, quando for necessrio mencionar o tipo de indicador, a variante adotada ser evidenciada. 2.1.3 Componentes de um Indicador

Este subitem descreve o que alguns autores apresentam como componentes de um Indicador de Desempenho, com a funo de melhor transmitir a informao sobre a propriedade a que se quer medir. Nesse sentido, Grnberg (2004), Chiesa e Frattini (2007) destacam a necessidade de explicitar determinados elementos dos indicadores, no momento de sua seleo/construo, com o objetivo de contextualizar a representao das propriedades do contexto que sero mensuradas. Para esses autores os elementos so: Freqncia com que ocorre a medio; Padro de referncia a ser usado nas medies; Determinao das metas.

55 Por sua vez, Paladini (2002) indica os elementos apresentados no Quadro 2 para contextualizar um Indicador de Desempenho.

Quadro 2: Elementos que contextualizam um Indicador de Desempenho. Fonte: Paladini (2002) Quanto ao padro de referncia, Behn (2003) defende que sua identificao deve ser personalizada a cada contexto de aplicao. Tangen (2005, p. 7), por sua vez, relaciona 15 parmetros que especificam um Indicador de Desempenho, que esto exibidos no Quadro 3.

56

Quadro 3: Parmetros que especificam um Indicador de Desempenho. Fonte: Tangen (2005, p. 7) Todavia, para Barzilai (2001b), independentemente de qualquer outro elemento, o componente essencial para a existncia de um Indicador de Desempenho a sua escala. 2.1.4 Escalas

Segundo a Teoria da Representao (citada no item 2.1.1 Definies para Indicadores de Desempenho), para que algo possa ser mensurado deve existir uma conexo entre esse algo simblico com um elemento emprico, seja ele abstrato ou concreto (AZEVEDO, 2001). O elemento emprico, por sua vez, possui propriedades que podem apresentar diferentes manifestaes (AZEVEDO, 2001). Para clarificar a diferena entre elemento e manifestao considere-se, a ttulo de exemplo, o elemento vinho. O elemento vinho possui a propriedade da cor, cujas manifestaes so amarelo, palha, mbar, branco, cereja, dourado, esverdeado, granada, laranja, rubi e violceo, dentre outras.

57 Ao se mensurar uma propriedade de um elemento, ignoram-se as outras. Porm, s vezes dois elementos podem ser considerados equivalentes em relao a uma determinada propriedade, se esta for comum a ambos (AZEVEDO, 2001). Como por exemplo, o elemento vinho, mencionado no pargrafo anterior, e o elemento fruta sero equivalentes se, para a propriedade cor, ambos tiverem a mesma manifestao. Contudo, Azevedo (2001) destaca que importante e necessrio descrever a estrutura de uma propriedade do elemento de forma mais precisa e Sistmica do que apenas com a linguagem, sendo esse o propsito da Teoria da Mensurao, que se vale do uso de escalas cientificamente vlidas para a mensurao das propriedades. As escalas, segundo Barzilai (2001b), so o componente essencial para a existncia de um Indicador de Desempenho, porque permitem a operacionalizao da mensurao de uma propriedade, que se deseja avaliar, por meio de uma relao biunvoca e no ambgua s propriedades do contexto associadas com uma mtrica. E ainda, para o mesmo autor, as escalas so mapeamentos que refletem operaes empricas especficas, que caracterizam uma dada propriedade em correspondentes operaes em um modelo matemtico (BARZILAI, 2008). Neste caso, o termo escala torna-se um sinnimo de funo, isto , qualquer funo uma escala, e vice-versa (BARZILAI, 2001a). Portanto, uma escala s de um conjunto A, para o conjunto B, uma funo representada por: : (1)

onde A se refere a um conjunto no vazio arbitrrio de objetos sob mensurao. Assim, a representao de uma propriedade sob mensurao do conjunto A, para um dado conjunto B, pode ser realizada por um conjunto S de escalas. Outra forma de definir uma escala consider-la como um conjunto de nmeros, ou smbolos, atribudos a um conceito particular que se quer medir (BAILEY, 1982, p. 63; ENSSLIN; MONTIBELLER; NORONHA, 2001, p. 208). J mtrica uma varivel de medida, quantitativa ou qualitativa, definida em relao a um ponto de referncia (FRANCESCHINI et al., 2006). No caso do Apoio Deciso, a operacionalizao da

58 mensurao das propriedades por meio de escalas deve representar, com a maior preciso possvel, as preferncias do decisor (ENSSLIN; MONTIBELLER; NORONHA, 2001). Essa potencialidade de representar o sistema preferencial de um decisor por meio da atribuio de valor, usualmente, utilizada para classificar os tipos de escalas. Cada tipo de escala possui um potencial diferente de medio, assim como proporciona diferente grau de informao, deste modo, a escala mais apropriada para utilizao depende do que se quer medir e do tipo de informao disponvel sobre a propriedade em questo (ENSSLIN; MONTIBELLER; NORONHA, 2001; GIFFHORN et al., 2010b; GIFFHORN et al., 2010c). Em ordem crescente do conhecimento permitido sobre as propriedades do elemento, as escalas podem ser (BAILEY, 1982; AZEVEDO, 2001; BARZILAI, 1998, 2001b, 2008; ENSSLIN; MONTIBELLER; NORONHA, 2001; GIFFHORN et al., 2010b; GIFFHORN et al., 2010c): (a) descritiva; (b) nominal; (c) ordinal; e, (d) cardinal (intervalo, razo ou absoluta). Essa ordem, tambm reflete o aumento de ausncia de restrio s transformaes que podem ser feitas sem alterar a estrutura das propriedades (PARK; GOETHERT; FLORAC, 1996; STEVENS, 1959). O tipo de escala tem importante implicao para as operaes estatsticas permitidas. Indo da escala nominal absoluta, o nmero de operaes estatsticas admissveis aumenta (STEVENS, 1959; PARK; GOETHERT; FLORAC, 1996; DRONGELEN; NIXON; PEARSON, 2000). A construo das escalas de mensurao requer que operaes de propriedades empricas especficas sejam identificadas e refletidas no modelo matemtico. Alm disso, as operaes devem ser escolhidas de modo a atingir o objetivo dessa construo, que a aplicao de operaes matemticas no modelo matemtico (BARZILAI, 2008). Os tpicos a seguir, detalham cada um dos tipos de escalas citadas. As escalas abordadas so as empregadas para sistemas organizacionais. a) Escala Descritiva: A escala Descritiva, tambm denominada Escala Descritiva Verbal ou Visual, a que requer o grau de conhecimento mais elementar sobre a propriedade do elemento. Este tipo de escala tem uso quando o conhecimento que se

59 detm sobre a propriedade do elemento suficiente apenas para proceder a uma descrio discursiva, como no caso de transcrever as percepes humanas a respeito de determinada propriedade, portanto, a construo de escalas descritivas recai no campo da linguagem ou anlise descritiva (GOVENDER, 2007). As escalas descritivas so utilizadas quando o grau de conhecimento permite apenas estabelecer uma narrativa do contexto, sem, contudo, permitir explicitar os possveis nveis de desempenho (ENSSLIN; MONTIBELLER; NORONHA, 2001). b) Escala Nominal: A escala Nominal, ou Classificatria, apenas nomeia, identifica ou classifica qualitativamente as diversas categorias, ou classes, da propriedade, sem que isso implique em uma ordem de preferncia, ou hierarquia entre as mesmas (ENSSLIN; MONTIBELLER; NORONHA, 2001). Nesse tipo de escala, o escalonamento entre os elementos efetuado por meio de uma partio de determinada classe em um conjunto de subclasses mutuamente exclusivas e coletivamente exaustivas (AZEVEDO, 2001). O que se requer apenas que todos os atributos dos objetos, do mesmo nvel, sejam equivalentes. Portanto, as escalas nominais possuem somente relaes de equivalncia do tipo igual ou diferente entre seus nveis. Em uma escala Nominal so empregadas descries, nmeros ou smbolos para identificar os grupos a que vrios elementos pertencem (AZEVEDO, 2001), mas a ordem no conhecida. Deste modo, conforme Ensslin, Montibeller e Noronha (2001), os nmeros empregados nas escalas nominais so smbolos alfanumricos, ou cdigos, que nominam as classes, e servem apenas para identificar se o objeto pertence, ou no, a determinada categoria, no sendo vlida sua utilizao para qualquer operao estatstica diferente da contagem, moda e frequncia. Por extenso, so permitidos os testes estatsticos de associao do Coeficiente de Correlao e Qui-quadrado (PARK; GOETHERT; FLORAC, 1996). Conforme Guimares (2010), o Coeficiente de Correlao mede a associao entre dois conjuntos de atributos quando, um ou ambos, os conjuntos so medidos em escala nominal, j o Quiquadrado testa a associao entre variveis independentes e, cujas observaes, so discretas (escala nominal e ordinal). Exemplos de escalas nominais so as que classificam a

60 populao segundo a faixa etria, ou estado civil, a que pertencem, pas de residncia, ocupao, os cdigos de endereamento postal, nmero na camisa de jogadores, localidade de nascimento, religio, dentre outros. c) Escala Ordinal: Em uma escala Ordinal, os elementos em uma categoria no so apenas diferentes dos elementos de outras categorias, mas, guardam uma relao entre si (AZEVEDO, 2001). Essa relao uma ordem de preferncia crescente ou decrescente entre si, porm, no se pode quantificar o quanto um ponto da escala prefervel em relao a outro (PARK; GOETHERT; FLORAC, 1996; ENSSLIN; MONTIBELLER; NORONHA, 2001). Ou seja, a diferena entre dois nveis adjacentes, usualmente, no ser a mesma que a de outros dois nveis tambm adjacentes. Portanto, o significado depender das relaes de definio das escalas, que podem ser do tipo: maior que, prefervel a, mais alto do que, mais difcil do que, etc. (AZEVEDO, 2001). Deste modo, ao serem utilizadas escalas ordinais somente so permitidas as operaes estatsticas da contagem, moda, freqncia e mediana (ENSSLIN; ENSSLIN, 2009). Tal como acontece com as escalas nominais, a anlise de dados nas escalas ordinais requer testes no paramtricos, mas, pelo fato da escala ser ordenada, outros testes so possveis, como o Teste de Sinal, que leva em conta o sinal da diferena entre os nveis e ignora a grandeza dessa diferena (PARK; GOETHERT; FLORAC, 1996). A escala ordinal tem uso freqente em pesquisas de opinio, preferncias ou atitudes. Por exemplo, suponha-se que foi solicitado a um sujeito para marcar com um x: Quanto considera seguro morar em seu bairro de residncia? (1), (2), (3), (4), (5), (6), (7), (8), (9), (10) De uso comum, so as denominadas Escalas de Likert, como a exemplificada a seguir. Marque com um x sua opinio sobre o atendimento de nosso hotel?

61 (1) (2) (3) (4) (5) Muito satisfeito Satisfeito Indiferente Insatisfeito Muito insatisfeito

d) Escala Cardinal: As escalas Cardinais podem ser de dois tipos, de Intervalo ou de Razo. A escala de Intervalo guarda todas as caractersticas das escalas Ordinais, contudo, adiciona o conceito de distncia entre dois nveis quaisquer da escala, proporcionando uma mensurao em um intervalo escalar, portanto, alm de classificar e ordenar as categorias, tambm distingue a diferena de magnitude entre as categorias, informando quanto os sujeitos, objetos ou fatos esto distantes entre si em relao a determinada caracterstica (ENSSLIN; MONTIBELLER; NORONHA, 2001). Seu diferencial reside em possuir uma unidade arbitrria de mensurao, constante, e comum, que atribui valor real a todos os pares de elementos no conjunto ordenado, assim como a localizao arbitrria do nvel zero (AZEVEDO, 2001). Por consequncia, conforme Ensslin, Montibeller e Noronha (2001), em uma escala de intervalos, o que tem significncia comparar o intervalo entre dois pares de pontos. A escala que mede a temperatura em graus Celsius um exemplo de escala de intervalos. Sua construo tem como base a definio arbitrria do nvel zero e da unidade entre dois nveis consecutivos. Portanto, se em um determinado dia a temperatura foi 18C e, em outro dia, a temperatura foi 36C, pode ser dito que a diferena de temperatura entre os dois dias foi 18C, mas, incorreto afirmar que o segundo dia foi duas vezes mais quente que o primeiro. Ou seja, as escalas de intervalo permitem operaes lineares como adio e subtrao, mas no as operaes de proporcionalidade, devido no possurem um zero verdadeiro (PARK; GOETHERT; FLORAC, 1996). Conclui-se ento, que as escalas de intervalo, ao permitirem as operaes de adio e subtrao, so as primeiras escalas numricas. E, por serem numricas, pode ser realizada a transformao de uma escala em outra (C para F, por exemplo) por meio de uma operao linear que preserva a ordem e a diferena relativa entre os estados. Isto , as informaes contidas nas escalas de intervalo no so

62 afetadas quando, mesma, aplicada uma transformao do tipo (ENSSLIN; MONTIBELLER; NORONHA, 2001): . onde: a uma constante maior que zero; b uma constante diferente de zero; v(x) uma escala de intervalos; y(x) a transformada da escala de intervalos. E, por se tratar de uma funo de transformao linear, o quociente da diferena entre dois nveis das escalas constante: (3) onde: X1, X2, Y1 e Y2 so valores da escala v(x) ou y(x); C uma constante. A razo entre dois desses intervalos independe da unidade de mensurao e da localizao da origem da escala, uma vez que unidade e origem so arbitrrias (AZEVEDO, 2001; ENSSLIN; MONTIBELLER; NORONHA, 2001). A Figura 4 demonstra a obteno da constante conforme a frmula (3). (2)

63

Figura 4: Quociente da diferena entre dois nveis das escalas. Fonte: autor As operaes estatsticas permitidas para as escalas de Intervalo so a contagem, moda, frequncia, mediana, mdia, varincia, testes de correlao e de significncia, como t de Student e f de Fischer-Snedecor (PARK; GOETHERT; FLORAC, 1996). Na Teoria da Deciso, as funes de valor tm as propriedades de uma escala de intervalos (ENSSLIN; MONTIBELLER; NORONHA, 2001), uma vez que so construdas com base na diferena de atratividade do decisor entre seus nveis e a origem (zero) ser arbitrria. Outros exemplos de escalas de intervalos so o calendrio, as horas, a maioria dos testes de inteligncia, rendimento, motivao e interesses (PARK; GOETHERT; FLORAC, 1996). Por outro lado, em uma escala de Razo, ou Absoluta, o zero representa a origem verdadeira da escala (ausncia de medida) e a razo entre dois pontos quaisquer da escala independente da unidade de mensurao (AZEVEDO, 2001; ENSSLIN; MONTIBELLER; NORONHA, 2001). Pelo fato de somente a unidade ser arbitrria, trata-se da forma mais avanada de mensurao. Devido s operaes que originam os valores numricos nas escalas de razo serem isomorfas estrutura da aritmtica, so permitidas operaes aritmticas aos valores numricos atribudos s propriedades dos elementos e aos intervalos entre os nmeros (AZEVEDO, 2001). Assim, todas as operaes aritmticas so permitidas e as

64 magnitudes podem ser comparadas. Com isto, permitida a comparao direta das categorias que a compem (ENSSLIN; MONTIBELLER; NORONHA, 2001), ou seja, admitem as operaes de proporcionalidade. Por exemplo, se um carro est a 50 km/h e outro a 100 km/h, vlido afirmar que o segundo carro est com o dobro da velocidade do primeiro. Ou seja, so permitidas as operaes do tipo: . a uma constante maior que zero; v(x) uma escala de razo; y(x) a transformada da escala de razo. E consequentemente, por se tratar de uma operao de proporcionalidade, o quociente entre dois nveis das escalas constante: C onde: X1 e Y1 so valores da escala v(x) ou y(x); C uma constante. A Figura 5 demonstra a obteno da constante conforme a frmula (4). (5) (4)

Figura 5: Quociente entre dois nveis das escalas. Fonte: autor

65 A escala de razo a que contm mais informaes a respeito da propriedade a ser mensurada. Mas, para a escolha de sua utilizao, deve ser avaliada a possibilidade de determinar o zero absoluto, o que, muitas vezes, pode ser difcil, porque pode se reportar a caractersticas internas inerentes, como por exemplo, uma classificao de zero num teste escolar no poderia ser assumida como ausncia perfeita ou completa de conhecimento (COUTINHO, 2005). A escala de razo contm todas as informaes das outras escalas, ou seja, igualdade de classe, ordem e igualdade de diferenas, e ainda todas as operaes estatsticas podem ser empregadas. Exemplos de escalas de Razo so encontrados ao mensurar peso, faturamento, probabilidades, altura, volume, rea e idade, dentre outras propriedades. 2.1.5 Propriedades Intrnsecas dos Indicadores

Para que um Indicador de Desempenho seja cientificamente vlido deve atender a um conjunto de propriedades da Teoria da Mensurao. Este conjunto de propriedades recebe a denominao Propriedades Intrnsecas dos Indicadores de Desempenho. O atendimento s propriedades intrnsecas assegura no apenas o atendimento aos fundamentos cientficos dos indicadores, mas, tambm, o alinhamento ao sistema de valores do decisor. Para efeito deste trabalho, sero adotadas as propriedades propostas pelo LabMCDA da Universidade Federal de Santa Catarina, para o qual, so seis as propriedades intrnsecas dos indicadores: de conforme Keeney (1992) a mensurabilidade, a operacionalidade e a inteligibilidade (compreensibilidade); e segundo Ensslin (2009) a Teoria da Mensurao, legitimidade, e homogeneidade. A seguir so descritas cada uma das propriedades. a) Mensurabilidade: Um atributo mensurvel quando define o objetivo a ele associado por meio de indicadores, em mais detalhes do que provido pelo objetivo sozinho, e, para que isso ocorra, aos indicadores devem ser incorporados julgamentos de valor (KEENEY, 1992). Deste modo, um indicador, que atende a propriedade da mensurabilidade, construdo para quantificar claramente a performance segundo o sistema de valores de um decisor (ENSSLIN;

66 MONTIBELLER; NORONHA, 2001). Ou seja, sua construo se d em funo do que o decisor deseja monitorar, ou aperfeioar, e no por meio da associao pura do nome do indicador medida a ser realizada (ENSSLIN; ENSSLIN, 2009). Uma vez que, a construo de um Indicador de Desempenho tem de ser baseada em julgamentos de valor, se deve ter o cuidado de evitar o uso de conceitos qualitativos para definir seus nveis. Isto porque o uso de nveis qualitativos, tais como fraco, bom, muito bom, excelente, resulta, com frequncia, em nveis mal definidos, acarretando em ambiguidade para a alocao do desempenho nos nveis da escala (KEENEY, 1992; ENSSLIN; MONTIBELLER; NORONHA, 2001). b) Operacionalidade: A propriedade da operacionalidade indica que a mensurao descrita por meio do Indicador de Desempenho: fisicamente possvel de realizar (ENSSLIN; ENSSLIN, 2009); Fornece informaes claramente definidas quanto forma de coletar os dados, e quais devem ser coletados (ENSSLIN; MONTIBELLER; NORONHA, 2001); Possui uma relao custo/benefcio julgada vantajosa pelo decisor (ENSSLIN; MONTIBELLER; NORONHA, 2001); Existem, ou podem ser desenvolvidos, meios para realiz-la (ENSSLIN; ENSSLIN, 2009); Permite mensurar um determinado aspecto independentemente de qualquer outro aspecto considerado, ou seja, o desempenho de uma ao potencial em um critrio associvel a um nico nvel de impacto (ENSSLIN; MONTIBELLER; NORONHA, 2001).

O atendimento propriedade da operacionalidade torna o Indicador de Desempenho capacitado a fornecer uma base slida para o desenvolvimento de discusses de performance baseadas nos julgamentos de valor dos decisores (KEENEY, 1992; ENSSLIN; MONTIBELLER; NORONHA, 2001).

67 c) Teoria da Mensurao: O atendimento a esta propriedade indica que as escalas dos Indicadores de Desempenho esto em conformidade a todas s propriedades da Teoria da Mensurao, notadamente, s propriedades das escalas nominais e ordinais (ENSSLIN; ENSSLIN, 2009). Ou seja, quando o indicador contiver escalas nominais somente ser permitido operacionalizar as operaes estatsticas da contagem, frequncia e moda (ENSSLIN; MONTIBELLER; NORONHA, 2001). Do mesmo modo, quando o indicador contiver escalas ordinais somente ser permitido utilizar as operaes estatsticas da contagem, frequncia, moda e mediana (ENSSLIN; ENSSLIN, 2009). Portanto, pode ser concludo desta propriedade, que, quando o Indicador de Desempenho utilizar escalas ordinais, mesmo que sejam utilizados nmeros para definir seus nveis, estes nmeros sero meramente smbolos alfa-numricos, no sendo, por conseguinte, permito o emprego nas escalas ordinais de propriedades alm das estabelecidas na Teoria da Mensurao (ENSSLIN; ENSSLIN, 2009). d) Legitimidade: A legitimidade a propriedade que assegura que o Indicador de Desempenho utiliza os valores e preferncias de decisores especficos para contextos igualmente especficos, e garante a participao ativa do decisor em todas as etapas da construo do indicador (ENSSLIN et al., 2010). Por meio da participao ativa, em todas as etapas, afirmado que o decisor possa reconhecer que o conhecimento construdo durante todo o processo de Avaliao de Desempenho esteja alinhado sua percepo de valor sobre o contexto, o que evita a perda de interesse devido ao modelo de avaliao passar a representar interesses distintos dos seus (ENSSLIN; MONTIBELLER; NORONHA, 2001). Quando permitida a participao no processo de construo e gesto dos Indicadores de Desempenho de outros atores com poder de influncia sobre o contexto, alm do decisor, so criados meios que favorecem a sinergia, e evita-se que propriedades relevantes ao contexto possam ser esquecidas durante o processo de construo do modelo de avaliao.

68 e) Inteligibilidade (compreensibilidade): Para atender propriedade da Inteligibilidade, o indicador deve conter informao suficiente que permita a todos os atores envolvidos chegar mesma mensurao e interpretao (ENSSLIN; ENSSLIN, 2009). Ou seja, no deve haver perda de informao quando um ator associa um determinado nvel de impacto a uma ao potencial, e outro ator interpreta essa mesma associao (KEENEY, 1992; ENSSLIN; MONTIBELLER; NORONHA, 2001). Deste modo, o atendimento propriedade da inteligibilidade faz com que o Indicador de Desempenho permita a descrio e interpretao da performance, de uma ao potencial, de forma no ambgua por diferentes atores (KEENEY, 1992). f) Homogeneidade:

A homogeneidade assegura que, ao realizar a mensurao, sejam medidas as mesmas propriedades representadas pelo Indicador de Desempenho, e, estas propriedades, esto em conformidade aos interesses e preferncias dos decisores (ENSSLIN; ENSSLIN, 2009). Para isso, quando da construo do indicador, deve ser assegurado que cada indicador mensure uma nica propriedade, assim como cada propriedade selecionada seja mensurada por um nico indicador (CRAM; SHINE, 2004; FRANCESCHINI et al., 2006, 2008). 2.1.6 Formas de Identificar/selecionar os Indicadores

Cada instrumento de Avaliao de Desempenho utiliza uma forma diferenciada para proceder a identificao/seleo dos Indicadores de Desempenho. Diante disso, foi realizada uma anlise comparativa de diferentes mtodos de Avaliao de Desempenho, quanto a seus indicadores. Para a seleo dos instrumentos, foram empregados alguns estudos comparativos disponveis na literatura. O ponto de partida foi a pesquisa de Petri (2005) que, de um

69 total de 34 mtodos de Avaliao de Desempenho, detalhou 16 quanto a seus resultados. Visando expandir esta pesquisa foram tambm utilizados os estudos comparativos de Mafra (1999), Tangen (2004), Garengo, Biazzo e Bititci (2005) e Marinho (2006). Portanto, os mtodos de Avaliao de Desempenho analisados so os que constam nessas cinco referncias, o que totalizou 45 abordagens. Para realizar a anlise foram estabelecidos alguns critrios. O estudo de Petri (2005) contribuiu com os seguintes critrios: tipo de indicadores, escalas utilizadas e padres de referncia. Alm destes, do processo de Reviso Sistmica da Literatura foram considerados os seguintes critrios: (i) os instrumentos utilizados pela abordagem; (ii) a forma empregada para identificar as dimenses de avaliao; (iii) as dimenses de avaliao utilizadas; e, (iv) as etapas do processo de Avaliao de Desempenho. O Quadro 4 apresenta os resultados da anlise. Para obter as informaes necessrias para os critrios selecionados, foi preciso recorrer a outras referncias bibliogrficas, alm daquelas identificadas na amostra resultante da aplicao do processo de Identificao do Referencial Bibliogrfico, o que est evidenciado na coluna Fontes de Referncia do Quadro 4.

70

71

Quadro 4: Comparativo das abordagens de Avaliao de Desempenho quanto aos indicadores. Fonte: Autor

72

73
A anlise realizada permitiu identificar o uso freqente de Benchmarking, Brainstorming ou o recurso de especialistas. Este resultado est em conformidade com Barr (2005), que elencou cinco formas usuais de obter os Indicadores de Desempenho: brainstorming, benchmarking, medidas j em uso, stakeholders e especialistas. Contudo, o uso de cada um desses instrumentos possui benefcios e restries, que so apresentadas no Quadro 5.

Quadro 5: Benefcios e restries das formas usuais de selecionar os Indicadores de Desempenho. Fonte: adaptado de Barr (2005)

74 Os Quadros 4 e 5 evidenciam que h na literatura muitas formas para a seleo e construo de Indicadores de Desempenho, mas apesar disto, h na prtica muitos problemas associados atividade (PARANJAPE; ROSSITER; PANTANO, 2006). 2.1.7 Recomendaes Prticas para a Seleo e Construo de Indicadores A literatura sobre indicadores apresenta recomendaes baseadas na prtica de procedimentos a serem evitados, e outros a que se deve enfatizar ao selecionar/construir Indicadores de Desempenho. Um procedimento a ser evitado o desejo de medir tudo o que for possvel, importante ou no, pois desta forma as medidas acabaro competindo entre si, e por fim, comprometendo a efetividade das prprias medidas (LEANDRI, 2001). Ou seja, a adio de mais e mais medidas s vai trazer confuso, hostilidade e apatia, porque, no final, se despende mais tempo coletando informaes para se fazer a medio do que efetivamente trabalhando (DENTON, 2005). Do mesmo modo que far com que sejam adotadas medidas desbalanceadas, que no guardam relao com as metas (LEANDRI, 2001). Outra recomendao de Leandri (2001) evitar que a medida, em si mesma, se torne o foco principal das atenes. Por conseguinte, tambm devem ser evitadas medidas selecionadas sem transparncia e participao dos envolvidos, pois isso pode causar reao negativa avaliao (denominado lado obscuro da avaliao) por medo que os dados do desempenho sejam utilizados em julgamentos, o que encoraja um comportamento defensivo (NEELY; POWELL, 2004). E por fim, deve ser evitada a tendncia para a adoo de medidas que se dizem aplicveis a todas as organizaes, ou a todas de um mesmo setor (TANGEN, 2003; DENTON, 2005). Uma vez que resolver os problemas de desempenho por meio do uso de medidas genricas, pr-existentes, por serem mais fceis de medir (NEELY; POWELL, 2004), uma ingenuidade, irreal e impossvel de ser feito (DENTON, 2005). Por outro lado, h tambm recomendaes prticas da forma de proceder no momento da seleo/construo dos Indicadores de Desempenho. Para Neely et al. (1997), Hudson, Smart e Bourne (2001), Neely, Gregory e Platts (2005) os indicadores devem ser selecionados

75 de tal forma a: Empregar razes, mais do que nmeros absolutos; Terem metas derivadas da estratgia e com propsito explcito; Prover feedback rpido, peridico e acurado; Mensurarem propriedades que possam ser controladas pelos usurios; Se manterem significativos ao longo do tempo; Serem claramente definidos e objetivos; Terem o foco no aperfeioamento; Serem precisos e relevantes; Possam ser reportados em um formato simples, compreensvel, consistente. J Tangen (2005) enumera as seguintes recomendaes prticas: A mtrica deve resultar em uma medida fcil de realizar e de entender; Os critrios devem ser objetivos; Preferir frmulas de clculo de razo, ao invs de utilizar nmeros absolutos; Os indicadores devem estimular o aperfeioamento; A seleo/construo dos indicadores deve contar com a participao das pessoas envolvidas; A mtrica deve ser a mais acurada e precisa possvel; Priorizar medidas em grupo s individuais. A norma ISO 11620 (1998) apresenta cinco recomendaes para a criao de Indicadores de Desempenho (STUBBS, 2004): Ser informativo como uma ferramenta para medir a atividade, e, assim, fornecer informaes para tomar decises, definir metas, priorizar atividades e servios; Ser confivel para produzir o mesmo resultado quando usado repetidamente nas mesmas circunstncias; Deve medir o que se pretende medir; Ser apropriado para a proposta a qual se deseja aplicar;

76 Ser prtico para que o esforo para a obteno das informaes seja razovel em termos de tempo de pessoal, custo e tempo e pacincia dos clientes. Duas importantes recomendaes de Denton (2005) so o reconhecimento da existncia dos trade-offs entre as medidas, e que as mesmas s so valiosas se forem consistentes com as necessidades dos usurios. Devido existncia dos trade-offs, ou seja, impossibilidade de aumentar a performance de apenas um indicador sem impactar em outros, Garengo, Biazzo e Bititci (2005) defendem que a mensurao do desempenho global deve ser obtida por meio da integrao de indicadores. Behn (2003) elenca outras recomendaes baseadas na prtica que esto alinhadas s etapas do instrumento de interveno selecionado nesse estudo, as quais so: Identificar o desempenho no desejado e se a performance desejada percebida diferentemente pelos atores envolvidos; Identificar o que representa valor; Estabelecer o nvel de desempenho desejado e os padres de referncia; Reconhecer a complexidade do ambiente de avaliao; Estabelecer metas razoveis; Identificar o que um nvel de desempenho bom, um aceitvel e um ruim. Denton (2005) alerta ainda para a necessidade da particularizao do conjunto de indicadores para o ambiente sob avaliao, uma vez que as propriedades a serem mensuradas so dependentes do contexto, em um determinado momento. 2.1.8 O Papel dos Indicadores na Avaliao de Desempenho

H quase duas dcadas, Deming (1992) j afirmava que no se gerencia o que no se mede, no se mede o que no se define, no se define o que no se entende, no h sucesso no que no se gerencia. Ou seja, uma organizao, independente da forma com que

77 constituda, somente pode ser efetivamente gerenciada quando seu desempenho avaliado (Dutra, 2003), e, para operacionalizar essa prtica de gerenciar, os indicadores assumem um papel essencial nos processos de Avaliao de Desempenho. Mas, somente medir no suficiente para produzir o aperfeioamento do status quo. Para aperfeio-lo, se faz necessrio que o conjunto de medidas que avaliam o desempenho do contexto seja utilizado para apoiar o processo decisrio presente nos instrumentos de gesto (MINISTRIO DA DEFESA, 2006). Ao ser utilizado para apoiar o processo decisrio, os decisores passam a ter meios para (RUMMLER; BRACHE, 1994): (i) comunicar as expectativas de desempenho; (ii) saber o que est acontecendo em sua rea de atuao; (iii) identificar deficincias que poderiam ser eliminadas; (iv) fornecer feedback que compare o desempenho real frente ao planejado; (v) identificar o desempenho que deve ser recompensado; (vi) tomar decises fundamentadas, transparentes e justificadas. J Harrington (1993) defende que a utilizao de indicadores permite: (i) destacar o status atual em relao aos objetivos que se deseja atingir; (ii) avaliar as necessidades de mudana devido discrepncia entre o planejado e o executado; e, (iii) priorizar as mudanas de maior impacto no desempenho. Para Chenhall (2005), por sua vez, uma gesto baseada em Indicadores de Desempenho permite: (i) clarificar expectativas nos nveis estratgico, ttico e operacional; (ii) reduzir a ambiguidade associada a tarefas para alcanar as estratgias; e, (iii) prover uma reflexo coerente das prioridades organizacionais. V-se, assim, que gerenciar sem Indicadores de Desempenho significa no ter certeza quanto ao cumprimento do que foi planejado e quanto sobrevivncia da organizao perante a dinamicidade do ambiente (DUTRA, 2003). Deste modo, pode-se afirmar que os Indicadores de Desempenho so uma parte essencial dos sistemas de Avaliao de Desempenho, e no podem ser deles dissociados (BARZILAI, 2001b; ENSSLIN; ENSSLIN, 2009). Esta inter-relao est representada na Figura 6.

78

relao Figura 6: Inter-relao entre a Avaliao de Desempenho e os Indicadores de Desempenho. Fonte: Autor Entretanto, freqente o uso indistinto e intercambivel entre medio de desempenho por meio de indicadores e Avaliao de Desempenho (STUBBS, 2004). Mas, segundo Cotta-Schomberg (1995 Schomberg (1995, p. 11) e Stubbs (2004, p. 150):
conveniente conservar a medio do desempenho por meio de indicadores dentro do mbito da descrio do contexto, diferenciando-o dos juzos de o valor que se encontram dentro do mbito da entro Avaliao do Desempenho, isto porque o processo esempenho, de Avaliao de Desempenho reflete um juzo de valor realizado por parte de um avaliador.

Deve ser ressaltado, por sua vez, que a mensurao por meio de indicadores no um fim em si mesmo, mas um instrumento para um to gerenciamento mais efetivo que contribui para o alcance de propsitos gerenciais especficos (AMARATUNGA; BALDRY, 2002). E, independentemente da forma de operacionalizar a ndependentemente mensurao, o sucesso da implementao de um sistema de Avaliao de Desempenho reside na correta escolha das medidas (D mpenho (DENTON, 2005). Por isso, devem ser concentrados esforos nos poucos indicadores representativos da estratgia, porque o importante medir o

79 que relevante, sob aspectos especficos. Deste modo, preciso identificar as poucas reas crticas que definem o contexto a respeito do que se tem interesse e o que se deseja alcanar, para, a partir da, selecionar/construir os indicadores. Para isto, to importante quanto selecionar as propriedades a serem mensuradas identificar quais as que devem ser tidas em conta. Aos poucos indicadores crticos representativos do contexto do-se a denominao Indicadores Chave de Desempenho, ou KPIs (Key Performance Indicators). Conforme Barkley (2001), os KPIs consistem das poucas, simples e relevantes medidas, no limitadas dimenso financeira, que, por meio de eventos controlveis, esto diretamente vinculadas viso e estratgia da organizao. Portanto, o principal desafio na implementao de um sistema de Avaliao de Desempenho no identificar o que pode ser medido, mas identificar, sem redundncia, o que necessrio medir, para se concentrar naquilo que absolutamente vital (NEELY; POWELL, 2004). 2.2 FUNDAMENTOS DA AVALIAO DE DESEMPENHO O uso da Avaliao de Desempenho tornou-se sinnimo de avano nos processos de gesto devido crescente necessidade dos decisores em medir o desempenho e identificar formas de aperfeioar seu status quo. O ambiente no qual grande parte das organizaes opera permanece mudando rapidamente e, com isso, o desenvolvimento, implementao e uso de instrumentos de Avaliao de Desempenho so grandes desafios enfrentados pelas organizaes, os quais podem contribuir significativamente para o sucesso das mesmas (LEAL, 2009). Essa dinamicidade do mercado motivou a gerao de esforos no sentido de adequar os instrumentos de Avaliao de Desempenho s necessidades organizacionais. Como resultado, os fundamentos dos instrumentos de avaliao, que se baseavam em uma viso mecanicista da Teoria Clssica da Administrao, migraram, ao longo do tempo, para uma viso multicritrio, sustentada na percepo de valor. Portanto, a forma como os diferentes instrumentos de avaliao foram desenvolvidos, assim como seus fundamentos, depende da poca em que a abordagem foi elaborada, refletindo as prticas de gesto predominantes e a rea de atuao, ou de pesquisa, dos autores da

80 metodologia, que privilegiam seus campos de conhecimento (DUTRA, 2003). Razo pela qual ser apresentada, a seguir, uma descrio evolutiva da Avaliao de Desempenho. 2.2.1 A Avaliao de Desempenho at a Dcada de 1940

A Avaliao de Desempenho tem suas razes nos sistemas contbeis, dentre os quais, os livros contbeis da famlia Mdici, de 1484, os quais descrevem como uma organizao pr-industrial agia para manter um controle contbil de suas transaes e de estoque (BOURNE et al., 2003). A Revoluo Industrial, por sua vez, foi a motivadora de diversas mudanas na forma de conduzir as operaes das fbricas, dentre elas (BOURNE et al., 2003): (i) (ii) (iii) (iv) Mudou a forma de pagamento por pea para salrios; De operaes simples para mltiplas; De plantas individuais de produo para integradas verticalmente; De negcios individuais para empresas multi-divises.

Em consequncia, foram desenvolvidos, notadamente nos Estados Unidos, a partir de 1850, medidas contbeis mais apuradas, que incorporaram a viso mecanicista dos sistemas produtivos. Em funo das aes tomadas sob essa viso, os processos passaram a ser rotinizados, estveis e previsveis. Os instrumentos gerenciais baseados nessa viso caracterizam a abordagem clssica da administrao, que perdurou at as primeiras dcadas do sculo XX. Os instrumentos de avaliao pertencentes abordagem clssica foram construdos fundamentados nos seguintes princpios (CHIAVENATO, 2000): (i) (ii) Reducionismo: todas as coisas podem ser decompostas e reduzidas a elementos mais simples; Pensamento analtico: decomposio do todo em partes mais simples, que permitem uma posterior agregao para uma soluo ou explicao do todo; Mecanicismo: relao de causa e efeito entre dois fenmenos, em que a causa de um fenmeno se

(iii)

81 constitui no efeito de outro. Como consequncia, as organizaes desse perodo eram administradas como se fossem mquinas (MORGAN, 1996; DUTRA, 2003). A dcada de 1910 contm o incio dos esforos cientficos das prticas de Avaliao de Desempenho, cuja aplicao inicial se deu nas denominadas Pesquisas Municipais. No mesmo perodo, as corporaes privadas, dentre as quais DuPont, Sears e General Motors iniciaram, tambm, a aplicao de tcnicas mais sofisticadas de oramentao e gesto contbil. O fato das mensuraes municipais serem consideradas o comeo da moderna Avaliao de Desempenho no incomum (BOUCKAERT, 1992; EHRENHALT, 1994). A associao da utilizao dos dados governamentais aos precursores da Avaliao de Desempenho se deve ao fato de, na poca, os dados governamentais, de demografia e comrcio, serem tratados indistintamente. J na dcada de 1920, Upson (1924, 1926) trouxe a pblico seus estudos, que vieram a se tornar manuais para a administrao pblica, por descreverem mtodos para aperfeioar o desempenho das administraes pblicas locais. Em 1926, Munro (1926) publicou 25 critrios recomendveis para o desenvolvimento da gesto pblica. Ridley, em 1927, apresentou o Means of Measuring Municipal Government (Ridley, 1927a) e o Measuring Municipal Government (Ridley, 1927b) que representam um marco no desenvolvimento da Avaliao de Desempenho no setor pblico, devido ao rigor cientfico apresentado s mensuraes descritas (WILLIAMS, 2004). O desenvolvimento foi de tal modo constante que, j em 1930, a Avaliao de Desempenho se constitua uma disciplina distinta. Os esforos para o desenvolvimento das avaliaes aplicadas s pesquisas municipais continuaram por meio dos estudos de Ridley e Simon (1938, 1943, 1948a) e pela definio das especificaes para sua conduo (RIDLEY; SIMON, 1948b). Da preocupao inicial da Avaliao de Desempenho, dimenses financeira e econmica, gradualmente, os processos de Avaliao de Desempenho foram sendo alterados para se manterem alinhados s mudanas ocorridas no ambiente organizacional e nos modelos de gesto que passaram a vigorar (DUTRA, 2005). Mesmo que outras abordagens tenham surgido, porm, todas

82 tinham ainda em comum o fato de considerarem as organizaes como sistemas fechados, ou seja, no levavam em considerao suas interconexes com o ambiente (DUTRA, 2003). 2.2.2 A Avaliao de Desempenho nas dcadas de 1940 a 1970

Em decorrncia da Segunda Guerra Mundial, houve a necessidade da mudana do foco produtivo para a otimizao da produo. Nesse contexto, surgiu a Pesquisa Operacional. Para atingir a esse objetivo a Pesquisa Operacional se fundamentou em formulaes matemticas que operacionalizaram a otimizao. Sua operacionalizao se dava pela considerao de o decisor ser um ator nico dentro do processo e os objetivos a serem alcanados estarem claramente definidos e estruturados (SCHNORRENBERGER, 1999). Dentre as diferentes disciplinas que contriburam para o desenvolvimento da Pesquisa Operacional, no perodo que vai da dcada de 1940 a 1970, encontra-se a Teoria dos Sistemas (ENSSLIN, 2009b). A Teoria dos Sistemas foi inicialmente desenvolvida pelo bilogo Ludwig von Bertalanffy. Ao afirmar que a cincia deveria se desenvolver de forma semelhante aos organismos vivos, Bertalanffy (1975) criou o conceito de sistema aberto, o qual foi incorporado no desenvolvimento de novos instrumentos de Avaliao de Desempenho. J a Teoria Geral dos Sistemas, tambm desenvolvida por Bertalanffy, contribuiu para substituir os fundamentos mecanicistas das cincias em vigor pela viso holstica (DUTRA, 2003). Desde ento, os sistemas organizacionais passaram a ter o reconhecimento que so sistemas abertos e que, por isso, mantm uma relao de troca com o ambiente, apresentando importao e exportao, construo e demolio dos materiais que o compem (BERTALANFFY, 1975; DUTRA, 2003). Outra rea cientfica que contribuiu ao desenvolvimento da Pesquisa Operacional foi a Engenharia de Sistemas, termo cunhado pela Bell Telephone Laboratories, ainda na dcada de 1940 (ENSSLIN, 2009b). A Engenharia de Sistemas, ao focar na complexidade, incluiu ferramentas de modelagem e simulao Avaliao de Desempenho e, com isso, proporcionou meios de identificar e manipular as propriedades de um sistema como um todo (NEELY, 2005). No entanto, os desafios enfrentados pela Avaliao de

83 Desempenho permaneciam, uma vez que os fundamentos e paradigmas dos processos de avaliao, at ento em uso, estavam na contabilidade, que por sua vez, permaneciam inalterados desde sua criao, nos anos 1920 (CHANDLER, 1977; THEPPITAK, 2004). Esse descompasso foi atestado por um estudo de Argyris (1952), o qual destacou declaraes de diretores que afirmavam que sua forma de proceder se assemelhava de alimentar mquinas com todo tipo de ordens, para que, no final do ms, metas fossem atingidas. Outra fragilidade, identificada por Drucker (1954), consistia no desejo revelado por gerentes de quantificar tudo quanto possvel, assim como as consequncias de um sistema de mensurao em desacordo com o ambiente em que era aplicado e que, por isso, deveriam ser adotados processos que utilizassem medidas mais balanceadas. Tal era a relevncia do tema que o primeiro nmero da Administrative Science Quarterly trouxe um artigo de Ridgway (1956), que explorava as foras e fraquezas dos sistemas de medidas de desempenho em uso, assim como chamava a ateno para a forte tendncia de quantificar o maior nmero possvel de variveis. As alteraes ocorridas no mercado competitivo global, entre as dcadas de 1950 e 1970, evidenciaram a necessidade da admisso da existncia de vrios atores envolvidos em um processo decisrio, em que, geralmente, cada ator possua uma percepo diferente a respeito do problema, e os elementos necessrios e suficientes para explicar o contexto decisional no eram claramente definidos e estruturados (SCHNORRENBERGER, 1999). Dentre os elementos que influenciaram a mudana do cenrio competitivo e, por sua vez, uma nova alterao dos fundamentos utilizados pelos instrumentos de Avaliao de Desempenho, encontramse (ULRICH, 1998; DRUCKER, 1997, 2001; KAPLAN; NORTON, 1997; DUTRA, 2005): (i) (ii) (iii) (iv) (v) O surgimento da globalizao dos mercados e da concorrncia; O encurtamento do ciclo de vida tecnolgico dos produtos; A integrao dos processos entre os fornecedores e clientes; A migrao do foco organizacional para os clientes; O crescimento de importncia do conhecimento como diferencial competitivo.

84 Em torno do final da dcada de 1980, os sistemas de medidas em uso passaram a receber crticas como inapropriados para as necessidades de gesto em voga, especialmente, em funo do acirramento da competitividade devido insero dos pases asiticos nos mercados ocidentais. Esse criticismo estava focado no comportamento disfuncional causado pelo uso das medidas de desempenho baseadas nos sistemas contbeis tradicionais, especialmente por (BOURNE et al., 2003): (i) (ii) (iii) Encorajar as aes de curto-prazo; A inaplicabilidade aos modernos sistemas de manufatura; Servir de barreira economia e estratgia de negcios para fazer frente competitividade intercontinental.

Como consequncia, ao final da dcada de 1970 e incio de 1980, houve um grande interesse em desenvolver instrumentos de Avaliao de Desempenho com medidas mais balanceadas que fossem capazes de sustentar a relevncia das organizaes e, assim, deixassem de ser sistemas de Avaliao de Desempenho estticos (BOURNE et al., 2003; NEELY et al., 2003). Ou seja, as alteraes no ambiente competitivo evidenciavam a necessidade da interligao das medidas de desempenho com o que representava valor ao negcio (PARANJAPE; ROSSITER; PANTANO, 2006). 2.2.3 A Avaliao de Desempenho aps a dcada de 1980

Visando adequar os instrumentos de Avaliao de Desempenho nova realidade competitiva mencionada no item anterior, foram incorporadas caractersticas que representam a complexidade em um processo decisrio e sua indissociabilidade para com a subjetividade (DUTRA, 2005). Com isso, as novas metodologias desenvolvidas passaram a se diferenciar dos modelos tradicionais da Pesquisa Operacional devido mudana paradigmtica. Essas metodologias, denominadas multicritrio, incorporaram instrumentos visando estruturar o raciocnio em situaes de decises complexas, em que estejam presentes mltiplos pontos de vista. Em funo da diferente origem, crenas e contexto de atuao dos pesquisadores, formaram-se basicamente duas correntes de

85 pensamento devotadas s metodologias multicritrio, a Escola Americana da Tomada de Deciso e a Escola Francesa, ou Europia, do Apoio Deciso (DUTRA, 1998). A Escola Americana se desenvolveu sob o paradigma Positivista em que o decisor age em funo exclusiva de sua razo para a busca de uma soluo tima quantitativa (BANA e COSTA, 1993). Para isso, utiliza tcnicas de agregao multicritrio com critrio nico de sntese (LACAZE; GOMES; MACHADO, 2003). Dentre as metodologias multicritrio dessa escola encontra-se a Multicriteria Decision Making (MCDM). J, a Escola Europia, se desenvolveu sob o paradigma Construtivista. Os estudos de Roy (1990, 1993, 1994, 1996), Roy e Vanderpooten (1996), Roy e Bouyssou (1993), dentre outros, nortearam a incorporao do paradigma construtivista s novas abordagens de Avaliao de Desempenho (SCHNORRENBERGER, 1999). A utilizao do paradigma construtivista permitiu que fossem desenvolvidos instrumentos de avaliao que incorporam os critrios de valor julgados relevantes aos decisores em cada contexto, assim como um conjunto de condies e meios que lhes sirva de apoio s decises (SCHNORRENBERGER, 1999). Com isto, a Escola Europia no orientada para a Tomada de Deciso, mas, para Apoiar a Deciso por meio do desenvolvimento do entendimento, no decisor, das consequncias de suas decises sobre o contexto. Nesse caso, critrio a denominao utilizada para uma ferramenta que permite a soma de um conjunto de avaliaes de consequncias relacionadas a um mesmo Ponto de Vista, permitindo o estabelecimento de preferncias parciais (BOUYSSOU, 1990). Bouyssou (1990) afirma, ainda, que construir um critrio implica em escolher um Ponto de Vista, ao longo do qual, parece adequado estabelecer comparaes. Roy (1985), por sua vez, considera que os Pontos de Vista emergem aps uma anlise das vrias classes de consequncias. Por outro lado, Keeney e Raiffa (1976), Saaty (1980), Belton e Vickers (1990) e Keeney (1988), dentre outros, se posicionam favoravelmente pela decomposio hierrquica. A abordagem surgida com o uso desse novo paradigma a Metodologia Multicritrio de Apoio Deciso (MCDA). Dentre os diferentes instrumentos multicritrio desenvolvidos, destaca-se a metodologia Multicritrio de Apoio Deciso

86 Construtivista (MCDA-C). Na MCDA-C, o modelo de avaliao construdo a partir do contexto decisional pela elicitao das convices e valores dos decisores, de tal forma, que o modelo seja considerado, pelos decisores, adequado para apoiar suas decises (ROY, 1990). A MCDA-C se baseia em trs convices (Bana e Costa, 1993; Bana e Costa; Vansnick, 1995) que conferem sustentao filosfica construo dos modelos de Apoio Deciso. As trs convices so: (i) A interpenetrabilidade dos elementos objetivos e subjetivos, e sua inseparabilidade do processo decisrio, ou seja, a deciso uma atividade humana sustentada pela noo de valor; O construtivismo para o apoio deciso, devido, normalmente, os problemas estarem mal definidos e pouco claros; O aprendizado pela participao, uma vez que, interatividade no processo se torna a chave para a aprendizagem ao decisor.

(ii)

(iii)

Portanto, a MCDA-C se diferencia das demais abordagens de Avaliao de Desempenho por oferecer instrumentos que favorecem o aprendizado do decisor sobre seu problema, e entendimento das consequncias de possveis aes nos critrios que ele (decisor) julga importantes (SCHNORRENBERGER, 1999; ENSSLIN et al., 2010). Detalhadas as alteraes no ambiente competitivo e as correspondentes transformaes nos fundamentos que resultaram na evoluo das metodologias de Avaliao de Desempenho, sero apresentadas as definies para Avaliao de Desempenho identificadas na literatura. 2.2.4 Definies para Avaliao de Desempenho

Ao ser analisada a literatura sobre a Avaliao de Desempenho, assim como ocorreu para os Indicadores de Desempenho, se constatou que no h consenso quanto forma de defini-la. Bourne et al. (2000) definem a Avaliao de Desempenho como um exerccio cognitivo para traduzir vises das necessidades dos clientes e dos stakeholders em objetivos do negcio e medidas de performance apropriadas.

87 Para Amaratunga e Baldry (2002), Bourne et al. (2003), Tangen (2003, 2004); Neely, Gregory e Platts (2005) a Avaliao de Desempenho um processo que utiliza um conjunto de mtricas para quantificar a eficincia e a eficcia das aes. Nessa mesma linha, Kennerly e Neely (2002) defendem que um sistema de Avaliao de Desempenho permite que decises e aes sejam tomadas, uma vez que quantificam a eficincia e eficcia de aes passadas por meio da aquisio, separao, classificao, anlise, interpretao e disseminao de dados adequados. Para Santos, Belton e Howick (2002) avaliar o desempenho um processo que prov, ao decisor, informaes a respeito do grau de alcance dos objetivos organizacionais e de quo bem se est desempenhando as atividades. Por sua vez, Behn (2003) considera que o reflexo do que os decisores esperam ver e de como esperam responder. Verweire e Van den Berghe (2004) definem como um sistema de medio e de relatrios, que quantifica o grau com que os gerentes alcanam seus objetivos. J Neely e Powel (2004) consideram ser o entendimento do que est acontecendo dentro da organizao e de como introduzir aperfeioamentos. Por outro lado, Chenhall (2005) afirma ser um sistema elaborado para prover, aos decisores, informaes financeiras e nofinanceiras, que cubram diferentes perspectivas, de tal forma a traduzir a estratgia em um conjunto coerente de medidas de desempenho. Garengo, Biazzo e Bititci (2005) definem a Avaliao de Desempenho como um sistema balanceado e dinmico habilitado a sustentar o processo decisrio ao coletar, elaborar e analisar informaes. Halachmi (2005), por sua vez, afirma ser um subsistema dos esforos de gerenciamento do desempenho. J para Tapinos, Dyson e Meadows (2005) um fator com significativa influncia em sustentar o alcance das metas organizacionais e a eficincia e eficcia do processo de planejamento estratgico. A Avaliao de Desempenho para Kuwaiti (2004, p. 59) :
Uma coleo de atividades relacionadas projetado para, ao identificar e coletar dados, transform-los em informaes de desempenho relevantes, compreensveis e factveis, que permitam a avaliao precisa da extenso em que os objetivos estratgicos,

88
tticos e operacionais foram alcanados.

Elg (2007) v a Avaliao de Desempenho como um sistema que transforma dados de entrada em informaes teis para vrios tipos de decises na organizao. Por sua vez, Dutra (2003, 2005) define a Avaliao de Desempenho como um processo onde avaliar atribuir valor quilo que se considera relevante, face a determinados objetivos, identificando em qual nvel de desempenho se encontra e visando a promoo de aes de melhoria. Ou seja, trata-se de um processo que (DUTRA, 2005): (i) identifica os aspectos considerados importantes em um determinado contexto; (ii) avalia esses aspectos; (iii) visualiza o desempenho; e, (iv) promove aes de aperfeioamento. Diante da diversidade encontrada, para efeito desse estudo, ser adotada a definio do LabMCDA descrita por Ensslin (2009b): Avaliao de Desempenho o processo de gesto utilizado para construir, fixar e disseminar conhecimentos, no decisor, ao identificar, organizar, mensurar e integrar os aspectos do contexto por ele julgados relevantes, medindo em que grau os mesmos so alcanados e gerando propostas de aperfeioamento.

Portanto, o posicionamento para este estudo de que a Avaliao de Desempenho trata-se de um processo, o que ser detalhado no prximo item. 2.2.5 O Processo de Avaliao do Desempenho

A definio adotada nesse estudo, citada no item anterior, serviu de base para o desenvolvimento da representao do processo de Avaliao de Desempenho ilustrada na Figura 7.

89

Figura 7: Processo de Avaliao de Desempenho. : Fonte: Ensslin e Ensslin (2009) A partir da figura pode ser identificado que o processo de Avaliao de Desempenho , resumidamente, composto pela etapas da pelas construo do modelo de avaliao, pela sua operacionalizao e um , lao de feedback. A construo do modelo de avaliao engloba um conjunto de atividades cujas caractersticas posicionam-se, essencialmente no lado essencialmente, subjetivo do processo. A mais subjetiva atividade a identificao do que ser tido em conta na avaliao, ou seja, a identificao dos critrios julgados necessrios e suficientes para avaliar o contexto segundo a dos contexto, perspectiva do decisor (ENSSLIN; ENSSLIN, 2009). De uma forma um pouco mais objetiva, mas, ainda guardando um grau de subjetividade, a construo do modelo prossegue com a identificao de como medir as propriedades elicitadas e a construo das correspondentes escalas de mensurao. Construdas as escalas, so estabelecidos os padres de referncia, ou ancoragem, que definem o mnimo desempenho aceitvel e o nvel julgado de excelncia. O processo de construo do modelo no se encerra com essas cesso

90 atividades, j que devido ao aumento do entendimento do contexto proporcionado ao decisor, este passa a ter condies de rever seus posicionamentos iniciais e refinar o modelo, de tal modo, a mant-lo mais alinhado a seus interesses e preferncias (ENSSLIN; ENSSLIN, 2009). Uma vez construdo o modelo, sua operacionalizao se d por meio das mensuraes das propriedades identificadas, atividade esta, de cunho essencialmente objetivo factual. Os resultados obtidos por meio das mensuraes permitem que o decisor forme juzos de valor. Esses juzos, novamente com caractersticas subjetivas, possibilitam o estabelecimento de feedback, permitindo, assim, maior acuracidade e redirecionamento do modelo, de tal modo, a mant-lo dinmico s alteraes do ambiente e do sistema preferencial dos decisores. Essa interpretao permite elencar as atividades bsicas que compem o processo de Avaliao de Desempenho, conforme demonstrado na Figura 8.

Figura 8: Atividades que compem o processo de Avaliao de Desempenho. Fonte: Autor, a partir de Dutra (2003, 2005), Ensslin e Ensslin (2009). Neely e Bourne (2000) alertam que, muitas organizaes, falham em entender a importncia da identificao do que importante organizao, e, simplesmente, utilizam instrumentos como

91 brainstorming para iniciar diretamente a identificao do que deve ser medido. Como resultado, as organizaes que assim procedem muitas vezes somente repaginam as medidas j em uso e colaboram para a manuteno do desalinhamento estratgico (NEELY; BOURNE, 2000). Com isso, muitos atores, ao se depararem com o conjunto de medidas a ser utilizado, no conseguem ver lgica ou razo para utiliz-las. Portanto, o principal desafio na Avaliao de Desempenho no apenas identificar o que pode ser medido, mas identificar o que necessrio medir para se concentrar naquilo que realmente agrega valor organizao (THEPPITAK, 2004; NEELY; POWELL, 2004).

92 3. METODOLOGIA DE PESQUISA

Este item descreve os pressupostos metodolgicos adotados, e composto por: (i) Enquadramento Metodolgico; (ii) Processo para a Reviso Bibliogrfica; (iii) Anlise Bibliomtrica e Reviso Sistmica da Literatura; e, (iv) Instrumento de Interveno. 3.1 ENQUADRAMENTO METODOLGICO H a necessidade, conforme Miguel (2007), da evidenciao dos pressupostos metodolgicos utilizados no desenvolvimento de uma pesquisa cientfica, e esse embasamento caracterizado pela busca de uma abordagem de pesquisa adequada para responder s questes de pesquisa, bem como, dos mtodos e tcnicas empregados em seu planejamento e conduo. Para Demo (1995), a produo cientfica espelha o que a cincia imagina ser o mundo, porm, o que espelhado varia de escola para escola. Portanto, em funo dessa varincia, o pesquisador deve estar ciente de que oferece apenas um enfoque, um ponto de vista ou uma interpretao. A descrio do Enquadramento Metodolgico evidencia as escolhas efetuadas pelo pesquisador no que se refere s escolas de pensamento, auxiliando, assim, na preservao da coerncia e consistncia do uso dos instrumentos de pesquisa. Para orientar a evidenciao das escolhas metodolgicas da pesquisa, recorreu-se a Ensslin et al. (2008) e ao modelo utilizado por Petri (2005) e Moraes et al. (2010). Ambos os procedimentos so complementares, clarificando de uma forma mais transparente os posicionamentos metodolgicos. A primeira abordagem, a de Ensslin et al. (2008), evidencia o objetivo da pesquisa, composto pela natureza do objetivo e do estudo, a lgica da pesquisa, a abordagem selecionada, a natureza dos dados e dos resultados, assim como os procedimentos empregados. Para o presente estudo, a natureza do objetivo de carter exploratrio. Uma pesquisa exploratria tem como objetivo definir um problema com maior preciso, e, ao melhor compreend-lo, aumentar a familiaridade do pesquisador com o tema do estudo (VIEIRA, 2002). Contudo, a interpretao da expanso do conhecimento aberta a outras interpretaes para expanses futuras. A operacionalizao do carter

93 exploratrio se d por meio dos objetivos geral e especficos. A natureza do estudo aqui apresentado, por sua vez, de carter terico, na forma conceitual prtica, porque foi definida uma estrutura, ou modelo, para avaliar a seleo/construo dos Indicadores de Desempenho, cujo resultado, visa auxiliar decisores a aperfeioar a utilizao dos instrumentos de Avaliao de Desempenho. A lgica da pesquisa mista, indutiva na fase de Estruturao e dedutiva na fase de Avaliao. A pesquisa desenvolvida possui abordagem quali-quantitativa. qualitativa nas fases de Estruturao do modelo de avaliao dos indicadores, na construo de suas escalas ordinais e na fase de Recomendaes. Por outro lado, quantitativa quando da transformao das escalas ordinais em cardinais. Os resultados do estudo possuem carter de pesquisa aplicada. Isto se deve a que foram gerados conhecimentos que auxiliaro a soluo de problemas prticos especficos (ENSSLIN et al., 2008). Tendo em vista a pesquisa se desenvolver em contextos onde existem mltiplos critrios, com mltiplas interpretaes, com critrios que competem entre si, critrios no bem entendidos, critrios onde os decisores tm dificuldades para explicitar a escala para mensur-los, torna-se recomendvel o uso de uma metodologia que tenha em conta estas propriedades. Do mesmo modo que, ao construir modelos para avaliar o desempenho em sistemas organizacionais, os valores individuais do(s) decisor(es) devem ser considerados (SKINNER, 1986; ROY, 1993, 1996, 2005; KEENEY, 1992; LANDRY, 1995; BANA e COSTA et al., 1999; entre outros). Portanto, o instrumento de interveno selecionado para ser utilizado no desenvolvimento do modelo de avaliao dos indicadores foi a Metodologia Multicritrio de Apoio Deciso Construtivista (MCDA-C), que uma metodologia desenvolvida para lidar com contextos com as caractersticas descritas, e que considera os valores individuais dos decisores, conforme recomendado acima. Para o alcance dos objetivos propostos os procedimentos utilizados foram a Pesquisa Bibliogrfica e o desenvolvimento de um Estudo de Caso, para testar o modelo proposto. Por outro lado, o Modelo de Enquadramento Metodolgico de Pesquisa Cientfica de Petri (2005) e Moraes et al. (2010) favorece o evidenciamento metodolgico quanto viso do conhecimento, o paradigma cientfico, a estratgia de pesquisa, o mtodo de pesquisa e os instrumentos utilizados. Esses evidenciamentos encontram-se

94 detalhados a seguir. a) Viso do Conhecimento A Viso do Conhecimento indica o posicionamento do pesquisador frente origem do conhecimento. Para Trivios (1992) e Landry (1995), a origem do conhecimento pode ser explicada por diferentes correntes filosficas, dentre as quais a do Objetivismo, do Subjetivismo e do Construtivismo. No Objetivismo, a realidade independe da influncia do sujeito, ou seja, a realidade no sofre alteraes em funo dos sentimentos, desejos, esperanas ou medos do observador, e, assim, a razo se torna o nico meio de perceber a realidade e nica fonte de conhecimento (RAND, 1962). Diferentemente, o Subjetivismo afirma que o sujeito tem predominncia sobre o objeto, o que faz com que o conhecimento seja inerente ao sujeito, ou observador. Como consequncia, os problemas cientficos no tm existncia prpria, uma vez que dependem essencialmente da percepo do sujeito (LANDRY, 1995). Ao longo do continuum que separa essas duas vises encontram-se escolas cientficas que adotam diferentes posicionamentos quanto ontologia, epistemologia e mtodos, conforme ilustrado na Figura 9.

Figura 9: Continuum entre as vises do conhecimento subjetivista e objetivista. Fonte: Morgan e Smircich (1980). Ao longo do continuum representado na Figura 9 encontra-se a viso do conhecimento do Construtivismo. Sua denominao origina-se

95 do latim struere, cujo significado organizar, dar estrutura. Caractersticas precursoras do construtivismo so encontradas nos estudos de Scrates, sculo V a.C, e em Giambattista Vico, sculos XVII e XVIII (CASTAON, 2005). No entanto, a viso moderna do construtivismo foi desenvolvida a partir de Kant no sculo XVIII, segundo o qual o processo do conhecimento ocorre por meio de uma organizao ativa, por parte do sujeito, com o uso de estruturas mentais do que lhe fornecido pelos sentidos, construindo, assim, representaes da sua realidade (CASTAON, 2005). No sculo XX diversas concepes tericas foram desenvolvidas sob a denominao construtivista. Dentre elas se tem a abordagem de Piaget, segundo o qual o sujeito um projeto a ser construdo para o qual nada est pronto, acabado, e que o conhecimento construdo pela interao do sujeito com o ambiente fsico e social (BECKER, 1994). Para Gnther (2006), independentemente do sentido empregado, os processos so resultado de construo social e, portanto, dependentes do contexto e de seus atores, no se constituindo em uma realidade parte. E nesse processo de construo o sujeito assume um papel ativo na formao dos conceitos e interpretaes (RYCHLAK, 1999). Na cincia do Apoio Deciso, o paradigma do construtivismo foi incorporado por meio dos estudos de Roy (1993, 1994, 1996, 2005), Roy e Bouyssou (1993), Roy e Vandeerpoten (1996) e Bana e Costa (1993). Sob esse paradigma foi desenvolvida a Multicriteria Decision Aid (MCDA), para a qual o facilitador tem como papel desenvolver, no decisor, o conhecimento sobre o contexto ao lhe auxiliar a compreenso das repercusses de suas decises em seus valores. Portanto, a construo do entendimento do objeto se d segundo a percepo do decisor em funo do amalgamento, ou interpenetrabilidade, das caractersticas objetivas das alternativas com as caractersticas subjetivas dos valores do decisor (BANA e COSTA, 1993). H ento, uma intercambialidade no Apoio Deciso Multicritrio, segundo a qual o conhecimento no gerado no sujeito, nem no objeto, mas, pelo amalgamento entre ambos. Deste modo, no existe uma verdade absoluta, mas percepes individuais a respeito do contexto. Vises que no so verdade absoluta, pois so evolutivas. Outro axioma no qual se fundamenta o construtivismo no Apoio Deciso o da participao do decisor em cada etapa do

96 processo de construo do modelo de apoio decisrio (BANA e COSTA, 1993; ROY, 1996). E o terceiro axioma o do aprendizado, ou seja, o reconhecimento de que o decisor no possui conhecimento suficiente sobre o contexto para que sejam tomadas as decises (BANA e COSTA, 1993; ROY, 1996). A pesquisa aqui apresentada foi desenvolvida na Viso do Conhecimento construtivista de Roy, por considerar: (i) essencial a participao ativa do decisor no processo de gerar conhecimento em relao ao seu contexto; (ii) que o decisor possui limitado entendimento do contexto; e, (iii) que o conhecimento a ser gerado no decisor resultado do amalgamento entre as caractersticas objetivas do objeto com as caractersticas subjetivas dos valores do decisor. b) Paradigma Cientfico Na produo de cincia se faz necessrio utilizar determinados mtodos e tcnicas para o alcance dos objetivos da pesquisa, cuja escolha deve evidenciar o posicionamento paradigmtico adotado (BORGES; DALBERIO, 2007). O conceito de Paradigma foi elaborado por Khun (1962, p. 13) como sendo realizaes cientficas universalmente reconhecidas que, durante algum tempo, fornecem modelos para problemas e solues a uma comunidade de praticantes da cincia. Morgan (1980, p. 607), considera os paradigmas como realidades alternativas que denotam uma viso implcita ou explcita da realidade, mediante suposies que caracterizam uma viso de mundo. Os paradigmas tambm podem ser entendidos, segundo Oakley (1999, p. 155), como uma matriz de crenas a respeito das teorias, questes de pesquisa e dados de pesquisa, ou, conforme Demo (1995, p. 56), caminhos cientficos reconhecidos como seguros em determinada poca. Os paradigmas podem conter diversas escolas de pensamento que se baseiam na aceitao e utilizao de diferentes metforas como fundamento para a investigao (MORGAN, 1980). Dentre as diversas abordagens encontram-se o Positivismo, a Fenomenologia e o Marxismo. No Positivismo a representao dos eventos realizada somente pelos fatos observveis, que so independentes da vontade ou dos valores do pesquisador (SCHAEFER, 2005). Desse modo, o objeto, ou fenmeno, algo objetivo,

97 quantificvel, estvel e diretamente mensurvel (MERRIAM, 1998). E, uma vez que os valores no podem constituir-se em conhecimento cientfico, as leis so invariveis e podem ser generalizadas (TRIVIOS, 1992). Portanto, no Positivismo, qualquer tipo de subjetividade ou julgamento de valor no considerado, impondo-se a preciso cientfica isenta de julgamentos de valor (BORGES; DALBERIO, 2007). Por outro lado, a Fenomenologia considera que a realidade construda pelas interaes entre o sujeito e o mundo, e, no entendimento do significado que as pessoas construram por meio de suas experincias no contexto em que esto inseridas, reside seu maior interesse (MERRIAM, 1998). Para a Fenomenologia, o conhecimento emana a partir de uma viso pessoal, fazendo com que tudo o que se sabe, se sabe a partir de uma viso pessoal, ou de uma experincia pessoal (MERLEAUPONTY, 1971). A adoo do paradigma fenomenolgico possibilita desvendar o que h alm da aparncia, o que no est evidente de imediato, o que necessrio descobrir (MASINI, 1997). Na Fenomenologia, a interpretao dos fenmenos se d com o objetivo de decifrar os sentidos menos aparentes, e, assim, a adoo desse paradigma furta-se validao do j conceituado, do j pensado, sem prvia reflexo, e volta-se para o que no foi pensado (MASINI, 1997, p. 66). Na terceira abordagem, o Marxismo, a matria o princpio fundamental, existindo independentemente da conscincia, que seu produto (RICHARDSON, 1999). O paradigma marxista busca explicaes coerentes, lgicas e racionais para os fenmenos da sociedade e do pensamento (TRIVIOS, 1992). Suas principais caractersticas so (TRIVIOS, 1992): (i) materialidade do mundo: todos os fenmenos, objetos e processos so materiais; (ii) a matria anterior conscincia; e, (iii) o mundo conhecvel. Desse modo, ao se adotar o paradigma marxista deve-se ter em mente que sua viso de mundo dialtica da realidade natural, social e do pensamento, e que estes so possveis de se conhecer (TRIVIOS, 1992). A pesquisa aqui apresenta foi desenvolvida sob o paradigma da Fenomenologia, pois o pesquisador se posiciona favoravelmente pela viso de que o conhecimento emana de uma viso pessoal

98 (personalizada) do contexto. c) Estratgia de Pesquisa Este estudo adotou trs critrios para evidenciar o enquadramento metodolgico quanto estratgia de pesquisa (MORAES et al., 2010): (i) abrangncia; (ii) grau de interferncia; e, (iii) forma de interveno. Em relao ao primeiro critrio, a abrangncia, uma pesquisa pode ser Universal ou Particular. A pesquisa Universal preocupa-se com a busca de novas teorias que possam ser generalizadas para fenmenos que atendam aos critrios de repetibilidade. Por outro lado, na pesquisa Particular, a validade est limitada ao contexto do Estudo de Caso (MORAES et al., 2010). Quanto ao grau de interferncia, o segundo critrio, a pesquisa pode ser obstrusiva ou no-obstrusiva. Caso a atuao do pesquisador exera influncia no contexto, se ter uma pesquisa obstrusiva (MCNEILL; CHAPMAN, 2005). Por sua vez, quando a atuao do pesquisador no interfere no comportamento do que est sob observao, se tem uma pesquisa noobstrusiva (PATTON, 1987). A partir da combinao dos critrios anteriores, surgem diferentes formas de interveno no fenmeno, o que constitui o terceiro critrio. A Figura 10 exibe o Circumplexo de MacGrath, no qual esto presentes os trs critrios de enquadramento metodolgico para a definio do tipo de Estratgia de Pesquisa a ser empregada.

99

Figura 10: Circumplexo com os critrios definidores da Estratgia de Pesquisa. Fonte: McGrath (1984, pg. 32) Uma vez que o estudo foi desenvolvido de forma a incorporar os elementos de valor do contexto, sob a perspectiva do pesquisador, o mesmo abrangncia Particular. Devido atuao do pesquisador no alterar as propriedades do contexto, o qual serviu de base para a construo do modelo, quanto ao critrio do grau de interferncia, a pesquisa no-obstrusiva.

100 Com o apoio da Figura 10, define-se a estratgia de pesquisa como Estudo de Campo, por se tratar daquela que possui maior preocupao com o carter do contexto, e ser no-obstrusiva. Para demonstrar a aplicabilidade do modelo construdo foi desenvolvido um Estudo de Caso, no qual foram avaliadas, quanto a seus indicadores, aplicaes de Avaliaes de Desempenho publicadas. O uso do Estudo de Caso, conforme Meredith (1998), pode ser utilizado para testar o desenvolvimento de questes especficas, ou testar aspectos de uma nova proposta terica. d) Mtodo de Pesquisa Quanto ao Mtodo de Pesquisa, a pesquisa pode ser Qualitativa, Quantitativa ou Qualitativa-quantitativa. Uma pesquisa Qualitativa pressupe que (GNTHER, 2006): (i) a realidade social uma construo e atribuio social de significados; (ii) a nfase est no carter processual e na reflexo; (iii) as condies de vida tornam-se relevantes por meio de significados subjetivos; e, (iv) o carter social da realidade permite que a construo das realidades sociais seja o ponto de partida das pesquisas. Como, na pesquisa Qualitativa, os acontecimentos no esto desvinculados da vida fora do ambiente de pesquisa, a contextualizao se torna o fio condutor das anlises (GNTHER, 2006). O que requer, ainda para Gnther (2006), um processo de reflexo contnua e uma interao constante entre o pesquisador e o objeto de estudo. Na pesquisa Qualitativa, o interesse maior est na compreenso, ou entendimento dos fenmenos vivenciados (MERRIAM, 1998; GNTHER, 2006). A pesquisa Quantitativa, por outro lado, mantm o foco na descrio, confirmao de hipteses e descoberta das causas ou fatos do fenmeno social, cuja compreenso, se d por meio da explicao das relaes fsicas entre as variveis (GNTHER, 2006). Para isso so usados instrumentos matemticos ou estatsticos que orientam os estudos a resultados generalizveis, uma vez que a realidade assumida como estvel. Contudo, a diviso entre pesquisa Qualitativa e Quantitativa social e historicamente construda, pois h instrumentos que no se enquadram inteiramente em nenhum dos dois (OAKLEY, 1999). Nesse caso, se tem o mtodo de pesquisa Qualitativo-quantitativo, que se trata de uma combinao de instrumentos dos dois mtodos anteriores. O mtodo Qualitativo-quantitativo ajuda o pesquisador a

101 entender o fenmeno ao orientar a pesquisa aos meios e processos que conduzem compreenso do porqu de certas caractersticas ou efeitos ocorrem, ou no (MEREDITH, 1998). Conforme Ensslin e Vianna (2008), o mtodo Qualitativoquantitativo predominante em Engenharia de Produo, por abordar estudos cujas questes so pouco estruturadas e nos quais os problemas envolvem mltiplos atores, contextos e processos. A pesquisa desenvolvida sobre os Indicadores de Desempenho, aqui apresentada, utiliza o mtodo Qualitativo-quantitativo, em funo do desenvolvimento do modelo de avaliao dos indicadores envolver contexto no estruturado, diferentes sistemas de valores, mltiplos processos e, o instrumento de interveno utilizado para a construo do modelo, utilizar procedimentos qualitativos na fase de Estruturao e quantitativos na fase de Avaliao. e) Instrumentos Realizado o evidenciamento do enquadramento metodolgico para os critrios anteriores, se faz necessria a definio dos Instrumentos de Pesquisa utilizados. Alguns dos instrumentos disponveis ao pesquisador se encontram associados estratgia de pesquisa selecionada (PETRI, 2005). Yin (2005) classifica os instrumentos de pesquisa em entrevistas, questionrios e anlise documental. Por meio de entrevistas, o pesquisador tem como objetivo capturar as impresses sobre o assunto diretamente com o ator participante do fenmeno, e estas, podem ser estruturadas, semiestruturadas ou no estruturadas (TRIVIOS, 1992; PETRI, 2005). Gnther (2006) classifica as entrevistas em focalizada, semipadronizada, centrada no problema e centrada no contexto. Os questionrios podem ser abertos, no qual o entrevistado pode discorrer sobre o assunto, ou fechados, no qual o entrevistado direcionado a respostas padronizadas. Por fim, quando a pesquisa mais investigativa e individual, pode-se recorrer anlise documental (PETRI, 2005). Nesse caso, possvel extrair e sumarizar resultados por meio de meta-anlise e revises de literatura (GNTHER, 2006). O estudo sobre os Indicadores de Desempenho utilizou a anlise documental: (i) para realizar a Reviso Sistmica da Literatura; (ii) para elicitar os Elementos Primrios de Avaliao, quando da

102 construo do modelo de avaliao dos indicadores; e, (iii) quando do desenvolvimento do Estudo de Caso. A Figura 11 evidencia, na cor cinza, os posicionamentos metodolgicos adotados.

Figura 11: Enquadramento metodolgico da pesquisa. Fonte: a partir de Petri (2005), Moraes et al. (2010) 3.2 PROCESSO PARA A REVISO BIBLIOGRFICA A fim de transparecer os passos empregados para a seleo do conjunto de publicaes da amostra bibliogrfica utilizada, que serviu de base para a formulao da pergunta de pesquisa, foi utilizado o processo para a Reviso Bibliogrfica desenvolvido no LabMCDA (GIFFHORN; ENSSLIN; VIANNA, 2009; VIANNA; ENSSLIN; GIFFHORN, 2010; TASCA et al., 2010).

103 O procedimento utilizado composto pelas seguintes etapas: (i) seleo das Bases de Dados; (ii) definio do conjunto de palavraschave e suas combinaes; (iii) busca de artigos nas Bases de Dados; (iv) anlise por critrios de alinhamento ao contexto da pesquisa; (v) reconhecimento cientfico (nmero de citaes recebidas); (vi) excluso pela anlise dos resumos, segundo seu alinhamento ao contexto da pesquisa; (vii) excluso devido restrio obteno do texto completo; e, (viii) alinhamento ao contexto da pesquisa ao realizar a leitura integral. A descrio detalhada dos procedimentos adotados em cada etapa do processo encontra-se no Anexo A. O quantitativo resultante de cada etapa da aplicao do processo : Bases de Dados consultadas: 17; Publicaes selecionadas (com redundncia entre as Bases): 8639; Publicaes selecionadas (sem redundncia entre as Bases): 5315; Publicaes selecionadas aps leitura dos ttulos: 230; Publicaes selecionadas aps leitura dos resumos: 44; Publicaes selecionadas aps leitura integral: 39.

O uso do processo para a Reviso Bibliogrfica possibilitou a seleo de artigos/teses a compor o referencial bibliogrfico da pesquisa, evidenciando, em cada etapa, quais foram os critrios utilizados para a permanncia/excluso de cada publicao do conjunto amostral. Assim, ficou assegurada a transparncia quanto ao processo da escolha do conjunto de publicaes consideradas. O Quadro 6 apresenta os 39 artigos/teses selecionados para compor o Referencial Bibliogrfico da pesquisa. A fim de simplificar a notao, a tese selecionada tambm recebeu, neste estudo, a denominao artigo. Quando a diferenciao se fizer necessria, ser explicitada no texto. Com isto, conforme pode ser constatado no quadro, cada artigo recebeu um rtulo identificador, em que A significa Artigo.

104

105

Quadro 6: Artigos selecionados para compor o Referencial Bibliogrfico. Fonte: autor.

106

107
A essa amostra de 39 artigos foi realizada a Anlise Bibliomtrica e Reviso Sistmica da Literatura, descritas a seguir. 3.3 ANLISE BIBLIOMTRICA E REVISO SISTMICA DA LITERATURA Este item descreve a Anlise Bibliomtrica realizada na amostra selecionada e o processo adotado para efetuar a Reviso Sistmica da Literatura. 3.3.1 Anlise Bibliomtrica

A finalidade de realizar uma Anlise Bibliomtrica, no conjunto amostral, a de posicionar a pesquisa desenvolvida em relao ao que est sendo feito pela comunidade cientfica. Por meio da bibliometria possvel traar um quadro ilustrativo de quem est pesquisando, o que est sendo feito, onde ocorrem as publicaes, quem so os autores mais produtivos, e referenciados, e qual a tendncia de interesse demonstrada em relao ao tema da pesquisa. Em virtude disso, os artigos foram analisados segundo os seguintes critrios bibliomtricos: (a) distribuio temporal; (b) distribuio por fonte de publicao; (c) distribuio por autor; (d) distribuio por Base de Dados; (e) nmero de citaes recebidas; (f) referncias utilizadas pelos autores; e, (g) autores da amostra com maior destaque. a) Distribuio Temporal Realizar uma distribuio temporal dos artigos da amostra permite ilustrar a tendncia de interesse da comunidade cientfica em publicar sobre o assunto, ou seja, se o tema continua sendo pesquisado, se h uma estabilidade ou decrscimo em seu interesse. A Figura 12 apresenta a distribuio temporal de publicao dos artigos da amostra do referencial bibliogrfico.

108

Figura 12: Distribuio temporal dos artigos da amostra. Fonte: autor. Pode ser constatado que h uma relativa regularidade de publicaes no intervalo de tempo pesquisado, o que evidencia que h esforos da comunidade cientfica em explorar o assunto. b) Distribuio por Fonte de Publicao Outra anlise bibliomtrica realizada foi com relao fonte de publicao do artigo da amostra. A identificao dessa informao permite o reconhecimento de quais so os peridicos mais alinhados ao tema da pesquisa (quem mais publica e mais receptivo a receber artigos, segundo os critrios do processo apresentado). A Figura 13 mostra o histograma da distribuio dos artigos da amostra, conforme o peridico em que foi publicado.

109

Figura 13: Distribuio dos artigos da amostra por fonte de publicao. Fonte: autor. A interpretao da figura permite concluir que 4 peridicos concentram 56% do total de publicaes (22 artigos do total de 39), e a quantidade restante est distribuda em 1 artigo para cada peridico. c) Distribuio por Autor Uma terceira anlise bibliomtrica feita foi quanto ao quantitativo de artigos por autor. Nesse caso, foi somado o nmero de vezes que cada autor est presente na amostra. Uma vez que h artigos com mais de um autor, a quantia total de autores supera a de artigos. Por meio dessa informao forma-se um quadro dos autores que mais tm publicado sobre o assunto, de acordo com os critrios estabelecidos no processo de identificao da amostra. Por meio desta contagem identificou-se a quantia de 86 autores contidos na amostra bibliogrfica. Contudo, somente 9 esto presentes em mais de um artigo.

110 O resultado dessa anlise est apresentado na Figura 14.

Figura 14: Nmero de vezes que cada autor est presente na amostra. Fonte: autor. Na Figura 14, esto representados os autores que esto presentes em mais de um artigo. J a indicao Demais Autores se refere queles autores presentes uma nica vez na amostra, que esto relacionados no Quadro 7.

111

Quadro 7: Autores presentes uma nica vez na amostra. Fonte: autor. d) Distribuio por Base de Dados A quarta informao bibliomtrica obtida a partir do conjunto amostral do referencial bibliogrfico foi quanto Base de Dados em que

112 o artigo selecionado est hospedado. Nesse caso, quando um artigo est disponvel em mais de uma base, foi somada uma contribuio a cada base em que o mesmo foi identificado. A Figura 15 ilustra o histograma da contribuio das Bases de Dados.

Figura 15: Histograma de contribuio das Bases de Dados para a amostra. Fonte: autor. Os artigos/teses da amostra aparecem 78 vezes nas Bases de Dados formadoras da amostra. A figura permite apontar que 12 Bases de Dados contriburam para a amostra de 39 artigos/teses, e que 3 delas (Emerald, CSA Illumina e ISI Web) concentraram 66 % da contribuio amostra. e) Nmero de Citaes Outra anlise bibliomtrica realizada consistiu em identificar o nmero de citaes recebidas no Google Acadmico para cada artigo da

113 amostra. Essa informao j foi obtida para o item 3.2. - Processo para a Reviso Bibliogrfica, Anexo A.4 (nmero de citaes recebidas). O que se faz aqui evidenciar o quantitativo para o conjunto selecionado para o Referencial Bibliogrfico. A Figura 16 ilustra o nmero de citaes recebidas para a amostra do referencial em 06 de outubro de 2010. Na Figura, a notao utilizada no eixo das ordenadas refere-se ao rtulo recebido pelos artigos da amostra conforme consta no Quadro 6 - Artigos selecionados para compor o Referencial Bibliogrfico.

114

115

Figura 16: Nmero de citaes do conjunto amostral no Google Acadmico. Fonte: autor.

116

117
A interpretao da Figura 16 permite observar que somente dois artigos/teses no tiveram citaes no Google Acadmico na data da pesquisa. E que os 10 artigos mais citados representam cerca de 78,5 % do total de citaes (3384). f) Referncias Utilizadas pelos Autores

Para a obteno das referncias bibliogrficas utilizadas pelos autores do conjunto amostral, foram listadas as referncias constantes nos 39 artigos selecionados e somado o nmero de vezes que cada publicao estava presente. Foram feitas duas ordenaes dos resultados, a primeira pelo ttulo da publicao e a segunda pelos autores das publicaes utilizadas nas referncias. Por meio da primeira ordenao, ttulo das obras utilizadas como referncia, se buscou identificar quais as obras mais utilizadas como referncia bibliogrfica pelos autores da amostra selecionada. Foi constatado o uso de 1756 publicaes pelos autores da amostra. Porm, somente 22 publicaes foram utilizadas como referncia 5 ou mais vezes. O Quadro 8 apresenta as 10 obras mais utilizadas como referncia pelos autores da amostra.

118

Quadro 8: As 10 obras mais utilizadas como referncia pelos autores da amostra. Fonte: autor. Por outro lado, a segunda ordenao, pelos autores das publicaes utilizadas nas referncias, permite identificar quem so os autores mais referenciados quando o tema de pesquisa Indicadores de Desempenho, segundo os critrios estabelecidos no Processo de Identificao do Referencial Bibliogrfico. A Figura 17 expe a relao dos 20 autores mais contemplados entre as referncias da amostra, no importando se houve autocitao nos artigos.

119

Figura 17: Os 20 autores mais presentes entre as referncias da amostra. Fonte: autor. Com o objetivo de constatar o grau de impacto das autocitaes foi feita nova ordenao dos autores mais referenciados, agora excluindo as autocitaes. Com isso, a relao dos 20 autores mais empregados como referncia na amostra est indicada na Figura 18.

120

Figura 18: Os 20 autores mais presentes entre as referncias da res amostra excluindo-se as autocitaes. Fonte: autor. A Figura 19 ilustra os deslocamentos ocorridos nos dois levantamentos dos autores mais presentes nas referncias, com e sem autocitao. Conforme pode ser constatado pela figura, apenas Kennerly atado deixou de pertencer ao grupo dos 20 autores mais referenciados, fazendo com que Dixon aparea na lista. Deste modo, conclui que as te conclui-se autocitaes presentes na amostra so resultado da evoluo da linha de citaes pesquisa dos pesquisadores, pois os mesmos, ainda assim so assim, referenciados pela comunidade cientfica.

121

Figura 19: Comparativo dos autores mais utilizados nas : referncias ao retirar as autocitaes. Fonte: autor. g) Autores da Amostra com Maior Destaque A ltima informao quantitativa realizada no conjunto de formao artigos selecionados para compor o Referencial Bibliogrfico foi a identificao dos autores de maior destaque na amostra. Para a obteno dessa informao se fez um cruzamento entre o nmero de citaes recebidas no Google Acadmico (item 3.3.1.e) com o o nmero de vezes que o autor principal do artigo foi utilizado como referncia na amostra selecionada (item 3.3.1.f).

122 Nesse caso, foi considerado autor principal aquele autor que foi mais utilizado como referncia na amostra. A Figura 20 ilustra o resultado do cruzamento das informaes. A Figura foi dividida em quatro quadrantes conforme a combinao entre o nmero de citaes do artigo no Google Acadmico e o nmero de vezes que o autor principal est presente na amostra. O maior valor das abscissas e das ordenadas serviu de referncia para a diviso dos eixos ao meio e assim determinar a delimitao entre os quadrantes. O Quadrante 1 contm os artigos pouco citados no Google Acadmico, porm cujos autores principais esto muito presentes entre as referncias da amostra. Percebe-se uma grande concentrao no Quadrante 2, que contm os artigos com pouca citao no Google Acadmico e cujos autores principais foram pouco utilizados nas referncias dos artigos selecionados. O Quadrante 3 abriga os artigos com elevada citao no Google Acadmico e autores principais pouco utilizados nas referncias. O Quadrante 4 por sua vez abriga os artigos com elevado nmero de citaes no Google Acadmico e cujo autor principal tambm teve uma elevada presena entre as referncias da amostra. Ou seja, esse quadrante contm os artigos com maior destaque do conjunto amostral.

123

Figura 20: Autores da amostra com maior destaque. Fonte: autor.

124

125
Conforme pode ser constatado pela Figura, o artigo de maior destaque na amostra o A32: Neely, A; Gregory, M.; Platts, K., Performance measurement system design: a literature review and research agenda. International Journal of Operations & Production Management, v. 25, n. 12, p. 1228-1263, 2005.

3.3.2

Reviso Sistmica da Literatura

Ao conjunto de artigos selecionados para compor a amostra do Referencial Bibliogrfico foi aplicado um processo de Reviso Sistmica da Literatura. A utilizao deste processo resultou na identificao de oportunidades de pesquisa, baseada nas quais, emergiu a pergunta de pesquisa que norteou o presente estudo. A Reviso Sistmica desenvolvida compe-se de: (a) seleo dos critrios de anlise; (b) anlise do contedo dos artigos, segundo os critrios de anlise; (c) anlise dos artigos, segundo os eixos de avaliao. a) Seleo dos Critrios de Anlise O primeiro passo da Reviso Sistmica consistiu na definio dos critrios com os quais o contedo dos artigos seria analisado. Para identificar os critrios ou dimenses a serem tidas em conta, necessrio assumir um alinhamento com uma escola de pensamento. Este trabalho est alinhado escola do LabMCDA da Universidade Federal de Santa Catarina, que adota para a Avaliao de Desempenho a definio de Ensslin (2009b), descrita no item 2.2.4 Definies para Avaliao de Desempenho. A partir dessa definio foram estabelecidos os 9 critrios de anlise, que esto explicitados no Quadro 9, com as respectivas justificativas para sua escolha.

126

Quadro 9: Critrios utilizados para a Reviso Sistmica da Literatura. Fonte: autor.

127 b) Anlise de Contedo dos Artigos Selecionados Selecionados os critrios de anlise do contedo, os artigos foram lidos. A leitura dos artigos permitiu verificar se, e de que forma, os artigos atendiam aos critrios selecionados. Os resultados foram organizados em uma planilha, na qual, cada critrio de avaliao corresponde a uma coluna. Cada coluna passou a ser um eixo de avaliao do artigo. O Anexo B apresenta as informaes obtidas a partir da anlise de contedo de cada artigo, segundo os critrios definidos. c) Anlise dos Eixos de Avaliao A seguir so descritos os resultados da anlise de cada eixo de avaliao. i) O artigo apresenta definio de Avaliao de Desempenho? Se sim, qual? Dos 39 artigos selecionados no conjunto amostral, somente 13 apresentam, de forma explcita, uma definio para Avaliao de Desempenho; Dos treze, 5 definem a Avaliao de Desempenho como um processo; Em 3 artigos a Avaliao de Desempenho um processo de quantificar a eficincia e efetividade das aes; Em 2 outros artigos a Avaliao de Desempenho um sistema para traduzir a estratgia em um conjunto coerente de medidas de desempenho ou para sustentar o processo decisrio; Dentre as demais definies pode ser constatado o uso de termos reflexo do que os decisores esperam ver, exerccio cognitivo para traduzir vises, fator de significativa influncia, entendimento do que est acontecendo, subsistema dos esforos de gerenciamento e coleo de atividades relacionadas. A Figura 21 ilustra a distribuio dos artigos para o primeiro critrio de anlise.

128

Figura 21: Distribuio dos artigos da amostra ao definir Avaliao de Desempenho. Fonte: autor. possvel concluir, a partir da Figura 21, que no h um consenso na comunidade cientfica quanto definio de Avaliao de Desempenho. Fica evidenciado que a Avaliao de Desempenho definida, quando o , conforme a perspectiva que o autor deseja destacar. Portanto, uma contribuio que pode ser feita para o tema a apresentao de uma definio que atenda s diferentes perspectivas do conjunto amostral. ii) O artigo apresenta definio de Indicador de Desempenho? Se sim, qual? Dos 39 artigos da amostra, somente 11 apresentam uma definio para Indicador de Desempenho; Dentre os que apresentam, 3 os definem como mtricas para quantificar a eficincia e/ou efetividade da ao; Em 2 artigos ocorre a incorporao do elemento estratgico por meio da afirmao que so medidas que sustentam a estratgia ou formulaes concretas das escolhas estratgicas da empresa;

129 Para 3 artigos a definio direcionada para a viso de sua utilidade quanto ao aperfeioamento do desempenho atual: medidas internas que focam na comparao de atividades e processos; medidas que provem a base para avaliar o quo bem se est progredindo; traduo de julgamentos subjetivos em mtricas para analisar e monitorar o aumento da performance; 1 artigo incorpora a finalidade de prover recursos para poder avaliar, e assim fazer julgamentos de valor; Em 1 artigo apresentada a definio que indicador uma aplicao que mapeia as manifestaes empricas em correspondentes manifestaes simblicas; E 1 artigo apresenta os Indicadores de Desempenho como fatores de desempenho com alto impacto na performance global.

A Figura 22 mostra a distribuio dos artigos da amostra para o segundo critrio de anlise, a presena, ou no, de uma definio para Indicador de Desempenho, e qual a definio empregada. A Figura 22 evidencia que 74% dos artigos da amostra no apresentam uma definio para Indicador de Desempenho. E, quando a apresentam, no h convergncia quanto forma de defin-lo. Deste modo, h uma oportunidade de contribuio para o tema Indicadores de Desempenho ao apresentar uma definio que, ao incorporar as diferentes perspectivas da amostra, explicite o que so, que propriedades possuem e qual sua serventia.

130

Figura 22: Distribuio dos artigos da amostra ao definir Indicador de Desempenho. Fonte: autor. iii) Qual o instrumento de interveno (metodologia) utilizado? Em 10 artigos da amostra seus autores no denominaram o instrumento de interveno utilizado; Em 7 artigos os autores empregaram o Balanced Scorecard; Outros 4 artigos abordaram o uso de vrias metodologias, apresentando um levantamento estatstico das mais utilizadas ou comparando as caractersticas dos diferentes instrumentos de interveno; Para 4 artigos foi utilizado o Performance Measurement System, sendo que 1 artigo empregou conjuntamente o BSC; Em 2 artigos foi utilizado o Dynamic Performance Measurement System;

131 Cada um dos 14 artigos restantes empregou diferentes instrumentos de interveno, conforme consta no Quadro 10.

Quadro 10: Denominao dos instrumentos utilizados uma nica vez na amostra. Fonte: autor. A Figura 23 apresenta a distribuio do nmero de artigos quanto denominao do instrumento (metodologia) de interveno. Devido dois artigos empregar mais de um instrumento de interveno (Dynamic Performance Measurement System e Multicriteria Decision Analysis; Performance Measurement System e Balanced Scorecard), o somatrio de instrumentos utilizados superior ao total de artigos.

132

Figura 23: Distribuio dos artigos quanto ao instrumento de uanto interveno. Fonte: autor. Conforme pode ser constatado, h uma multiplicidade de instrumentos de interveno (metodologia) utilizados pelos autores da amostra, o que revela a ausncia de um mtodo predominante. Por consequncia, fica evidenciada a necessidade do sidade desenvolvimento de um processo suficientemente abrangente, cientificamente vlido, que contemple as diferentes demandas ao desenvolver uma Avaliao de Desempenho. iv) H um processo para identificar os Indicadores de Desempenho? Em 11 artigos no h a meno de como os indicadores foram obtidos; Em 14 artigos os indicadores utilizados foram selecionados a partir de listas pr-existentes g existentes genricas, e a forma como foram obtidos variou entre pesquisa na literatura, questionrio ou indicadores j utilizados na s organizao; Em 6 artigos a identificao dos Indicadores de Desempenho foi feita por meio de entrevistas fechadas

133 com os gerentes, diretores ou em sesses de workshops com integrantes de diferentes partes da organizao; Para 3 artigos foram utilizadas entrevistas semi semiestruturadas; 2 artigos fizeram comparativos da forma como diferentes instrumentos de interveno se valem para identificar os indicadores; Em 2 artigos foram empregados mapas cognitivos a partir dos quais os decisores construram indicadores personalizados ao contexto decisrio; E em 1 artigo foi empregado entrevistas abertas, contudo sem especificar a sequncia de identificao dos indicadores.

A Figura 24 ilustra a distribuio dos artigos em relao ao processo de identificao dos Indicadores de Desempenho.

: Figura 24: Distribuio dos artigos quanto forma de obteno dos indicadores. Fonte: autor. A anlise do eixo de avaliao para o quarto critrio evidenciou que, exceto por dois dos artigos, a literatura no incorpora os aspectos do contexto no momento de identificar os indicadores a serem utilizados

134 nas Avaliaes de Desempenho. Portanto, uma oportunidade de contribuir ao tema reside em apresentar um processo de identificao dos Indicadores de Desempenho, que considere o contexto decisional no qual esto inseridos. v) H um processo para construir as escalas para mensurar os Indicadores de Desempenho? 23 artigos da amostra no apresentam como as escalas de mensurao foram construdas; Em 6 artigos as escalas foram obtidas a partir de listas genricas, da literatura ou j empregadas na organizao; Para 5 artigos foram empregadas entrevistas, workshops ou questionrios a partir dos quais houve a indicao da forma mensurar os indicadores; 2 artigos empregaram escalas de Likert; Um dos artigos analisou um template preenchido para identificar os indicadores e, em seguida, sem demonstrar a forma de operacionalizar, pensar em quais outcomes se deseja alcanar e traduzir as evidncias de seu alcance em medidas; E 2 artigos apresentaram um processo de construo de escalas por meio de uma estrutura hierrquica em trs nveis, na qual o primeiro nvel apresenta a mensurao global, o segundo nvel mensura as reas de preocupao e o terceiro nvel abrange as medidas de desempenho local. A Figura 25 mostra a distribuio dos artigos quanto forma de obteno das escalas de mensurao.

135

: Figura 25: Distribuio da forma de obteno das escalas de mensurao. Fonte: autor. sultado amostra, A interpretao do resultado da anlise da amostra para esse critrio, demonstra que a literatura, a menos de dois caso desconsidera casos, a relao isomrfica dos indicadores a um contexto. Desta maneira, possvel contribuir para o desenvolvimento do conhecimento sobre Indicadores de Desempenho ao apresentar um ores processo de construo de escalas, de tal forma, a atender propriedade da relao isomrfica do indicador ao seu contexto. vi) Ao mensurar os Indicadores de Desempenho, feita a diferenciao entre escalas ordinais e cardinais? Denomina o tipo de escala que usa? Para 36 artigos a distino do tipo de escala utiliza utilizada no feita, ou no abordam o assunto; 1 artigo mencionou a utilizao de escalas ordinais; Em apenas 2 artigos evidenciada a utilizao de da escalas ordinais em uma primeira etapa e escalas inais cardinais na segunda fase. A Figura 26 exibe os resultados da anlise dos artigos para esse

136 critrio.

Figura 26: Distribuio dos artigos quanto diferenciao do tipo de escalas utilizadas. Fonte: autor. Ficou constatado que 92% dos autores da amostra no fazem a distino do tipo de escalas utilizadas em seus instrumentos de interveno. Dessa forma, se tem a oportunidade de apresentar um processo de Avaliao de Desempenho cujas escalas de medio evidenciem que sua construo ocorra de tal forma a possibilitar operaes matemticas, alm das estatsticas da freqncia, contagem, mediana e moda. vii) H integrao dos Indicadores de Desempenho? 24 artigos selecionados na amostra no tratam do tema integrao de medidas de desempenho; Em 5 artigos o termo integrao das medidas utilizado para se referir a outros departamentos da organizao, diferentemente, portanto, da conotao matemtica; Para 8 artigos ocorre apenas o reconhecimento da necessidade de haver integrao entre as diferentes dimenses de desempenho, a considerao das relaes entre as medidas ou a determinao dos trade-offs visando a obteno de uma avaliao global; Somente 2 artigos apresentaram explicitamente a integrao de escalas visando fornecer uma avaliao

137 global concretizada por meio de funes de valor. Na Figura 27 ilustrada a distribuio dos artigos conforme o atendimento ao critrio em questo.

Figura 27: Distribuio dos artigos quanto utilizao da integrao de escalas. Fonte: autor. O resultado da anlise desse critrio indica que 75% da amostra no faz a integrao dos indicadores, ou a ela se refere com outra conotao, e que outra parcela substancial da amostra (21%) admite a necessidade de proceder a integrao, contudo, sem operacionaliz-la. Em somente dois artigos foi empregada efetivamente a integrao das escalas. Portanto, dada a importncia da integrao para que haja uma compreenso do desempenho global, torna-se recomendvel o uso de processos que contemplem essa atividade. viii) H um processo de gerenciamento? 16 artigos no tratam do assunto; 6 artigos no apresentam um processo de gerenciamento, no entanto, recomendam que o sistema deva ser dinmico, permitir revises peridicas ou que sua ausncia uma das fragilidades de muitos sistemas de Avaliao de Desempenho;

138 Para 17 artigos h a descrio, em diferentes graus de detalhamento, de processos de gerenciamento para os mtodos de Avaliao de Desempenho, alguns dos quais, se encerram na etapa de reviso, outros na distribuio das informaes, na sua utilizao ou na auditagem.

A Figura 28 apresenta o resultado da anlise dos artigos segundo esse critrio.

Figura 28: Distribuio dos artigos da amostra quanto existncia de um processo de gerenciamento. Fonte: autor. A Figura 28 demonstra a existncia de preocupao da comunidade cientfica no desenvolvimento de um processo que atualize o sistema de medidas visando a manuteno do alinhamento estratgico e a melhoria contnua. Porm, ainda assim, uma parcela aprecivel (41%) desconsidera a necessidade. Deste modo, recomenda-se a utilizao de instrumentos que incorporem etapas de gerenciamento do processo de Avaliao de Desempenho, de tal forma, a mant-lo alinhado s alteraes do contexto e ao sistema de valores dos decisores.

139 ix) H um processo para gerar aes de aperfeioamento? 35 artigos da amostra no apresentam uma etapa para gerar aes de aperfeioamento a partir do entendimento proporcionado pela Avaliao de Desempenho; 1 artigo afirma que a representao das capacidades habilita a identificao de aes de aperfeioamento; Em 1 artigo foi empregado o brainstorming e staff surveys para identificar as aes; 1 artigo defende que ao tornar cclico o processo de Avaliao de Desempenho, os gestores passam a ter maior entendimento do contexto decisrio, e assim, ficam habilitados a identificar inovadoras aes de aperfeioamento. E somente 1 artigo incorpora uma etapa no processo de Avaliao de Desempenho para, explicitamente, gerar aes de aperfeioamento do contexto. A Figura 29 contm a distribuio dos artigos da amostra quanto ao ltimo critrio de anlise Sistmica da amostra. A representao do resultado da anlise desse critrio demonstra que 90% dos artigos da amostra ignoram a etapa de gerar aes que aperfeioem o status quo. Contudo, o aperfeioamento do status quo o objetivo fim da utilizao de uma Avaliao de Desempenho, na qual os Indicadores de Desempenho so os meios de sua operacionalizao. Portanto, fica evidenciada a necessidade da utilizao de mtodos de Avaliao de Desempenho nos quais esteja evidenciada uma etapa de gerar aes de aperfeioamento. Diante disto, o item seguinte aborda o instrumento de interveno selecionado para desenvolver o modelo de avaliao dos Indicadores de Desempenho.

140

: Figura 29: Distribuio dos artigos quanto existncia de um processo para gerar aes de aperfeioamento. Fonte: autor. 3.4 INSTRUMENTO DE INTERVENO Em funo de seu diferencial em relao s demais abordagens multicritrio, foi adotado, como instrumento de interveno para a construo do modelo de avaliao dos indicadores, a metodologia Multicritrio de Apoio Deciso Construtivista (MCDA-C). C). Os primrdios dos fundamentos da MCDA-C so encontrados antes mesmo do surgimento das metodologias multicritrio (B as (BANA e COSTA; STEWART; VANSNICK, 1995). nte Contudo, foi somente a partir da dcada de 1980 que ocorreu sua consolidao como instrumento de gesto, por meio das pesquisas de, dentre outros (ENSSLIN et al., 2010): Skinner (1986), Keeney (1992): reconheceram que os conheceram atributos, objetivos ou critrios so especfic especficos ao decisor em cada contexto; Bana e Costa (1993): evidenciou as convices da denciou MCDA;

141 Landry (1995) e Roy (1996): estabeleceram os limites da objetividade para processos de apoio deciso.

A MCDA-C surge como uma ramificao da MCDA tradicional para apoiar os decisores em contextos complexos, conflituosos e incertos. Complexos por envolverem mltiplas variveis, qualitativas e quantitativas, parcialmente ou no explicitadas. Conflituosos por envolverem mltiplos atores, com interesses no necessariamente alinhados, e/ou com preocupaes distintas do decisor, que no tem interesse de confront-los. Incertos por requererem o conhecimento de informaes qualitativas e quantitativas, que os decisores reconhecem no saber quais so, mas, que desejam desenvolver este conhecimento para poder tomar decises conscientes, fundamentadas e segundo seus valores e preferncias (ENSSLIN et al., 2010). Para Roy (1994, 1996, 2005), os pesquisadores, e as abordagens em MCDA, podem ser separados em racionalistas ou construtivistas. Contudo, mesmo dentre aqueles que adotam o construtivismo como lgica de pesquisa, ocorre dificuldade em operacionalizar a estruturao do contexto com o reconhecimento dos limites da objetividade (ENSSLIN et al., 2010). A MCDA-C por sua vez, no apenas incorpora, mas prioriza a estruturao. Da mesma forma, que reconhece os limites da objetividade conforme salientado por diversos pesquisadores (ROY, 1996, 2005; BANA e COSTA, 1993; KEENEY, 1992; LANDRY, 1995; ZIMMERMANN, 2000; ENSSLIN; DUTRA; ENSSLIN, 2000; SHENHAR, 2001; ENSSLIN et al. 2010). Em funo disso, e respaldado por Munda (2003), que prope a adoo de siglas que identifiquem as tcnicas particularizadas de MCDA para diferenci-las da abordagem tradicional, metodologia Multicritrio de Apoio Deciso foi incorporada o C de Construtivista, que passou a ser designada Multicritrio de Apoio Deciso Construtivista (MCDA-C). Em termos tericos metodolgicos, a distino entre a MCDAC e as metodologias MCDA tradicionais reside, notadamente, no fato da MCDA tradicional restringir o apoio deciso a uma etapa de formulao e outra de avaliao, para selecionar, segundo um conjunto definido de objetivos (com pouca ou nenhuma participao do decisor), qual, dentre as alternativas previamente estabelecidas, a melhor (tima) (KEENEY, 1992; ROY; BOUYSSOU, 1993; ROY, 1996; GOODWIN; WRIGHT, 1998). A lgica de pesquisa da MCDA

142 tradicional a racionalista dedutiva, enquanto que a MCDA-C utiliza uma lgica de pesquisa construtivista mista (indutiva e dedutiva) (ROY, 1993). A problemtica das metodologias MCDA tradicionais a da escolha da soluo tima dentre alternativas pr-existentes. J na MCDA-C est em elicitar e melhorar as consequncias das decises tomadas pelo decisor. Se na MCDA tradicional a participao do decisor pode ser pouca ou nenhuma, na MCDA-C, sua participao requerida, de forma intensa, em todas as etapas da construo do modelo de avaliao (ENSSLIN et al., 2010). Dessa forma, as diferenas conceituais entre as abordagens MCDA tradicionais e a MCDA-C podem ser evidenciadas conforme constam no Quadro 11.

Quadro 11: Diferenas conceituais entre MCDA tradicional e MCDA-C. Fonte: adaptado de Ensslin et al. (2010). A MCDA-C utiliza diferentes instrumentos (entrevistas abertas, brainstorming, mapas de relaes meios-fins, etc.) para desenvolver, no decisor, conhecimentos suficientes sobre o contexto que lhe capacite compreender as consequncias de suas decises nos aspectos do contexto que ele considera importante (ENSSLIN et al., 2010). Deste modo, emerge o principal objetivo da MCDA-C, que gerar, ao decisor, maior conhecimento, entendimento ou compreenso, sobre os aspectos do contexto por ele considerados importantes. O processo de desenvolvimento do conhecimento do decisor realizado na metodologia MCDA-C em forma sistmica e Sistmica em trs grupos de atividades: Estruturao, Avaliao e Recomendaes, conforme representado na Figura 30.

143

Figura 30: Fases da MCDA-C. Fonte: Ensslin, Dutra e Ensslin (2000); Moraes et al. (2010). A Estruturao na metodologia MCDA-C tem como objetivo aumentar o entendimento do decisor ao identificar, organizar e mensurar, ordinalmente, as preocupaes que o mesmo considera necessrias e suficientes para avaliar o contexto. A Estruturao capacita o decisor a melhor alcanar um amplo entendimento ao tratar dos problemas (MILLER, 1970). Na metodologia MCDA-C, a Estruturao composta por trs etapas. A primeira, a Contextualizao, tem o foco na definio do problema, e operacionalizada por meio da identificao dos atores (decisores, intervenientes e agidos), da criao do rtulo que represente a preocupao principal e de um sumrio descritivo do problema (ENSSLIN; LONGARAY, MACKNESS, 2005; GIFFHORN, 2007; ENSSLIN et al., 2010).

144 Na segunda etapa, as entrevistas conduzidas com os decisores so analisadas para que sejam identificados os Elementos Primrios de Avaliao (EPAs) e construdos os correspondentes Conceitos. Os Conceitos so agrupados em reas de Preocupao, o que permite a identificao das relaes de influncias entre os mesmos formando os Mapas Meios-Fins, que, na seqncia, tm os ramos com preocupaes semelhantes agrupados em Clusters. Os Clusters, por sua vez, permitem a identificao das Dimenses de Avaliao, da Estrutura Hierrquica de Valor e a determinao dos Pontos de Vista Fundamentais (PVFs) (MORAES et al., 2010). Os Pontos de Vista representam os diferentes eixos ao longo dos quais os atores do processo decisrio justificam, transformam e argumentam suas preferncias. As comparaes feitas a partir desses critrios so preferncias parciais (restritas aos aspectos considerados no Ponto de Vista que define o critrio). A existncia de preferncias parciais implica na possibilidade de se fazer comparaes, mantidas inalteradas todas as outras coisas que no so consideradas na definio do critrio, o que central ao MCDA (BOUYSSOU, 1990). Na terceira etapa, so construdos os Descritores, que medem ordinalmente os PVFs. Quando um PVF no pode ser representado diretamente por uma escala ordinal, o mesmo decomposto at se chegar ao Ponto de Vista Elementar (PVE) (ENSSLIN; MONTIBELLER; NORONHA, 2001; PETRI, 2005; MORAES et al., 2010). A segunda fase da metodologia MCDA-C a Avaliao, que contribui para desenvolver o entendimento, no decisor, tambm por meio de trs etapas: a construo de escalas cardinais, a determinao das Taxas de Substituio e Avaliao Global. Obtidos os Descritores a metodologia MCDA-C solicita ao decisor que informe a diferena de atratividade entre os nveis das escalas ordinais. A partir destas informaes, constroem-se escalas cardinais que atendam os juzos de preferncias do decisor. Estas escalas denominam-se Funes de Valor (ENSSLIN et al., 2010). Em seguida, so estabelecidos os Nveis de ancoragem, Bom (100) e Neutro (0), transformando a escala em uma Escala de Intervalos Ancorada. Deste modo, os Nveis ncora Bom e Neutro tero igual grau de atratividade para todos os descritores e igual pontuao numrica para todas as funes de valor (ENSSLIN et al., 2010). Com base nas respostas do decisor, constri-se a Matriz de Julgamentos, cujos valores servem de entrada para a determinao das Funes de Valor.

145 Desse modo, qualquer nvel de impacto das escalas poder ser determinado com o uso de um processo que transforme escalas ordinais em cardinais, dentre os quais o Macbeth (Measuring Attractiveness by a Categorical Based Evaluation Technique), que emprega julgamentos semnticos para determinar a diferena de atratividade entre dois nveis, e, assim, serem determinadas as Funes de Valor (MORAES et al., 2010). Para que as Funes de Valor possam ser agregadas, primeiramente, testada a independncia entre elas e, a seguir, so construdas alternativas potencias fictcias utilizando os nveis de referncia. O decisor convidado, ento, a comparar distintas alternativas, a orden-las e, a seguir, expressar o grau com que prefere uma alternativa outra. Dentre as diferentes formas de obter as Taxas de Substituio, h a comparao par-a-par do mtodo Macbeth, que permite, ao decisor, expressar seus julgamentos de valor por meios semnticos, cuja operacionalizao pode ser realizada com o auxlio do software MMacbeth (BANA e COSTA; DE CORTE; VANSNICK, 2005). Uma vez construdas todas as Funes de Valor, e estabelecidas suas taxas de compensao, pode ser traado o Perfil de Impacto do modelo construdo. Por fim, a terceira fase, Recomendaes, expande o entendimento do contexto ao decisor, por meio de duas etapas: (i) Anlise de Sensibilidade; e, (ii) Elaborao de Recomendaes. A finalidade de efetivar uma Anlise de Sensibilidade avaliar a robustez do modelo ao serem alterados os julgamentos de valor na obteno das Taxas de Substituio, ou na determinao do desempenho de critrios especficos (MORAES et al., 2010). Sua operacionalizao pode ser feita com o uso do software Hiview, dentre outros (ENSSLIN; DUTRA; ENSSLIN, 2000; ENSSLIN; MONTIBELLER; NORONHA, 2001; PETRI, 2005; MORAES et al., 2010). Por fim, na etapa da Elaborao de Recomendaes, aos critrios que guardam possibilidades de aprimoramento no desempenho, so aplicados processos interativos para gerar recomendaes que visem o aperfeioamento do desempenho do status quo. Dessa forma, o conjunto de fases que compem a metodologia MCDA-C contribui para propiciar, ao decisor, compreenso das consequncias de suas potencias decises nos critrios por ele considerados relevantes. Em funo das potencialidades expostas, e das caractersticas

146 que a distinguem das demais abordagens multicritrio, conforme exposto no Quadro 11, e ao longo deste item, foi selecionada a metodologia MCDA-C como instrumento de interveno para a construo do modelo de avaliao dos indicadores da presente proposta de pesquisa.

147 4. CONTRIBUIO CIENTFICA

A anlise feita na Reviso Sistmica da Literatura, aplicada amostra do Referencial Bibliogrfico, revelou a existncia das seguintes lacunas nas aplicaes de Avaliao de Desempenho: a) Apresentao de uma definio para Avaliao de Desempenho que atenda s diferentes perspectivas do conjunto amostral; b) Apresentar uma definio para Indicador de Desempenho que, ao incorporar as diferentes perspectivas da amostra, explicite o que so, que propriedades possuem e qual sua serventia; c) Necessidade do desenvolvimento de um processo suficientemente abrangente, cientificamente vlido, que contemple as diferentes demandas ao desenvolver uma Avaliao de Desempenho; d) Apresentar um processo de identificao dos Indicadores de Desempenho, que considere o contexto decisional no qual esto inseridos; e) Apresentar um processo de construo de escalas, de tal forma, a atender propriedade da relao isomrfica do indicador ao seu contexto; f) Apresentar um processo de Avaliao de Desempenho, cujas escalas de medio evidenciem que sua construo ocorra de tal forma a possibilitar operaes matemticas, alm das estatsticas da freqncia, contagem, mediana e moda;

g) Recomendvel o uso de processos que contemplem a integrao para que haja uma compreenso do desempenho global; h) Utilizao de instrumentos que incorporem etapas de gerenciamento do processo de Avaliao de Desempenho

148 de tal forma a mant-lo alinhado s alteraes do contexto e ao sistema de valores dos decisores; i) Necessidade de utilizao de mtodos de Avaliao de Desempenho nos quais esteja evidenciada uma etapa de gerar aes de aperfeioamento.

Visando suprir essas lacunas, conforme mencionado no item anterior, foi selecionado o instrumento de interveno MCDA-C para a construo do modelo de avaliao dos indicadores. A Figura 31 assinala de que forma a construo do modelo de avaliao, mediante a metodologia MCDA-C, pode contribuir para que as lacunas identificadas fossem suprimidas. O instrumento de interveno selecionado foi utilizado como um meio para construir o modelo de avaliao, no almejando substituir os demais instrumentos. Com base no que foi exposto, destacam-se no Quadro 12, as contribuies tericas e prticas obtidas com o desenvolvimento do estudo.

Quadro 12: Contribuies tericas e prticas da pesquisa. Fonte: autor.

149

C identificadas. Figura 31: Contribuies do uso da MCDA-C para as lacunas identificadas Fonte: autor.

150

151
Visando atender ao objetivo geral da pesquisa - Construir um processo para ajudar a aperfeioar a operacionalizao dos instrumentos de Avaliao de Desempenho quanto sua forma de identificar, organizar, mensurar e integrar os Indicadores de Desempenho - no captulo seguinte ser apresentada a elaborao do modelo de avaliao dos Indicadores de Desempenho, construdo com base no que foi discorrido nos captulos anteriores.

152 5. CONSTRUO DO MODELO DE AVALIAO DOS INDICADORES

Este captulo apresenta a construo do modelo referente ao objetivo geral da pesquisa, qual seja o de construir um processo para ajudar a aperfeioar a operacionalizao dos instrumentos de Avaliao de Desempenho, quanto sua forma de identificar, organizar, mensurar e integrar os Indicadores de Desempenho, por meio da utilizao da Metodologia Multicritrio de Apoio Deciso Construtivista. O captulo formado pelas etapas componentes do instrumento de interveno selecionado: (i) Estruturao; (ii) Avaliao; e, (iii) Recomendaes. 5.1 ESTRUTURAO Neste item, o problema ser estruturado e organizado, com o objetivo de desenvolver o seu entendimento. Para isso, seu desenvolvimento ser realizado por meio das atividades componentes da fase de Estruturao da Metodologia Multicritrio de Apoio Deciso Construtivista (MCDA-C). 5.1.1 Descrio do Problema

No de hoje que a prtica da gesto somente pode ser operacionalizada por meio de ferramentas que ajudem os decisores a atingirem seus objetivos, nas mais variadas dimenses. Surge ento, a necessidade de identificar as ferramentas que sejam mais adequadas ao contexto, assim como compreender suas funcionalidades, quando e como utiliz-las. Conforme mencionado no item 1.1 Consideraes Iniciais, Franceschini et al. (2006) alertam que ao se tratar de assuntos de gesto organizacional, um dos aspectos mais crticos traduzir os objetivos e metas em medidas ou Indicadores de Desempenho. Todavia, as empresas no tm ideia clara do que sejam medidas de desempenho e, por isso, no sabem defini-las, nem us-las adequadamente (HRONEC, 1994). Este descompasso ficou explcito quando da realizao da anlise dos Eixos de Avaliao descrita na Reviso Sistmica da Literatura, item 3.3.2 - c.4, a qual resultou no total de 64% de artigos

153 nos quais no h meno de como os Indicadores de Desempenho foram obtidos, ou foram selecionados a partir de listas genricas, prexistentes. E que, ainda, em outros 31% dos artigos, os indicadores foram selecionados por meio de questionrios, workshops, estudos comparativos ou entrevistas fechadas, abertas ou semi-estruturadas. Porm, mesmo nos casos que empregaram entrevistas no foi mostrado como foi feita a traduo dos elementos obtidos nas entrevistas para os correspondentes indicadores empregados. Deste modo, se faz necessrio aperfeioar a operacionalizao e cientificidade da forma de identificar e selecionar/construir Indicadores de Desempenho. Para isso, a construo de um modelo que avalie indicadores a serem utilizados em diferentes instrumentos de avaliao permite orientar os decisores quanto sua operacionalizao, assim como identificar oportunidades de aperfeioamento nos indicadores j empregados em aplicaes de Avaliao de Desempenho. 5.1.2 Identificao dos Atores

Nos processos decisrios essencial identificar em nome de quem o Apoio Deciso ser feito, portanto, deve ser evidenciado o subsistema de atores do modelo em construo. O subsistema de atores composto por (ROY, 1996; ENSSLIN; MONTIBELLER; NORONHA, 2001; GIFFHORN, 2007): (i) decisor: ator em nome de quem o esforo de Apoio Deciso feito; (ii) facilitador: ator que procura obter elementos de resposta, esclarecer o decisor sobre as conseqncias das diferentes decises e recomendar aes ou metodologias; (iii) intervenientes: atores que tm forte interesse no processo e possuem poder de interveno; e, (iv) agidos: participam do processo, mas so apenas afetados pelas conseqncias das decises. O Quadro 13 evidencia o subsistema de atores do modelo de avaliao dos Indicadores de Desempenho.

154

Quadro 13: Subsistema de Atores do modelo. Fonte: autor. 5.1.3 Caracterizao da Discrepncia

Com o objetivo de melhor caracterizar a discrepncia existente no tema da pesquisa foram elaborados questionamentos que visam facilitar a compreenso do problema. O Quadro 14 exibe os questionamentos feitos.

155

Quadro 14: Caracterizao da discrepncia. Fonte: autor. 5.1.4 Relevncia do Problema

O reconhecimento da importncia da melhor definio dos Indicadores de Desempenho, nos instrumentos de avaliao tem sido umentos avaliao, cada vez maior nas organizaes, e exemplos disto podem ser encontrados nos trs setores. Dentre as organizaes do 1 setor, tem destaque a iniciativa das Organizaes das Naes Unidas, nas quais reformas

156 organizacionais efetuadas permitiram dar foco maior sobre os Indicadores de Desempenho e o impacto potencial dos programas exercidos (ONU, 2010). Contudo, foi constatado que somente a fase inicial do processo de Avaliao de Desempenho foi implementada e a dimenso de avaliao se resumiu financeira, ficando o desenvolvimento de indicadores para outras reas e dimenses, para a sequncia da implementao (GAO, 2005). No Brasil, a mesma preocupao foi identificada por meio da iniciativa do Ministrio do Planejamento ao regulamentar um sistema de Avaliao de Desempenho e explicitar o conjunto de Indicadores de Desempenho a ser utilizado (MINISTRIO DO PLANEJAMENTO, 2010). Na esfera estadual, pode ser citada a Secretaria de Estado de Fazenda de Minas Gerais, que editou a lei complementar n 71, de 30 de julho de 2003, que instituiu a Avaliao de Desempenho de seus recursos humanos e formalizou os critrios de avaliao, o processo em si e os indicadores a serem utilizados (SECRETARIA DE ESTADO DE FAZENDA, 2010). Dentre as organizaes do 2 setor, se tem o exemplo da Petrobras, que evidenciou as formas de mensurao de suas Diretrizes de Segurana, Meio Ambiente e Sade nas mais variadas reas de interesse, dentre as quais, gesto de riscos, gesto e acompanhamento de suas contratadas, gesto de mudanas, aquisio de bens e servios, capacitao, educao e treinamento, gesto de informaes e de contingncia (PETROBRAS, 2010). E, por fim, dentre as organizaes do 3 setor, deve ser mencionado o projeto da Colnia, ou Casa de Sade, Santa Izabel localizada no municpio de Betim (MG). Esta casa de sade, dedicada reinsero social do hanseniano, de seus filhos e netos, instituiu o projeto denominado Santa Izabel Ressuscitada, no ano de 2003. Dentre as iniciativas, esto a implantao de indicadores de qualidade, o estabelecimento de metas, individuais ou institucionais, o feedback e a periodicidade da realizao das mensuraes (SEKIYA, 2008). Constata-se, assim, que a adoo de Indicadores de Desempenho em processos formalizados de Avaliao de Desempenho est presente em organizaes dos trs setores. E essa preocupao revelada tanto na esfera nacional quanto internacional. Portanto, devido aos Indicadores de Desempenho serem parte essencial dos instrumentos de avaliao, a forma de proceder com sua identificao, construo e utilizao torna-se um Fator Crtico de Sucesso ao processo de Avaliao de Desempenho.

157 Nesse sentido, inegvel a importncia dos Indicadores de Desempenho para as organizaes, tendo elas implementado ou no sistemas formalizados de gesto. E sua adoo, como parte de um processo de Avaliao de Desempenho, possibilita identificar o status quo, as oportunidades de aperfeioamento e gerar, ao decisor, a compreenso do impacto das aes necessrias para o alcance de seus objetivos. 5.1.5 Rtulo do Problema

Com a construo de um Rtulo para o modelo de avaliao o problema do decisor descrito e focado em suas principais preocupaes. Para o presente estudo o Rtulo foi definido como: Construir um modelo para apoiar o uso dos processos de Avaliao de Desempenho no que se refere aos Indicadores.

5.1.6

Identificao dos Elementos Primrios de Avaliao

Uma vez que o problema haja sido caracterizado, tenha sido feita a identificao do sistema de atores, caracterizada a discrepncia, explicitada a relevncia do problema e construdo um rtulo representativo ao problema, pode ser iniciado o processo de identificao dos Elementos Primrios de Avaliao (EPAs). Conforme Keeney (1992), os EPAs so as primeiras preocupaes expressas pelo decisor quando confrontado com o contexto decisional. O processo de identificao dos EPAs foi realizado por meio da interpretao dos artigos componentes da amostra do referencial bibliogrfico, de publicaes que serviram de suporte para o desenvolvimento do marco terico e de convices pessoais do autor desta pesquisa. Como resultado foi obtido o total de 105 EPAs, dos quais 52 a partir da literatura e 53 a partir das convices do pesquisador (GIFFHORN et al., 2010a). O Quadro 15 apresenta os EPAs obtidos a partir da anlise dos artigos do referencial bibliogrfico e do marco terico. O Quadro 16,

158 por sua vez, expe os EPAs definidos a partir das convices do pesquisador.

159

Quadro 15: EPAs obtidos a partir dos artigos do referencial bibliogrfico e do marco terico. Fonte: autor.

160

161

Quadro 16: EPAs obtidos a partir das convices do pesquisador. Fonte: autor.

162

163
Aps a obteno dos EPAs, a metodologia MCDA-C determina que sejam construdos os conceitos. 5.1.7 Construo dos Conceitos

Para a construo dos Conceitos, os EPAs devem ser orientados para as aes que sugerem, e isso realizado por meio da identificao, pelo decisor, de um verbo que represente suas preocupaes quanto ao EPA, assim como a identificao do oposto psicolgico a esse objetivo (ENSSLIN; MONTIBELLER; NORONHA, 2001). A operacionalizao desse processo inicia-se por meio da identificao, pelo decisor, do objetivo subjacente a cada EPA. Em seguida, o decisor expressa o que julga ser o melhor desempenho possvel para o EPA, assim como o pior ainda aceitvel. Por fim, o decisor externa com que intensidade julga ser prefervel o ato de passar do nvel inferior ao superior. Com base nessas informaes so construdos os Conceitos. Os Quadros 17 e 18 detalham o processo de construo dos Conceitos para o modelo de Avaliao dos Indicadores de Desempenho.

164

165

Quadro 17: Conceitos construdos para o modelo. Fonte: autor.

166

167

Quadro 18: Continuao dos Conceitos construdos para o modelo. Fonte: autor.

168

169
5.1.8 reas de Preocupao

Construdos os Conceitos, a metodologia MCDA-C orienta que podem ser feitos agrupamentos com os Conceitos que possuem o mesmo foco de preocupao, segundo a percepo do decisor. Esses agrupamentos recebem o nome de reas de Preocupao. As reas recebem, pelo decisor, uma denominao representativa sua principal preocupao, quando da realizao dos agrupamentos. No modelo de avaliao do presente estudo, as reas de Preocupao so: (i) definio, identificao e construo; (ii) propriedades; (iii) fundamentos matemticos; e, (iv) conhecimento do contexto. A Figura 32 apresenta as reas de Preocupao do modelo construdo para avaliar os Indicadores de Desempenho, com os respectivos Conceitos pertencentes a cada rea.

Figura 32: reas de Preocupao com os respectivos Conceitos. Fonte: autor. Uma vez que os Conceitos estejam agrupados, segundo as preocupaes afins, podem ser identificadas as relaes de influncia entre os Conceitos, o que se d pela construo dos Mapas de Relaes MeiosFins.

170 5.1.9 Mapas de Relaes Meios-Fins

Os Mapas de Relaes Meios-Fins permitem a representao do problema do decisor por meio da explicitao da hierarquia existente entre os Conceitos construdos. Essa hierarquia possibilita evidenciar as relaes de influncia entre os conceitos meios e os conceitos fins (ENSSLIN; MONTIBELLER; NORONHA, 2001). Para sua construo o decisor deve expressar, para cada Conceito, como o mesmo pode ser obtido e porque ele importante. A Figura 33 ilustra o Mapa de Relaes Meios-Fins para a rea de Preocupao Conhecimento do Contexto. O Mapa de Relaes Meios-Fins completo, com todas as reas de Preocupao, apresentado na Figura 34, item 5.1.10 Clusters. Identificadas as relaes de influncia entre os Conceitos, para facilitar a anlise e entendimento, o Mapa pode ser dividido em mapas menores, formando os Clusters, tema do prximo item.

171

Figura 33: Mapa de Relaes Meios-Fins para a rea de Preocupao Conhecimento do Contexto. Fonte: autor.

172 5.1.10 Clusters Os Clusters so identificados ao serem agrupados os Conceitos que estejam relacionados a um mesmo objetivo dentro da rea de Preocupao, segundo a percepo do decisor (ENSSLIN; MONTIBELLER; NORONHA, 2001). Da mesma forma que foi realizada para as reas de Preocupao, para os Clusters, o decisor tambm lhes d uma denominao representativa ao foco de sua preocupao ao agrupar os Conceitos. Na Figura 34, podem ser vistos, no Mapa de Relaes Meios-Fins, os Clusters do modelo, no qual, cada Cluster corresponde a uma cor de destaque. O Quadro 19 ressalta a relao dos Clusters do modelo. Conforme pode ser constatado, para a rea de Preocupao Propriedades, o Cluster Propriedades Intrnsecas foi dividido em Subclusters.

Quadro 19: Clusters e Subclusters do modelo de avaliao. Fonte: autor.

173

Figura 34: Mapa de Relaes Meios-Fins, Clusters e Subclusters do modelo. Fonte: autor.

174

175
5.1.11 rvore de Pontos de Vista Fundamentais Cada Cluster identificado corresponde a uma Dimenso de Avaliao. Na metodologia MCDA-C as Dimenses de Avaliao so os candidatos a Pontos de Vista Fundamentais (PVFs). Esses candidatos, para que se tornem efetivamente Pontos de Vista Fundamentais, devem ser testados, para representarem aspectos do contexto de forma a atenderem s seguintes propriedades (ENSSLIN; MONTIBELLER; NORONHA, 2001; ENSSLIN et al., 2010): Essencial: deve ter fundamental importncia ao sistema de valores do decisor; Controlvel: deve ser influenciado apenas pelas suas aes potenciais; Completo: devem estar inclusos todos os aspectos fundamentais do decisor; Mensurvel: deve ser possvel realizar a mensurao da performance, e sem ambiguidade; Operacional: as informaes para a mensurao podem ser obtidas com prazo e esforo viveis; Isolvel: um candidato deve independer dos demais; No-redundante: no deve haver repetio; Conciso: o nmero de candidatos deve ser sete, mais ou menos dois; Compreensvel: deve ter significado claro ao decisor.

Em relao primeira propriedade, um PVF essencial se levar em conta todos os aspectos que sejam de fundamental importncia ao decisor, segundo o seu sistema de valores (ENSSLIN; MONTIBELLER; NORONHA, 2001). No presente caso, o conjunto das oito Dimenses de Avaliao foi analisado e considerado que engloba todas as preocupaes do decisor para avaliar Indicadores de Desempenho. Para ser controlvel, um PVF deve ser influenciado apenas pelas aes potenciais correspondentes ao contexto sob ao do decisor (ENSSLIN; MONTIBELLER; NORONHA, 2001). No modelo em construo, cada Dimenso de Avaliao foi julgada, pelo decisor, controlvel, devido conter somente elementos impactveis por aes sob sua gesto. Quanto propriedade de ser completo, o decisor considerou que

176 esto inclusos no conjunto das oito Dimenses de Avaliao todas as propriedades julgadas fundamentais, sob sua percepo, para avaliar um Indicador de Desempenho. J em relao a ser mensurvel, a anlise dos Mapas Meios-Fins permite constatar sua decomposio at conter uma propriedade mensurvel. Com isso, cada Dimenso atende propriedade citada. Do mesmo modo, o decisor considerou que a mensurao pode ser realizada, atendendo, assim, propriedade de ser operacional. Quanto a ser no-redundante, cada Dimenso de Avaliao corresponde a propriedades no inclusas em outra Dimenso, tambm segundo a percepo do decisor. Por consequncia, considera-se que atendem propriedade da no-redundncia. Por sua vez, como as Dimenses de Avaliao so em nmero de oito, e os aspectos representados so considerados, pelo decisor, o mnimo necessrio para modelar o problema, considera-se que a propriedade de ser conciso est atendida. Da mesma maneira, cada Dimenso foi julgada, pelo decisor, possuidora de significado suficientemente claro, de tal modo, a proporcionar um aumento do entendimento do contexto. Atendendo, assim, propriedade da compreensibilidade. J o teste da isolabilidade est detalhado no item 5.1.14 Independncia Preferencial Ordinal e Cardinal. Com isso, cada uma das oito Dimenses de Avaliao foi testada e, segundo o decisor, considerada em concordncia com as propriedades citadas. Portanto, o presente estudo possui oito Pontos de Vista Fundamentais, cuja denominao, corresponde mesma dada aos Clusters do modelo. A Figura 35 apresenta a rvore de Pontos de Vista Fundamentais do modelo de avaliao dos Indicadores de Desempenho.

177

Figura 35: rvore de Pontos de Vista Fundamentais. Fonte: autor. 5.1.12 Estrutura Hierrquica de Valor Os PVFs definidos na rvore de Pontos de Vista Fundamentais so ainda demasiado abrangentes para serem mensurados. Por isso, deve-se retornar aos Mapas de Relaes Meios-Fins, para que sejam analisados os Clusters e Subclusters, com o objetivo de identificar os Ramos de Avaliao e, ao migrar para uma Estrutura Hierrquica de Valor, realizar a decomposio, at que se obtenha um Ponto de Vista Elementar (PVE) representativo a uma propriedade do contexto, que possa ser mensurada em forma objetiva, e no ambgua (ENSSLIN et al., 2010). Por conseguinte, para que se obtenham as propriedades fsicas mensurveis, o primeiro passo identificar os Ramos de Avaliao de cada Cluster e Subcluster. A Figura 36 mostra os Ramos de Avaliao para o Cluster Definio do Problema. No alto da figura, est indicado, em cinza, em qual PVF esto sendo identificados os Ramos de Avaliao. Conforme pode ser verificado pela figura, para o Cluster Definio do Problema, foram identificados dois Ramos de Avaliao, Atores e Sumrio.

178

Figura 36: Ramos de Avaliao para o Cluster Definio do Problema. Fonte: autor. O mesmo procedimento foi aplicado a cada Cluster, o que pode ser

179 constatado no Anexo C. Com o auxlio dos Ramos de Avaliao feita a migrao da estrutura que contm os objetivos (Mapa Meios-Fins) para a que contm as propriedades mensurveis, a Estrutura Hierrquica de Valor. Sua construo se d por meio da identificao das caractersticas representativas a cada PVF e dos objetivos constantes nos Ramos de Avaliao. A Figura 37 expe a Estrutura Hierrquica de Valor do modelo de avaliao dos Indicadores de Desempenho.

180

181

Figura 37: Estrutura Hierrquica de Valor. Fonte: autor.

182

183
5.1.13 Descritores Uma vez construda a Estrutura Hierrquica de Valor, a metodologia MCDA-C prope, como passo seguinte, a construo de escalas ordinais, denominadas Descritores, para mensurar os Pontos de Vista Elementares (ENSSLIN et al., 2010). As escalas ordinais so construdas em um processo interativo com o decisor, e so compostas pelos diferentes nveis de impacto e a indicao do sentido de preferncia que conduz ao objetivo (ENSSLIN; MONTIBELLER; NORONHA, 2001). Aps sua construo, so identificados, pelo decisor, os Nveis de Referncia, ou ncoras, denominados Nvel Bom, que representa o nvel acima do qual o decisor julga a performance como excelente, e Nvel Neutro, abaixo do qual o desempenho comprometedor (ROY, 2005). Entre os dois pontos, o desempenho considerado competitivo. A Figura 38 ilustra a Estrutura Hierrquica de Valor com os Descritores (escalas ordinais) construdos para o modelo de avaliao dos indicadores, com a indicao do Nvel Bom e do Nvel Neutro. Cada Descritor recebeu um rtulo identificador, que est indicado acima de cada descrio do que ser mensurado.

184

185
Construir um modelo para apoiar o uso dos processos de Avaliao de Desempenho no que se refere aos Indicadores.
Definio, Identificao e Construo Propriedades Fundamentos Matemticos Conhecimento do Contexto

PVF 1 Definio do Problema

PVF 2 Identificao e Organizao

PVF 3 Construo

PVF 4 Propriedades Intrnsecas

PVF 5 Escalas

PVF 6 Funo de Valor

PVF 7 Taxa de Substituio

PVF 8 Aperfeioamento

PVE 6.1.1 Transformao No minal para Ord inal

PVE 6.2.1 Transfo rma o Ord inal para Cardinal

PVE 2.1.2 Esp ecificid ad e do C ontexto

PVE 1.1.1 Id entifica o d os Atores

PVE 7.2.3 Ind ep en dncia Ordin al e Cardinal

PVE 5.2.1 Compatibilid ad e com as Pro priedades

PVE 7.1.1 Sistema Preferen cial do Decisor

PVE 7.2.1 Sistema Preferen cial do Decisor

P VE 3.1.1 Estrutura Hierrquica e Map as de Rela es Meios-Fins

PVE 3.2.1 Nveis de Desempenho

P VE 1.2.4 Exp ectativa de Ganh o

P VE 4.1.1 Sistema d e Valores d o Decisor

P VE 2.1.3 Med idas Obrigatrias

PVE 1.2.2 Po r qu e Imp ortante

P VE 5.1.1 Nomin al p ara Ord inal

P VE 2.1.1 Reviso e Atu alizao

PVE 5.1.2 Ordinal para Card inal

PVE 4.3.1 P rop ried ad es Escalas No minais

PVE 4.3.2 P rop ried ad es Escalas Ordinais

PVE 3.2.2 Nveis de Anc oragem

PVE 1.2.3 Ob jetivo Estratgico

PVE 2.2.1 Rela es Meios-Fins

PVE 1.2.1 Qual o Problema

P VE 7.2.2 Soma P ond erad a

PVE 4.2.2 C usto-benefc io

PVE 4.1.2 Caracterstic as

PVE 8.1.1 P ara o Decisor

PVE 4.2.1 Factibilid ad e

PVE 8.2.1 Divulgao

PVE 4.5.1 Descries

P VE 4.6.1 Un icid ad e

PVE 8.2 Disseminao das Informaes

PVE 8.1 Aumento d o En tendimento

P VE 6.1 Reconh ecimento Cientfico

P VE 4.3 Teo ria da Mensu rao

PVE 3.1 Fon te da Informao

PVE 4.2 Op erac ion alidade

P VE 4.1 Men su rabilidade

PVE 4.6 Homogeneidade

PVE 4.5 In teligibilidade

PVE 5.1 Transformao

P VE 3.2 Escala Ord inal

PVE 7.1 Determinao

PVE 2.1 Identificao

PVE 6.2 Atrativid ad e

P VE 2.2 Organizao

PVE 4.4 Legitimao

PVE 5.2 Op eraes

PVE 7.2 In tegrao

P VE 1.2 Su mrio

PVE 1.1 Ato res

P VE 4.5.2.1 Ausncia de Ambigu idades

PVE 4.1.2.1 Descrio d a Prop riedade

PVE 2.2.1.2 Linhas d e Argumentao

PVE 4.4.1.2 Recon hece Alinhamen to

PVE 2.2.1.4 Estrutura Hierrquica de Valo r

PVE 4.1.1.1 Evidenc iar os Valores do Decisor

PVE 2.1.2.1 Pro priedades Essen ciais para o Decisor

PVE 4.1.1.2 Particip a o d o Decisor

PVE 6.2.1.1 Nmero de Diferenas

PVE 2.2.1.3 Relaes de Influncia

D1

D2

D3

D4 Percepo dos atores quanto possibilidade da adoo dos indicadores gerar aes que conduzam a desempenhos no desejados

D5

D6

D7 Existncia de processo par a revisar e atualizar periodicamente o conjunto de indicadores

D8 For ma utilizada para identificar as propr iedades julgadas essenciais ao decisor ao avaliar o contexto

D9 Percepo do decisor quanto quantidade de propriedades identificadas

D10 Percepo do decisor quanto incluso das m edidas de carter obrigatrio dentre o conjunto de propriedades a ser em mensuradas

D11 Identificao, segundo a percepo do decisor, dos plos subjacente e a ser evitado para as propriedades que iro avaliar o contexto

D12 Processo utilizado para evidenciar as linhas de argumentao que explicam os objetivos

D13 Tipo de Mapas de Relaes Meios- Fins (Causais) utilizado

D14 Tipo de estrutura hierrquica utilizada par a explicar os objetivos das linhas de argumentao

D15 Estruturas utilizadas como fonte de inform aes do contexto a partir das quais as escalas ordinais so construdas

D16 Form a utilizada par a identificar os nveis de desempenho para as escalas construdas

D17 Forma utilizada para identif icar o nvel de desempenho considerado o melhor possvel (Nvel Bom)

D18 Forma utilizada para identificar o nvel de desem penho considerado o pior possvel ainda aceitvel (Nvel Neutro)

D19 Processo utilizado para evidenciar o sistema de valores do decisor ao avaliar o contexto

D20 Grau de participao do decisor no processo de evidenciao de seu sistema de valores

D21 Percepo do decisor quanto ao indicador conter um a descrio suficientemente detalhada da pr opriedade a ser mensurada

D22 Forma de apr esentar a descrio da m tr ica a ser utilizada para m ensurar a propriedade

D23 Percepo do decisor quanto preciso das medidas a ser fornecidas pelos indicadores

D24 Percepo do decisor quanto possibilidade de realizar a m ensurao descrita pelos indicadores

D25 Percepo do decisor quanto relao custo-benefcio da adoo dos indicadores

D26 Tipo de propriedade que o decisor reconhece poder utilizar nos indicadores com escalas nom inais

D27 Tipo de propriedade que o decisor reconhece poder utilizar nos indicadores com escalas ordinais

D28 Quantidade etapas do processo de construo do indicador que contam com a participao ativa do decisor

D29 Reconhecimento do decisor de que o conhecimento construdo est alinhado com a sua percepo do contexto

D30 Participao dos atores com poder de influncia sobre o contexto no processo de construo e gesto dos indicadores

D31 Percepo dos atores quanto clar eza da descrio da propriedade a ser m ensurada pelo indicador

D32 Reconhecim ento, pelos atores, da propriedade a ser m ensurada com o indicador por m eio de seu ttulo

D33 Reconhecimento, pelos atores, da forma de realizar a m ensurao da propr iedade por meio do indicador

D34 Clareza na definio dos nveis da escala do indicador

D35 Quantidade de propriedades que os ator es reconhecem a serem mensuradas pelo indicador

D36 Quantidade de indicador es que os atores reconhecem a serem utilizados para mensurar a propriedade

D37 Forma utilizada para ordenar as diferenas de preferncia ao r ealizar a transform ao das escalas nominais para ordinais

D38 Forma utilizada para ordenar as diferenas de atratividade ao realizar a transform ao das escalas ordinais para car dinais

D39 Reconhecim ento pelos atores dos tipos de operaes estatsticas per mitidas par a aplicar s escalas nominais

D40 Reconhecimento pelos atores dos tipos de oper aes estatsticas perm itidas para aplicar s escalas ordinais

D41 Reconhecimento pelos atores dos tipos de operaes permitidas s escalas cardinais com zero arbitrado (intervalo)

D42 Reconhecimento pelos atores dos tipos de operaes perm itidas s escalas cardinais com zero absoluto (razo)

D43 Tipo de informao utilizada para, quando necessrio, tr ansf or mar as escalas nominais em or dinais

D44 Combinaes de diferenas de atratividade do decisor utilizadas para, quando necessrio, transformar as escalas ordinais em cardinais

D45 Ao transform ar as escalas ordinais em cardinais, forma utilizada para quantificar as dif erenas de atratividade do decisor

D46 Propriedade utilizada pelo decisor, ao transformar as escalas or dinais em cardinais, ao expr essar as diferenas de atratividade entre dois nveis da escala

D47 Per cepo do decisor quanto compatibilidade dos valor es obtidos para os extremos da escala ao contexto

D48 Form a utilizada pelo decisor par a quantificar seu sistem a prefer encial quando necessrio determinar taxas de com pensao entre as escalas dos indicadores

D49 Ao determinar a taxa de substituio do indicador, form a utilizada para quantificar as diferenas de atratividade do decisor

D50 Determinao, segundo a percepo de valor do decisor, da performance acima da qual considera excelncia e da performance abaixo da qual considera comprometedor

D51 Tipo de informao utilizada pelo decisor para determ inar os f atores de integrao das escalas

D52 Tipo de agregao permitida pelo indicador quando necessrio integrar os indicador es

D53 Form a em pr egada para certificar que as taxas de compensao sejam constantes

D54 Form a utilizada para identificar as aes de aperfeioam ento

PVE 8.1.1.1.2 Perfo rman ce

PVE 5.2.1.3.1 Intervalo

PVE 4.1.2.2.2 Preciso

PVE 4.1.2.2.1 Mtrica

PVE 8.1.1.1.1 Aes

PVE 5.2.1.3.2 Razo

D55 Forma de identificao do aumento da performance em cada indicador com a adoo de aes de aper feioamento

PVE 8.1.1.2 Reavaliar a estratgia

P VE 6.2.1.4 Valo r Co mpatvel ao Con texto

PVE 7.1.1.3 Nveis de Referncia

P VE 6.2.1.2 Escalas Semnticas

P VE 7.1.1.2 Escalas Semnticas

PVE 1.2.2.1 Entend imen to d a Impo rtn cia

PVE 8.1.1.1 Ap erfeioamento

PVE 1.2.2.2 A es Favo rveis

PVE 1.2.3.1 Op eracion alizar

PVE 4.1.2.2 Forma de Medir

PVE 4.5.1.3 Forma de Medir

PVE 2.1.2.2 Quantid ade de Propriedades

PVE 7.1.1.1 Compensa es

PVE 4.5.1.1 P rop ried ad e

PVE 4.6.1.1 P rop ried ad e

PVE 4.4.1.1 P articipao

PVE 4.4.2.1 P articipao

P VE 6.2.1.3 Linearidade

PVE 2.2.1.1 Conc eitos

P VE 4.6.1.2 Indicad or

PVE 5.2.1.1 No minais

PVE 5.2.1.3 Card inais

PVE 5.2.1.2 Ordinais

PVE 3.2.2.2 Neutro

PVE 4.5.1.2 Ttu lo

P VE 3.2.2.1 Bo m

D56 Uso do entendimento do contexto gerado ao decisor a partir das informaes das m edidas dos indicadores

D57 Form a de divulgar aos difer entes grupos de atores as informaes geradas pelas m ensur aes

P VE 8.2.2 Fo rmato

PVE 4.4.1 Deciso r

P VE 4.4.2 Atores

PVE 4.5.2 Nveis

D58 Formato de divulgao das informaes aos diferentes grupos de atores

Tipos de subgrupos de atores do contexto identificados para a construo dos indicadores

Existncia de uma descrio do problema cujo desempenho ser avaliado

Ao analisarem o sumrio do indicador, percepo dos atores quanto importncia de mensurar a propriedade

Percepo do decisor para o nvel de impacto da propriedade a ser mensurada para a operacionalizao da estratgia

Existncia de um sumrio que evidencie os ganhos a serem obtidos com a mensurao da propriedade por meio de um indicador

Nvel Bom

Decisor es, intervenientes e agidos

Tem descrio e for malizada

No h necessidade de explicaes adicionais para que reconheam a importncia H necessidade de explicaes adicionais para que haja reconhecimento da importncia

No h indcios que aes contr aproducentes venham a ser realizadas H indcios que aes contraproducentes possam ser realizadas, mas p ossvel mitig-las H indcios que aes contraproducentes possam ser realizadas, e no h vislumbre da p ossibilidade de mitig-las

Julga haver impacto nos nveis op eracional, ttico e estratgico

Tem sumrio e evidencia os benefcios de mensurar a p ropriedade Tem sumrio, mas no evidencia os benefcios de mensurar a p ropriedade

H processo formalizado p ara r evisar e atualizar p eriodicamente o conjunto de indicadores H processo no for malizado para r evisar e atualizar p eriodicamente o conjunto de indicadores

Entr evista aberta com os decisores Brainstorming ou workshops com os stakeholders

O conjunto de propriedades necessrio e suficiente p ara avaliar o contexto O conjunto de propriedades suficiente p ara avaliar o contexto, mas h p ropriedades no necessrias O conjunto de propriedades no suficiente p ara avaliar o contexto, mas as p ropriedades identificadas so necessrias O conjunto de propriedades no suficiente p ara avaliar o contexto e h p ropriedades no necessrias

Todas as medidas de carter obr igatrio esto p resentes no conjunto de pr opriedades que sero mensur adas

Identifica o objetivo subjacente e o que se deseja evitar Identifica o objetivo subjacente, mas no o que se deseja evitar No identifica o objetivo subjacente, mas identifica o que se deseja evitar No identifica o objetivo subjacente, nem o que se deseja evitar

Mapas Causais ou Relaes Meios-fins Mapas de Categorizao

SODA (Strategic Options Development Analysis) CCM (Comparative Causal Maps)

Estrutura Hierrquica de Valor rvore de deciso

Utiliza os Mapas de Relaes Meiosfins e a Estrutur a Hierrquica de Valor Utiliza os Mapas de Relaes Meiosfins ou a Estrutura Hierrquica de Valor

Baseado no sistema preferencial do decisor Brainstorming ou workshops com os stakeholders

Sistema preferencial do decisor

Baseado no sistema prefer encial do decisor

E ntrevista aberta com o decisor

Na identificao das pr opriedades, construo dos Conceitos, Mapas e Estrutura Hierrquica Na identificao das pr opriedades, construo dos Conceitos e Mapas

O decisor julga que a descrio do que ser medido est suficientemente detalhada no indicador

Decisor es e intervenientes

Tem descrio, mas no for malizada

Julga haver impacto apenas nos nveis op eracional e ttico

Questionrios aplicados aos stakeholders

Questionrios aplicados aos stakeholders

Brainstorming, questionrios ou workshopscom os stakeholders

Brainstorming, questionrios ou workshops com os stakeholders

B rainstorming ou questionrios

Na identificao das pr opriedades e na construo dos Conceitos O decisor julga que a descrio do que ser medido no est suficientemente detalhada no indicador

H uma descrio discursiva e matemtica da mtrica a ser utilizada p ara mensurar a propriedade H somente uma descrio matemtica da mtrica a ser utilizada p ara mensurar a propriedade H somente uma descrio discursiva da mtrica a ser utilizada p ara mensurar a propriedade No h uma descrio p ara a mtrica a ser utilizada ao mensurar a pr opriedade

A pr eciso das medidas atende as expectativas do decisor A pr eciso das medidas no atende as exp ectativas do decisor, mas p ode ser melhor ada A pr eciso das medidas no atende as exp ectativas do decisor, e no p ode ser melhorada

p ossvel realizar imediatamente a mensurao conforme descrita p elos indicadores No possvel realizar imediatamente a mensurao conforme descrita pelos indicadores, mas h meios de desenvolv-la No possvel realizar imediatamente a mensurao conforme descrita pelos indicadores, e no h indcios da p ossibilidade de desenvolv-la

A r elao vantajosa e no h necessidade de alteraes no indicador para melhor-la A r elao vantajosa, mas h a necessidade de alteraes no indicador para melhor-la

Somente as op eraes da contagem, moda e frequncia

Somente as operaes da contagem, moda, frequncia e mediana

3 ou mais

Reconhece o alinhamento em todas as etapas Reconhece par cialmente o alinhamento e deseja rever o pr ocesso No reconhece o alinhamento e no deseja rever o pr ocesso

Atores participam ativamente da construo e gesto dos indicadores Atores participam ativamente somente da construo ou da gesto dos indicadores Atores no participam do processo de constr uo e gesto dos indicadores

Os atores p ossuem a mesma interpretao quanto propriedade a ser mensurada H atores que p ossuem diferentes interpretaes quanto propriedade a ser mensurada, mas julgam que no p reciso alterar a descrio do indicador H atores que p ossuem diferentes interpretaes quanto propriedade a ser mensurada, e julgam que preciso alterar a descrio do indicador

Os atores reconhecem a mesma p ropriedade a ser mensurada por meio do ttulo do indicador H ator es que reconhecem diferentes p ropriedades a serem mensur adas p or meio do ttulo do indicador, mas julgam que no p reciso alter-lo H ator es que reconhecem diferentes p ropriedades a serem mensur adas p or meio do ttulo do indicador e julgam que p reciso alter-lo

Mapas de Identidade Linhas de argumentao no so evidenciadas

Self-Q No utiliza processo par a evidenciar

Diagrama de Ishikawa No utiliza No utiliza os Mapas de Relaes Meios-fins e a Estr utura Hierrquica de Valor Prescrito por consultores ou especialistas Seleciona da literatur a ou benchmarking Prescrito por consultores ou especialistas Seleciona da literatura ou benchmarking Prescrito p or consultores ou esp ecialistas Seleciona da literatura ou benchmarking Prescrio de consultores ou esp ecialistas Na identificao das pr opriedades

Nvel Neutro

Decisor es No identifica

No h descrio

No reconhecem a imp ortncia

Julga haver impacto apenas no nvel operacional Julga no haver imp acto

No h sumrio

O conjunto de indicadores no revisado e atualizado

Pr escrito p or consultores ou esp ecialistas Seleciona da liter atura ou benchmarking

H medidas de carter obr igatrio que esto ausentes do conjunto de pr opriedades que sero mensur adas

Os atores p ossuem a mesma interpretao quanto forma de realizar a mensurao descrita p elo indicador H atores que p ossuem diferentes interpretaes quanto forma de realizar a mensurao descrita p elo indicador, mas julgam que no preciso alter-lo H atores que p ossuem diferentes interpretaes quanto forma de realizar a mensurao descrita p elo indicador e julgam que p reciso alter-lo

Os nveis da escala do indicador so definidos de tal for ma a no p ermitir ambiguidade de desemp enho

Os atores reconhecem uma nica propriedade a ser mensurada pelo indicador

Os atores reconhecem um nico indicador a ser utilizado p ara mensurar a p ropriedade

Por meio da p ercep o p referencial do decisor Questionrios, brainstorming ou workshops com os stakeholders

Por meio da p ercep o p referencial do decisor Questionrios, brainstorming ou workshops com os stakeholders

Reconhecem que podem utilizar ap enas a contagem, a moda e/ou a frequncia

Reconhecem que podem utilizar somente a contagem, a moda, a frequncia e/ou a mediana

Reconhecem que p odem utilizar as operaes estatsticas e lineares

Reconhecem que podem utilizar as operaes estatsticas, lineares e de p roporcionalidade Reconhecem que podem utilizar as operaes estatsticas e linear es

O sistema preferencial do decisor

Todas as combinaes de diferena de atr atividade entre os nveis da escala Uma diferena de atratividade para cada nvel da escala

Julgamentos semnticos Biseco

Linearidade entre os nveis

Decisor julga que os valores extremos da escala so comp atveis ao contexto Decisor julga que um dos valor es extremos da escala incompatvel ao contexto

Comparao Par-a-par Swing Weigths

Julgamentos semnticos Proporcionalidade

Determinao, segundo a percep o de valor do decisor, da melhor p erformance p ossvel e da pior ainda aceitvel Determinao da performance mnima e mxima de nveis de desempenho do descritor Determinao da performance mnima e mxima de alternativas p r-existentes

Seu sistema prefer encial

Agregao aditiva

Testada a independncia or dinal e cardinal de cada indicador

Anlise do decisor a partir do perfil de impacto dos indicadores Pr escrito p or consultores ou esp ecialistas a partir do p erfil de impacto dos indicadores

A p artir do aumento de entendimento do contexto gerado ao decisor A p artir do aumento de entendimento do contexto gerado aos consultores ou esp ecialistas

Reavaliar a estratgia

Por meio de processos formalizados

Em formatos adequados aos interesses de cada grupo de atores Em formatos definidos pelo decisor

Reconhecem que p odem utilizar as operaes estatsticas

Prescries de atores externos ao contexto

Brainstorming, workshops ou questionrios

Funo utilidade

Testada somente a indep endncia ordinal de cada indicador

Monitoramento ttico

Por meio de processos no formalizados Em formatos genricos externos ao contexto

Pontuao direta Os nveis da escala do indicador so definidos de tal for ma que permitem a ambiguidade de desemp enho Os atores reconhecem mais de uma p ropriedade a ser mensurada pelo indicador Os atores reconhecem mais de um indicador a ser utilizado p ara mensurar a p ropriedade Prescrito p or consultores ou especialistas Seleciona da literatura ou benchmarking Prescrito p or consultores ou esp ecialistas Seleciona da liter atura ou benchmarking Esperam poder utilizar outras operaes alm da contagem, moda e/ou frequncia Esperam poder utilizar outras operaes alm da contagem, moda, frequncia e/ou mediana Esperam poder utilizar outras operaes alm das estatsticas e lineares Esperam poder utilizar outras operaes alm das estatsticas Prescries para contextos genricos A difer ena de atratividade entre os nveis de ancoragem Baseado na literatura ou prescrito por atores externos ao contexto Proporcionalidade entre os nveis Decisor julga que ambos os valores dos extremos da escala so incompatveis ao contexto

Trade-offs Literatura ou p rescrito p or consultores/especialistas externos ao contexto

Pontuao direta Seleo de valores p rexistentes

A r elao no vantajosa e so necessrias alter aes no indicador para melhor-la

Outras operaes alm da contagem, moda e frequncia

Outras operaes alm da contagem, moda, frequncia e mediana

1 0

Prescrio dos consultores e/ou especialistas externos ao contexto Seleciona da literatura

Mtodos externos ao contexto

No so testadas as independncias

A p artir da literatura ou contextos genr icos

A p artir da literatura ou contextos genricos

Controle operacional

Sob demanda

Em formato nico indep endente dos grup os de atores

Figura 38: Descritores construdos para o modelo. Fonte: autor.

186

187
5.1.14 Independncia Preferencial Ordinal e Cardinal Os PVFs devem atender propriedade da Isolabilidade, conforme mencionado no item 5.1.11 rvore de Pontos de Vista Fundamentais. A Isolabilidade consiste em poder analisar a performance das aes potenciais de um PVF independentemente da performance das aes potenciais de outro PVF (ENSSLIN; MONTIBELLER; NORONHA, 2001). A Isolabilidade foi testada segundo a Independncia Preferencial Mtua, proposta por Keeney (1992), que efetuada a cada par de PVFs. Um PVF considerado preferencialmente independente dos demais se, a ordem e a intensidade de preferncia entre um par de aes potenciais, no depender de seus efeitos nos demais PVFs, segundo o decisor (PETRI, 2005). Para que os PVFs sejam Mutuamente Preferencialmente Independentes, devem possuir Independncia Preferencial Ordinal e Cardinal (ENSSLIN; MONTIBELLER; NORONHA, 2001). O teste tambm deve ser realizado para os PVEs que compem o PVF. Para ilustrar o procedimento realizado, a seguir, descreve-se o teste da Isolabilidade para o par de PVEs D3 - Entendimento da Importncia e D4 - Aes Favorveis. Na Figura 39, esto os dois Descritores, com destaque somente nos Nveis Bom e Neutro.

Figura 39: Descritores D3 e D4. Fonte: autor.

188 Com o objetivo de facilitar a representao da anlise, foi adotada a seguinte notao: EI: Descritor D3 Entendimento da Importncia; AF: Descritor D4 Aes Favorveis EI-B: Nvel Bom do Descritor D3 Entendimento da Importncia; EI-N: Nvel Neutro do Descritor D3 Entendimento da Importncia; AF-B: Nvel Bom do Descritor D4 Aes Favorveis; AF-N: Nvel Neutro do Descritor D4 Aes Favorveis.

Com isso, tem-se o conjunto de combinaes possveis representado na Figura 40.

Figura 40: Conjunto de alternativas para o par de Descritores D3 e D4. Fonte: Autor a) Independncia Preferencial Ordinal - IPO Com o teste da Independncia Preferencial Ordinal verificado se a ordem de preferncia entre um par de Pontos de Vista permanece inalterada, independentemente do impacto da performance de aes potenciais em outros Pontos de Vista (PETRI, 2005). A anlise realizada em trs etapas. IPO 1 Mantendo-se AF constante no Nvel Bom (AF-B: no h indcios

189 que aes contraproducentes venham a ser realizadas), a alternativa A julgada pelo decisor prefervel alternativa C, conforme Figura 41.

Figura 41: Alternativa A ordinalmente prefervel C. Fonte: Autor J ao se manter AF constante no Nvel Neutro (AF-N: h indcios que aes contraproducentes possam ser realizadas, e no h vislumbre da possibilidade de mitig-las), a alternativa B julgada, pelo decisor, prefervel D, conforme Figura 42.

Figura 42: Alternativa B ordinalmente prefervel D. Fonte: Autor Com isto, pode-se responder pergunta: o Entendimento da Importncia ordinalmente preferencialmente independente das Aes

190 Favorveis? Sim, pois, para o decisor, no haver a necessidade de explicaes adicionais para que reconheam a importncia das medidas (EI-B) mais atrativo do que no haver o reconhecimento da importncia (EI-N), para qualquer que seja o nvel de Aes Favorveis (AF), isto : Para todo AF = {AF-B, AF-N} (EI-B, AF) P (EI-N, AF) A Figura 43 ilustra as alternativas preferveis para IPO 1, destacadas pelos asteriscos.

Figura 43: Independncia Preferencial Ordinal 1 Fonte: Autor IPO 2 Mantendo-se EI constante no Nvel Bom (no h necessidade de explicaes adicionais para que reconheam a importncia), a alternativa A julgada pelo decisor prefervel alternativa B, conforme Figura 44.

191

Figura 44: Alternativa A ordinalmente prefervel B Fonte: Autor J ao se manter EI constante em no Nvel Neutro (no reconhecem a importncia), a alternativa C julgada pelo decisor como prefervel D, conforme Figura 45.

Figura 45: Alternativa C ordinalmente prefervel D. Fonte: Autor Com isto, pode-se responder pergunta: so as Aes Favorveis ordinalmente preferencialmente independentes do Entendimento da Importncia? Sim, pois para o decisor no haver indcios que aes contraproducentes venham a ser realizadas (AF-B) mais atrativo do que haver indcios que aes contraproducentes possam ser realizadas, e no haver vislumbre da possibilidade de mitig-las (AF-N), para qualquer que

192 seja o Nvel do Entendimento da importncia (EI), isto : Para todo EI = {EI-B, EI-N} (EI, AF-B) P (EI, AF-N) A Figura 46 exibe as alternativas preferveis para IPO 2, destacadas pelos asteriscos.

Figura 46: Independncia Preferencial Ordinal 2 Fonte: Autor

IPO 3 So o Entendimento da Importncia e as Aes Favorveis mutuamente ordinalmente preferencialmente independentes? Sim, devido ser vlida a afirmao da existncia das independncias IPO 1 e IPO2, portanto, existe entre D3 e D4 a Independncia Preferencial Ordinal. b) Independncia Preferencial Cardinal - IPC Por meio do teste da Independncia Preferencial Cardinal verificado se a diferena de atratividade entre duas aes, em um Ponto de Vista, no se altera, independentemente do impacto da performance de aes potenciais de outros Pontos de Vista (PETRI, 2005). Aqui tambm a anlise realizada em trs etapas. IPC 1 Mantendo-se AF constante em AF-B (no h indcios que aes

193 contraproducentes venham a ser realizadas), a diferena de atratividade entre as alternativas A e C representada pela Figura 47.

Figura 47: Diferena de atratividade entre as alternativas A e C, para AF fixo em AF-B. Fonte: Autor Mantendo-se AF constante em AF-N (h indcios que aes contraproducentes possam ser realizadas, e no h vislumbre da possibilidade de mitig-las), a diferena de atratividade entre as alternativas B e D representada pela Figura 48.

Figura 48: Diferena de atratividade entre as alternativas B e D, para AF fixo em AF-N. Fonte: Autor Com isto, pode-se responder pergunta: o Entendimento da Importncia cardinalmente preferencialmente independente das Aes Favorveis? Sim, pois para o decisor a intensidade da diferena de atratividade entre o Nvel Bom e Neutro, em termos do Entendimento da Importncia

194 no afetada pela alterao do desempenho das Aes Favorveis, isto : Para todo AF = AF-B, AF-N: v1 (EI-B, AF) v1 (EI-N, AF) = 1 onde v1 uma funo de Entendimento da Importncia e Aes Favorveis. A Figura 49 ilustra as diferenas de atratividade para IPC 1.

Figura 49: Independncia Preferencial Cardinal 1 Fonte: Autor IPC 2 Mantendo-se EI constante em EI-B (no h necessidade de explicaes adicionais para que reconheam a importncia), a diferena de atratividade entre as alternativas A e B representada pela Figura 50.

195

Figura 50: Diferena de atratividade entre as alternativas A e B, para EI fixo em EI-B. Fonte: Autor Mantendo-se EI constante em EI-N (no reconhecem a importncia), a diferena de atratividade entre as alternativas C e D representada pela Figura 51.

Figura 51: Diferena de atratividade entre as alternativas C e D, para EI fixo em EI-N. Fonte: Autor Com isto, pode-se responder pergunta: so as Aes Favorveis cardinalmente preferencialmente independentes do Entendimento da Importncia? Sim, pois para o decisor a intensidade da diferena de atratividade entre o Nvel Bom e Neutro, em termos das Aes Favorveis, no afetada pela alterao do desempenho do Entendimento da Importncia, isto :

196 Para todo EI = EI-B, EI-N: v2 (EI, AF-B) v2 (EI, AF-N) = 2 onde v2 uma funo de Entendimento da Importncia e Aes Favorveis. A Figura 52 ilustra as diferenas de atratividade para IPC 2.

Figura 52: Independncia Preferencial Cardinal 2. Fonte: Autor IPC 3 So o Entendimento da Importncia e as Aes Favorveis mutuamente cardinalmente preferencialmente independentes? Sim, devido ser vlida a afirmao da existncia das independncias IPC 1 e IPC 2, portanto, existe entre D3 e D4 a Independncia Preferencial Cardinal. Como vlida a afirmao da existncia da Independncia Preferencial Ordinal e Cardinal, pode-se afirmar que o par de Descritores Mutuamente Preferencialmente Independente. Para o restante dos Descritores o decisor tambm julgou que as combinaes so Mutuamente Preferencialmente Independentes. 5.1.15 Legitimao Todas as etapas da Estruturao do modelo foram legitimadas pelo decisor, que julgou estarem includos os elementos por ele julgados relevantes ao avaliar os Indicadores de Desempenho e, portanto, representativa ao seu sistema preferencial.

197 Com o objetivo de evitar vieses, em funo do papel de Decisor e Facilitador serem desempenhados pelo mesmo ator, a Estruturao do modelo foi submetida e apresentada em congressos de relevncia internacional para apreciao dos pares. Certificada a legitimidade da Estruturao pelo decisor, pode-se prosseguir para a segunda fase da construo do modelo de acordo a metodologia MCDA-C, a fase da Avaliao. 5.2 AVALIAO A Fase de Avaliao composta pelas seguintes atividades: (i) determinao das Funes de Valor; (ii) determinao das Taxas de Substituio; (iii) realizada a Agregao Aditiva visando a integrao do modelo; e, (iv) traado o perfil de impacto do status quo. 5.2.1 Funes de Valor

Concluda a etapa da Estruturao, a continuidade da aplicao da metodologia MCDA-C orienta a construo do entendimento, ao decisor, com o prosseguimento para a fase da Avaliao. Inicialmente, o decisor informa a sua diferena de atratividade entre os nveis das escalas ordinais. Por meio dessa informao, e com o auxlio do software Macbeth (BANA e COSTA; DE CORTE; VANSNICK, 2995), foram construdas as escalas cardinais que atendem aos juzos de valor do decisor. As escalas cardinais, por serem construdas com base em juzos de valor, recebem a denominao Funes de Valor. Para isto, o decisor expressa a diferena de atratividade entre duas alternativas potenciais a e b (a mais atrativa que b) por meio de uma escala ordinal de categorias semnticas (BANA e COSTA; VANSNICK, 1995). Os nveis da escala semntica so: nula, muito fraca, fraca, moderada, forte, muito forte e extrema. Em continuidade, o decisor determina os nveis de ancoragem Bom (100) e Neutro (0), transformando as escalas em Escalas de Intervalos Ancoradas (ENSSLIN et al., 2010). As informaes externadas pelo decisor permitem a construo da Matriz de Julgamentos, cujos valores so inseridos no software Macbeth para a determinao das Funes de Valor. A Figura 53 demonstra o processo descrito para a transformao do Descritor D1 Tipos de subgrupos de atores do contexto identificados

198 para a construo dos indicadores, em uma escala cardinal (Funo de Valor). Na Figura, esto evidenciados o Descritor, a Matriz de Julgamentos, a Funo de Valor fornecida pelo software Macbeth e sua representao grfica.

199

Figura 53: Transformao do Descritor D1 em Funo de Valor 3: Valor. Fonte: Autor

200

201
No Anexo D esto ilustradas as transformaes dos 58 descritores do modelo de avaliao dos indicadores em Funes de Valor. A Figura 54 apresenta a Estrutura Hierrquica de Valor com as escalas cardinais construdas.

202

203
Construir um modelo para apoiar o uso dos processos de Avaliao de Desempenho no que se refere aos Indicadores.
Definio, Identificao e Construo Propriedades Fundamentos Matemticos Conhecimento do Contexto

PVF 1 Definio do Problema

PVF 2 Identificao e Organizao

PVF 3 Construo

PVF 4 Propriedades Intrnsecas

PVF 5 Escalas

PVF 6 Funo de Valor

PVF 7 Taxa de Substituio

PVF 8 Aperfeioamento

PVE 6.1.1 Transformao Nominal para Ordinal

P VE 6.2.1 Tran sformao Ordinal para C ardin al

PVE 2.1.2 Especificidade d o Contexto

PVE 5.2.1 Compatibilidade co m as P rop riedades

PVE 1.1.1 Identificao dos Atores

PVE 7.2.3 Independncia Ordinal e C ardin al

PVE 7.1.1 Sistema P referencial do Decisor

PVE 7.2.1 Sistema P referencial do Decisor

PVE 3.1.1 Estrutu ra Hierrquica e Mapas d e Relaes Meios-Fins

PVE 3.2.1 Nveis de Desempenho

PVE 1.2.4 Expectativa de Ganh o

PVE 4.1.1 Sistema de Valores d o Decisor

PVE 2.1.3 Medidas Ob rigatrias

PVE 1.2.2 Por que Importante

PVE 5.1.1 Nominal para Ordinal

PVE 5.1.2 Ordin al p ara Cardinal

PVE 2.1.1 Reviso e Atualizao

P VE 4.3.1 Propriedades Escalas Nominais

P VE 4.3.2 Propriedades Escalas Ord inais

PVE 3.2.2 Nveis de Ancoragem

PVE 1.2.3 Objetivo Estratgico

PVE 2.2.1 Relaes Meios-Fins

PVE 1.2.1 Qual o Problema

P VE 7.2.2 Soma Pon derada

PVE 4.2.2 Custo -ben efcio

PVE 4.1.2 C aractersticas

PVE 8.1.1 Para o Decisor

PVE 4.2.1 Factib ilidade

PVE 8.2.1 Divulgao

PVE 4.5.1 Desc ri es

P VE 4.6.1 Unic idade

PVE 8.2 Disseminao das Info rma es

P VE 8.1 Aumen to do Enten dimen to

PVE 6.1 Reconhecimento C ientfico

PVE 4.3 Teo ria da Men surao

PVE 3.1 Fon te d a In formao

PVE 4.2 Operacionalid ad e

PVE 4.1 Men surabilidade

P VE 4.6 Homogen eidad e

P VE 4.5 In teligib ilidade

PVE 5.1 Transforma o

PVE 3.2 Escala Ordin al

PVE 7.1 Determinao

P VE 2.1 Id en tificao

PVE 6.2 Atratividade

P VE 2.2 Organ izao

PVE 4.4 Legitimao

PVE 7.2 Integrao

PVE 5.2 Opera es

PVE 1.2 Sumrio

PVE 1.1 Ato res

P VE 4.5.2.1 Ausncia de Ambigu idades

PVE 4.1.2.1 Descrio da P rop riedade

PVE 2.2.1.2 Lin has de Argumentao

PVE 4.4.1.2 Reco nhece Alinhamento

PVE 2.2.1.4 Estrutu ra Hierrquica de Valor

PVE 4.1.1.1 Evidenciar os Valores d o Decisor

PVE 2.1.2.1 Propriedades Essenciais para o Deciso r

PVE 4.1.1.2 Participao d o Decisor

PVE 6.2.1.1 Nmero d e Diferenas

PVE 2.2.1.3 Relaes de Influncia

D1

D2

D3

D4 Percepo dos atores quanto possibilidade da adoo dos indicadores gerar aes que conduzam a desem penhos no desejados

D5

D6

D7 Existncia de processo para revisar e atualizar periodicamente o conjunto de indicador es

D8 Forma utilizada para identificar as propriedades julgadas essenciais ao decisor ao avaliar o contexto

D9 Percepo do decisor quanto quantidade de propriedades identificadas

D10 Percepo do decisor quanto incluso das medidas de carter obrigatrio dentre o conjunto de propriedades a serem mensuradas

D11 Identificao, segundo a percepo do decisor, dos plos subjacente e a ser evitado para as propriedades que ir o avaliar o contexto

D12 Processo utilizado para evidenciar as linhas de argumentao que explicam os objetivos

D13 Tipo de M apas de Relaes M eios-Fins (Causais) utilizado

D14 Tipo de estrutura hierrquica utilizada par a explicar os objetivos das linhas de argum entao

D15 Estrutur as utilizadas como fonte de inf orm aes do contexto a partir das quais as escalas ordinais so construdas

D16 Form a utilizada para identificar os nveis de desempenho para as escalas construdas

D17 Form a utilizada para identificar o nvel de desempenho considerado o m elhor possvel (Nvel Bom)

D18 Forma utilizada para identificar o nvel de desem penho considerado o pior possvel ainda aceitvel (Nvel Neutro)

D19 Processo utilizado para evidenciar o sistem a de valores do decisor ao avaliar o contexto

D20 Grau de participao do decisor no processo de evidenciao de seu sistem a de valor es

D21 Percepo do decisor quanto ao indicador conter uma descrio suficientemente detalhada da propriedade a ser m ensurada

D22 Forma de apresentar a descrio da m tr ica a ser utilizada para mensurar a propriedade

D23 Percepo do decisor quanto preciso das m edidas a ser fornecidas pelos indicadores

D24 Percepo do decisor quanto possibilidade de realizar a mensurao descrita pelos indicadores

D25 Percepo do decisor quanto relao custo-benefcio da adoo dos indicadores

D26 Tipo de propriedade que o decisor reconhece poder utilizar nos indicador es com escalas nominais

D27 Tipo de propriedade que o decisor reconhece poder utilizar nos indicadores com escalas or dinais

D28 Quantidade etapas do processo de construo do indicador que contam com a participao ativa do decisor

D29 Reconhecim ento do decisor de que o conhecim ento construdo est alinhado com a sua percepo do contexto

D30 Par ticipao dos atores com poder de influncia sobre o contexto no processo de construo e gesto dos indicadores

D31 Percepo dos atores quanto clareza da descrio da propriedade a ser mensurada pelo indicador

D32 Reconhecimento, pelos atores, da propriedade a ser mensurada com o indicador por meio de seu ttulo

D33 Reconhecim ento, pelos atores, da forma de realizar a mensurao da propriedade por meio do indicador

D34 Clareza na definio dos nveis da escala do indicador

D35 Quantidade de propriedades que os atores r econhecem a serem m ensuradas pelo indicador

D36 Quantidade de indicadores que os atores reconhecem a serem utilizados para mensurar a pr opriedade

D37 Forma utilizada para ordenar as diferenas de preferncia ao realizar a transform ao das escalas nominais para ordinais

D38 Form a utilizada para ordenar as dif erenas de atratividade ao realizar a transformao das escalas ordinais para cardinais

D39 Reconhecim ento pelos atores dos tipos de operaes estatsticas permitidas para aplicar s escalas nominais

D40 Reconhecimento pelos ator es dos tipos de operaes estatsticas per mitidas para aplicar s escalas ordinais

D41 Reconhecimento pelos atores dos tipos de operaes permitidas s escalas cardinais com zer o ar bitrado (intervalo)

D42 Reconhecim ento pelos atores dos tipos de operaes permitidas s escalas cardinais com zero absoluto (razo)

D43 Tipo de infor mao utilizada para, quando necessrio, transformar as escalas nominais em ordinais

D44 Combinaes de diferenas de atr atividade do decisor utilizadas para, quando necessrio, transformar as escalas ordinais em cardinais

D45 Ao transformar as escalas ordinais em cardinais, for ma utilizada par a quantificar as diferenas de atratividade do decisor

D46 Propriedade utilizada pelo decisor, ao transformar as escalas ordinais em cardinais, ao expressar as diferenas de atratividade entre dois nveis da escala

D47 Percepo do decisor quanto compatibilidade dos valores obtidos para os extremos da escala ao contexto

D48 Forma utilizada pelo decisor para quantificar seu sistema pref erencial quando necessrio determ inar taxas de compensao entre as escalas dos indicadores

D49 Ao deter minar a taxa de substituio do indicador, forma utilizada par a quantificar as diferenas de atratividade do decisor

D50 Determ inao, segundo a percepo de valor do decisor, da performance acim a da qual considera excelncia e da perform ance abaixo da qual considera com prom etedor

D51 Tipo de infor mao utilizada pelo decisor para determinar os fatores de integrao das escalas

D52 Tipo de agregao permitida pelo indicador quando necessrio integrar os indicadores

D53 Forma empregada para certificar que as taxas de com pensao sejam constantes

D54 Forma utilizada para identificar as aes de aperf eioamento

PVE 8.1.1.1.2 Perfo rmanc e

PVE 5.2.1.3.1 Intervalo

P VE 4.1.2.2.2 Preciso

PVE 4.1.2.2.1 Mtrica

PVE 8.1.1.1.1 Aes

PVE 5.2.1.3.2 Razo

D55 For ma de identificao do aumento da perform ance em cada indicador com a adoo de aes de aperfeioamento

PVE 8.1.1.2 Reavaliar a estratgia

PVE 6.2.1.4 Valor C omp atvel ao C ontexto

PVE 7.1.1.3 Nveis de Referncia

PVE 6.2.1.2 Escalas Semnticas

PVE 7.1.1.2 Escalas Semnticas

P VE 8.1.1.1 Aperfeioamento

PVE 1.2.2.1 Enten dimen to da Importncia

PVE 1.2.2.2 Aes Favo rveis

PVE 1.2.3.1 Operacion alizar

PVE 4.1.2.2 Fo rma de Medir

PVE 4.5.1.3 Fo rma de Medir

PVE 7.1.1.1 Co mpensa es

PVE 2.1.2.2 Qu an tid ad e de P ropriedades

P VE 4.4.1.1 Particip ao

P VE 4.4.2.1 Particip ao

P VE 4.5.1.1 Pro pried ade

P VE 4.6.1.1 Pro pried ade

PVE 6.2.1.3 L inearidade

PVE 2.2.1.1 Con ceitos

PVE 4.6.1.2 Indicad or

PVE 5.2.1.1 Nominais

PVE 5.2.1.3 Cardinais

PVE 5.2.1.2 Ordin ais

PVE 3.2.2.2 Neutro

PVE 4.5.1.2 Ttulo

PVE 3.2.2.1 Bom

D56 Uso do entendimento do contexto gerado ao decisor a partir das inform aes das medidas dos indicadores

D57 Form a de divulgar aos diferentes grupos de atores as informaes geradas pelas mensur aes

PVE 8.2.2 Formato

PVE 4.4.1 Decisor

P VE 4.4.2 Ato res

P VE 4.5.2 Nveis

D58 Form ato de divulgao das inform aes aos difer entes gr upos de atores

Tipos de subgrupos de atores do contexto identificados para a construo dos indicadores

Existncia de uma descrio do problema cujo desempenho ser avaliado

Ao analisarem o sumrio do indicador, percepo dos atores quanto importncia de mensurar a propriedade

Percepo do decisor para o nvel de impacto da propriedade a ser mensurada para a operacionalizao da estratgia

Existncia de um sumrio que evidencie os ganhos a serem obtidos com a mensurao da propriedade por meio de um indicador

150

157 100 100 100 77 100 46 100 58 100 66 60 55 20 0 25 0 40 0 0 0 - 28 0 - 33 0 - 33 0 42 44 44 44 100 100 100 100 100

126 100 100 100 69 66 38 0 0 0 0 0 0 0 0 0 - 30 0 0 0 0 0 0 0 0 0 -30 0 - 33 0 0 0 0 0 0 50 62 62 50 55 50 57 50 57 50 44 54 55 50 55 20 0 0 0 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 46 55 27 0 20 0 0 0 - 33 0 0 0 0 0 0 100 100 100 63 100 46 44 44 40 42 37 28 50 40 30 0 100 100 100 100 100 100 100 100 100 70

Nvel Bom

100

100

100

100

100

100

100

100

50

57

54

55

50

57

60

50

55

Nvel Neutro

0 - 112

0 - 66

0 - 37

0 - 55

Figura 54: Estrutura Hierrquica de Valor com as Escalas Cardinais. Fonte: autor.

204

205
5.2.2 Taxas de Substituio

Construdas as escalas cardinais, a continuidade da construo do entendimento ao decisor se d por meio da integrao das avaliaes locais em uma avaliao global, o que realizado mediante a determinao das Taxas de Substituio (ENSSLIN et al., 2010). Dentre as diferentes possibilidades de realizar a integrao, o presente estudo utilizou o Mtodo de Comparao Par-a-par do Macbeth, cuja escolha ocorreu devido possibilidade do decisor expressar seus julgamentos de valor com auxlio de uma escala semntica (ENSSLIN; MONTIBELLER; NORONHA, 2001). Para realizar a comparao par-a-par, selecionam-se, na Estrutura Hierrquica de Valor, os PVEs ou PVFs que se deseja realizar a determinao das Taxas de Substituio. Para exemplificar o processo, ser ilustrada a determinao das Taxas para o PVE 1.2.2.1 Entendimento da Importncia e PVE 1.2.2.2 Aes Favorveis, cuja localizao na Estrutura Hierrquica de Valor est ilustrada na Figura 55. Definida em qual parte da Estrutura Hierrquica ser feita a determinao das Taxas so criadas aes potenciais que representem a passagem do Nvel Neutro ao Nvel Bom em cada um dos PVEs (ou PVFs), para cada um dos critrios, e para uma ao de referncia, que possui o desempenho Neutro em todos os critrios. Deste modo, so determinadas as alternativas de aes potenciais para os PVEs, conforme pode ser visto na Figura 56 para o PVE 1.2.2.1 Entendimento da Importncia e PVE 1.2.2.2 Aes Favorveis.

206

.1 Figura 55: Comparao Par-a-Par dos PVEs 1.2.2.1 Entendimento da Importncia e 1.2.2.2 Aes Favorveis. Fonte: autor.

207

Figura 56: Alternativas potenciais para o PVE Entendimento da Importncia e PVE 1.2.2.2 Aes Favorveis. Fonte: autor.

1.2.2.1

Em seguida, as alternativas so ordenadas segundo o juzo preferencial do decisor. Para auxiliar na ordenao preferencial das alternativas foi empregada a Matriz de Roberts (ENSSLIN; MONTIBELLER; NORONHA, 2001). Sempre que o decisor preferir a alternativa constante de uma linha da matriz marca-se na interseco da coluna com a qual est comparando, o valor 1, caso contrrio marca-se zero (GIFFHORN, 2007; ENSSLIN et al., 2010). Aps todas as comparaes, somam-se os valores das linhas e se obtm o grau de preferncia, conforme o valor da soma. O Quadro 20 expe a Matriz de Roberts para as alternativas dos PVEs Entendimento da Importncia, Aes Favorveis e do Desempenho de Referncia.

Quadro 20: Matriz de Roberts para os PVEs 1.2.2.1 Entendimento da Importncia e 1.2.2.2 Aes Favorveis. Fonte: autor.

208 Uma vez que as alternativas foram ordenadas, pode ser feita a insero no software M-Macbeth das intensidades preferenciais do decisor e, assim, serem obtidas as Taxas de Substituio. A Figura 57 apresenta a matriz de julgamentos do exemplo descrito e as Taxas de Substituio calculadas pelo software.

Figura 57: Matriz de Julgamentos e Taxas de Substituio calculadas pelo software M-Macbeth para as alternativas dos PVEs 1.2.2.1 Entendimento da Importncia e 1.2.2.2 Aes Favorveis. Fonte: Bana e Costa, De Corte e Vansnick (2005). O mesmo processo foi realizado para o restante da Estrutura Hierrquica de Valor, o que pode ser constatado no anexo E. O anexo F contm a ilustrao da Estrutura Hierrquica de Valor com todas as Taxas de Substituio. A Figura 58 ilustra a Estrutura Hierrquica de Valor com as taxas at os PVFs.

209

Figura 58: Estrutura Hierrquica de Valor com as Taxas de Substituio at os PVFs. Fonte: autor. 5.2.3 Avaliao Global e Perfil de Impacto

Para a obteno de uma avaliao global, necessrio somar as avaliaes de cada PVF. No caso do modelo construdo para avaliar os Indicadores de Desempenho, a equao de avaliao global : 0,1763 . 0,280. 0,048 . 0,1353 . 0,088 . 0,110 . 0,0984 . 0,064 .

Na equao (6), as constantes de cada termo foram obtidas pela multiplicao das Taxas de Substituio da correspondente cadeia ascendente ao ponto de vista. Ou seja, o primeiro valor (0,1763) corresponde ao produto 0,41 * 0,43, o segundo valor (0,1353) ao produto

210 0,41 * 0,33, e assim sucessivamente. Portanto, para cada PVF se tem a seguinte equao na forma genrica: . 7

: valor global da ao a do PVFk, para k = 1, m; : valor parcial da ao a no critrio i, i = 1,...n, do PVFk, , para k = 1, m; : nvel de impacto da ao a; , : taxas de substituio do critrio i, i = 1,... n, do PVFk, para k = 1, m; nk: nmero de critrios do PVFk, para k = 1, m; m: nmero de PVFs do modelo.
Substituindo-se os valores correspondentes na frmula (7), so obtidas as equaes dos PVFs abaixo indicadas: 0,65 . 0,35 . 0,33 . 0,28 . 0,64 . 0,36 . 0,22 .
.

Em que:

0,17 .

0,61 . 0,2 . 0,33 . 0,62 . 0,38 . 0,17 . 0,39 . 0,34 . 0,28 . 0,22 .

. .

. . .

0,16 .

211 0,33 . 0,67 . 0,61 . 0,39 . 0,57 .


. .

0,43 .
.

10

0,23 . 0,69 . 0,64 . 0,36 . . 0,31 . 0,64 . 0,36 . 0,64 . 0,135 . 0,33 . 0,19 . 0,39 . . 0,61 . . 0,165 . 0,67 . 0,67 . 0,33 . 0,21 . 0,30 . 0,47 . 0,32 . 0,07 . 0,36 . 0,36 . 0,4 . 0,64 . 0,16 . 0,48 . 0,7 . 0,33 .
.

0,36 . 0,67 .

0,33. 0,70 . 0,64 . 0,6 . 0,36 . 0,3 .

0,21 .

11

12

0,67 . 0,08 . 0,31 . 0,19 .

0,42 .

13
.

0,67 . 0,24 . 0,33 . 0,33 . 0,54 . 0,33 . 0,13 . .

0,43 .
.

14

212 0,70 . 0,70 . 0,64 . 0,30 . 0,30 . 0,67 . 0,36 .


.

0,33 .

15

A partir deste ponto, o modelo construdo est apto a auxiliar os decisores a: (i) avaliar Indicadores de Desempenho j em uso nas organizaes; (ii) avaliar indicadores em aplicaes de Avaliao de Desempenho; e (iii) obter/utilizar indicadores com maior cientificidade. Com o objetivo de ilustrar a operacionalidade do modelo construdo, foram selecionadas trs aplicaes publicadas de Avaliao de Desempenho, que utilizam tcnicas distintas. A avaliao dos Indicadores de Desempenho, das trs publicaes, corresponde ao desenvolvimento do Estudo de Caso proposto no item 1.4.3 Objetivos Especficos: testar a factibilidade do processo proposto, por meio da anlise de aplicaes em um Estudo de Caso. Para a seleo do primeiro artigo a ter seus indicadores avaliados, se buscou, no resultado do 3 eixo de avaliao da Anlise Qualimtrica, a metodologia mais utilizada na amostra. Conforme pode ser constatado no item 3.3.2, subitem c Qual o instrumento de interveno (metodologia) utilizado?, o instrumento mais empregado na amostra o BSC. Diante disto, retornou-se biblioteca com as 5315 publicaes resultante da aplicao do Processo de Identificao do Referencial Bibliogrfico. Na biblioteca, se fez um filtro com os termos BSC ou scorecard. Os termos foram procurados nos ttulos das publicaes, o que resultou em 156 artigos. Os artigos foram avaliados em busca daquele que demonstrasse possuir maior detalhamento da aplicao do BSC. Com isto, o 1 artigo selecionado a ter os Indicadores de Desempenho avaliados foi o Application of the balanced scorecard in Spanish private health-care management, de Urrutia e Eriksen (2005). Para selecionar o 2 artigo a ter seus Indicadores de Desempenho avaliados, se buscou o autor mais presente na amostra bibliogrfica. Conforme pode ser constatado no item 3.3.1, subitem c, da Anlise Bibliomtrica, o autor mais presente Andy Neely. O desenvolvimento da Reviso Sistmica da Literatura, item 3.3.2, subitem c, permitiu identificar que este autor um dos desenvolvedores da metodologia denominada Performance Prism. Deste modo, retornou-se novamente biblioteca com as 5315 publicaes, resultante da aplicao do Processo de Identificao do Referencial Bibliogrfico, e se fez uma busca com o termo prism. Este

213 procedimento resultou em 2 artigos, que foram analisados em busca daquele que contivesse maior detalhamento na descrio da aplicao do Performance Prism. Por consequncia, o 2 artigo selecionado foi o Performance Prism in practice, de Neely, Adams e Crowe (2001). Para a determinao do 3 artigo a ter os Indicadores de Desempenho avaliados, tambm se recorreu aos instrumentos relacionados no 3 eixo de avaliao da Anlise Qualimtrica, 3.3.2, subitem c Qual o instrumento de interveno (metodologia) utilizado?. relao de instrumentos mencionada no eixo de avaliao, foram acrescentados os instrumentos constantes dos artigos da amostra que realizaram uma anlise comparativa de diferentes instrumentos. Mais uma vez se retornou biblioteca das 5315 publicaes. Para cada instrumento foi feita uma filtragem na biblioteca para identificar o nmero de vezes que cada instrumento constava no ttulo ou resumo das publicaes (desconsiderando o BSC que j foi selecionado). Deste modo, foi identificado o instrumento AHP (Analytic Hierarchy Process) com maior nmero de ocorrncias, com um total de 44 artigos. Os 44 artigos foram analisados em busca daquele que contivesse maior detalhamento quanto descrio da aplicao do instrumento. Logo, o 3 artigo selecionado para ter seus Indicadores de Desempenho avaliados foi o Using analytic hierarchy process (AHP) to improve human performance: an application of multiple criteria decision making problem, de Albayrak e Erensal (2004). O decisor analisou as 3 publicaes com o objetivo de reconhecer a forma com que os autores executaram, em suas aplicaes, a identificao, organizao, mensurao e utilizao dos Indicadores de Desempenho, conforme o modelo de avaliao construdo nesta pesquisa. A partir da anlise, o decisor pontuou a performance dos indicadores em cada PVE, permitindo, assim, traar o Perfil de Impacto dos indicadores de cada uma das trs aplicaes. Com o objetivo de evidenciar o procedimento utilizado para realizar a pontuao de cada PVE, tome-se como exemplo, o primeiro PVE, PVE 1.1.1 - Identificao dos Atores. No artigo que utilizou o BSC, Application of the balanced scorecard in Spanish private health-care management, de Urrutia e Eriksen (2005), os autores identificaram o decisor e o subgrupo de intervenientes. Deste modo, identificao dos decisores e intervenientes, corresponde o nvel de performance 50 na escala cardinal para esse PVE. Por outro lado, no artigo Performance Prism in practice, de Neely, Adams e Crowe (2001), houve a identificao dos decisores, dos

214 intervenientes e dos agidos. Portanto, para a aplicao do Performance Prism, a pontuao na escala cardinal, para o PVE 1.1.1 - Identificao dos Atores, de 100 pontos. J no artigo Using analytic hierarchy process (AHP) to improve human performance: an application of multiple criteria decision making problem, de Albayrak e Erensal (2004), houve apenas a identificao do decisor. Com isto, aos indicadores da aplicao do AHP, foi dada a pontuao 0 para o PVE 1.1.1. A Figura 59 explicita a determinao do desempenho dos indicadores de cada uma das trs aplicaes para o PVE 1.1.1 Identificao dos Atores.

Figura 59: Determinao do desempenho dos indicadores dos trs artigos para o PVE 1.1.1 Identificao dos Atores. Fonte: autor.

215 Para os demais PVEs foi realizado o mesmo procedimento. Deste modo, foi possvel traar o Perfil de Impacto dos indicadores para cada uma das trs aplicaes. O Quadro 21 apresenta a Matriz de Impacto com o status quo da pontuao dos indicadores para cada um dos artigos selecionados. No Quadro, Artigo 1 se refere aplicao do BSC, Artigo 2 aplicao do Performance Prism e Artigo 3 aplicao do AHP. Os dados do Quadro 21 foram inseridos nas equaes 8 a 15, com o objetivo de determinar a performance em cada PVF. Por consequncia, foi possvel traar o Perfil de Impacto dos Indicadores de Desempenho das trs aplicaes, o que pode ser visualizado na Figura 60. No alto, direita, da Figura 60, podem ser vistos os valores da Avaliao Global para os indicadores de cada um dos trs artigos avaliados e a pontuao para cada rea de Preocupao. Conforme pode ser visto, a Avaliao Global foi: 44 pontos para os indicadores da aplicao com o BSC; 60 pontos para os indicadores da aplicao do Performance Prism; 27 pontos para os indicadores da aplicao com o AHP.

Cabe destacar aqui, que o Perfil de Impacto traado no avalia o instrumento de interveno utilizado nos artigos, mas, seus Indicadores de Desempenho. Portanto, no pode ser feita a afirmao que um instrumento de interveno seja mais adequado que outro.

216

217

Quadro 21: Matriz de Impacto com o status quo da pontuao dos indicadores dos artigos analisados. Fonte: autor.

218

219

Figura 60: Perfil de Impacto do status quo da pontuao dos indicadores dos artigos analisados. Fonte: autor.

220

221
Devido ao modelo ter sido construdo considerando o sistema de valores e preferncias do decisor, este passou a ter a seu dispor um instrumento que lhe permitiu identificar aes potenciais que visam o aperfeioamento da performance dos Indicadores de Desempenho, segundo os critrios do modelo de avaliao construdo. A esta etapa, a metodologia MCDA-C denomina Recomendaes. 5.3 RECOMENDAES Na metodologia MCDA-C, a etapa de Recomendaes tem a finalidade de servir de apoio ao decisor para ajud-lo a identificar formas de melhorar o desempenho do que est sendo avaliado, assim como entender as conseqncias das aes, caso estas venham a ser implementadas. Em funo do carter construtivista sob o qual a metodologia MCDA-C foi desenvolvida, esta etapa no possui caractersticas prescritivistas, mas, sim, o carter de apoio ao decisor para construir aes de aperfeioamento e de apoio compreenso de suas consequncias (ENSSLIN et al., 2010). 5.3.1 Recomendaes a partir do Modelo

Esta etapa tem seu incio com a identificao dos PVFs onde se deseja aperfeioar a performance. Conforme pode ser constatado pela Figura 60, para as aplicaes avaliadas, h oportunidades de aperfeioamento nos oito PVFs. O processo se inicia por meio da visualizao dos descritores e os correspondentes status quo. A partir dessa informao, o decisor busca aes que faam o impacto no PVE ter uma melhora de desempenho. Ao assim proceder, para cada PVE do modelo foram geradas aes de aperfeioamento. Estas aes podem ser vistas no Quadro 22. No mesmo Quadro 22 pode ser identificada a expectativa de impacto da ao na avaliao do descritor, para cada um dos trs artigos, e a correspondente contribuio da ao na Avaliao Global dos indicadores dos artigos.

222

223

Quadro 22: Aes de aperfeioamento e expectativa de impacto no desempenho dos PVEs e na Avaliao Global. Fonte: autor.

224

225
Deste modo, a etapa de Recomendaes fornece os meios para o decisor identificar (ENSSLIN et al., 2010): (i) onde conveniente atuar; (ii) um processo para gerar aes de aperfeioamento; e, (iii) a visualizao das consequncias da implementao das aes a nvel local ou operacional (PVE), ttico (PVF) e estratgico (Global). 5.3.2 Perfil de Impacto com a Adoo das Recomendaes

Com o objetivo de mensurar o impacto da adoo de um grupo de aes na avaliao dos indicadores dos artigos, tome-se, como exemplo, a adoo somente das aes exibidas no Quadro 22, cujo impacto na Avaliao Global, contribuam com 1 ponto, ou mais. Desta forma, para cada artigo, seriam introduzidas as aes relacionadas no Quadro 23.

226

227

Quadro 23: Simulao da adoo de aes de aperfeioamento. Fonte: autor.

228

229
Dessa forma, por meio da associao das aes a serem implementadas, com o correspondente incremento no impacto do desempenho dos descritores dos PVEs, conforme indicado no Quadro 22, pode ser elaborada a nova Matriz de Impacto, exibida no Quadro 24, e traado o novo Perfil de Impacto da avaliao dos indicadores, conforme Figura 61. No alto, direita, da Figura 61, pode ser vista a nova Avaliao Global dos Indicadores de Desempenho de cada aplicao: 74 pontos para os indicadores da aplicao com o Performance Prism; 73 pontos para os indicadores da aplicao com o AHP; 70 pontos para os indicadores da aplicao do BSC.

Se, no status quo, a diferena de pontuao entre a melhor Avaliao Global e a mais comprometedora era de 33 pontos (60 pontos menos 27), aps a simulao de implementao das aes de aperfeioamento, o intervalo entre as Avaliaes Globais passou para somente 4 pontos (74 pontos menos 70). A fim de evidenciar o incremento de performance possibilitado por meio das aes potenciais, na Figura 61 foi inserido o Perfil de Impacto original dos indicadores da aplicao que utilizou o AHP. Pode ser constatado que, no PVF 1 Definio do Problema, a pontuao mudou de 7 para 94 pontos, para a rea de Preocupao Definio, Identificao e Construo, a pontuao aumentou de 15 para 87 pontos e, por fim, a Avaliao Global dos indicadores melhorou de 27 para 73 pontos. Fica assim constatado o potencial de contribuio ao aperfeioamento dos Indicadores de Desempenho para as aplicaes avaliadas. Deve ser evidenciado, que as aes de aperfeioamento visam propor meios de aprimorar a operacionalizao das atividades de identificar e selecionar/construir indicadores, no visando alterar os instrumentos de Avaliao de Desempenho, conforme mencionado no item 1.2 Tema da Pesquisa.

230

231

Quadro 24: Matriz de Impacto aps a implementao das aes de aperfeioamento. Fonte: autor.

232

233

Figura 61: Perfil de Impacto aps a implementao das aes de aperfeioamento e perfil original dos indicadores da aplicao do AHP. Fonte: autor.

234

235
5.3.3 Anlise de Sensibilidade

Em funo da possibilidade de alteraes no cenrio poderem provocar alteraes nos julgamentos expressos pelo decisor, os parmetros do modelo necessitam ser testados quanto s consequncias de possveis variaes. Para isto, a etapa das Recomendaes da metodologia MCDA-C incorpora uma Anlise de Sensibilidade. Sua operacionalizao pode ser feita por meio dos softwares VISA (Visual Thinking, 1995) ou HIVIEW for Windows (Crysalis, 1997). Este estudo utilizou uma verso trial do HIVIEW for Windows. O processo iniciado com a insero da Estrutura Hierrquica de Valor, com as correspondentes Taxas de Substituio, no software. Na sequncia, so inseridas as pontuaes do status quo dos descritores para os objetos de avaliao, no presente caso, os Indicadores de Desempenho de trs aplicaes que utilizam diferentes instrumentos de avaliao (BSC, Performance Prism e AHP). Inseridos os dados, os grficos da sensibilidade do modelo podem ser gerados. A Figura 62 ilustra o grfico da sensibilidade para o PVF 1 Definio do Problema. Conforme pode ser constatado, a Taxa de Substituio do PVF pode apresentar uma variao ao longo de toda a escala e ainda assim a ordem preferencial das alternativas mantida. Ou seja, mesmo havendo alteraes nos julgamentos de valor do decisor, a ordem de preferncia das alternativas avaliadas permanece inalterada. A mesma situao de estabilidade foi encontrada para os demais PVFs, conforme pode ser verificado no Anexo G. Deste modo, o modelo construdo para avaliar Indicadores de Desempenho se revelou robusto s variaes do contexto.

236

Figura 62: Anlise de Sensibilidade do PVF 1 Definio do Problema. Fonte: Barclay (2006). Realizada a Anlise de Sensibilidade, chega-se ao final da construo do modelo de avaliao de desempenho, segundo a metodologia MCDA-C. Todavia, devido recursividade do processo de sua construo e das alteraes do contexto decisional, h a necessidade da peridica reviso e atualizao do modelo. Essa recursividade oportuniza uma continuidade ininterrupta ao processo de aprendizagem do decisor, a respeito do contexto de avaliao dos Indicadores de Desempenho.

237 6. CONSIDERAES FINAIS E PROPOSTAS PARA A EVOLUO DA PESQUISA

Este captulo apresenta as consideraes finais a respeito do estudo aqui apresentado, o alcance obtido quanto aos objetivos inicialmente propostos e expe algumas propostas para a evoluo da pesquisa. 6.1 CONSIDERAES FINAIS O contnuo crescimento na complexidade dos contextos a serem gerenciados pode ser verificado pelo aumento da magnitude do impacto de suas consequncias e pelo, tambm crescente, nmero de variveis que devem ser consideradas. Visando contribuir para melhor administrar tais situaes, a cincia disponibilizou, entre outros instrumentos, a Avaliao de Desempenho, que operacionaliza as variveis que intervm no contexto por meio de Indicadores de Desempenho. Ao proceder com a integrao desses indicadores obtido um instrumento de gesto. Uma vez que os indicadores so parte integrante da Avaliao de Desempenho, a forma como so identificados, medidos e utilizados impacta diretamente nas informaes que os decisores empregam para apoiar sua tomada de decises. Visando dar maior cientificidade, praticidade e utilidade aos Indicadores de Desempenho de instrumentos de avaliao, foi desenvolvida a presente tese. O desenvolvimento da pesquisa teve carter exploratrio, conforme descrito no item 3.1 do Enquadramento Metodolgico, onde se evidenciou haver a preocupao de definir o problema com maior preciso e, ao melhorar a compreenso do pesquisador, aumentar sua familiaridade com o tema de estudo. Ainda no Enquadramento Metodolgico foi afirmado que a natureza do estudo de carter terico, na forma conceitual prtica, uma vez que seus resultados visam auxiliar o decisor a melhor utilizar os instrumentos de avaliao. Quanto lgica da pesquisa, evidenciou-se que mista, com abordagem quali-quantitativa, e, seus resultados, possuem carter de pesquisa aplicada. Conforme o item 3.4 Instrumento de Interveno, a Metodologia Multicritrio de Apoio Deciso Construtivista foi selecionada devido ao seu diferencial em relao s demais abordagens multicritrio. Assim como

238 por ser apta a trabalhar com contextos onde existem mltiplos critrios no definidos, com mltiplas interpretaes, com critrios que competem entre si e com critrios em que os decisores tm dificuldades para explicar as escalas de mensurao, como o caso dos Indicadores de Desempenho. A pesquisa apresentada foi desenvolvida na Viso do Conhecimento Construtivista de Bernard Roy, segundo o qual: (i) essencial a participao do decisor em todo o processo de gerao de conhecimento sobre o contexto; (ii) h de ser considerada a limitao ao entendimento do contexto por parte do decisor; e, (iii) o conhecimento gerado no decisor resultado do amalgamento entre as caractersticas objetivas com as subjetivas do decisor. Ainda, conforme o Enquadramento Metodolgico, o estudo se desenvolveu no paradigma Fenomenolgico, devido ao pesquisador se posicionar favoravelmente a que o conhecimento emana de uma viso personalizada do contexto. O desenvolvimento da aplicao, por meio do Estudo de Caso, possibilitou testar a factibilidade do modelo de avaliao proposto. A pergunta de pesquisa, formulada no item 1.4.1, Como aperfeioar o processo de identificao e avaliao de indicadores, e suas escalas ordinais e cardinais, nos instrumentos de Avaliao de Desempenho encontrados na literatura especializada? foi atendida por meio da construo do modelo de avaliao dos Indicadores de Desempenho, descrita no item 5 Construo do Modelo de Avaliao dos Indicadores. A fase de Estruturao, item 5.1, contribuiu com a identificao dos Elementos Primrios de Avaliao, construo dos Conceitos e das escalas ordinais que mensuram localmente os Indicadores de Desempenho. A fase de Avaliao, item 5.2, demonstrou a obteno das escalas cardinais para avaliar os Indicadores de Desempenho. O Objetivo Geral do estudo, exibido no item 1.4.2, Construir um processo para ajudar a aperfeioar a operacionalizao dos instrumentos de Avaliao de Desempenho quanto sua forma de identificar, organizar, mensurar e integrar os Indicadores de Desempenho foi alcanado com o desenvolvimento, no item 5, da Construo do Modelo de Avaliao dos Indicadores de Desempenho. A contribuio para a forma identificar e organizar foi obtida na fase de Estruturao do modelo, item 5.1. A externalizao do sistema de valores do decisor foi realizada por meio da interpretao da amostra de artigos obtida como resultado do processo de Identificao do Referencial Bibliogrfico, item 1.3. Deste modo, foi possibilitada a identificao dos Elementos Primrios de Avaliao, item 5.1.6, sua transformao em Conceitos, item 5.1.7, para posterior agrupamento em Clusters. As inter-

239 relaes entre os Conceitos foram evidenciadas por meio da construo dos Mapas de Relaes Meios-Fins, item 5.1.9, o que permitiu o evidenciar os PVFs, item 5.1.11, e a obteno da Estrutura Hierrquica de Valor, item 5.1.12. Deste modo, foram construdos 58 Descritores, item 5.1.13, que avaliam localmente a performance dos Indicadores de Desempenho. A contribuio para mensurar e integrar os Indicadores de Desempenho, por sua vez, se deu por meio da fase de Avaliao do modelo, item 5.2. Por fim, o modelo construdo foi utilizado para testar sua factibilidade, item 5.2.3 Avaliao Global e Perfil de Impacto, por meio do traado do Perfil de Impacto do status quo do desempenho dos indicadores, constantes em trs aplicaes publicadas de Avaliao de Desempenho, com diferentes instrumentos de interveno. Os Objetivos Especficos, descritos no item 1.4.3, foram atingidos conforme a seguir: a) Identificar, na literatura selecionada de artigos de referncia do assunto, os aspectos positivos e negativos existentes quanto ao uso dos Indicadores de Desempenho: atingido com a aplicao do Processo de Identificao do Referencial Bibliogrfico, descrito no item 1.3 e anexo A, que possibilitou identificar uma amostra bibliogrfica de 39 artigos representativa ao tema da pesquisa, qual foi aplicada a Reviso Sistmica da Literatura (item 3.3.2), que, por meio da anlise de eixos de avaliao, possibilitou identificar os pontos positivos e negativos (oportunidades de aperfeioamento) da amostra bibliogrfica do tema; b) Identificar critrios para avaliar os Indicadores de Desempenho: objetivo alcanado na fase de Estruturao da construo do modelo de avaliao, item 5.1, no qual foram elicitados os EPAs, construdos os Conceitos, explicitadas as relaes de influncia entre os Conceitos por meio dos Mapas de Relaes Meios-Fins, obtida a Estrutura Hierrquica de Valor, identificados os PVFs e construdos 58 Descritores que avaliam localmente os Indicadores de Desempenho; c) Construir um processo de avaliao de diferentes mtodos de Avaliao de Desempenho no que se refere a seus Indicadores: objetivo atingido por meio da construo do Modelo de

240 Avaliao dos Indicadores de Desempenho, item 5; d) Testar a factibilidade do processo proposto, por meio da anlise de aplicaes em um Estudo de Caso: objetivo alcanado na fase de Avaliao, item 5.2, por meio do traado do Perfil de Impacto dos indicadores de trs aplicaes publicadas de Avaliao de Desempenho, item 5.2.3; e) Analisar os pontos fortes e oportunidades de aperfeioamento dos modelos de avaliao da ilustrao, quanto ao uso dos indicadores: realizado com o traado do Perfil de Impacto no item 5.2.3, o qual evidenciou os Pontos de Vista Fundamentais onde residem os pontos fortes dos indicadores de cada aplicao, assim como os que guardam oportunidades de aperfeioamento; f) Anlise crtica do modelo apresentado: objetivo alcanado por meio do desenvolvimento do Estudo de Caso que possibilitou o aprendizado do pesquisador sobre a praticidade do modelo construdo. No desenvolvimento da fase de Recomendaes, em que foram geradas as aes de aperfeioamento, item 5.3.1, e o traado de novo Perfil de Impacto dos indicadores avaliados com a adoo das aes de aperfeioamento, item 5.3.2, permitiu ao pesquisador mensurar o quanto possvel incrementar a performance dos indicadores ao serem adotadas somente as aes de maior impacto no modelo. Para o alcance desse objetivo, tambm contribuiu a evidenciao das contribuies tericas e prticas, obtida ao ser construdo o modelo de avaliao, conforme item 4 Contribuio Cientfica.

As oportunidades de contribuir evoluo do conhecimento, sobre o tema Indicadores de Desempenho, identificadas na Reviso Sistmica da Literatura, item 3.3.2, foram atendidas da seguinte forma: a) Apresentao de uma definio para Avaliao de Desempenho que atenda s diferentes perspectivas do conjunto amostral: apresentada no item 2.2.4 Definies para Avaliao de Desempenho, onde o pesquisador se posicionou pela adoo da definio do LabMCDA, descrita em Ensslin (2009b) - Avaliao de Desempenho o processo de gesto

241 utilizado para construir, fixar e disseminar conhecimentos no decisor ao identificar, organizar, mensurar e integrar os aspectos do contexto julgados relevantes, medindo em que grau os mesmos so alcanados e gerando propostas de aperfeioamento; b) Apresentar uma definio para Indicador de Desempenho que, ao incorporar as diferentes perspectivas da amostra, explicite o que so, que propriedades possuem e qual sua serventia: apresentada no item 2.1.1 Definies para Indicadores de Desempenho, onde o pesquisador defendeu o uso da definio de Ensslin e Ensslin (2009), para os quais Indicadores de Desempenho so instrumentos de gesto utilizados para medir as propriedades do contexto que, na perspectiva dos gestores (decisores), explicam seus objetivos; c) Necessidade do desenvolvimento de um processo suficientemente abrangente, cientificamente vlido, que contemple as diferentes demandas ao desenvolver uma Avaliao de Desempenho: apresentada, no item 5, a construo do modelo de avaliao dos Indicadores de Desempenho, por meio da utilizao da metodologia Multicritrio de Apoio Deciso Construtivista, que evidencia o subsistema de atores envolvidos no contexto decisional e possibilita incorporar diferentes critrios de avaliao, baseados no sistema preferencial do decisor; d) Apresentar um processo de identificao dos Indicadores de Desempenho que considere o contexto decisional no qual esto inseridos: atendido por meio da aplicao da fase de Estruturao da metodologia Multicritrio de Apoio Deciso - Construtivista, item 5.1, que possibilitou contextualizar o problema, identificar o subsistema de atores e elicitar os Elementos Primrios de Avaliao pertencentes ao sistema preferencial do decisor, item 5.1.6; e) Apresentar um processo de construo de escalas de tal forma a atender propriedade da relao isomrfica do indicador ao seu contexto: atendido no item 5.1.13 Descritores, no qual foram construdas escalas ordinais personalizadas ao contexto de avaliao;

242 f) Apresentar um processo de Avaliao de Desempenho cujas escalas de medio evidenciem que sua construo ocorra de tal forma a possibilitar operaes matemticas alm das estatsticas da freqncia, contagem, mediana e moda: atendido no item 5.2.1 Funes de Valor, onde se explicitou a transformao das escalas ordinais em cardinais com a utilizao de informaes do sistema preferencial do decisor, permitindo assim, que outras operaes estatsticas possam ser utilizadas, alm da frequncia, contagem, mediana e moda;

g) Recomendvel o uso de processos que contemplem a integrao para que haja uma compreenso do desempenho global: oportunidade alcanada no item 5.2.2 Taxas de Substituio, que apresentou a obteno das Taxas de Substituio dos Pontos de Vista Elementares e Pontos de Vista Fundamentais do modelo, e no item 5.2.3 Avaliao Global e Perfil de Impacto, que permitiu formular a equao (6) para o clculo da Avaliao Global do modelo; h) Utilizao de instrumentos que incorporem etapas de gerenciamento do processo de Avaliao de Desempenho de tal forma a mant-lo alinhado s alteraes do contexto e ao sistema de valores dos decisores: oportunidade explorada ao ser adotada a metodologia Multicritrio de Apoio Deciso Construtivista como instrumento de interveno, que, ao incorporar a recursividade como um dos elementos essenciais de seu framework, Figura 30 do item 3.4, fica determinada a necessidade da constante reviso do modelo construdo em busca do permanente alinhamento ao sistema de valores do decisor e atualizao das alteraes no contexto; i) Necessidade de utilizao de mtodos de Avaliao de Desempenho nos quais esteja evidenciada uma etapa de gerar aes de aperfeioamento: atendida no item 5.3.1 Recomendaes a partir do Modelo, que descreveu a aplicao da fase de Recomendaes da metodologia Multicritrio de Apoio Deciso Construtivista, que permitiu ao decisor, por meio do aumento do entendimento a ele gerado sobre o contexto, gerar aes de aperfeioamento, cuja adoo simulada possibilitou constatar ganho de performance dos

243 Indicadores de Desempenho das aplicaes. O desenvolvimento das aes de aperfeioamento, descritas no item 5.3.1, se constitui em um diferencial deste trabalho em relaes aos demais, em funo de, at o presente momento, no ter sido identificado, na literatura pertinente aos Indicadores de Desempenho, um processo estruturado como o aqui utilizado, para gerar aes que aperfeioem a cientificidade dos indicadores em aplicaes de Avaliao de Desempenho. A utilizao da metodologia Multicritrio de Apoio Deciso Construtivista, possibilitou, por meio da construo do modelo de avaliao de desempenho, trazer, ao decisor, maior entendimento das variveis envolvidas no processo de avaliar indicadores e de como aumentar a performance dos indicadores por meio da gerao de aes de aperfeioamento. O decisor considera que a construo do modelo de Avaliao de Desempenho trouxe maior cientificidade e praticidade ao processo de identificar, organizar, mensurar e integrar os Indicadores de Desempenho, conforme proposto no incio do desenvolvimento desta pesquisa. O modelo construdo aplicvel como um instrumento de apoio ao serem elaboradas Avaliaes de Desempenho. Com isso, os Indicadores de Desempenho, das aplicaes de Avaliao de Desempenho, tero maior cientificidade e possibilidade de impactar positivamente nos objetivos operacionais, tticos e estratgicos. Entretanto, como limitao deve ser destacada que o modelo construdo no de aplicao geral, uma vez que os critrios de avaliao emergiram a partir da perspectiva particular do pesquisador. Por outro lado, de uso geral o processo apresentado para a construo do modelo de avaliao dos Indicadores de Desempenho, por meio do instrumento de interveno selecionado, a metodologia Multicritrio de Apoio Deciso - Construtivista. 6.2 PROPOSTAS PARA EVOLUO DA PESQUISA Estabelecidas as concluses e limitaes do estudo aqui apresentado, podem ser consideradas algumas propostas para futuras pesquisas, visando dar continuidade ao aprimoramento do conhecimento sobre os Indicadores de Desempenho. Nesse sentido, prope-se: Avaliar os indicadores de aplicaes publicadas que utilizem outros instrumentos de interveno, alm dos trs

244 aqui utilizados (BSC, Performance Prism e AHP); Avaliar os indicadores de diferentes aplicaes para um mesmo instrumento de interveno, com o objetivo de traar um quadro elucidativo de como os indicadores de determinada metodologia esto sendo identificados, mensurados e utilizados; Identificar se h relaes entre a forma de identificar, mensurar e utilizar os indicadores para os diversos instrumentos de interveno apresentados no Quadro 4 Comparativo das abordagens de Avaliao de Desempenho, possibilitando a formao de agrupamentos que permitam ou facilitem a implementao das aes de aperfeioamento; Sugere-se que o processo de construo do modelo de avaliao possa ser aplicado considerando-se um grupo de decisores, com o objetivo de verificar o grau de convergncia ou divergncia para os critrios de avaliao a serem obtidos em relao aos aqui apresentados; Utilizar o modelo construdo para avaliar indicadores de domnio pblico, tais como indicadores econmicos, financeiros, sociais, dentre outros.

Por fim, ressalte-se que o desenvolvimento desta tese contribuiu para o crescimento do entendimento terico-metodolgico do pesquisador, em especial quanto: (i) ao processo cientfico do desenvolvimento de pesquisa; (ii) aos Indicadores de Desempenho; e, (iii) s diferentes abordagens de Avaliao de Desempenho; e, no nvel prtico, por meio da construo e aplicabilidade do modelo proposto. Deste modo, o pesquisador acredita ter apresentado um modelo suficientemente consiste e robusto que possa atender s necessidades das aplicaes de Avaliaes de Desempenho, no que se refere a seus Indicadores de Desempenho.

245 REFERNCIAS ALBAYRAK, Esra; ERENSAL, Yasemin Claire. Using analytic hierarchy process (AHP) to improve human performance: An application of multiple criteria decision making problem. Journal of Intelligent Manufacturing, v. 15, n. 4, p. 591-503, 2004. AMARATUNGA, Dilanthi; BALDRY, David. Moving from performance measurement to performance management. Facilities, v. 20, n. 5-6, p. 217223, 2002. ARGYRIS, Chris. The Impact of budget on people, The Controllership Federation, New York: NY. 1952. AZEVEDO, Joo. Aplicao da metodologia multicritrio de apoio deciso na seleo de centros de usinagem para uma central de usinagem. Dissertao (mestrado), Engenharia da Produo. Universidade Federal de Santa Catarina, Florianpolis. 2001. BAILEY, Kenneth Dillon. Methods of social research. London: The Free press, 1982. BANA E COSTA, Carlos Antnio. Trs convices fundamentais na prtica do apoio deciso. Pesquisa Operacional, v. 13, n.1, p. 9-21, 1993. BANA E COSTA, Carlos Antnio; DE CORTE, Jean-Marie; VANSNICK, Jean-Claude. Software M-Macbeth. Verso demo 1.1 no registrada. Verso 2005. Disponvel em: <http://www.m-macbeth.com>. Acesso em: 17 out. 2006. BANA E COSTA, Carlos Antnio; ENSSLIN, Leonardo; CORRA, merson Corlassoli; VANSNICK, Jean-Claude. Decision Support Systems in action: integrated application in a multicriteria decision aid process. European Journal of Operational Research, v. 113, p. 315-335, 1999. BANA E COSTA, Carlos Antnio; STEWART, Theodor J.; VANSNICK, Jean-Claude. Multicriteria Decision Analysis: some thought based on the tutorial and discussion sessions of the esigma meetings. Proceedings of the EURO XIV Conference, Jerusalem, 3-6 July, 1995.

246 BANA E COSTA, Carlos Antnio; VANSNICK, Jean-Claude. Uma abordagem ao problema da construo de uma funo de valor cardinal: Macbeth. Investigao Operacional, v. 15, p. 15-35, 1995. BARCLAY, Ian. Organisational factors for success in new product development. In: IEEE Proceedings: Science, Measurement and Technology, v. 149, n. 2, p. 105-112, 2002. BARCLAY, Software Incorporation. Software Hiview3. Trial version not licensed for commercial use. Verso 3.1.0.4. Disponvel em: <http://www.catalyze.co.uk/products/hiview>. Acesso em: 18 dez. 2006. BARKLEY, Larry. Key performance indicators: primary drivers of information systems design. Journal of Corporate Real Estate, v. 3, n. 2, p. 161-171, 2001. BARR, Stacey. You didn't use brainstorming to select your measures, did http://www.performanceyou?. 2005. Disponvel em < measurement.net/news-detail.asp?nID=217>. Acesso em: jan. 2010. BARZILAI, Jonathan. Measurement foundations for preference function modeling. In: IEEE International Conference on Systems, Man, and Cybernetics, San Diego-USA, 11-14 oct., v. 4, p. 4038-4044, 1998. BARZILAI, Jonathan. Basic principles of measurement. IEEE International Conference on Systems, Man, and Cybernetics, v. 1, p. 395-400, 2001a. BARZILAI, Jonathan. On the foundations of measurement. IEEE International Conference on Systems, Man, and Cybernetics, v. 1, p. 401406, 2001b. BARZILAI, Jonathan. Decisions, Utility, and Games: re-building the foundations of OR. In: Canadian Operational Research Society Annual Meeting, Quebec City, 12 may, 2008. BECKER, Fernando. O que construtivismo?. Srie Idias, So Paulo: Centro de Referncia em Educao Mrio Covas, v. 20, p. 87-93, 1994. BEHN, Robert D. Why Measure Performance? Different Purposes Require Different Measures. Public Administration Review, v. 63, n. 5, p. 586-606, 2003.

247 BELTON, Valerie.; VICKERS, Stephen P. Use of a simple multi- attribute value function incorporating visual interactive sensitivity analysis. In: Bana e Costa (ed.) Readings in Multiple Criteria Decision Aid, Berlin: Springer, 1990. BERLINER, Callie; BRIMSON, James A. Cost Management for Today's Advanced Manufacturing: the CAM-I conceptual design. Harvard Business School Press, Boston, MA, 1988. BERTALANFFY, Ludwig von. Teoria geral dos sistemas. Petrpolis: Vozes, 1975. BITITCI, Umit. S.; SUWIGNJO, P.; CARRIE, Allan S. Strategy management through quantitative modelling of performance measurement systems. International Journal of Production Economics, v. 69, n. 1, p. 1522, 2001. BORGES, Maria Clia; DALBERIO, Osvaldo. Aspectos metodolgicos e filosficos que orientam as pesquisas em educao. Revista Iberoamericana de Educacin, n. 43/5, jul., 2007. BOSSEL, Hartmut. Indicators for Sustainable Development: theory, method. Applications, International Institute for Sustainable Development, Winnipeg: Canada, 124 p, 1999. BOUCKAERT, Geert. Public productivity in retrospective. In: Public productivity handbook, New York: Marcel Dekker, 1992. BOURNE, Mike; MILLS, John; WILCOX, Mark; NEELY, Andy; PLATTS, Ken. Designing, implementing and updating performance measurement systems. International Journal of Operations & Production Management, v. 20, n. 7, p. 754-771, 2000. BOURNE, Mike; NEELY, Andy; PLATTS, Ken; MILLS, John. The success and failure of performance measurement initiatives: perceptions of participating managers. International Journal of Operations & Production Management, v. 22, n. 11, p. 1288-1310, 2002. BOURNE, Mike; NEELY, Andy; MILLS, John; PLATTS, Ken. Implementing performance measurement systems: a literature review. International Journal of Business Performance Management, v. 5, n. 1, p. 1-

248 24, 2003. BOUYSSOU, Denis. Building criteria: a prerequisite for MCDA. In: Bana e Costa (ed.) Readings in Multiple Criteria Decision Aid, Berlin: Springer, p. 58-82, 1990. BOUYSSOU, Denis; PERNY, Patrice; PIRLOT, Marc; TSOUKIS, Alexis; VINCKE, Philippe. The manifesto of the new MCDA era, International Journal of Multi-criteria Decision Analysis, v. 2, p. 125-127, 1993. BRANDO, Hugo Pena; GUIMARES, Toms de Aquino. Gesto de competncias e gesto de desempenho: tecnologias distintas ou instrumentos de um mesmo construto?. In: Anais Enanpad, Foz do iguaPR, set. 1999, v. 41, 2001. BRUDAN, Aurel. Integrated Performance Management: linking strategic, operational and individual performance. In: Proceedings PMA Conference, Dunedin, New Zealand. Dunedin: University of Otago-NZ, 2009. CASTAON, Gustavo Arja. Construtivismo e cincias humanas. Cincias & Cognio, v. 5, p. 36-49, 2005. CHANDLER, Alfred DuPont. The visible hand: managerial revolution in american business, Boston: Harvard University Press, 1977. CHENHALL, Robert H. Integrative strategic performance measurement systems, strategic alignment of manufacturing, learning and strategic outcomes: an exploratory study. Accounting, Organizations and Society, v. 30, n. 5, p. 395-422, 2005. CHENHALL, Robert H., LANGFIELD-SMITH, Kim. Multiple Perspectives of Performance Measures, European Management Journal, v. 25, n. 4, p. 266-282, 2007. CHIAVENATO, Idalberto. Teoria geral da administrao. Rio de Janeiro: Campus, 2000. CHIESA, Vittorio; FRATTINI, Federico. Exploring the differences in performance measurement between research and development: evidence from a multiple case study. R & D Management, v. 37, p. 283-301, 2007.

249 COTTA-SCHOMBERG, Michael. Performance measurement in the context of quality management. In: 1st Northumbria Conference on Performance Measurement, Denmark: Copenhagen Business School, 1995. COUTINHO, Clara Pereira. Percursos da Investigao em Tecnologia Educativa em Portugal: uma abordagem temtica e metodolgica a publicaes cientficas (1985-2000). Braga: CIED, Srie Monografias em Educao. Universidade do Minho, 2005. CRAM, Jennifer; SHINE, Valerie. Performance measurement as promotion: demonstrating benefit to your significant others, School Library Association of Queensland Biennial Conference, Gold Coast, Australia, 29 jun. 1 jul., 2004. CRYSALIS LTDA. EQUITY for Windows User Manual, 1997. DEMING, William Edwards. Qualidade: A Revoluo da Administrao. So Paulo: Editora Saraiva, 367 p., 1992. DEMO, Pedro. Metodologia cientfica em cincias sociais. So Paulo: Atlas, 293 p., 1995. DENTON, D. Keith. Measuring relevant things. International Journal of Productivity and Performance Management, v. 54, n. 4, p. 278-287, 2005. DRIVA, Helen; PAWAR, Kulwant S.; MENON, Unny. Measuring product development performance in manufacturing organizations. International Journal of Production Economics, v. 63, n. 2, p. 147-159, 2000. DRONGELEN, Inge Kerssens-van; NIXON, Bill; PEARSON, Alan. Performance measurement in industrial R&D. International Journal of Management Reviews, v. 2, n. 2, p. 111-143, 2000. DRUCKER, Peter Ferdinand. The Practice of Management. Harper, New York, NY., 1954. DRUCKER, Peter Ferdinand. Administrando em tempos de grandes mudanas. So Paulo: Arte Final, 1997. DRUCKER, Peter Ferdinand. Desafios gerenciais para o sculo XXI. So Paulo: Pioneira Thomson, 2001.

250 DUTRA, Ademar. Elaborao de um sistema de avaliao de desempenho dos recursos humanos do SEA luz da metodologia multicritrio de apoio deciso. Dissertao (mestrado), Engenharia da Produo. Universidade Federal de Santa Catarina, Florianpolis. 1998. DUTRA, Ademar. Metodologia para Avaliar e aperfeioar o Desempenho Organizacional: Incorporando a Dimenso Integrativa MCDA Construtivista-Sistmico-Sinergtica. Tese (doutorado), Engenharia da Produo. Universidade Federal de Santa Catarina, Florianpolis. 2003. DUTRA, Ademar. Metodologias para avaliar o desempenho organizacional: reviso e proposta de uma abordagem multicritrio. Revista Contempornea de Contabilidade, v.1, jan.-jun., p. 25-56, 2005. EHRENHALT, Alan. Assessments, performance budgeting, thy name is . . . ; old ideas cloaked in the trappings of science are still old ideas. Governing Magazine, v. 8, n. 2, p. 9-10, 1994. ELG, Mattias. The process of constructing performance measurement. The TQM Magazine, v. 19, n. 3, p. 217-228, 2007. ENSSLIN, Leonardo. Processo Decisrio e Aspectos Cognitivos. XII Simpsio de Pesquisa Operacional e Logstica da Marinha, Rio de Janeiro RJ, 5-6 ago., 2009a. ENSSLIN, Leonardo. Notas de aula da disciplina Pesquisa Direta III. Programa de Ps-graduao em Engenharia de Produo, Universidade Federal de Santa Catarina, UFSC, Florianpolis, 2009b. ENSSLIN, Leonardo; DUTRA, Ademar; ENSSLIN, Sandra Rolim. MCDA: a constructivist approach to the management of human resources at a governmental agency. International Transactions in Operational Research, 7, p. 79-100, 2000. ENSSLIN, Leonardo; ENSSLIN, Sandra Rolim. Processo de construo de indicadores para a avaliao de desempenho. In: V Ciclo de debates Avaliao de Polticas Pblicas, 2009. ENSSLIN, Leonardo; GIFFHORN, Edilson; ENSSLIN, Sandra Rolim; PETRI, Srgio Murilo; VIANNA, William Barbosa. Avaliao do Desempenho de Empresas Terceirizadas com o uso da Metodologia

251 Multicritrio em Apoio Deciso - Construtivista. Pesquisa Operacional, v. 30, n. 1, p. 125-152, 2010. ENSSLIN, Leonardo; LONGARAY, Andr Andrade; MACKNESS, John Robert. Decision Support System to Aid a Patient with Stress to Identify Opportunities to Improve her Quality of Life. In: Proceedings of the Annual International Scientific Conference Operations Research, Bremen, 2005, 79 September, 2005. ENSSLIN, Leonardo; MONTIBELLER, Gilberto; NORONHA, Sandro MacDonald. Apoio deciso; metodologias para estruturao de problemas e avaliao multicritrio de alternativas. Florianpolis: Insular, 2001. ENSSLIN, Leonardo; VIANNA, William Barbosa. O Design na pesquisa quali-quantitativa em engenharia de produo - questes epistemolgicas. Revista Produo On-line, v. 8, n.1, mai., 2008. ENSSLIN, Sandra; CARVALHO, Fernando Nitz de; GALLON, Alessandra Vasconcelos; ENSSLIN, Leonardo. Uma metodologia multicritrio (MCDA-C) para apoiar o gerenciamento do capital intelectual organizacional. Revista de Administrao Mackenzie, v. 9, n. 7, nov.-dez., 2008. EUROPEAN ENVIRONMENT AGENCY EEA. Disponvel em: http://glossary.pt.eea.europa.eu/terminology/concept_html?term=indicador %20de%20desempenho, 2008. FRANCESCHINI, Fiorenzo; GALETTO, Maurizio; MAISANO, Domenico; VITICCHI, Luciano. The condition of uniqueness in manufacturing process representation by performance/quality indicators. Quality and Reliability Engineering International, v. 22, n. 5, p. 567-580, 2006. FRANCESCHINI, Fiorenzo; GALETTO, Maurizio; MAISANO, Domenico; MASTROGIACOMO, Leandro. Properties of performance indicators in operations management: A reference framework. International Journal of Productivity and Performance Management, v. 57, n. 2, n. 137155, 2008. GARENGO, Patrizia; BIAZZO, Stefano; BITITCI, Umit S. Performance measurement systems in SMEs: A review for a research agenda,

252 International Journal of Management Reviews, v. 7, n. 1, p. 25-47, 2005. GERNIMO, Luciana Moura; LEITE, Jos Eudo Dias; LIMA, Jos Vicente da Silva; DANTAS, Jos Alves. Governana corporativa: uma abordagem segundo a lei Sarbanes Oxley. Revista Unieuro de Contabilidade, v. 2, n. 1, fev., 2009. GIFFHORN, Edilson. Construo de um modelo de avaliao do desempenho de empresas terceirizadas com a utilizao da metodologia MCDA-C: um estudo de caso. Dissertao (mestrado) Engenharia da Produo. Universidade Federal de Santa Catarina, Florianpolis, 2007. GIFFHORN, Edilson; ENSSLIN, Leonardo; VIANNA, William Barbosa. Proposed procedure for establishing Theoretical Reference - application to Key Performance Indicators (KPIs). In: XV International Conference on Industrial Engineering and Operations Management - ICIEOM, Salvador, 6 9 oct., v. 1. p. 1-10, 2009. GIFFHORN, Edilson; ENSSLIN, Leonardo; ENSSLIN, Sandra Rolim; VIANNA, William Barbosa. Multicriteria Model to Improve the Use of Performance Evaluation Instruments with Focus on Indicators. In: ALIOINFORMS Joint International Meeting, Buenos Aires, 6 9 jun., 2010a. GIFFHORN, Edilson; ENSSLIN, Leonardo; ENSSLIN, Sandra Rolim; VIANNA, William Barbosa. Proposal of use the Multicriteria Decision Aid for Improve the Use of Assessment Tools with Focus on Performance Indicators. In: XXIV EURO Conference, Lisboa, 11 14 jul, 2010b. GIFFHORN, Edilson; ENSSLIN, Leonardo; ENSSLIN, Sandra Rolim; VIANNA, William Barbosa. Personalizao dos Indicadores de Desempenho de Projetos: uma mudana por maior alinhamento. In: 10 Seminrio Internacional de Gerenciamento de Projetos - PMI, So Paulo, 13- 15 sep., 2010c. GOODWIN, Paul; WRIGHT, George. Decision analysis for management judgement. Chichester: John Wiley & Sons Ltd, 1998. GOVENDER, Samantha. Assessing milk quality using an electronic nose. Thesis (dissertation) Department of Biotechnology. Durban University of Technology, 2007.

253 GOVERNMENT ACCOUNTABILITY OFFICE, U.S. GAO. Sustained Oversight Is Needed for Reforms to Achieve Lasting Results. United States Government Accountability Office, mar, 2005. GRNBERG, Thomas. Performance improvement: towards a method for finding and prioritising potential performance improvement areas in manufacturing operations. International Journal of Productivity and Performance Management, v. 53, n. 1, p. 52-71, 2004. GUIMARES, Paulo Ricardo Bittencourt. Apostila: estatstica noparamtrica. Universidade Federal do Paran, Departamento de Estatstica, cap. 7, < http://people.ufpr.br/~prbg/public_html/ce050/apostcap7a.PDF>, Acesso: 16 nov. 2010. GUIMARES, Toms de Aquino; NADER, Rosa Maria; RAMAGEM, Srgio Pinela. Avaliao de desempenho de pessoal: uma metodologia integrada ao planejamento e avaliao organizacionais. Revista de Administrao Pblica, v. 32, n. 6, pp. 43-61, 1998. GNTHER, Hartmut. Pesquisa Qualitativa Versus Pesquisa Quantitativa: Esta a Questo?. Psicologia: teoria e pesquisa, v. 22, n. 2, pp. 201-210, 2006. HALACHMI, Arie. Performance measurement is only one way of managing performance. International Journal of Productivity and Performance Management, v. 54, n. 7, p. 502-516, 2005. HARRINGTON, H. James. Aperfeioando processos empresariais. So Paulo: Makron Books, 1993. HAYES, Robert H; ABERNATHY, William J. Managing our way to economic decline. Harvard Business Review, July-August, pp. 67-77, 1980. HRONEC, Steven M. Sinais vitais. So Paulo: Makron Books, 240 p, 1994. HUDSON, Mel; SMART, Andi; BOURNE, Mike. Theory and practice in SME performance measurement systems. International Journal of Operations & Production Management., v. 21, n. 8, p. 1096-1115, 2001. INTERNATIONAL STANDARIZATION ORGANIZATION. ISO. Information and documentation: library performance indicators. Geneve, 56

254 p, 1998. JOHNSON, H. Thomas; KAPLAN, Robert S. Relevance Lost: the rise and fall of management accounting. Harvard Business School Press, Boston, MA, 1987. KAPLAN, Robert S. Measuring manufacturing performance: a new challenge for managerial accounting research. The Accounting Review, v. 58, n. 4, p. 686-705, 1983. KAPLAN, Robert S. Yesterday's accounting undermines production. Harvard Business Review, v. 62, p. 95-101, 1984. KAPLAN, Robert S.; NORTON, David P. The Balanced Scorecard: translating strategy into action. Harvard Business School Press, Boston: MA, 1996. KAPLAN, Robert S.; NORTON, David P. A estratgia em ao: balanced scorecard. Rio de Janeiro: Campus, 1997. KEENEY, Ralph L. Structuring objectives for problems of public interest. Operations Research, n. 36, p.396-405, 1988. KEENEY, Ralph L. Value-focused thinking: a path to creative decisionmaking. Harvard University Press: London, 1992. KEENEY, Ralph L.; RAIFFA, Howard. Decisions with Multiple Objectives - Preferences and Value Tradeoffs. New York: Wiley, 1976. KENNERLEY, Mike; NEELY, Andy. A framework of the factors affecting the evolution of performance measurement systems. International Journal of Operations & Production Management, v. 22, n. 11, p. 1222-1245, 2002. KHUN, Thomas Samuel. The structure of scientific revolutions. University of Chicago Press, 1962. KUWAITI, Mohamed E. Performance measurement process: definition and ownership. International Journal of Operations & Production Management, v. 24, n. 1-2, p. 55-78, 2004.

255 LACAZE, Laurent; GOMES, Luiz Flvio Autran Monteiro; MACHADO, Maria Augusta Soares. Metodologias de apoio analtico deciso na gesto de recursos humanos: um estudo de caso. 2003. Disponvel em <http://www.fgvsp.br/iberoamerican/papers/0280_lacaze_e_autran _/iberoamerican_a_o_m_2003.pdf>. Acesso em: 20 abr. 2007. LANDRY, Maurice. A note on the concept of problem. European Group for Organizations Studies, v. 16, p. 2315-2343, 1995. LEAL, Joo Batista Sobreira. Pesquisa-ao sobre as formas de promover um aumento na participao dos funcionrios do desenvolvimento e uso do sistema de medio de desempenho de uma empresa de bens de capital. Dissertao (mestrado) Engenharia da Produo. Universidade Federal de So Carlos, So Carlos, 2009. LEANDRI, Susan J. Measures that matter: how to fine-tune your performance measures. The Journal for Quality and Participation, v. 24, n. 1, p. 39-41, 2001. LEO, lvaro Gehlen de. Um modelo de gerenciamento de desempenho baseado em processos. Dissertao (mestrado). Engenharia da Produo. Universidade Federal do Rio Grande do Sul, Porto Alegre, 1998. MAFRA, Antero Tadeu. Proposta de indicadores de desempenho para a indstria de cermica vermelha. Dissertao (mestrado) Engenharia da Produo. Universidade Federal de Santa Catarina, Florianpolis, 1999. MARINHO, Sidnei Vieira. Uma proposta de Sistmica para operacionalizao da estratgia utilizando o Balanced Scorecard. Tese (doutorado) Engenharia da Produo. Universidade Federal de Santa Catarina, Florianpolis, 2006. MASINI, Elcie F. Salzano. Enfoque fenomenolgico de pesquisa em educao. In: Metodologia da Pesquisa Educacional, Fazenda, I.; So Paulo: Cortez, 1997. MCGRATH, Joseph E. Groups: interaction and performance. Englewood Cliffs: Prentice-Hall, p. 31, 1984. MCNEILL, Patrick; CHAPMAN, Steve. Research methods. Routledge, New York, p. 214, 2005.

256 MEREDITH, Jack. Building operations management theory through case and field research. Journal of Operations Management, v. 16, p. 441-454, 1998. MERLEAU-PONTY, Maurice. Fenomenologia da percepo. Rio de Janeiro: Freitas Bastos, 1971. MERRIAM, Sharan B. Qualitative research and case study applications in education. San Francisco: Jossey-Bass publishers, 1998. MIGUEL, Paulo Augusto Cauchick. Estudo de caso na engenharia de produo: estruturao e recomendaes para sua conduo. Produo, v. 17, n.1, jan.-abr., p. 216-229, 2007. MILLER, David Wendel. Estrutura das decises humanas. Rio de Janeiro: Fundao Getlio Vargas, 1970. MINISTRIO DA DEFESA. Indicadores de Desempenho - Sistema de Medio do Desempenho Organizacional. In: Programa de Excelncia Gerencial Nota de Instruo, 2006. MINISTRIO DO PLANEJAMENTO. Planejamento regulamenta avaliao de desempenho. Disponvel em: http://www.planejamento.gov.br/noticia.asp?p=not&cod=6606&cat=26&se c=11. Acesso em: 12 oct. 2010. MINTZBERG, Henry. The Structuring of Organizations, Prentice-Hall: New Jersey, 1979. MORAES, Luciano; GARCIA, Renato; ENSSLIN, Leonardo; CONCEIO, Mrio Jos da; CARVALHO, Stella Maris. The multicriteria analysis for construction of benchmarkers to support the clinical engineering in the healthcare technology management. European Journal of Operational Research, v. 200, n. 2, p. 607-615, 2010. MORGAN, Gareth. Paradigms, metaphors and puzzle solving in organization theory. Administrative Science Quarterly, vol. 25, p. 605-622, 1980. MORGAN, Gareth. Imagens da organizao. So Paulo: Editora Atlas, 421 p, 1996.

257 MORGAN, Gareth; SMIRCICH, Linda. The case for qualitative research. Academy of management review, v. 5, n. 4, p. 491-500, 1980. MUNDA, Giuseppe. Between science and democracy: the role of social multi-criteria evaluation (SMCE). European Working Group Multicriteria Aid for Decisions, v. 7, n. 3, p. 1-5, 2003. MUNRO, William Bennett. The government of american cities. New York: The Macmillan Company, 1926. NEELY, Andy. The performance measurement revolution: why now and what next?. International Journal of Operations & Production Management, v. 19, n. 2, p. 205-228, 1999. NEELY, Andy. Why measurement initiatives fail. Measuring Business Excellence, v. 4, n. 4, p. 3-7, 2000. NEELY, Andy. The evolution of performance measurement research Developments in the last decade and a research agenda for the next. International Journal of Operations & Production Management, v. 25, n. 12, p. 1264-1277, 2005. NEELY, Andy; ADAMS, Chris; CROWE, Paul. Performance prism in practice. Measuring Business Excellence, v. 5, n. 2, p. 6-13, 2001. NEELY, Andy; BOURNE, Mike. Why measurement initiatives fail. Measuring Business Excellence, v. 4, n. 4, 2000. NEELY, Andy; GREGORY, Mike; PLATTS, Ken. Performance measurement system design: a literature review and research agenda. International Journal of Operations & Production Management, v. 15, n. 4, p. 80-116, 1995. NEELY, Andy; GREGORY, Mike; PLATTS, Ken. Performance measurement system design: a literature review and research agenda, International Journal of Operations & Production Management, v. 25, n. 12, p. 1228-1263, 2005. NEELY, Andy; RICHARDS, Huw; MILLS, John; PLATTS, Ken; BOURNE, Mike. Designing performance measures: a structured approach. International Journal of Operations & Production Management, v. 17, n. 11,

258 pp. 1131-1152, 1997. NEELY, Andy; MARR, Bernard; ROOS, Gran; PIKE, Stephen; GUPTA, Oliver. Towards the third generation of performance measurement. Controlling, v. 15, n. 3-4, p. 129-35, 2003. NEELY, Andy; MILLS, John; PLATTS, Ken; RICHARDS, Huw; GREGORY, Mike; BOURNE, Mike; KENNERLEY, Mike. Performance measurement system design: developing and testing a process-based approach. International Journal of Operations & Production Management; v. 20, n. 10, p. 1119-1145, 2000. NEELY, Andy; POWELL, Sarah. The challenges of performance measurement. Management Decision, v. 42, n.8, p. 1017-1023, 2004. OAKLEY, A. Peoples way of knowing: gender and methodology. In: Critical issues in social research, Open University Press, pp.154-170, 1999. OLIVEIRA, Andr Ribeiro de; CLEMENTE, Rafael Gomes; CAULLIRAUX, Heitor Mansur. Sistemas de medio de desempenho para inovao: reviso da literatura e problemas do campo de pesquisa. In: Anais Simpoi 2009, 26-28 aug., So Paulo-SP, 2009. ORGANIZAES DAS NAES UNIDAS - ONU. Reform at the United Nations. Disponvel em: < http://www.un.org/reform/investinginun/chap5. shtml>. Acesso em: 12 oct. 2010. PALADINI, Edson Pacheco. Avaliao estratgica da qualidade. So Paulo: Atlas, 245 p., 2002. PARANJAPE, Bhagyashree; ROSSITER, Margaret; PANTANO, Victor. Performance measurement systems: successes, failures and future - a review. Measuring Business Excellence, v.10, n.3, p. 4-14, 2006. PARK, Robert E.; GOETHERT, Wolfhart B.; FLORAC, William A. Goaldriven software measurement: a guidebook. Pittsburgh, PA: Software Engineering Institute, Carnegie Mellon University, 1996. PATTON, Michael Quinn. How to use qualitative methods in evaluation. Newbury Park: Sage Publications, p. 174, 1987.

259 PETROBRAS. Diretrizes de segurana, meio ambiente e sade. Disponvel em: http://www.fazenda.mg.gov.br/servidores/desempenho/arq_geral/ leicomplementar_71.html. Acesso em: 12 oct. 2010. PETRI, Srgio Murilo. Modelo para apoiar a avaliao das abordagens de gesto de desempenho e sugerir aperfeioamentos: sob a tica construtivista. Tese (doutorado) Engenharia da Produo. Universidade Federal de Santa Catarina, Florianpolis, 2005. POPOVA, Viara. A specification language for organisational performance indicators, 2007. POPOVA, Viara; TREUR, Jan. A specification language for organisational performance indicators. Applied Intelligence, v. 27, n. 3, p. 291-301, 2006. QUINN, James Brian. How to evaluate research output. Harvard Business Review, mar.- apri., pp. 69-80, 1960. RAND, Ayn. The objectivist newsletter, v. 1-4, Palo Alto: Palo Alto Book Service, 1962. REUTERS, Thomson. Software Endnote. Trial version not licensed for commercial use. Verso X3 for Windows. Disponvel em: < http://www.endnote.com/endemo.asp>. Acesso em: 20 out. 2009, 2009. RICHARDSON, Roberto Jarry. Pesquisa social: mtodos e tcnicas. 3ed. So Paulo: Atlas, 1999. RIDGWAY, Valentine F. Dysfunctional Consequences of Performance Measurements. Administrative Science Quarterly, sep, v. 1, n. 2, p 240-247, 1956. RIDLEY, Clarence Eugene. Means of measuring municipal government. Doctoral dissertation, Syracuse University, Syracuse, New York, 1927a. RIDLEY, Clarence Eugene. Measuring municipal government. NewYork: Municipal Administration Service & School of Citizenship & Public Affairs, 1927b. RIDLEY, Clarence Eugene; SIMON, Herbert Alexander. Measuring municipal activities. Chicago: The International City Managers

260 Association, 1938. RIDLEY, Clarence Eugene; SIMON, Herbert Alexander. Measuring municipal activities. Chicago: The International City Managers Association, 1943. RIDLEY, Clarence Eugene; SIMON, Herbert Alexander. Measuring municipal activities. Chicago: The International City Managers Association, 1948a. RIDLEY, Clarence Eugene; SIMON, Herbert Alexander. Specifications for the annual municipal report. Chicago: The International City Managers Association, 1948b. ROY, Bernard. Methodologie Multicritere d'Aide a la Decision, Economica, Paris, 1985. ROY, Bernard. Decision-aid and decision-making. European Journal of Operational Research, vol. 45, p. 324-331, 1990. ROY, Bernard. Decision science or decision-aid science?, European Journal of Operational Research, vol. 66, p. 184-203, 1993. ROY, Bernard. On operational research and decision aid. European Journal of Operational Research, vol. 73, p. 23-26, 1994. ROY, Bernard. Multicriteria Methodology for Decision Aiding. Dordrecht: Kluwer Academic Publishers, 1996. ROY, Bernard. Paradigms and challenges, multiple criteria decision analysis state of the art survey. In: Multicriteria Decision Analysis: state of the art survey [edited by Greco, J. F. & Ehrgott, S. M.], Springer Verlag, Boston, Dordrecht, London, 03-24, 2005. ROY, Bernard; BOUYSSOU, Denis. Decision-aid: an elementary introduction with emphasis on multiple criteria. Investigacin Operativa, vol. 3, p. 175-190, 1993. ROY, Bernard; VANDERPOOTEN, Daniel. The european school of MCDA: emergence, basic features and current works. Journal of MultiCriteria Decision Analysis, 5, 22-38, 1996.

261 RUMMLER, Geary A.; BRACHE, Alan P. Melhores desempenhos das empresas. So Paulo: Makron Books, 1994. RYCHLAK, Joseph Frank. Social construcionism, postmodernism, and the computer model: searching for humam agency in the right places. Journal of Mind Behavioral, v. 20, pp. 379-389, 1999. SAATY, Thomas Lorie. The Analytic Hierarchy Process, Mcgraw-Hill, New York, 1980. SANTOS, Srgio P.; BELTON, Valerie; HOWICK, Susan. Adding value to performance measurement by using system dynamics and multicriteria analysis, International Journal of Operations & Production Management, v. 22, n. 11, p. 1246-1272, 2002. SAUNDERS, Mark N. K.; LEWIS, Philip; THORNHILL, Adrian. Research Methods for Business Students. Harlow, Essex: Pearson Education, 2003. SCHAEFER, Nelson Ricardo. Modelo para analisar o perfil profissional de um gerente. Dissertao (mestrado). Engenharia da Produo. Universidade Federal de Santa Catarina, Florianpolis, 2005. SCHNEIDERMAN, Arthur M. Why balanced scorecards fail. Journal of Strategic Performance Measurement, jan., 1999. SCHNORRENBERGER, Darci. Construo de um Modelo de Avaliao de Desempenho de uma Diviso de Anlise Contbil para Identificar Aperfeioamentos Utilizando Metodologia Multicritrio. Dissertao (mestrado). Engenharia da Produo. Universidade Federal de Santa Catarina, Florianpolis, 1999. SECRETARIA DE ESTADO DE FAZENDA. Lei complementar n71, de 30 de julho de 2003. Disponvel em: http://www.fazenda.mg.gov.br/ servidores/desempenho/arq_geral/leicomplementar_71.html. Acesso em: 12 oct. 2010. SEKIYA, Shigeru Ricardo. Prmio Srgio Arouca de gesto participativa: experincias exitosas e trabalhos acadmicos. In: Ministrio da Sade, Conselho Nacional de Secretarias Municipais de Sade. Braslia : Editora do Ministrio da Sade, 2008.

262 SHENHAR, Aaron J. One size does not fit all projects: exploring classical contingency domains. Management Science, 47, 394-414, 2001. SKINNER, Wickham. Manufacturing missing link in corporate strategy, Harvard Business Review, may/june, p. 136-145, 1969. SKINNER, Wickham. The anachronistic factory. Harvard Business Review, v. 49, n. 1, p. 61-70, 1971. SKINNER, Wickham. The productivity paradox. Management Review, v. 75, p. 41-45, 1986. STEVENS, Stanley Smith. Measurement, psychophysics, and utility. In: Churchman, C.W.; Ratoosh, P. (eds), Measurement: Definitions and Theories. New York: John Wiley, 1959. STUBBS, Edgardo Alberto. Indicadores de desempeo: naturaleza, utilidad y construccin. Cincia da Informao, v. 33, n. 1, p. 149-154, 2004. TANGEN, Stefan. An overview of frequently used performance measures. Work Study, v. 52, n. 7, p. 347-354, 2003. TANGEN, Stefan. Performance Measurement: from philosophy to practice. International Journal of Productivity and Performance Management, v. 53, n. 8, p. 726-737, 2004. TANGEN, Stefan. Improving the performance of a performance measure. Measuring Business Excellence, v. 9, n. 2, p. 4-11, 2005. TAPINOS, Efstathios; DYSON, Robert G.; MEADOWS, Maureen. The impact of performance measurement in strategic planning. International Journal of Productivity and Performance Management, v. 54, n. 5-6, p. 370384, 2005. TASCA, Jorge Eduardo; ENSSLIN, Leonardo; ENSSLIN, Sandra Rolim; ALVES, Maria Bernardete Martins. An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European Industrial Training, v. 34, n. 7, pp. 631 655, 2010. THEPPITAK, Taweesak. Exploring on Performance Measurement System Design and Implementation in Thai Automotive Industry. Journal of the

263 University of The Thai Chamber of Commerce, v. 24, n. 3, sep-dec., 2004. TRIVIOS, Augusto Nibaldo Silva. Introduo pesquisa em cincias sociais: a pesquisa qualitativa em educao. So Paulo: Atlas, 1992. ULRICH, Dave. Recursos humanos estratgicos. So Paulo: Futura, 1998. UPSON, Lent D. The government of Cincinnati and Hamilton County: a report to the republican executive and advisory committee of Hamilton County. Cincinnati: City Survey Committee, 1924. UPSON, Lent D. Practice of municipal administration. New York: Century Co, 1926. URRUTIA, Ignacio; ERIKSEN, Scott D. Application of the balanced scorecard in Spanish private health-care management. Measuring Business Excellence, v. 9, n. 4, p. 16-26, 2005. VERWEIRE, Kurt; VAN DEN BERGHE, Lutgart. Integrated performance management: new hype or new paradigm? In: K. Verweire and L. Van den Berghe (Eds.), Integrated performance management. London: Sage, 2004. VIANNA, William Barbosa; ENSSLIN, Leonardo; GIFFHORN, Edilson. Structured Process for systematic review of literature and the establishment of the References in Multi-Criteria Decision Aid. In: XXIV EURO Conference, Lisboa, 11 14 jul., 2010. VIEIRA, Valter Afonso. As tipologias, variaes e caractersticas da pesquisa de marketing. Revista FAE, Curitiba, v. 5, n. 1, p. 61-70, jan./abr. 2002. VISUAL THINKING INTERNATIONAL LTDA. V.I.S.A. for Windows Manual, 1995. WILLIAMS, Daniel W. Evolution of performance measurement until 1930. Administration and Society, v. 36, n. 2, p. 131-165, 2004. YIN, Robert K. Estudo de caso: planejamento e mtodo. Porto Alegre: Bookman, 2005.

264 ZIMMERMANN, Hans-Jrgen. An application-oriented view of modeling uncertainty. European Journal of Operations Research, 122, 190-198, 2000.

265 ANEXOS Anexo A - Etapas do Processo de Identificao do Referencial Bibliogrfico A.1 Seleo das Bases de Dados Como meio de acesso aos artigos foi utilizado o portal disponibilizado pela CAPES (Coordenao de Aperfeioamento de Pessoal de Nvel Superior), com endereo eletrnico http://www.periodicos.capes.gov.br/portugues/index.jsp. O portal da CAPES associa as Bases de Dados a reas de pesquisa. O pesquisador aplicou o processo de Identificao de Referencial Bibliogrfico desenvolvido no LabMCDA (GIFFHORN; ENSSLIN; VIANNA, 2009; VIANNA; ENSSLIN; GIFFHORN, 2010; TASCA et al., 2010). Desta forma, foi definido que as reas de interesse a serem consultadas so as representadas na Figura 63.

Figura 63: reas de interesse para consulta no Portal da CAPES. Fonte: autor. Definidas as reas de interesse, foi acessada a opo Colees para que fosse feita a seleo das Bases de Dados a serem consultadas. Inicialmente, selecionou-se 24 bases para consulta. No entanto, 3 delas direcionam para outras j selecionadas (Business Full Text direciona para a Wilson Web; MathSci direciona para a ERL Webspirs e SocIndex with Full Text direciona para a Ebsco) e 4 apresentaram restrio de acesso

266 (Gale, INFORMS, JSTOR e Social Sciences Full Text). Portanto, restaram 17 bases selecionadas para consulta, que esto relacionadas no Quadro 25.

Quadro 25: Bases de Dados selecionadas para consulta. Fonte: autor.

267 A.2 Definio do Conjunto e da Combinao das Palavras-Chave Em sequncia aplicao do processo de Identificao do Referencial Bibliogrfico, foi definido o conjunto de palavras-chave representativo ao tema da pesquisa. O potencial de representatividade das palavras-chave foi testado nas bases Scopus e ISI Web of Science. Para a definio das palavras-chave considerou-se que: (i) os Indicadores de Desempenho so parte essencial da Avaliao de Desempenho; (ii) o aperfeioamento do desempenho deve poder ser evidenciado nos indicadores; e, (iii) os indicadores so instrumentos de gesto. Assim sendo, foi definido que as palavras-chave seriam: Performance indicator; Performance improvement; Performance measurement; Management.

A fim de melhor focar os resultados da busca, utilizaram-se os operadores lgicos booleanos AND e OR para associar as palavras-chave, e assim, formar as combinaes de presena obrigatria nos artigos quando da realizao das buscas nas Bases de Dados, conforme exibido na Figura 64.

Figura 64: Combinao booleana das palavras-chave. Fonte: autor. Visando refinar a pesquisa, foram selecionadas palavras-chave de excluso associadas s reas de biologia, fsica, informtica, qumica e sade por conduzirem a temas no associados ao escopo da pesquisa.

268 As palavras-chave de excluso esto relacionadas no Quadro 26.

Quadro 26: Palavras-chave de excluso. Fonte: autor. Definido o conjunto de palavras-chave de incluso e excluso pode-se iniciar a prxima etapa do processo, a busca dos artigos nas Bases de Dados. A.3 Busca de Artigos nas Bases de Dados O passo seguinte consiste em inserir as combinaes de palavraschave de incluso nos sistemas de busca de cada Base de Dados selecionada. Com o objetivo de obter artigos que representem um estado da arte, a busca foi delimitada para anos de 1998 a 2010. Quanto ao Banco de Teses a pesquisa se restringiu s teses, por estas conterem estudos na fronteira do conhecimento. A consulta s bases foi realizada na segunda quinzena de abril de 2010. Como resultado obteve-se 8639 artigos/teses. A Figura 65 contm o histograma da distribuio de publicaes selecionadas por base consultada.

269

Figura 65: Distribuio geral das publicaes por base consultada. Fonte: autor. O Quadro 27 apresenta a distribuio acumulada dos artigos/teses selecionados por base consultada.

270

Quadro 27: Distribuio acumulada de publicaes selecionadas por base. Fonte: autor. Devido ao volume de publicaes obtido, foi utilizado como instrumento de auxlio o software de gesto de referncias bibliogrficas Endnote (REUTERS, 2009). O resultado da busca de publicaes em cada base comps um arquivo individualizado, que na nomenclatura do software denomina-se biblioteca. As diferentes bibliotecas foram integradas em uma nica contendo todas as publicaes selecionadas na busca. No entanto, foi constatada a redundncia de determinados artigos devido a um mesmo artigo ter sido selecionado em mais de uma base. Em funo disso, foi utilizado o recurso do software para eliminar automaticamente as referncias duplicadas e, em seguida, as publicaes foram ordenadas pelo ttulo para eliminar duplicidades no reconhecidas pelo software. Dessa forma, resultaram 5315 artigos/teses relacionados ao tema da

271 pesquisa. A.4 Anlise por Critrio de Alinhamento ao Contexto da Pesquisa Na seqncia, o ttulo de cada uma das 5315 publicaes foi lido com o objetivo de identificar, descritivamente, aqueles que no demonstravam alinhamento ao tema da pesquisa. Tambm nessa etapa, foram selecionados critrios de excluso, que so os ttulos que demonstravam vinculamento s reas biolgica, finanas, fsica ou informtica. Desse modo, foram selecionados 230 artigos que, ao possurem alinhamento com o tema de pesquisa e no estarem contemplados pelos critrios de excluso, estavam habilitados a prosseguir s prximas etapas do processo de seleo do referencial bibliogrfico. Cada um dos 230 artigos selecionados recebeu um identificador, conforme pode ser constatado nos Quadros 28, 29 e 30 a seguir.

272

273

Quadro 28: Artigos selecionados pelo critrio de alinhamento do ttulo ao tema da pesquisa. Fonte: autor.

274

275

Quadro 29: Continuao dos Artigos selecionados pelo critrio de alinhamento do ttulo ao tema da pesquisa. Fonte: autor.

276

277

Quadro 30: Continuao dos Artigos selecionados pelo critrio de alinhamento do ttulo ao tema da pesquisa. Fonte: autor.

278

279
A.5 Reconhecimento Cientfico (nmero de citaes recebidas) Com o objetivo de avaliar o grau de relevncia de cada um dos artigos selecionado junto ao meio acadmico se buscou identificar o nmero de citaes que cada artigo recebeu. Para obter esse quantitativo, cada artigo foi introduzido no sistema de busca do Google Acadmico e foi anotada a quantia de citaes recebida at o momento da consulta. A consulta foi feita no dia 06 de outubro de 2010. A quantidade de citaes recebidas para cada um dos 230 artigos est indicada nos Quadros 28, 29 e 30 do tpico anterior. A Figura 66 apresenta a distribuio do nmero de citaes recebidas para cada artigo no Google Acadmico.

Figura 66: Relevncia acadmica dos artigos. Fonte: autor. Por esse critrio, o artigo com maior relevncia acadmica recebeu 822 citaes.

280 Dos 230 artigos, 191 receberam pelo menos uma citao at a data da consulta, o que representa 83,04% da amostra. A.6 Excluso pela Anlise do Alinhamento ao Contexto da Pesquisa nos Resumos A prxima etapa da aplicao do processo consistiu na leitura do resumo dos 230 artigos selecionados. A leitura foi realizada visando identificar aqueles artigos que apresentavam maior potencial de contribuio para o referencial terico sobre Indicadores de Desempenho. Os artigos que no demonstraram potencial contribuio, ou foram includos nos temas de descarte citados no Anexo A.2 e A.4, no permaneceram na amostra para compor o referencial bibliogrfico. Por meio dessa anlise foram descartados 186 artigos. Portanto, permaneceram 44 artigos que continuaram no processo, que consiste na leitura do texto integral. A.7 Excluso por Restrio Obteno do Texto Completo Ao retornar s Bases de Dados para fazer o download do texto completo dos artigos foi verificado que para 5 deles a ao no foi possvel, a no ser mediante pagamento. Desse modo, esses 5 artigos foram retirados da amostra, que esto relacionados no Quadro 31.

Quadro 31: Artigos com restrio de acesso ao texto completo. Fonte: autor. Portanto, restaram 39 artigos a serem lidos integralmente.

281 A.8 Alinhamento ao Contexto da Pesquisa quanto Leitura Integral Os 39 artigos foram lidos integralmente e considerados vlidos a permanecer no conjunto amostral representativo do tema da pesquisa. Os 39 artigos esto exibidos no Quadro 6 do item 3.2 Processo para a Reviso Bibliogrfica.

282

283
Anexo B - Anlise de contedo dos artigos selecionados para a amostra

Quadro 32: Anlise de contedo para os artigos da amostra bibliogrfica. Fonte: autor.

284

285

Quadro 33: Continuao da anlise de contedo para os artigos da amostra bibliogrfica. Fonte: autor.

286

287

Quadro 34: Continuao da anlise de contedo para os artigos da amostra bibliogrfica. Fonte: autor.

288

289

Quadro 35: Continuao da anlise de contedo para os artigos da amostra bibliogrfica. Fonte: autor.

290

291
Anexo C - Ramos de Avaliao dos Clusters e Subclusters

a) Cluster Definio do Problema:

Figura 67: Ramos de Avaliao para o Cluster Definio do Problema. Fonte: autor.

292 b) Cluster Identificao / Organizao:

Figura 68: Ramos de Avaliao para o Cluster Identificao / Organizao. Fonte: autor.

293 c) Cluster Construo:

Figura 69: Ramos de Avaliao para o Cluster Construo. Fonte: autor.

294 d) Cluster Propriedades Intrnsecas, Subcluster Mensurabilidade:

Figura 70: Ramos de Avaliao para o Cluster Propriedades Intrnsecas subcluster Mensurabilidade. Fonte: autor.

295 e) Cluster Propriedades Intrnsecas, Subcluster Operacionalidade:

Figura 71: Ramos de Avaliao para o Cluster Propriedades Intrnsecas subcluster Operacionalidade. Fonte: autor.

296 f) Cluster Propriedades Mensurao: Intrnsecas, Subcluster Teoria da

Figura 72: Ramos de Avaliao para o Cluster Propriedades Intrnsecas subcluster Teoria da Mensurao. Fonte: autor.

297 g) Cluster Propriedades Intrnsecas, Subcluster Legitimao:

Figura 73: Ramos de Avaliao para o Cluster Propriedades Intrnsecas subcluster Legitimao. Fonte: autor.

298 h) Cluster Propriedades Intrnsecas, Subcluster Inteligibilidade:

Figura 74: Ramos de Avaliao para o Cluster Propriedades Intrnsecas subcluster Inteligibilidade. Fonte: autor.

299 i) Cluster Propriedades Intrnsecas, Subcluster Homogeneidade:

Figura 75: Ramos de Avaliao para o Cluster Propriedades Intrnsecas subcluster Homogeneidade. Fonte: autor.

300 j) Cluster Escalas:

Figura 76: Ramos de Avaliao para o Cluster Escalas. Fonte: autor.

301 k) Cluster Funo de Valor:

Figura 77: Ramos de Avaliao para o Cluster Funo de Valor. Fonte: autor.

302 l) Cluster Taxa de Substituio:

Figura 78: Ramos de Avaliao para o Cluster Taxa de Substituio. Fonte: autor.

303 m) Cluster Aperfeioamento:

Figura 79: Ramos de Avaliao para o Cluster Aperfeioamento. Fonte: autor.

304

305
Anexo D - Obteno das Funes de Valor

Figura 80: Obteno da Funo de Valor para o Descritor D1 Identificao dos Atores. Fonte: autor.

306

Figura 81: Obteno da Funo de Valor para o Descritor D2 Qual o Problema. Fonte: autor.

307
D3

Ao analisarem o sumrio do indicador, percepo dos atores quanto importncia de mensurar a propriedade

Nvel Bom

No h necessidade de explicaes adicionais para que reconheam a importncia H necessidade de explicaes adicionais para que haja reconhecimento da importncia

Nvel Neutro

No reconhecem a importncia

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 82: Obteno da Funo de Valor para o Descritor D3 Entendimento da Importncia. Fonte: autor.

308
D4

Percepo dos atores quanto possibilidade da adoo dos indicadores gerar aes que conduzam a desempenhos no desejados

Nvel Bom

No h indcios que aes contraproducentes venham a ser realizadas H indcios que aes contraproducentes possam ser realizadas, mas possvel mitig-las

Nvel Neutro

H indcios que aes contraproducentes possam ser realizadas, e no h vislumbre da possibilidade de mitig-las

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 83: Obteno da Funo de Valor para o Descritor D4 Aes Favorveis. Fonte: autor.

309

Figura 84: Obteno da Funo de Valor para o Descritor D5 Operacionalizar. Fonte: autor.

310
D6

Existncia de um sumrio que evidencie os ganhos a serem obtidos com a mensurao da propriedade por meio de um indicador

Nvel Bom

Tem sumrio e evidencia os benefcios de mensurar a propriedade Tem sumrio, mas no evidencia os benefcios de mensurar a propriedade

Nvel Neutro

No h sumrio

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 85: Obteno da Funo de Valor para o Descritor D6 Expectativa de Ganho. Fonte: autor.

311
D7

Existncia de processo para revisar e atualizar periodicamente o conjunto de indicadores

Nvel Bom

H processo formalizado para revisar e atualizar periodicamente o conjunto de indicadores H processo no formalizado para revisar e atualizar periodicamente o conjunto de indicadores

Nvel Neutro

O conjunto de indicadores no revisado e atualizado

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 86: Obteno da Funo de Valor para o Descritor D7 Reviso e Atualizao. Fonte: autor.

312

Figura 87: Obteno da Funo de Valor para o Descritor D8 Propriedades Essenciais para o Decisor. Fonte: autor.

313

Figura 88: Obteno da Funo de Valor para o Descritor D9 Quantidade de Propriedades. o Fonte: autor.

314

D10

Percepo do decisor quanto incluso das medidas de carter obrigatrio dentre o conjunto de propriedades a serem mensuradas

Nvel Bom

Todas as medidas de carter obrigatrio esto presentes no conjunto de propriedades que sero mensuradas

Nvel Neutro

H medidas de carter obrigatrio que esto ausentes do conjunto de propriedades que sero mensuradas

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 89: Obteno da Funo de Valor para o Descritor D10 Medidas Obrigatrias. Fonte: autor.

315

D11

Identificao, segundo a percepo do decisor, dos plos subjacente e a ser evitado para as propriedades que iro avaliar o contexto

Nvel Bom

Identifica o objetivo subjacente e o que se deseja evitar Identifica o objetivo subjacente, mas no o que se deseja evitar No identifica o objetivo subjacente, mas identifica o que se deseja evitar No identifica o objetivo subjacente, nem o que se deseja evitar

Nvel Neutro

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 90: Obteno da Funo de Valor para o Descritor D11 Conceitos. Fonte: autor.

316

D12

Processo utilizado para evidenciar as linhas de argumentao que explicam os objetivos

Nvel Bom

Mapas Causais ou Relaes Meios-fins Mapas de Categorizao

Mapas de Identidade

Nvel Neutro

Linhas de argumentao no so evidenciadas

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 91: Obteno da Funo de Valor para o Descritor D12 Linhas de Argumentao. Fonte: autor.

317

D13

Tipo de Mapas de Relaes Meios-Fins (Causais) utilizado

Nvel Bom

SODA (Strategic Options Development Analysis) CCM (Comparative Causal Maps)

Self-Q

Nvel Neutro

No utiliza processo para evidenciar

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 92: Obteno da Funo de Valor para o Descritor D13 Relaes de Influncia. Fonte: autor.

318

D14

Tipo de estrutura hierrquica utilizada para explicar os objetivos das linhas de argumentao

Nvel Bom

Estrutura Hierrquica de Valor rvore de deciso

Diagrama de Ishikawa

Nvel Neutro

No utiliza

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 93: Obteno da Funo de Valor para o Descritor D14 Estrutura Hierrquica de Valor. Fonte: autor.

319

D15

Estruturas utilizadas como fonte de informaes do contexto a partir das quais as escalas ordinais so construdas

Nvel Bom

Utiliza os Mapas de Relaes Meios-fins e a Estrutura Hierrquica de Valor Utiliza os Mapas de Relaes Meios-fins ou a Estrutura Hierrquica de Valor

Nvel Neutro

No utiliza os Mapas de Relaes Meios-fins e a Estrutura Hierrquica de Valor

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 94: Obteno da Funo de Valor para o Descritor D15 Estrutura Hierrquica de Valor e Mapas de Relaes Meios-Fins. Fonte: autor.

320

Figura 95: Obteno da Funo de Valor para o Descritor D16 Nveis de Desempenho. Fonte: autor.

321

Figura 96: Obteno da Funo de Valor para o Descritor D17 Bom. Fonte: autor.

322

Figura 97: Obteno da Funo de Valor para o Descritor D18 Neutro. Fonte: autor.

323

D19

Processo utilizado para evidenciar o sistema de valores do decisor ao avaliar o contexto

Nvel Bom

Entrevista aberta com o decisor

Brainstorming ou questionrios

Nvel Neutro

Prescrio de consultores ou especialistas

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 98: Obteno da Funo de Valor para o Descritor D19 Evidenciar os Valores do Decisor. Fonte: autor.

324

Figura 99: Obteno da Funo de Valor para o Descritor D20 Participao do Decisor. Fonte: autor.

325

D21

Percepo do decisor quanto ao indicador conter uma descrio suficientemente detalhada da propriedade a ser mensurada

Nvel Bom

O decisor julga que a descrio do que ser medido est suficientemente detalhada no indicador

Nvel Neutro

O decisor julga que a descrio do que ser medido no est suficientemente detalhada no indicador

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 100: Obteno da Funo de Valor para o Descritor D21 Descrio da Propriedade. Fonte: autor.

326

D22

Forma de apresentar a descrio da mtrica a ser utilizada para mensurar a propriedade

Nvel Bom

H uma descrio discursiva e matemtica da mtrica a ser utilizada para mensurar a propriedade H somente uma descrio matemtica da mtrica a ser utilizada para mensurar a propriedade H somente uma descrio discursiva da mtrica a ser utilizada para mensurar a propriedade No h uma descrio para a mtrica a ser utilizada ao mensurar a propriedade

Nvel Neutro

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 101: Obteno da Funo de Valor para o Descritor D22 Mtrica. Fonte: autor.

327

D23

Percepo do decisor quanto preciso das medidas a ser fornecidas pelos indicadores

Nvel Bom

A preciso das medidas atende as expectativas do decisor A preciso das medidas no atende as expectativas do decisor, mas pode ser melhorada

Nvel Neutro

A preciso das medidas no atende as expectativas do decisor, e no pode ser melhorada

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 102: Obteno da Funo de Valor para o Descritor D23 Preciso. Fonte: autor.

328

D24

Percepo do decisor quanto possibilidade de realizar a mensurao descrita pelos indicadores

Nvel Bom

possvel realizar imediatamente a mensurao conforme descrita pelos indicadores No possvel realizar imediatamente a mensurao conforme descrita pelos indicadores, mas h meios de desenvolv-la

Nvel Neutro

No possvel realizar imediatamente a mensurao conforme descrita pelos indicadores, e no h indcios da possibilidade de desenvolv-la

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 103: Obteno da Funo de Valor para o Descritor D24 Factibilidade. Fonte: autor.

329

D25

Percepo do decisor quanto relao custo-benefcio da adoo dos indicadores

Nvel Bom

A relao vantajosa e no h necessidade de alteraes no indicador para melhor-la A relao vantajosa, mas h a necessidade de alteraes no indicador para melhor-la A relao no vantajosa e so necessrias alteraes no indicador para melhor-la

Nvel Neutro

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 104: Obteno da Funo de Valor para o Descritor D25 Custo-benefcio. Fonte: autor.

330

Figura 105: Obteno da Funo de Valor para o Descritor D26 Propriedades Escalas Nominais. Fonte: autor.

331

Figura 106: Obteno da Funo de Valor para o Descritor D27 Propriedades Escalas Ordinais. Fonte: autor.

332

Figura 107: Obteno da Funo de Valor para o Descritor D28 Participao. Fonte: autor.

333

D29

Reconhecimento do decisor de que o conhecimento construdo est alinhado com a sua percepo do contexto

Nvel Bom

Reconhece o alinhamento em todas as etapas Reconhece parcialmente o alinhamento e deseja rever o processo No reconhece o alinhamento e no deseja rever o processo

Nvel Neutro

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 108: Obteno da Funo de Valor para o Descritor D29 Reconhece Alinhamento. Fonte: autor.

334

D30

Participao dos atores com poder de influncia sobre o contexto no processo de construo e gesto dos indicadores

Nvel Bom

Atores participam ativamente da construo e gesto dos indicadores Atores participam ativamente somente da construo ou da gesto dos indicadores

Nvel Neutro

Atores no participam do processo de construo e gesto dos indicadores

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 109: Obteno da Funo de Valor para o Descritor D30 Participao. Fonte: autor.

335

D31

Percepo dos atores quanto clareza da descrio da propriedade a ser mensurada pelo indicador

Nvel Bom

Os atores possuem a mesma interpretao quanto propriedade a ser mensurada H atores que possuem diferentes interpretaes quanto propriedade a ser mensurada, mas julgam que no preciso alterar a descrio do indicador H atores que possuem diferentes interpretaes quanto propriedade a ser mensurada, e julgam que preciso alterar a descrio do indicador

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 110: Obteno da Funo de Valor para o Descritor D31 Propriedade. Fonte: autor.

336

D32

Reconhecimento, pelos atores, da propriedade a ser mensurada com o indicador por meio de seu ttulo

Nvel Bom

Os atores reconhecem a mesma propriedade a ser mensurada por meio do ttulo do indicador H atores que reconhecem diferentes propriedades a serem mensuradas por meio do ttulo do indicador, mas julgam que no preciso alter-lo

Nvel Neutro

H atores que reconhecem diferentes propriedades a serem mensuradas por meio do ttulo do indicador e julgam que preciso alter-lo

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 111: Obteno da Funo de Valor para o Descritor D32 Ttulo. Fonte: autor.

337

D33

Reconhecimento, pelos atores, da forma de realizar a mensurao da propriedade por meio do indicador

Nvel Bom

Os atores possuem a mesma interpretao quanto forma de realizar a mensurao descrita pelo indicador H atores que possuem diferentes interpretaes quanto forma de realizar a mensurao descrita pelo indicador, mas julgam que no preciso alter-lo H atores que possuem diferentes interpretaes quanto forma de realizar a mensurao descrita pelo indicador e julgam que preciso alter-lo Matriz Macbeth Transformao semntica Funo de Valor Representao grfica da Funo de Valor

Nvel Neutro

Descritor Escala ordinal

Figura 112: Obteno da Funo de Valor para o Descritor D33 Forma de Medir. Fonte: autor.

338

D34

Clareza na definio dos nveis da escala do indicador

Nvel Bom

Os nveis da escala do indicador so definidos de tal forma a no permitir ambiguidade de desempenho

Nvel Neutro

Os nveis da escala do indicador so definidos de tal forma que permitem a ambiguidade de desempenho

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 113: Obteno da Funo de Valor para o Descritor D34 Ausncia de Ambiguidades. Fonte: autor.

339

D35

Quantidade de propriedades que os atores reconhecem a serem mensuradas pelo indicador

Nvel Bom

Os atores reconhecem uma nica propriedade a ser mensurada pelo indicador

Nvel Neutro

Os atores reconhecem mais de uma propriedade a ser mensurada pelo indicador

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 114: Obteno da Funo de Valor para o Descritor D35 Propriedade. Fonte: autor.

340

D36

Quantidade de indicadores que os atores reconhecem a serem utilizados para mensurar a propriedade

Nvel Bom

Os atores reconhecem um nico indicador a ser utilizado para mensurar a propriedade

Nvel Neutro

Os atores reconhecem mais de um indicador a ser utilizado para mensurar a propriedade

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 115: Obteno da Funo de Valor para o Descritor D36 Indicador. Fonte: autor.

341

Figura 116: Obteno da Funo de Valor para o Descritor D37 Nominal para Ordinal. Fonte: autor.

342

Figura 117: Obteno da Funo de Valor para o Descritor D38 Ordinal para Cardinal. Fonte: autor.

343
D39 Reconhecimento pelos atores dos tipos de operaes estatsticas permitidas para aplicar s escalas nominais

Nvel Bom

Reconhecem que podem utilizar apenas a contagem, a moda e/ou a frequncia

Nvel Neutro

Esperam poder utilizar outras operaes alm da contagem, moda e/ou frequncia

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 118: Obteno da Funo de Valor para o Descritor D39 Nominais. Fonte: autor.

344

D40 Reconhecimento pelos atores dos tipos de operaes estatsticas permitidas para aplicar s escalas ordinais

Nvel Bom

Reconhecem que podem utilizar somente a contagem, a moda, a frequncia e/ou a mediana

Nvel Neutro

Esperam poder utilizar outras operaes alm da contagem, moda, frequncia e/ou mediana

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 119: Obteno da Funo de Valor para o Descritor D40 Ordinais. Fonte: autor.

345
D41 Reconhecimento pelos atores dos tipos de operaes permitidas s escalas cardinais com zero arbitrado (intervalo)

Nvel Bom

Reconhecem que podem utilizar as operaes estatsticas e lineares Reconhecem que podem utilizar as operaes estatsticas

Nvel Neutro

Esperam poder utilizar outras operaes alm das estatsticas e lineares

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 120: Obteno da Funo de Valor para o Descritor D41 Intervalo. Fonte: autor.

346
D42 Reconhecimento pelos atores dos tipos de operaes permitidas s escalas cardinais com zero absoluto (razo)

Nvel Bom

Reconhecem que podem utilizar as operaes estatsticas, lineares e de proporcionalidade Reconhecem que podem utilizar as operaes estatsticas e lineares Esperam poder utilizar outras operaes alm das estatsticas

Nvel Neutro

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 121: Obteno da Funo de Valor para o Descritor D42 Razo. Fonte: autor.

347
D43 Tipo de informao utilizada para, quando necessrio, transformar as escalas nominais em ordinais

Nvel Bom

O sistema preferencial do decisor Prescries de atores externos ao contexto

Nvel Neutro

Prescries para contextos genricos

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 122: Obteno da Funo de Valor para o Descritor D43 Transformao Nominal para Ordinal. Fonte: autor.

348

D44 Combinaes de diferenas de atratividade do decisor utilizadas para, quando necessrio, transformar as escalas ordinais em cardinais

Nvel Bom

Todas as combinaes de diferena de atratividade entre os nveis da escala Uma diferena de atratividade para cada nvel da escala

Nvel Neutro

A diferena de atratividade entre os nveis de ancoragem

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 123: Obteno da Funo de Valor para o Descritor D44 Nmero de Diferenas. Fonte: autor.

349

D45 Ao transformar as escalas ordinais em cardinais, forma utilizada para quantificar as diferenas de atratividade do decisor

Nvel Bom

Julgamentos semnticos Biseco

Pontuao direta

Nvel Neutro

Baseado na literatura ou prescrito por atores externos ao contexto

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 124: Obteno da Funo de Valor para o Descritor D45 Escalas Semnticas. Fonte: autor.

350

D46 Propriedade utilizada pelo decisor, ao transformar as escalas ordinais em cardinais, ao expressar as diferenas de atratividade entre dois nveis da escala

Nvel Bom

Linearidade entre os nveis

Nvel Neutro

Proporcionalidade entre os nveis

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 125: Obteno da Funo de Valor para o Descritor D46 Linearidade. Fonte: autor.

351

Figura 126: Obteno da Funo de Valor para o Descritor D47 Valor Compatvel ao Contexto. Fonte: autor.

352
D48 Forma utilizada pelo decisor para quantificar seu sistema preferencial quando necessrio determinar taxas de compensao entre as escalas dos indicadores

Nvel Bom

Comparao Par-a-par Swing Weigths

Trade-offs

Nvel Neutro

Literatura ou prescrito por consultores/especialistas externos ao contexto

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 127: Obteno da Funo de Valor para o Descritor D48 Compensaes. Fonte: autor.

353

D49 Ao determinar a taxa de substituio do indicador, forma utilizada para quantificar as diferenas de atratividade do decisor

Nvel Bom

Julgamentos semnticos Proporcionalidade

Pontuao direta

Nvel Neutro

Seleo de valores prexistentes

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 128: Obteno da Funo de Valor para o Descritor D49 Escalas Semnticas. Fonte: autor.

354

D50 Determinao, segundo a percepo de valor do decisor, da performance acima da qual considera excelncia e da performance abaixo da qual considera comprometedor

Nvel Bom

Determinao, segundo a percepo de valor do decisor, da melhor performance possvel e da pior ainda aceitvel Determinao da performance mnima e mxima de nveis de desempenho do descritor

Nvel Neutro

Determinao da performance mnima e mxima de alternativas pr-existentes

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 129: Obteno da Funo de Valor para o Descritor D50 Nveis de Referncia. Fonte: autor.

355

Figura 130: Obteno da Funo de Valor para o Descritor D51 Sistema Preferencial do Decisor. e Fonte: autor.

356

D52 Tipo de agregao permitida pelo indicador quando necessrio integrar os indicadores

Nvel Bom

Agregao aditiva

Funo utilidade

Nvel Neutro

Mtodos externos ao contexto

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 131: Obteno da Funo de Valor para o Descritor D52 Soma Ponderada. Fonte: autor.

357

D53 Forma empregada para certificar que as taxas de compensao sejam constantes

Nvel Bom

Testada a independncia ordinal e cardinal de cada indicador Testada somente a independncia ordinal de cada indicador

Nvel Neutro

No so testadas as independncias

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 132: Obteno da Funo de Valor para o Descritor D53 Independncia Ordinal e Cardinal. Fonte: autor.

358

D54 Forma utilizada para identificar as aes de aperfeioamento

Nvel Bom

Anlise do decisor a partir do perfil de impacto dos indicadores Prescrito por consultores ou especialistas a partir do perfil de impacto dos indicadores

Nvel Neutro

A partir da literatura ou contextos genricos

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 133: Obteno da Funo de Valor para o Descritor D54 Aes. Fonte: autor.

359

D55 Forma de identificao do aumento da performance em cada indicador com a adoo de aes de aperfeioamento

Nvel Bom

A partir do aumento de entendimento do contexto gerado ao decisor A partir do aumento de entendimento do contexto gerado aos consultores ou especialistas

Nvel Neutro

A partir da literatura ou contextos genricos

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 134: Obteno da Funo de Valor para o Descritor D55 Performance. Fonte: autor.

360

D56 Uso do entendimento do contexto gerado ao decisor a partir das informaes das medidas dos indicadores

Nvel Bom

Reavaliar a estratgia

Monitoramento ttico

Nvel Neutro

Controle operacional

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 135: Obteno da Funo de Valor para o Descritor D56 Reavaliar a Estratgia. Fonte: autor.

361

D57 Forma de divulgar aos diferentes grupos de atores as informaes geradas pelas mensuraes

Nvel Bom

Por meio de processos formalizados

Por meio de processos no formalizados

Nvel Neutro

Sob demanda

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 136: Obteno da Funo de Valor para o Descritor D57 Divulgao. Fonte: autor.

362

D58 Formato de divulgao das informaes aos diferentes grupos de atores

Nvel Bom

Em formatos adequados aos interesses de cada grupo de atores Em formatos definidos pelo decisor Em formatos genricos externos ao contexto

Nvel Neutro

Em formato nico independente dos grupos de atores

Descritor Escala ordinal

Matriz Macbeth Transformao semntica

Funo de Valor

Representao grfica da Funo de Valor

Figura 137: Obteno da Funo de Valor para o Descritor D58 Formato. Fonte: autor.

363
Anexo E - Obteno das Taxas de Substituio

Figura 138: Obteno das Taxas de Substituio para os PVEs 1.2. Entendimento da Importncia e 1.2.2.2 Aes Favorveis. : 1.2.2.1 .2 Fonte: autor.

364

: E Figura 139: Obteno das Taxas de Substituio para os PVEs 1.2.1 Qual o Problema, 1.2.2 Por que Importante, 1.2.3 Objetivo estratgico e 1.2.4 Expectativa de Ganho. Fonte: autor.

365

Figura 140: Obteno das Taxas de Substituio para os PVEs 1.1 Atores e 1.2 Sumrio. : Fonte: autor.

366

Figura 141: Obteno das Taxas de Substituio para os PVEs 2.1.2.1 Propriedades Essenciais para o Decisor e 2.1.2.2 Quantidade de Propriedades. Fonte: autor.

367

Figura 142: Obteno das Taxas de Substituio para os PVEs 2.1.1 Reviso e Atualizao, 2.1.2 Especificidade do Contexto e 2.1.3 Medidas Obrigatrias. Fonte: autor.

368

Figura 143: Obteno das Taxas de Substituio para os PVEs 2.2.1.1 Conceitos, 2.2.1.2 Linhas de Argumentao, 2.2.1.3 Relaes de Influncia e 2.2.1.4 Estrutura Hierrquica de Valor. Fonte: autor.

369

Figura 144: Obteno das Taxas de Substituio para os PVEs 2.1 Identificao e 2.2 Organizao. Fonte: autor.

370

Figura 145: Obteno das Taxas de Substituio para os PVEs 3.2.2.1 Bom e 3.2.2.2 Neutro. Fonte: autor.

371

Figura 146: Obteno das Taxas de Substituio para os PVEs 3.2.1 Nveis de Desempenho e 3.2.2 Nveis de Ancoragem. Fonte: autor.

372

Figura 147: Obteno das Taxas de Substituio para os PVEs 3.1 Fonte da Informao e 3.2 Escala Ordinal. Fonte: autor.

373

Figura 148: Obteno das Taxas de Substituio para os PVEs 4.1.2.2.1 Mtrica e 4.1.2.2.2 Preciso. Fonte: autor.

374

Figura 149: Obteno das Taxas de Substituio para os PVEs 4.1.2.1 Descrio da Propriedade e 4.1.2.2 Forma de Medir. Fonte: autor.

375

Figura 150: Obteno das Taxas de Substituio para os PVEs 4.1.1.1 Evidenciar os Valores do Decisor e 4.1.1.2 Participao do Decisor. Fonte: autor.

376

Figura 151: Obteno das Taxas de Substituio para os PVEs 4.1.1 Sistema de Valores do Decisor e 4.1.2 Caractersticas. Fonte: autor.

377

Figura 152: Obteno das Taxas de Substituio para os PVEs 4.2.1 Factibilidade e 4.2.2 Custo-benefcio. Fonte: autor.

378

Figura 153: Obteno das Taxas de Substituio para os PVEs 4.3.1 Propriedades Escalas Nominais e 4.3.2 Propriedades Escalas Ordinais. Fonte: autor.

379

Figura 154: Obteno das Taxas de Substituio para os PVEs 4.4.1.1 Participao e 4.4.1.2 Reconhece Alinhamento. Fonte: autor.

380

Figura 155: Obteno das Taxas de Substituio para os PVEs 4.4.1 Decisor e 4.4.2 Atores. Fonte: autor.

381

Figura 156: Obteno das Taxas de Substituio para os PVEs 4.5.1.1 Propriedade, 4.5.1.2 Ttulo e 4.5.1.3 Forma de Medir. Fonte: autor.

382

Figura 157: Obteno das Taxas de Substituio para os PVEs 4.5.1 Descries e 4.5.2 Nveis. Fonte: autor.

383

Figura 158: Obteno das Taxas de Substituio para os PVEs 4.6.1.1 Propriedade e 4.6.1.2 Indicador. Fonte: autor.

384

Figura 159: Obteno das Taxas de Substituio para os PVEs 4.1 Mensurabilidade, 4.2 Operacionalidade, 4.3 Teoria da Mensurao, 4.4 Legitimao, 4.5 Inteligibilidade e 4.6 Homogeneidade. Fonte: autor.

385

Figura 160: Obteno das Taxas de Substituio para os PVEs 5.1.1 Nominal para Ordinal e 5.1.2 Ordinal para Cardinal. Fonte: autor.

386

Figura 161: Obteno das Taxas de Substituio para os PVEs 5.2.1.3.1 Intervalo e 5.2.1.3.2 Razo. Fonte: autor.

387

Figura 162: Obteno das Taxas de Substituio para os PVEs 5.2.1.1 Nominais, 5.2.1.2 Ordinais e 5.2.1.3 Cardinais. Fonte: autor.

388

Figura 163: Obteno das Taxas de Substituio para os PVEs 5.1 Transformao e 5.2 Operaes. Fonte: autor.

389

Figura 164: Obteno das Taxas de Substituio para os PVEs 6.2.1.1 Nmero de Diferenas, 6.2.1.2 Escalas Semnticas, 6.2.1.3 Linearidade e 6.2.1.4 Valor Compatvel ao Contexto. Fonte: autor.

390

Figura 165: Obteno das Taxas de Substituio para os PVEs 6.1 Reconhecimento Cientfico e 6.2 Atratividade. Fonte: autor.

391

Figura 166: Obteno das Taxas de Substituio para os PVEs 7.1.1.1 Compensaes, 7.1.1.2 Escalas Semnticas e 7.1.1.3 Nveis de Referncia. Fonte: autor.

392

Figura 167: Obteno das Taxas de Substituio para os PVEs 7.2.1 Sistema Preferencial do Decisor, 7.2.2 Soma Ponderada e 7.2.3 Independncia Ordinal e Cardinal. Fonte: autor.

393

Figura 168: Obteno das Taxas de Substituio para os PVEs 7.1 Determinao e 7.2 Integrao. Fonte: autor.

394

Figura 169: Obteno das Taxas de Substituio para os PVEs 8.1.1.1.1 Aes e 8.1.1.1.2 Performance. Fonte: autor.

395

Figura 170: Obteno das Taxas de Substituio para os PVEs 8.1.1.1 Aperfeioamento e 8.1.1.2 Reavaliar a Estratgia. Fonte: autor.

396

Figura 171: Obteno das Taxas de Substituio para os PVEs 8.2.1 Divulgao e 8.2.2 Formato. Fonte: autor.

397

Figura 172: Obteno das Taxas de Substituio para os PVEs 8.1 Aumento do Entendimento e 8.2 Disseminao das Informaes. Fonte: autor.

398

Figura 173: Obteno das Taxas de Substituio para os PVFs 1 - Definio do Problema, 2 - Identificao / Organizao e 3 - Construo. Fonte: autor.

399

Figura 174: Obteno das Taxas de Substituio para os PVFs 5 - Escalas, 6 Funo de Valor e 7 Taxa de Substituio. Fonte: autor.

400

Figura 175: Obteno das Taxas de Substituio para as reas de Preocupao 1 - Definio, Identificao e Construo, 2 - Propriedades, 3 - Fundamentos Matemticos e 4 - Conhecimento do Contexto. Fonte: autor.

401
Anexo F - Estrutura Hierrquica de Valor com as Taxas de Substituio
Construir um modelo para apoiar o uso dos processos de Avaliao de Desempenho no que se refere aos Indicadores.

41%
Definio, Identificao e Construo

28% 20%
Propriedades Fundamentos Matemticos

11%
Conhecimento do Contexto

43%
PVF 1 Definio do Problema

33%
PVF 2 Identificao e Organizao

24%
PVF 3 Construo

100%
PVF 4 Propriedades Intrnsecas PVF 5 Escalas

44%

32%
PVF 6 Funo de Valor

24%
PVF 7 Taxa de Substituio

100%
PVF 8 Aperfeioamento

65%

100%
PVE 1.1.1 Identificao dos Atores PVE 1.2.1 Qual o Problema

33%

28%
PVE 1.2.2 Por que Importante

17%
PVE 1.2.3 Objetivo Estratgico

PVE 6.1.1 Transformao Nominal para Ordinal

PVE 6.2.1 Transfo rmao Ordinal para Cardinal

PVE 2.1.2 Especificidade do Contexto

22%
PVE 2.1.1 Reviso e Atualizao PVE 1.2.4 Expectativa d e Ganho

20%

33%

100% 47%
PVE 2.1.3 Medidas Obrigatrias PVE 2.2.1 Relaes Meios-Fins

100%
PVE 3.1.1 Estrutu ra Hierrquica e Mapas de Relaes Meios-Fins

61%
PVE 3.2.1 N veis de Desempenho

39%
PVE 4.1.1 Sistema de Valores do Decisor PVE 3.2.2 Nveis de Ancoragem

69%

31%
PVE 4.1.2 Caractersticas

33%
PVE 4.2.1 Factibilidade

67%
PVE 4.2.2 C usto-benefcio

39%
PVE 4.3.1 Propriedades Escalas No minais

61%
PVE 4.3.2 Propriedades Escalas Ordinais

67%

33%
PVE 4.5.1 Descries

30%

70%

100%
P VE 4.6.1 Unicid ade

40%
PVE 5.1.1 Nominal para Ord inal

60%
PVE 5.1.2 Ordinal para C ard inal

100%
PVE 5.2.1 Compatib ilidade com as Propriedades

100%

100%

100%
PVE 7.1.1 Sistema Preferencial d o Decisor PVE 7.2.1 Sistema Preferencial d o Decisor

54%

33%
PVE 7.2.2 Soma Ponderada

13%
PVE 7.2.3 Indep endncia Ordinal e Cardinal

100%
PVE 8.1.1 Para o Decisor

67%
PVE 8.2.1 Divulgao

PVE 8.2 Disseminao das Informaes

35%
PVE 2.1 Identificao PVE 1.2 Sumrio

61%

39%
PVE 3.1 Fonte da Informao PVE 2.2 Organizao

33%

67%
PVE 4.1 Men surabilidade PVE 3.2 Escala Ordin al

23%

13,5%
PVE 4.2 Operacionalid ade

19%
PVE 4.3 Teoria da Mensurao

16,5%
PVE 4.4 Legitimao

PVE 8.1 Aumento do En ten dimento

PVE 6.1 Recon hecimento C ientfico

21%
PVE 4.5 Inteligibilidade

36% 7%
PVE 4.6 Homogeneidade PVE 5.1 Transformao

64%

33%

67%
PVE 6.2 Atratividade

67%
PVE 7.1 Determinao

33%
PVE 7.2 Integrao

70%

30%

PVE 5.2 Operaes

PVE 1.1 Atores

33%

64%
PVE 1.2.2.1 Entendimento da Impo rtncia

36%
PVE 1.2.2.2 Aes Favorveis

100%
PVE 1.2.3.1 Operacionalizar

62%
PVE 2.1.2.1 Propriedades Essenciais para o Decisor

38%
PVE 2.1.2.2 Quantidade de Propriedades PVE 2.2.1.1 Con ceitos

34%

16%
PVE 2.2.1.2 Linhas de Argumentao

28%
PVE 2.2.1.3 Relaes de Influncia

PVE 4.5.2.1 Ausncia de Ambigu idades

PVE 4.1.2.1 Descrio da Propriedade

PVE 4.4.1.2 Reconhece Alinhamento

PVE 2.2.1.4 Estrutura Hierrquica de Valor

PVE 4.1.1.1 Evid enciar os Valores do Decisor

22%

57%

43%

64%

36%
PVE 4.1.1.2 Participao do Decisor

64%

36%
PVE 4.1.2.2 Forma de Medir

67%
PVE 4.4.1.1 Participao

33%

100%
PVE 4.4.2.1 Participao

47%
PVE 4.5.1.1 Propriedade

21%

32%
PVE 4.5.1.3 Forma de Medir

100%

36%
PVE 4.6.1.1 Propriedade

64%
PVE 4.6.1.2 Indicador

16%
PVE 5.2.1.1 N ominais

36%

48%
PVE 6.2.1.1 Nmero de Diferenas PVE 5.2.1.3 C ard inais

8%

42%
PVE 6.2.1.2 Escalas Semnticas

31%
PVE 6.2.1.3 Linearidade

19%
P VE 6.2.1.4 Valo r Compatvel ao Co ntexto PVE 7.1.1.1 Compensaes

24%

43%
PVE 7.1.1.2 Escalas Semnticas

33%
PVE 7.1.1.3 Nveis de Referncia

70%
PVE 8.1.1.1 Aperfeioamento

30%
PVE 8.1.1.2 Reavaliar a estratgia

64%
PVE 4.1.2.2.1 Mtrica

36%
PVE 4.1.2.2.2 Preciso

PVE 5.2.1.2 Ordinais

PVE 3.2.2.2 N eutro

PVE 4.5.1.2 Ttulo

PVE 3.2.2.1 B om

70%
PVE 5.2.1.3.1 Intervalo

30%

64%

36%
PVE 8.1.1.1.2 Performance

D1

D2

D3

D4

D5

D6

D7

D8

D9

D10

D11

D12

D13

D14

D15

D16

D17

D18

D19

D20

D21

D22

D23

D24

D25

D26

D27

D28

D29

D30

D31

D32

D33

D34

D35

D36

D37 Forma utilizada para ordenar as diferenas de preferncia ao realizar a transformao das escalas nominais para ordinais

D38 Forma utilizada para ordenar as diferenas de atratividade ao realizar a transformao das escalas ordinais para cardinais

D39 Reconhecimento pelos atores dos tipos de operaes estatsticas permitidas para aplicar s escalas nominais

D40 Reconhecimento pelos atores dos tipos de operaes estatsticas permitidas para aplicar s escalas ordinais

D41 Reconhecimento pelos atores dos tipos de operaes permitidas s escalas cardinais com zero arbitrado (intervalo)

D42 Reconhecimento pelos atores dos tipos de operaes permitidas s escalas cardinais com zero absoluto (razo)

D43 Tipo de informao utilizada para, quando necessrio, transformar as escalas nominais em ordinais

D44 Com binaes de diferenas de atratividade do decisor utilizadas para, quando necessrio, transformar as escalas ordinais em cardinais

D45 Ao transformar as escalas ordinais em cardinais, forma utilizada para quantificar as diferenas de atratividade do decisor

D46 Propriedade utilizada pelo decisor, ao transform ar as escalas ordinais em cardinais, ao expressar as diferenas de atratividade entre dois nveis da escala

D47 Percepo do decisor quanto compatibilidade dos valores obtidos para os extrem os da escala ao contexto

D48 Forma utilizada pelo decisor para quantificar seu sistema preferencial quando necessrio determinar taxas de compensao entre as escalas dos indicadores

D49 Ao determinar a taxa de substituio do indicador, forma utilizada para quantificar as diferenas de atratividade do decisor

D50 Determinao, segundo a percepo de valor do decisor, da performance acima da qual considera excelncia e da performance abaixo da qual considera comprometedor

D51 Tipo de informao utilizada pelo decisor para determ inar os fatores de integrao das escalas

D52 Tipo de agregao permitida pelo indicador quando necessrio integrar os indicadores

D53 Form a em pregada para certificar que as taxas de compensao sejam constantes

PVE 8.1.1.1.1 Aes

PVE 5.2.1.3.2 Razo

D54 Forma utilizada para identificar as aes de aperfeioamento

D55 Forma de identificao do aumento da performance em cada indicador com a adoo de aes de aperfeioamento

D56 Uso do entendim ento do contexto gerado ao decisor a partir das inform aes das medidas dos indicadores

D57 Forma de divulgar aos diferentes grupos de atores as informaes geradas pelas mensuraes

PVE 8.2.2 Formato

PVE 4.4.1 Decisor

PVE 4.4.2 Atores

PVE 4.5.2 Nveis

D58 Formato de divulgao das informaes aos diferentes grupos de atores

Tipos de subgrupos de atores do contexto identificados para a construo dos indicadores

Existncia de uma descrio do problema cujo desempenho ser avaliado

Ao analisarem o sumrio do indicador, percepo dos atores quanto importncia de mensurar a propriedade

Percepo dos atores quanto possibilidade da adoo dos indicadores gerar aes que conduzam a desempenhos no desejados

Percepo do decisor para o nvel de impacto da propriedade a ser mensurada para a operacionalizao da estratgia

Existncia de um sumrio que evidencie os ganhos a serem obtidos com a mensurao da propriedade por meio de um indicador

Existncia de processo para revisar e atualizar periodicamente o conjunto de indicadores

Forma utilizada para identificar as propriedades julgadas essenciais ao decisor ao avaliar o contexto

Percepo do decisor quanto quantidade de propriedades identificadas

Percepo do decisor quanto incluso das medidas de carter obrigatrio dentre o conjunto de propriedades a serem mensuradas

Identificao, segundo a percepo do decisor, dos plos subjacente e a ser evitado para as propriedades que iro avaliar o contexto

Processo utilizado para evidenciar as linhas de argumentao que explicam os objetivos

Tipo de Mapas de Relaes Meios-Fins (Causais) utilizado

Tipo de estrutura hierrquica utilizada para explicar os objetivos das linhas de argumentao

Estruturas utilizadas com o fonte de informaes do contexto a partir das quais as escalas ordinais so construdas

Forma utilizada para identificar os nveis de desem penho para as escalas construdas

Forma utilizada para identificar o nvel de desempenho considerado o melhor possvel (Nvel Bom)

Forma utilizada para identificar o nvel de desempenho considerado o pior possvel ainda aceitvel (Nvel Neutro)

Processo utilizado para evidenciar o sistema de valores do decisor ao avaliar o contexto

Grau de participao do decisor no processo de evidenciao de seu sistema de valores

Percepo do decisor quanto ao indicador conter uma descrio suficientemente detalhada da propriedade a ser mensurada

Forma de apresentar a descrio da mtrica a ser utilizada para mensurar a propriedade

Percepo do decisor quanto preciso das medidas a ser fornecidas pelos indicadores

Percepo do decisor quanto possibilidade de realizar a mensurao descrita pelos indicadores

Percepo do decisor quanto relao custo-benefcio da adoo dos indicadores

Tipo de propriedade que o decisor reconhece poder utilizar nos indicadores com escalas nominais

Tipo de propriedade que o decisor reconhece poder utilizar nos indicadores com escalas ordinais

Quantidade etapas do processo de construo do indicador que contam com a participao ativa do decisor

Reconhecimento do decisor de que o conhecimento construdo est alinhado com a sua percepo do contexto

Participao dos atores com poder de influncia sobre o contexto no processo de construo e gesto dos indicadores

Percepo dos atores quanto clareza da descrio da propriedade a ser m ensurada pelo indicador

Reconhecim ento, pelos atores, da propriedade a ser mensurada com o indicador por meio de seu ttulo

Reconhecimento, pelos atores, da forma de realizar a mensurao da propriedade por meio do indicador

Clareza na definio dos nveis da escala do indicador

Quantidade de propriedades que os atores reconhecem serem mensuradas pelo indicador

Quantidade de indicadores que os atores reconhecem a serem utilizados para mensurar a propriedade

150

157 100 100 100 77 100 46 100 58 100 66 60 55 20 0 25 0 40 0 0 0 0 0 0 42 44 44 44 100 100 100 100 100

126 100 100 100 69 66 38 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 50 62 62 50 55 50 57 50 57 50 44 54 55 50 55 20 0 0 0 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 46 55 27 0 20 0 0 0 - 33 0 0 0 0 0 0 100 100 100 63 100 46 44 44 40 42 37 28 50 40 30 0 100 100 100 100 100 100 100 100 100 70

Nvel Bom

100

100

100

100

100

100

100

100

50

57

54

55

50

57

60

50

55

Nvel Neutro

- 112

- 66

- 37

- 55

- 28

- 33

- 33

- 30

-30

- 33

Figura 176: Estrutura Hierrquica de Valor com as Taxas de Substituio (para melhor visualizao, vide verso eletrnica). Fonte: autor.

402

403
Anexo G - Grficos da Anlise de Sensibilidade

Figura 177: Anlise de Sensibilidade para o PVF 1 Definio do Problema. Fonte: Barclay (2006).

404

Figura 178: Anlise de Sensibilidade para o PVF 2 Identificao / Organizao. Fonte: Barclay (2006).

405

Figura 179: Anlise de Sensibilidade para o PVF 3 Construo. Fonte: Barclay (2006).

406

Figura 180: Anlise de Sensibilidade para o PVF 4 Propriedades Intrnsecas. Fonte: Barclay (2006).

407

Figura 181: Anlise de Sensibilidade para o PVF 5 Escalas. Fonte: Barclay (2006).

408

Figura 182: Anlise de Sensibilidade para o PVF 6 Funo de Valor. Fonte: Barclay (2006).

409

Figura 183: Anlise de Sensibilidade para o PVF 7 Taxa de Substituio. Fonte: Barclay (2006).

410

Figura 184: Anlise de Sensibilidade para o PVF 8 Aperfeioamento. Fonte: Barclay (2006).