Você está na página 1de 16

Medição de Desempenho Organizacional: um estudo das vantagens e desvantagens dos

principais sistemas sob as óticas teórico-acadêmica e de práticas de mercado

Autoria: Francisco Sobreira Netto

Resumo
É preocupação recorrente de administradores de diversos tipos de organizações e de setores
conhecer o desempenho das organizações que dirigem. A medição do processo produtivo não
é um tema novo, remontando aos séculos XIV e XV. Do final do século XIX até os dias de
hoje foi concebida uma significativa quantidade de sistemas de medição de desempenho
organizacional, cada um deles visando atender a demandas específicas ou englobando novas
perspectivas a aspectos já desenvolvidos em anteriores. O objetivo deste trabalho é realizar
uma compilação identificando as vantagens e desvantagens dos principais sistemas de
medição de desempenho organizacional sob duas óticas: a teórico-científica e a de práticas de
mercado; bem como estabelecer um comparativo entre ambas. Este trabalho se constituiu,
portanto, numa pesquisa exploratória qualitativa, de natureza bibliográfica, com a aplicação
do método da análise de conteúdo. Os sistemas foram classificados segundo suas
características gerais tais como: nome, origem, razão, finalidade, enfoque, vantagens,
desvantagens e ótica de análise. A partir daí foram elaboradas conclusões a fim de aumentar o
conhecimento de estudiosos e pesquisadores no assunto, assim como fornecer subsídios a
gestores na escolha e aplicação do sistema mais adequado à sua organização.

1.Introdução
É preocupação recorrente de administradores de diversos tipos de organizações e de setores,
os mais diversos, acompanhar o desempenho das organizações que dirigem. A medição do
processo produtivo não é um tema novo, remontando aos séculos XIV e XV, quando o
comércio, impulsionado pelas grandes navegações e pela busca de novas terras, exigia maior
controle em todas as fases das transações realizadas.

Segundo Figueiredo (2003, p. 58), o sistema organizacional (SO) é definido como o sistema
processador que converte diversas entradas de recursos recebidos de sistemas fornecedores,
em saídas de produtos e serviços que são fornecidos para sistemas receptores. Já o Sistema de
Medição de Desempenho Organizacional é entendido como o conjunto de pessoas, processos,
métodos, ferramentas e indicadores, estruturado para coletar, descrever e representar dados, a
fim de gerar informações sobre múltiplas dimensões de desempenho para usuários de
diferentes níveis hierárquicos. Com base nas informações geradas, os usuários podem avaliar
o desempenho de equipes, atividades, processos e o próprio Sistema Organizacional, para
tomar decisões e executar ações para a melhoria do desempenho (CLARK, 1995; BITITCI et
al, 2000; NEELY et al, 2002; FIGUEIREDO, 2003, p. 58).

Diante da necessidade de mensuração de desempenho nas organizações, sob diversas


perspectivas e enfoques, deste o final do século XIX até os dias de hoje, existe uma
quantidade significativa de modelos e sistemas para este tipo de avaliação. Esta medição de
desempenho visa acompanhar demandas tais como o aumento do grau de competitividade das
empresas, a globalização, a abertura dos mercados, o uso intensivo da tecnologia da
informação e comunicação, o desenvolvimento tecnológico-social, a responsabilidade social e
ambiental, a satisfação do cliente interno e externo, somente para citar algumas. Fica, então,
caracterizado um problema para estudo: quais as vantagens e desvantagens de cada um dos
principais sistemas de medição de desempenho organizacional analisados sob as óticas
teórico-científica e de práticas de mercado? Logo, o objetivo principal deste trabalho,

1
respondendo a esta pergunta, é identificar sucintamente estas vantagens e desvantagens, bem
como traçar um comparativo entre as duas óticas. Entende-se como ótica teórico-científica a
análise dos estudos mais recentes relatados pela literatura acadêmica. E, como ótica de
práticas de mercado, o resultado da análise realizada por uma empresa de consultoria
especializada em medição de desempenho de organizações.

Como um estudo exploratório, esta pesquisa se justifica basicamente para que se possa
aumentar o conhecimento de estudiosos da matéria e fornecer subsídios a gestores de
organizações em geral sobre as vantagens e desvantagens da utilização de cada um dos
principais sistemas de medição de desempenho organizacional identificados, justificando
assim suas aplicações em estudos e implementações em suas respectivas empresas. Justifica-
se também como um instrumento comparativo entre as visões dos relatos acadêmicos e
aquelas de uma empresa de consultoria especializada em medição de desempenho, a fim de
que possa entender o assunto sob enfoques diferentes.

Este estudo se limitou a elencar e estudar os sistemas contemporâneos de medição de


desempenho, com maior número de experiências relatadas em artigos e publicações
científicas, bem como em citações de adoção e implantação destes modelos por organizações
dos mais diversos setores de atuação e atividade. Portanto, trata-se de uma pesquisa em
sistemas recentes e não ao longo do tempo. Outra limitação é quanto ao uso de informações
de apenas uma empresa de consultoria especializada em medição de desempenho
organizacional, não sendo, portanto, uma agregação de visões de diversas empresas do setor.

2.Metodologia
Este trabalho se constituiu numa pesquisa exploratória qualitativa, de natureza bibliográfica,
com a aplicação do método da análise de conteúdo. Cooper e Schindler (2003, p. 222)
afirmam que estão entre os principais objetivos da pesquisa exploratória: aumentar o
entendimento do problema de administração; saber como outras pessoas resolveram
problemas similares ao seu; identificar informações que possam ser usadas como questões
investigativas; e identificar fontes reais que possam ser usadas como questões de mensuração.

Para Marconi e Lakatos (1996, p. 66) na pesquisa bibliográfica, ou de fontes secundárias,


verifica-se que a bibliografia pertinente ao tema de estudo oferece meios para definir e
resolver não só problemas já conhecidos, como também explorar novas áreas onde os
problemas não se cristalizaram suficientemente. Segundo Ferrari (1974, p. 230), a pesquisa
bibliográfica tem por objetivo permitir ao pesquisador o “reforço paralelo na análise de suas
pesquisas ou na manipulação de suas informações”. Não se trata de uma repetição do que já
foi escrito sobre determinado assunto, mas propicia o exame de um tema sob novo enfoque ou
abordagem, trazendo consigo novas conclusões.

Para Bardin (1995, p. 45) a análise de conteúdo se constitui num conjunto de técnicas de
análise de comunicações, que utiliza procedimentos sistemáticos e objetivos de descrição do
conteúdo das mensagens. O objetivo principal não está na descrição dos conteúdos e sim no
que se pode abstrair deles após serem trabalhados ou comparados entre si. Segundo o mesmo
autor, este tipo de análise objetiva também dar forma conveniente e representar de outro modo
esta informação, com o uso de procedimentos de transformação. Assim sendo, pretende-se
verificar as vantagens e desvantagens da utilização dos principais sistemas de medição de
desempenho organizacional, segundo as visões acadêmica e de consultoria especializada, com
a finalidade de alcançar os objetivos da pesquisa exploratória, elencados por Cooper e
Schindler (2003), da pesquisa bibliográfica, conforme Marconi e Lakatos (1996) e Ferrari

2
(1974), e elaborar uma síntese dos seus principais aspectos destes sistemas de medição por
meio da análise de conteúdo, de acordo com Bardin (1995).

3.Referencial Teórico
3.1 Breve Histórico dos Sistemas de Medição de Desempenho Organizacional
Os sistemas de medição de desempenho são focos de interesse da atividade humana. Isto pode
ser observado ao longo da história, com o período fértil de sua evolução se estendendo pelo
século XX. O quadro 1 procura traduzir, de forma resumida, a evolução destes sistemas, em
síntese constante da pesquisa KPMG LLP (2001, p. 10). Note-se que os sistemas de medição
descritos acompanharam a evolução dos principais modelos organizacionais concebidos neste
período, com enfoque em seus conceitos básicos. Percebe-se ainda que, ao longo do tempo, a
medição de desempenho veio agregando os atributos relacionados às áreas financeira e de
recursos humanos; ao estudo das relações causa-efeito e de integração de atributos da medição
de desempenho; ao estudo de cenários de mercado; ao capital intelectual nas empresas; e, com
isso, ganhando em multidisciplinaridade de requisitos e complexidade no gerenciamento.

Quadro 1 – Cronologia da Medição de Desempenho


DATA DE ÁREAS DE LÍDERES CONCEITO
ORIGEM MEDIÇÃO PRESUMIDOS
Pré século XX Financeira Diversos Medição de áreas financeiras para julgar o
sucesso de empreendimentos comerciais e
governamentais
Início dos anos Processos centrais Frederick Taylor e Aparecimento da escola do pensamento de
1900 (Core Processes) Frank e Lillian Gilbreth tempo e movimento
1930s-1940s Painel de controle Engenheiros de Painel para identificar relações de causa e
de bordo (Tableau processos franceses efeito – antecessor ao conceito do BSC
de Bord)
Processos W. Edwards Deming e Pesquisa em torno do conceito e fontes de
operacionais Walter E. Shewart variabilidade e relações entre os
desempenhos correntes e futuros
Desempenho do Diversos Pesquisa sobre a importância do
funcionário desempenho dos funcionários para o
(Employee sucesso organizacional
Performance)
1964 Contabilidade de Roger H. Hermanson e Quantificação de valor econômico de
recursos humanos outros pessoas como insumo de decisões
gerenciais e financeiras
1970 Planejamento de Diversos Técnicas para modelar certos eventos e
Cenário (Scenario avaliar seu impacto na organização (estudo
Planning) de cenários)
1990s BSC - Robert S. Kaplan e Scorecard para medir e estabelecer
Balanced David P. Norton relações de causa e efeito de quatro
Scorecard perspectivas sobre processos: financeiros,
de clientes, internos e crescimento
1994 Valor econômico Stern, Stewart & Medida de desempenho para apurar as
adicionado Company formas pelas quais o valor da corporação
(Economic Value pode ser incrementado ou perdido
Added)
1997 Enfoque no Bontis, Edvinsson, Medição em uma estrutura integrada, dos
capital intelectual Malone, Roos & Roos recursos intangíveis que contribuem para a
criação de valor organizacional
1999 SIGMA British Standards Triple Bottom Line – Scorecard medir e
Sustainability Institution e outros estabelecer relações sob quatro enfoques:
Scorecard sustentabilidade, cliente externo e interno,
conhecimento e habilidade
FONTE: Adaptado de KPMG LLP (2001, p. 10)

3
Figueiredo (2003, p. 15-16) divide os sistemas de medição de desempenho organizacional em
três fases distintas. A primeira fase, no período entre os séculos XIV e XIX, inclui o
surgimento das primeiras práticas contábeis para controle dos processos produtivos e o
desenvolvimento dos primeiros sistemas de administração e controle da produção.

A segunda fase, no período compreendido entre o início do século XX e o início da década de


80, quando é possível observar que a medição de desempenho passou explicitamente a fazer
parte do ciclo de planejamento e controle das organizações, época em que o principal modelo
era o da Pirâmide Du Pont. Neely (1999, p. 90) explica que este modelo começou com a
consolidação das pequenas empresas, pertencentes aos três primos Du Pont, com outras de
natureza familiar. Com isto, a indústria de explosivos americana foi reorganizada,
incorporando na nova estrutura organizacional uma espécie de benchmark de processos, com
enfoque financeiro. De acordo com Kennerley e Neely (2002), a pirâmide de medidas
desenvolvida interliga uma grande variedade de relações financeiras e tem uma estrutura
claramente hierárquica, ligando as medidas dos diferentes níveis organizacionais. Surgem aí
medidas financeiras como, por exemplo, o fluxo de caixa (Cash Flow) e o retorno sobre
investimento (ROI).

A terceira fase, compreendida no período entre meados da última década de 80 até os dias de
hoje, nasce das críticas ao modelo anterior e seus similares, sendo então identificados na
literatura consultada outros atributos. Atributos estes baseados em ativos intangíveis e não
financeiros, fundamentados mais em fatos do que em histórias, porém necessários à eficácia
dos novos modelos de medição de desempenho criados. Kaplan e Norton (1997, p. 21)
acreditam que numa organização o que não é medido não é gerenciado. Saltério e Webb
(2003, p. 41) acrescentam que o que é medido e efetivamente usado nas avaliações de
desempenho organizacionais é gerenciado.

A pesquisa KPMG LLP (2001, p. 13) realizada com líderes que representavam organizações
globais, num encontro com membros do MIT – Massachusetts Institute of Tecnology, em
1999, a fim de identificar assuntos e desafios que os gerentes estavam enfrentando naquele
momento, indica, entre outros, que esses líderes freqüentemente se sentem inundados com o
volume de dados. Entretanto, esses líderes se mostravam carentes de informações relevantes,
tempestivas e confiáveis de desempenho organizacional, num mundo caracterizado pelos
participantes como em mudança contínua inexorável. Em outras palavras, a ênfase do sistema
deveria ser em entender com clareza o que deveria ser medido versus o que é medido.
Corroborando esta percepção, Robson (2004, p. 515) afirma que a medição de desempenho
pode ser deteriorada pela quantidade excessiva ou pela insuficiência de medidas qualitativas e
quantitativas. Harrington (1993, p. 88) destaca a dificuldade de se lidar com o universo de
medidas de desempenho, sugerindo que este controle esteja circunscrito às medidas críticas ou
essenciais para o processo organizacional como um todo.

Outra constatação importante da pesquisa foi de que teorias convencionais de medição e


práticas de negócio não estavam fornecendo a direção e o suporte necessários à tomada de
decisões. Segundo Saltério e Webb (2003, p. 39), cerca de metade das empresas que
constavam do rol das mil maiores empresas elencadas na revista Fortune, no ano de 2002,
declararam utilizar algum tipo de método de mensuração de desempenho, considerado como
atividade empresarial estratégica, crítico para atingir resultados e não somente para medi-los.
Figueiredo (2003, p. 16) complementa que, em que pese o significativo interesse demonstrado
pelas organizações em conhecerem e efetivamente usarem algum dos modelos propostos neste

4
período, cerca de 70% dos novos sistemas de desempenho de medição organizacional
implementados não funcionaram de acordo com o esperado. A pesquisa KPMG LLP (2001, p.
13) indica ainda a necessidade de uma nova geração de sistemas e ferramentas de medição de
desempenho para auxiliar os líderes das organizações a lidar com o caráter dinâmico das
mudanças. Esta talvez seja uma das maiores explicações para o fato de Figueiredo (2003, p.
23-25), numa revisão criteriosa de literatura, ter identificado nesta fase cerca de 33 (trinta e
três) novos modelos de SMDO.

3.2 Principais Sistemas de Medição de Desempenho Organizacional - SMDO


Encontram-se na literatura pesquisada sobre os sistemas de desempenho organizacional
alguns trabalhos de destaque que procuram identificar as principais características e os
atributos necessários para a eficácia destes sistemas. Dentre eles, as pesquisas de doutorado de
Clark (1995) e de Martins (1998), e de mestrado de Ratton (1998) e de Hourneaux Jr (2005),
bem como as obras de Neely et al (1997), Bititci et al (2000), Bourne et al (2000), De Toni e
Tonchia (2001), Keneerly e Neely (2002) e Figueiredo (2003), somente para citar algumas.

Seguindo critérios de relevância, número de citações na literatura consultada e difusão entre


as organizações, Figueiredo (2003, p. 26-52) selecionou nove entre os principais sistemas de
medição de desempenho organizacional, que foram analisados e serviram de referencial
teórico para o desenvolvimento de um modelo conceitual para a auto-avaliação destes
sistemas. São eles:
a) PMQ – Performance Measure Questionnaire – 1990;
b) SMART – Strategic Measurement and Reporting Technique – 1991;
c) MQMD – Modelo Quantum de Medição de Desempenho – 1994;
d) SCD – Sete Critérios de Desempenho – 1993;
e) BSC – Balanced Scorecard – 1992/93/96/01;
f) IDPMSa – Integrated and Dynamic Performance Measurement System – 1997/98/00;
g) IDPMSb – Integrated and Dynamic Performance Measurement System – 1996/97;
h) PP – Performance Prism – 2001 e 2002;
i) SMDG – Sistema de Medição do Desempenho Global – 2001.

Os quadros 2 a 4 apresentam, de maneira sucinta e objetiva, as principais características


destes modelos de sistemas de medição de desempenho identificadas sob a ótica teórico-
acadêmica das áreas da administração de empresas e ciências econômicas e contábeis, e das
engenharias, com ênfase na engenharia de produção, tais como: o nome pelo qual ele é
conhecido (MODELO), seus concebedores ou onde nasceu (ORIGEM) , a razão de ser de seu
surgimento (RAZÃO), seus objetivos (FINALIDADE), seu foco principal (ENFOQUE),
assim como suas VANTAGENS e DESVANTAGENS. Entre estas características, merece
destaque a preocupação dos formuladores dos SMDO com:
- a efetividade e melhoria da medição de desempenho;
- o desempenho global da organização;
- as medidas operacionais, como chave para bons resultados;
- o alinhamento dos processos com a estratégia organizacional;
- a integração das medidas de desempenho;
- a abrangência das medidas de desempenho (organização, processos e pessoas);
- o equilíbrio e a interação entre as medidas de desempenho;
- a satisfação do cliente e dos participantes (stakeholders) dos processos;
- a comunicação intra e interdepartamental;
- o feedback e atualização de padrões de desempenho;
- as ferramentas de diagnóstico de desempenho.

5
Quadro 2 – Características gerais dos SMDO: PMQ – SMART – MQMD
MODELO ORIGEM RAZÃO FINALIDADE ENFOQUE
PMQ - Dixon, Nanni e Avalia a efetividade Identificar as Usa um questionário
Performance Vollmann, 1990 do sistema de necessidades de para coletar dados e
Measure medição de melhoria das escolher as medidas
Questionnaire desempenho. Pode organizações que melhor avaliem
ser aplicado a todos o desempenho da
os funcionários ou organização.
aos de nível de Avalia quatro
gerência aspectos:
- alinhamento
- congruência
- consenso
(comunicação)
- confusion
(variação entre
respostas
questionários e
consenso opiniões)
SMART - Lynch e Cross, 1991, As medidas Levar a visão da Usa uma pirâmide
Strategic desenvolvido pelos operacionais são as organização, com níveis de
Measurement laboratórios Wang chaves para atingir traduzida em objetivos e medidas:
and pela insatisfação de resultados de alto objetivos financeiros, 1°- visão da
Reporting medidas tradicionais nível aos sistemas de corporação ou
Technique e baseado em operação do negócio, estratégica
conceitos de de forma que as 2°- unidades –
Qualidade Total, medidas operacionais objetivos definidos
Engenharia Industrial sustentem a visão da em termos
e Custeio Baseado organização. financeiros
em Atividades O modelo usa dois 3°- operações –
tipos de medidas: objetivos tangíveis
1) as que medem a definidos em termos
eficiência interna das de qualidade, custo e
atividades e tempo de
departamentos; processamento e de
2) as que medem a entrega
efetividade externa
em termos de
mercado
MQMD - Hronec, 1994 Cria uma matriz Avaliar o “valor” Compõe-se de
Modelo associando todos os para o cliente, que é o quatro elementos
Quantum de processos à estratégia relacionamento entre básicos:
Medição de da organização por custo e qualidade e o 1- os Geradores (que
Desempenho meio de um conjunto “serviço” para o ajudam a
de medidas de cliente, que é o desenvolver a
desempenho relacionamento entre estratégia focalizada
qualidade e tempo. na missão)
As medidas 2- os Facilitadores
abrangem três níveis: (que fornecem apoio
a organização, os à implementação de
processos e as medidas)
pessoas 3- o processo
(definição de metas,
medidas de output,
monitoramento de
atividades-chave)
4- melhoria contínua
(feedback, e ajuste)

6
Quadro 3 – Características gerais dos SMDO: SCD – BSC – IDPMSa
MODELO ORIGEM RAZÃO FINALIDADE ENFOQUE
SCD – Sink e Tuttle, 1993 Pressuposto que o Avaliar o Os sete critérios
Sete desempenho de um desempenho global enfocam:
Critérios de sistema da organização por 1- eficácia
Desempenho organizacional pode meio de todos os seus 2- eficiência
ser medido por sete pontos-chave 3- qualidade
critérios básicos 4- produtividade
5- qualidade de
vida
6- inovação
7- lucratividade
BSC – Kaplan e Norton, O BSC procura Medir o desempenho A alta gerência
Balanced desenvolveram o responder cinco com medidas define um conjunto
Scorecard sistema em 1992, em questões básicas: estratégicas, de fatores críticos de
1993 apresentam 1-como devemos ser operacionais e sucesso para cada
exemplos reais de vistos pelos financeiras uma das
implementação; Em acionistas perspectivas.
1996 o BSC é 2-como devemos ser A partir desses
apresentado como um vistos pelos clientes fatores são fixadas
novo sistema de 3-como sustentar a metas específicas e
gestão estratégica e capacidade de mudar são desenvolvidos
em 2001 este é e melhorar indicadores para
expandido para toda a 4-em que processos medir o sucesso de
organização devemos alcançar a cumprimento de
excelência cada meta.
5-como mudar e
melhorar

IDPMSa – Bititci, Carrie e O processo de gestão Viabilizar o O sistema integra


Integrated McDevitt, 1997, de desempenho é o desdobramento da todas as informações
and Bititci, Carrie e meio pelo qual a visão e da estratégia relevantes dos
Dynamic Turner, 1998, Bititci, organização por meio da estrutura demais sistemas –
Performance Turner e Bergmann, administra seu hierárquica e análise crítica e
Measurement 2000 desempenho, de promover a desenvolvimento da
System acordo com suas integração entre a estratégia,
estratégias unidade operacional, contabilidade
corporativas e a supervisão, a média gerencial,
funcionais, bem gerência e a alta administração por
como seus objetivos direção objetivos, medidas
de desempenho não-
financeiras formais e
informais, esquemas
de incentivos/ bônus
e avaliações de
desempenho
individual

7
Quadro 4 – Características gerais dos SMDO: IDPMSb – PP – SMDG
MODELO ORIGEM RAZÃO FINALIDADE ENFOQUE
IDPMSb - Ghalayimi e Noble, IDPMSb busca a Procurar a melhoria A troca de
Integrated 1996 integração das três por meio da informações entre as
and Ghalayimi, Noble e principais áreas integração das áreas e áreas e o feedback
Dynamic Crowe, 1997 funcionais da a “alça de feedback” . são o enfoque
Performance empresa (gerência, As equipes de principal do sistema
Measurement equipes de melhoria e melhoria atualizam os
System chão de fábrica), padrões de
usando três desempenho.
ferramentas: PMQ
(Performance
Measurement
Questionnaire), o
conceito de Meia
Vida e o Diagrama de
Tempo de Ciclo.
PP - Sistema construído a Busca-se a satisfação Utiliza-se o prisma de O foco central é a
Performance partir dos pontos dos interesses dos desempenho satisfação dos
Prism fortes dos principais interessados por meio respondendo-se a interessados
modelos existentes na da medição de perguntas (stakeholders),
literatura, procurando desempenho relacionadas à sendo os acionistas o
minimizar os pontos satisfação dos grupo mais
fracos, por Kennerley interessados, às importante
e Neely, 2002 e por estratégias, aos
Neely, Adams e processos, às
Crowe, 2001 capacidades,e à
contribuição dos
interessados
SMDG - FPNQ - Fundação Reflete a experiência, Fornece uma visão Sete critérios PNQ
Sistema de para Prêmio Nacional o conhecimento e o abrangente de como (2005) são:
Medição de da Qualidade, 2002 – trabalho de pesquisa otimizar o Liderança;
Desempenho Modelo do prêmio de muitas desempenho Estratégias e planos;
Global nacional da qualidade organizações e organizacional. É Clientes e sociedade;
brasileiro especialistas no mais uma ferramenta Informação e
Brasil de diagnóstico do que conhecimento;
um sistema de Pessoas; Processos;
medição. Resultados da
organização.

Os quadros 5 e 6 apresentam, num breve resumo, as principais vantagens e desvantagens dos


Modelos de Sistemas de Medição de Desempenho PMQ, SMART, MQMD, SCD, BSC,
IDPMSa, IDPMSb, PP, SMDG, identificadas sob a ótica teórico-acadêmica.

A análise das vantagens serve, antes de tudo, como parâmetro para os gestores na escolha do
SMDO que melhor atenda às suas necessidades. Já as desvantagens funcionam como alerta às
organizações tanto em relação às deficiências quanto às oportunidades de melhoria destes
modelos.

8
Quadro 5 – Vantagens e desvantagens dos SMDO: PMQ – SMART – MQMD –
SCD – BSC – IDPMSa
MODELO VANTAGENS DESVANTAGENS
PMQ - • mecanismos de análise crítica do • não utiliza múltiplas dimensões de
Performance desempenho global facilitam a avaliação desempenho
Measure organizacional • não utiliza mecanismos para o
Questionnaire • estimula a participação dos funcionários no monitoramento do ambiente interno e externo
processo de avaliação do SMDO da organização
• fornecimento de informações que facilitam • falta de agilidade na colocação à disposição
o aprendizado organizacional de informações relevantes de mudanças nos
ambientes interno e externo.
SMART - • uso de medidas vinculadas à estratégia • ênfase somente na satisfação de clientes e
Strategic • desdobramento das medidas do nível acionistas, ficando de fora os demais grupos
Measurement estratégico ao operacional (funcionários, fornecedores, órgãos
and • relações de causa e efeito entre os controladores e sociedade)
Reporting indicadores e os objetivos estratégicos • não agrega medidas do nível operacional às
Technique • utilização de múltiplas dimensões de do nível estratégico
desempenho • não usa mecanismos de retro-alimentação
• não há estímulo à participação de
funcionários
MQMD - • medidas de desempenho vinculadas à • falta de clareza na interação dos sistemas de
Modelo estratégia e abrangendo três níveis medição da integração com as áreas
Quantum de (organizacional, processos e pessoas) funcionais da organização
Medição de • ênfase na satisfação dos principais grupos • falta de agilidade na colocação à disposição
Desempenho de interessados (clientes, acionistas, de informações relevantes
funcionários, fornecedores, órgãos • falta de clareza na agregação dos indicadores
controladores, sociedade e meio-ambiente)
• feedback para melhoria contínua do SMDO
SCD - • usa medidas de desempenho em todos os • falta de clareza na garantia do alinhamento
Sete Critérios pontos-chave (sistemas receptores, saídas, dos indicadores aos níveis hierárquicos da
de processos, entradas e sistemas fornecedores) organização
Desempenho • múltiplas dimensões de desempenho • falta de clareza em identificar relações de
• mecanismos de realimentação que causa e efeito entre os indicadores
fornecem informações do resultado das • falta de agilidade no fornecimento de
ações de melhoria informações relevantes no instante em que o
usuário precisa
BSC - O BSC tem duas características principais: • ênfase em somente três grupos (acionistas,
Balanced 1-resume em um relatório de gestão muitos clientes e funcionários)
Scorecard dos elementos aparentemente discrepantes • é destinado mais à alta administração e
2-previne a sub-utilização das medidas média gerência
forçando os gerentes a considerar • faltam mecanismos para informações
simultaneamente todas as medidas relevantes rápidas e adaptação do SMDO a
operacionais mudanças no ambiente externo e interno
IDPMSa - • ênfase na integração de áreas de negócio • não identifica relações de causa e efeito
Integrated • considera todos os grupos interessados • falta de clareza na participação dos usuários
and Dynamic • revisão contínua de objetivos dá um caráter • falta de entendimento dos indicadores pelos
Performance dinâmico ao SMDO usuários
Measurement • monitoramento contínuo do ambiente
System externo e interno

FONTE: Adaptado de Figueiredo (2003), Clark (1995), Martins (1998), Ratton (1998) e Hourneaux Jr (2005)

9
Quadro 6 – Vantagens e desvantagens dos SMDO: IDPMSb – PP – SMDG
MODELO VANTAGENS DESVANTAGENS
IDPMSb - • visa a melhoria de desempenho apoiada em • falta de entendimento dos indicadores pelos
Integrated feedback usuários
and Dynamic • integra gerência, equipes de melhoria de
Performance processos e chão de fábrica
Measurement • estimula atualização de medidas dando
System caráter dinâmico ao SMDO
• estimula o aprendizado e a análise crítica
PP - • usa diferentes perspectivas de desempenho • falta de integração com os sistemas de
Performance • ênfase na satisfação dos diferentes grupos informação da organização
Prism de interessados • falta de agregação dos indicadores de
• processo claro de criação de valor desempenho
• metodologia facilita alinhamento • não usa mecanismos de avaliação
estratégico, alinhamento horizontal e organizacional
relações de causa e efeito
SMDG - • usa mecanismos de análise crítica do • falta de clareza de como as informações
Sistema de desempenho global relevantes foram colocadas à disposição no
Medição de • estimula aprendizado momento necessário
Desempenho • usa múltiplas dimensões de desempenho • falta de mecanismo de adaptação a mudanças
Global • identifica relações de causa e efeito no ambiente externo e interno
• busca o alinhamento com a estratégia e a
estrutura organizacional

FONTE: Adaptado de Figueiredo (2003), Clark (1995), Martins (1998), Ratton (1998) e Hourneaux Jr (2005)

Na pesquisa KPMG LLP (2001, p. 14) aproximadamente 93% dos líderes pesquisados
acreditam que a medição influi “muito ou em grande parte” nos resultados do departamento
ou da organização que representam. Contudo, apenas 51% estão “muito ou em grande parte”
satisfeitos com os sistemas atuais, e somente 15% estão “muito satisfeitos”. Mesmo assim,
87% consideram a boa informação, proveniente do SMDO, como “muito ou em grande parte”
importante para a evolução organizacional. A mesma pesquisa arrola ainda seis modelos de
medição de desempenho organizacional que considera relevantes, quais sejam:

a) BSC - Balanced Scorecard;


b) EVA - Economic Value Added;
c) ICA - Intellectual Capital Approaches;
d) VE - Value Explorer;
e) HRA - Human Resource Accounting;
f) VCS - Value Chain Scoreboard.

Os quadros 7 a 9 apresentam, num breve resumo, as características gerais, vantagens e


desvantagens dos Modelos de Sistemas de Medição de Desempenho BSC, EVA, ICA, VE,
HRA, VCS, identificadas e compiladas na pesquisa KPMG LLP (2001, p. 16-17). Para fins
deste trabalho, estes aspectos foram considerados sob a ótica de práticas de mercado. Ou
seja, a apresentação da visão de uma empresa de consultoria e assessoramento de
organizações na área de medição de desempenho organizacional (BPS - Business
Performance Services), que utiliza um destes sistemas ou uma variante deles contendo
atributos retirados de vários (uso de um modelo híbrido), no desenvolvimento de seus
serviços profissionais.

10
Quadro 7 – Características gerais dos SMDO: BSC – EVA – ICA
MODELO ORIGEM RAZÃO FINALIDADE ENFOQUE
BSC - Apresentado nos anos As companhias • Medir e administrar • BSC organiza o
Balanced 1990s por Kaplan e precisam um sistema a execução de sistema de medição
Scorecard Norton, em conexão de criação e estratégia em quatro
com sua pesquisa no manutenção de • Incluir perspectivas perspectivas:
Nolan Norton indicadores internos e financeiras e não- financeira, cliente,
Institute (KPMG) externos. financeiras negócios internos e
envolvendo várias • Servir como uma crescimento.
companhias e ferramenta de • Relações de causa e
indústrias. administração para efeito interligam as
toda a empresa quatro perspectivas
(holística) do scorecard.
EVA - Apresentado em 1994 O propósito de uma Desenvolver uma EVA é o resultado de
Valor por Stern, Stewart & empresa é valorizar medição de vendas líquidas
Econômico Co. como uma ao máximo as ações desempenho que menos as despesas
Adicionado ferramenta para em poder dos considere operacionais, menos
buscar melhores acionistas e apropriadamente impostos, menos
práticas financeiras, maximizar o efetivo todas as formas pelas despesas de capital,
ajudando a uso do capital. – um quais o valor da considerando
maximizar a riqueza propósito que deveria corporação possa ser despesas de capital
de seus acionistas. ser refletido em toda elevado ou reduzido. como o custo médio
decisão, em qualquer ponderado de capital
nível da organização. multiplicado pelo
capital total
investido. Na prática,
o EVA é
incrementado se o
custo médio
ponderado de capital
for menor que o
retorno do ativo
líquido e vice-versa.
ICA - Apresentado em 1997 Uma boa parcela do • Medir IC em uma • IC inclui todos os
Intellectual por Bontis, valor gerado por uma estrutura integrada recursos intangíveis
Capital Edvinsson, Malone. empresa vem de • Combinar capital que contribuem para
Approaches Roos & Roos. A fontes intangíveis, financeiro com IC a criação de valor
(Enfoques de Skandia foi um que também devem • Fornecer novos para a organização
Capital pioneiro, usando este ser medidas e conhecimentos para a (monetário, físico,
Intelectual) enfoque para refletir monitoradas. Porém, criação de valor por humano, de
as mudanças em seu bens intangíveis não meio da revelação e relacionamento e
ambiente obedecem as leis medição da organizacional)
competitivo. convencionais de contribuição de IC • O enfoque mede IC
rendimentos • Alcançar um em conjunto com o
decrescentes e por sistema inovador de capital financeiro
isso requerem um relatórios • Apresenta
novo enfoque para sofisticada
serem medidos, metodologia para
gerenciados e calcular o índice IC
relatados. global
FONTE: Adaptado de KPMG LLP (2001, p. 16-17)

11
Quadro 8 – Características gerais dos SMDO: VE – HSA – VCS
MODELO ORIGEM RAZÃO FINALIDADE ENFOQUE
VE - Criado em 2000 Dar uma percepção do Ajudar as Uma metodologia
Value Explorer por Andriessen & potencial futuro de ativos organizações a para:
Tissen da KPMG intangíveis, levando em entender e medir o • identificar
Knowledge conta: valor de suas competências centrais
Advisory Services • Valor adicionado para competências / ativos intangíveis
(Países Baixos) clientes centrais que são de
• Competitividade importância
• Sustentabilidade estratégica.
• Robustez • Avaliar os pontos
fortes e fracos de
intangíveis em relação
ao potencial futuro
• Alocar as receitas
da organização pelas
competências centrais
HRA - Desde o estudo O valor de capital Quantificar o Pesquisadores
Human clássico de humano, como expresso valor econômico propõem três tipos de
Resource Hermanson várias em termos financeiros, de pessoas para a modelos de HRA:
Accounting décadas atrás deveria ser parte do organização com a • Modelos de custo,
(Contabilidade (1964), o tanto o capital no balanço, em finalidade de que consideram custo
de Recursos tópico de se vez de aparecer como fornecer dados histórico, de
Humanos) avaliar quanto o despesa no para decisões reposição ou de
de como avaliar demonstrativo de gerenciais e oportunidade dos
ativos humanos receitas. financeiras ativos humanos
tem sido debatido • Modelos de valor de
por contadores e HR, que combinam
teóricos de modelos
recursos humanos. comportamentais não-
monetários com
modelos econômicos
monetários
• Modelos de ênfase
monetária, que
calculam a estimativa
descontada de salários
ou recebimentos
futuros
VCS - Originado em Como a inovação vem se Aperfeiçoar os • O scoreboard usa
Value Chain 2001 por Baruch
tornando o ponto central relatórios de uma cadeia de valor,
Scoreboard Lev. Philip para se conseguir uma investimentos em que consiste em três
Bardes, professor
posição competitiva inovação fases: descoberta de
de Contabilidade e
dominante, as novos produtos ou
corporações precisarão
Finanças na Stern serviços ou processos,
School of investir maciçamente em estabilização de
Business da New
ativos intangíveis e os exeqüibilidade
York University
monitorar de perto. Mas, tecnológica e
o montante de comercialização de
informação disponível novos produtos e
sobre intangíveis serviços.
continua limitado. Essas • Em cada fase há três
deficiências de caixas de informação
informação resultam em que contêm um
prejuízo econômico e determinado número
societário. de indicadores
FONTE: Adaptado de KPMG LLP (2001, p. 16-17)

12
Quadro 9 – Vantagens e desvantagens dos SMDO BSC – EVA – ICA – VE – HSA – VCS
MODELO VANTAGENS DESVANTAGENS
BSC - • lógica convincente • rígido, estático, sem consideração de
Balanced • correlação clara entre indicadores e dinâmicas
Scorecard desempenho financeiro • quatro perspectivas são limitativas.
• relações de causa e efeito Insuficiente consideração de recursos
• pode ser adaptado para um sistema de humanos e processos de conhecimento e de
gerenciamento de patrimônio intelectual criação.
• literatura bem desenvolvida e • tratamento limitado de ambiente externo
consistente (isto é: foco exclusivamente em clientes)
• na prática é muito usado para formular • uso interno somente, comparações externas
estratégia e ganhar comprometimento são difíceis
interno
EVA - • tem uma boa correlação com o preço • procedimentos de ajuste complicados
Valor das ações. • necessidade de optar entre precisão e
Econômico • amarra orçamento, planejamento complexidade
Adicionado financeiro, fixação de metas, e • baseado em ativos líquidos versus valor de
compensação de incentivo. mercado dos ativos
• estabelece uma linguagem comum e • pouco poder de esclarecimento adicional
benchmark para gerentes discutirem a • assume estrutura de governança somente no
criação de valor interesse de acionistas
ICA - • flexível • impreciso e complexo
Intellectual • modelo dinâmico • requer maior desenvolvimento métrico
Capital • índice IC permite comparação externa • algumas pessoas reclamam de muita ênfase
Approaches entre companhias e entre indústrias em estoques versus fluxos
(Enfoques de • inicia estudando a questão da criação de • diferenças entre organizações (e portanto da
Capital valor baseada no uso de recursos (fluxo) e especificidade de contexto) limitam toda
Intelectual) não na sua simples existência (estoques) comparação possível entre companhias.
• fornece medida de desempenho e não
valores absolutos – assim se presta mais a
relatar processos, em vez de valores
VE - • identifica competências centrais da • dependente de dados subjetivos para as
Value Explorer organização avaliações
• ferramentas e processos envolvidos são • dá uma medida de valor, não de desempenho
relativamente simples e práticos dos processos envolvidos
• proporciona diretrizes práticas para a • requer uma análise detalhada das forças
tomada de decisão estratégica e diretoras ocultas da companhia
priorização de intangíveis que ajudem a
desenvolver a agenda estratégica
• conceitos são similares aos termos
financeiros
HRA - • calculada em termos financeiros • têm que ser feitos pressupostos demais,
Human • uso interno intensivo em algumas alguns dos quais não podem ser mantidos
Resource indústrias de serviços • subjetivo e impreciso
Accounting • falta de confiabilidade porque essas medidas
(Contabilidade não podem ser auditadas com nenhuma
de Recursos segurança
Humanos)
VCS - • baseado em minuciosa pesquisa • focado somente em inovação
Value Chain científica sobre o relacionamento entre • parece adequado principalmente a empresas
Scoreboard intangíveis e valor de mercado da de tecnologia que investem maciçamente em
companhia. pesquisa e desenvolvimento
• baseado em pesquisa sobre as • focado basicamente a relatórios externos.
necessidades de informação para analistas • pouca força de esclarecimentos adicionais
e outros acionistas
• simples e abrangente
FONTE: Adaptado de KPMG LLP (2001, p. 16-17)

13
4.Conclusões e Considerações Finais

A primeira constatação é de que foram relacionados pela ótica teórico-acadêmica nove


principais sistemas de medição de desempenho organizacional, e seis pela ótica de práticas de
mercado. A diferença numérica já indica uma diferença entre a importância dada pelos
estudiosos e pesquisadores acadêmicos e o efetivo uso dos SMDO pela consultoria do setor.

A segunda constatação, e muito curiosa, é de que somente o BSC consta das duas relações.
Ambas apontam, entre as vantagens do BSC, a correlação entre indicadores de perspectivas
multidepartamentais e multifuncionais. Quanto as desvantagens, a rigidez e falta de
flexibilidade são apontadas como o principal obstáculo do modelo.

A terceira constatação diz respeito aos aspectos coincidentes entre os SMDO. Abaixo são
elencadas as características destacadas pela ótica teórico-acadêmica como vantagens ao lado
dos respectivos SMDO :
a) feedback para melhoria contínua – MQMD, SCD, IDPMSa, IDPMSb;
b) identificação de relações causa-efeito – SMART, BSC, PP, SMDG;
c) participação e satisfação de usuários – PMQ, MQMD, BSC, PP, IDPMSa;
d) aprendizado organizacional – PMQ, BSC, IDPMSb, SMDG;
e) análise crítica do desempenho – PMQ, IDPMSb, SMDG;
f) integração de departamentos e pessoas – IDPMSa, IDPMSb;
g) atualização e flexibilidade de medidas – IDPMSb;
h) uso de diferentes perspectivas e dimensões – SMART, SCD, BSC, PP, SMDG;
i) facilita o alinhamento estratégico – SMART, SCD, MQMD, PP.

A quarta constatação diz respeito às desvantagens identificadas sob a ótica teórico-


acadêmica. Ao lado de cada desvantagem relacionada constam os sistemas de medição de
desempenho organizacional onde esta foi identificada:
a) não utiliza múltiplas dimensões – PMQ;
b) falha na divulgação e clareza das medidas – PMQ, MQMD, SCD, BSC, IDPMSa,
IDPMSb, SMDG;
c) não utiliza instrumentos de monitoramento – PMQ;
d) falta participação e satisfação de grupos – SMART, BSC, IDPMSa;
e) falta de agregação e integração de medidas – SMART, MQMD, PP;
f) não utiliza mecanismos de realimentação e melhoria – SMART, PP;
g) falta de alinhamento de medidas – SCD;
h) falta clareza nas relações causa-feito – SCD, IDPMSa;
i) falta de flexibilidade a mudanças – BSC, SMDG.

A quinta constatação, considerando a ótica das práticas de mercado, busca as semelhanças


entre as vantagens e os SMDO. Quais sejam:
a) feedback para melhoria contínua – EVA ;
b) identificação de relações causa-efeito – BSC;
c) participação e satisfação de usuários – BSC, ICA, HRA;
d) aprendizado organizacional – VE, VCS;
e) análise crítica do desempenho – nihil;
f) integração de departamentos e pessoas – HRA;
g) atualização e flexibilidade de medidas – ICA;
h) uso de diferentes perspectivas e dimensões – BSC, ICA, VCS;
i) facilita o alinhamento estratégico – EVA, BSC, VE.

14
A sexta constatação, considerando a ótica das práticas de mercado,verifica a similaridade
entre as desvantagens e os SMDO. Quais sejam:
a) não utiliza múltiplas dimensões – VCS;
b) falha na divulgação e clareza das medidas – BSC, EVA, VE, HRA, VCS;
c) não utiliza instrumentos de monitoramento – HRA;
d) falta participação e satisfação de grupos – EVA; VE, VCS;
e) falta de agregação e integração de medidas – EVA, ICA, VE;
f) não utiliza mecanismos de realimentação e melhoria – nihil;
g) falta de alinhamento de medidas – ICA;
h) falta clareza nas relações causa-feito – ICA, HRA;
i) falta de flexibilidade a mudanças – BSC, ICA.

A sétima constatação é de que mais algumas conclusões podem ser emitidas a partir das
terceira a sexta constatações. Principalmente ao se comparar os resultados qualitativos entre
as vantagens e desvantagens elencadas pelas duas óticas objeto deste estudo. Para estudiosos e
pesquisadores, bem como para administradores e gestores de organizações, este estudo serve
como subsídio ao aprofundamento de trabalhos na área de medição de desempenho
organizacional e para a tomada de decisão sobre qual modelo se mostra mais adequado.

Por exemplo: se a vantagem principal do SMDO a ser buscada for o -feedback para melhoria
contínua-, pode-se optar, sob a ótica teórico-acadêmica, pelos sistemas MQMD, SCD,
IDPMSa e IDPMSb. Em contrapartida, se a característica mais temida como desvantagem for
-a falha na divulgação e clareza das medidas de desempenho-, nenhum destes sistemas se
mostra adequado. Da mesma maneira, sob a ótica das práticas de mercado, se a opção for pela
vantagem –uso de diferentes perspectivas e dimensões-, verificado pela consultoria como
presente nos modelos BSC, ICA e VCS, e a desvantagem mais indesejável for a –falta de
flexibilidade a mudanças-, apenas o VCS poderia compor a pauta de SMDO passíveis de
implantação na organização.

Este estudo não tem a pretensão de esgotar o assunto, bem como possui as limitações já
explicadas anteriormente. Contudo, apresenta a partir da análise de conteúdo apresentada,
uma gama de informações que poderão direcionar novos estudos e pesquisas quanto ao uso, e
identificação de vantagens e desvantagens dos diversos sistemas de medição de desempenho
organizacional relatados na literatura acadêmica. A partir deste trabalho podem ser
acrescentados novos sistemas de medição, realizadas novas comparações por meio de estudo
de casos, com a aplicação de pesquisa quantitativa e análises estatísticas sobre a concepção,
uso, adequação, principais características e vantagens e desvantagens dos SMDO elencados.

5.Referências Bibliográficas
BARDIN, L. Análise de Conteúdo. Trad. Luís Antero Reto e Augusto Pinheiro. Lisboa:
Edições 70 Ltda., 1995.
BITITCI, U. S et al. Dynamics of performance measurement systems. International Journal
of Operations & Production Management, v. 20, n. 6, p. 692-704, 2000.
BOURNE, M. et al. Designing, implementing and updating performance measurement
systems. International Journal of Operations & Production Management,v.20,n.7,p.754-
771, 2000.
CLARK, L. A. Development, application and evaluation of an organizational performance
measurement system. Ph. D. Dissertation. Virginia Tech, Blackburg, VA, USA, 1995.
COOPER, D. R.; SCHINDLER, P. S. Métodos de Pesquisa em Administração. Trad.
Luciana de Oliveira da Rocha. 7. ed. Porto Alegre: Bookman, 2003.

15
DE TONI, A.; TONCHIA, S. Performance measurements systems, models, characteristics
and measures. International Journal of Operations & Production Management, v. 21, n.
1/2, p. 48-70, 2001.
FERRARI, A. T. Metodologia da ciência. 3. ed. Rio de Janeiro: Kennedy, 1994.
FIGUEIREDO, M. A. D. Sistema de Medição de Desempenho Organizacional: um modelo
para auxiliar a sua auto-avaliação. Rio de Janeiro, 2003. Tese (Doutorado em Engenharia de
Produção) – Coordenação dos Programas de Pós-Graduação em Engenharia da Universidade
Federal do Rio de Janeiro.
GARTNER. Gartner´s Application Development and Maintenance Research Note, The BPA
Market Cathes another Major Updraft, 2002. Disponível em: <http://www.gartner.com>.
Acesso em: 02/07/2005.
HAMPTON, D. R. Administração Contemporânea. 3. ed. Trad. L. Blandy e A. C. A.
Maximiano. São Paulo: McGraw-Hill, 1992.
HOURNEAUX JR., F. Avaliação de desempenho organizacional: estudos de casos de
empresas do setor químico. São Paulo, 2005. Dissertação (Mestrado em Administração) –
Programa de Pós-Graduação em Administração, Faculdade de Economia, Administração e
Contabilidade da Universidade de São Paulo.
HRONEC, S. M. Sinais vitais: usando medidas de desempenho da qualidade, tempo e custos
para traçar a rota para o futuro. Rio de Janeiro: Makron Books, 1994.
KAPLAN, R. S.; NORTON, D. P. A estratégia em ação: Balanced Scorecard. Trad. Luiz
Euclides Trindade Frazão Filho. 13.ed. Rio de Janeiro: Campus, 1997.
KAYDOS, W. Measuring, Managing and Maximizing Performance. Cambridge:
Productivity Press, 1991.
KENNERLEY, M. P.; NEELY, A. Performance measurement frameworks: a review. In:
NEELY, A. Business Performance Measurement: theory and practice, Cambridge:
University Press, 2002.
KPMG LLP. Achieving Measurable Performance Improvement in a Changing World: the
search for new insights. USA,White Paper, 2001.
MARCONI, M. A.; LAKATOS, E. M. Técnicas de Pesquisa. 3.ed. São Paulo: Atlas, 1996.
MARTINS, R. A. Sistemas de medição de desempenho: um modelo para estruturação de
uso. São Paulo, 1998. Tese (Doutorado em Engenharia de Produção) - Escola Politécnica da
Universidade de São Paulo.
MORGAN, R. E.; STRONG, C. A. Business performance and dimensions of strategic
orientation. Journal of Business Research, n. 56, p. 163-176, 2003.
NEELY, A. D. The performance measurement revolution: why now and what next?
International Journal of Operations & Production Management, v. 15, n. 4, p. 80-116,
1999.
NEELY, A. D. et al. The Performance Prism: the scorecard for measuring and managing
business success. London: Prentice Hall, Pearson Education Limited, 2002.
RATTON, C. A. Sistemas de medição de desempenho: o estado da arte em empresas líderes
no Brasil. Rio de Janeiro: 1998. Dissertação (Mestrado em Engenharia de Produção) –
Departamento de Engenharia Industrial da Pontifícia Universidade Católica do Rio de Janeiro.
RUMMLER, G. A.; BRACHE, A. P. Melhores Desempenhos das Empresas: uma
abordagem prática para transformar as organizações através da reengenharia. Trad. Kátia
Aparecida Roque. 2. ed. São Paulo: Makron Books, 1994.
SALTERIO, S.; WEBB, A. The balanced scorecard.CA Magazine,v.136,n.6,ago-2003, p.39.
SINK, D. S.; TUTTLE, T. C. Planejamento e Medição para a Performance. Rio de
Janeiro: Qualitymark, 1993.

16

Você também pode gostar