Você está na página 1de 6

ARTIGOS

Indicadores quantitativos:
reflexões que antecedem
seu estabelecimento*

Piotr Trzesniak INDICADORES QUANTITATIVOS, Afirmo muitas vezes que, se você me-
VIRTUDES E LIMITAÇÕES dir aquilo de que está falando e o ex-
pressar em números, você conhece
Quantificação e modelagem alguma coisa sobre o assunto; mas,
quando você não o pode exprimir em
Uma das mais importantes metas da números, seu conhecimento é pobre
busca do conhecimento é a obtenção e insatisfatório; pode ser o início do
de modelos. Por modelo entende-se um conhecimento, mas dificilmente seu
procedimento de qualquer natureza (prá- espírito terá progredido até o está-
tico, matemático, gráfico, verbal...) ca- gio da Ciência, qualquer que seja o
paz de, em todos os aspectos relevan- assunto.
tes, reproduzir uma relação de antece-
dentes (causas) e conseqüentes (efei- Hoje em dia, talvez possamos consi-
tos) de forma idêntica como essa rela- derar o entusiasmo de Kélvin um tanto
ção ocorre no universo em que nos in- exagerado, mas não é difícil compre-
serimos. Por concentrar-se nos aspec- endê-lo: os fenômenos das físicas e
tos relevantes, o modelo corresponderá das engenharias prestam-se de manei-
a uma simplificação do evento real, e é ra absolutamente perfeita à quantifica-
justamente aí que residem sua força e ção e à modelagem matemática. Aos
suas vantagens: sem pagar o preço in- aspectos relevantes dos processos na-
tegral, sem necessitar da ocorrência do turais, foi possível associar grandezas,
evento em si, pode-se prever como se capazes de serem medidas em termos
comportará o universo (ciência), ou de unidades e instrumentos apropria-
pode-se determinar como nele induzir dos. Considere-se, por exemplo, a no-
uma determinada configuração final (tec- ção de quente e frio: através da gran-
nologia). Na quase totalidade dos ca- deza física temperatura e do emprego
sos, isso representa uma economia de termômetros, essa noção pode ser
muito significativa (no mais amplo sen- transformada em números que fazem
tido possível). sentido para todos nós. O que aconte-
ce a um ser humano abandonado sem
As chamadas ciências exatas, mais proteção em um ambiente de tempera-
especialmente as físicas e as enge- tura -40° C? 24° C? 150° C?
nharias, acumulam um acervo enorme
de resultados de grande sucesso em Isso parece muito simples, consideran-
favor do bem-estar do ser humano. Tal do-se a dimensão dos resultados que
sucesso estrutura-se em modelos ma- mostrou propiciar. Por que, então, não
Resumo temáticos que representam, de manei- é estendido a todas as áreas do conhe-
ra excelente, os processos pertinen- cimento humano?
O trabalho indica alguns aspectos a serem tes e, sem dúvida, decorre decisiva-
considerados para a construção
mente de uma quantificação muito Esforços nesse sentido existem em
sistematizada de indicadores quantitativos
referentes a processos de qualquer bem elaborada. Há mais de cem anos muitas delas: econometria, para a eco-
natureza, incluindo propriedades como (cerca de 1860), dizia William Thomson nomia; sociometria, para as ciências
relevância, gradação de intensidade, (que posteriormente recebeu o título sociais; psicometria, relativa à perso-
univocidade, padronização e
de Lord Kélvin)1: nalidade e certas habilidades do ser
rastreabilidade.
humano. Veja-se, para ilustrar (e tam-
* Colaboração voluntária apresentada durante bém para mostrar que o entusiasmo
Palavras-chave
o Seminário sobre Avaliação da Produção
Científica, realizado em São Paulo pelo Projeto
pela quantificação não esmoreceu
Indicadores – Metodologia. SciELO, de 4 a 6 de março de 1998. nesses últimos 150 anos), o que pre-

Ci. Inf., Brasília, v. 27, n. 2, p. 159-164, maio/ago. 1998 159


Indicadores quantitativos: reflexões que antecedem seu estabelecimento

coniza o controle total da qualidade, mento linear (o primeiro) e energia ci- mesmo com o equipamento colocado,
uma área de interface exatas/sociais nética (o segundo) *. fumantes se justificam citando o avô
de grande prestígio na atualidade, cujo com mais de 90 anos que desde os 15
objeto é o gerenciamento otimizado do O determinístico e o estocástico consome dois maços por dia, enquanto
fornecimento de produtos e serviços2: o primo (que nunca pôs na boca qual-
Um segundo aspecto relevante diz res- quer cigarro ou similar) faleceu com
Os itens de controle de um processo peito à característica das relações de menos de 20. Essas situações somente
são índices numéricos estabelecidos causa e efeito de serem determinísti- derrubariam as relações entre uso do
sobre os efeitos de cada processo para cas ou estocásticas. Pertencem à ca- cinto e redução de mortes no trânsito e
medir a sua qualidade total. tegoria das determinísticas aquelas em entre fumo e doenças, caso tais relações
que causa e efeito estão ligadas direta- fossem determinísticas. Elas são, no
Os itens de verificação de um processo mente: a presença (ou uma variação) da entanto, estocásticas, e, assim, os
são índices numéricos estabelecidos primeira necessariamente implica o sur- exemplos descritos estão absolutamen-
sobre as principais causas que afetam gimento (ou uma alteração) no último, te dentro da normalidade. Tratando-se de
determinado item de controle. freqüentemente obedecendo a uma lei probabilidade, pouco peso ou sentido
matemática conhecida (pelo menos, existe no evento isolado, a partir dele
O sucesso alcançado nessas ciências, essa é uma condição que contribui muito nada se pode provar ou invalidar. Conclu-
no entanto, não se compara ao obtido para o sucesso dos indicadores envolvi- sões exigem estudos e comparações em
nas exatas. Qual, ou melhor, quais as dos). Já no caso das estocásticas, a conjuntos representativos de situações
razões para isso? vinculação entre causa e efeito torna- de igual natureza.
se indireta, a presença (ou uma varia-
Não é fácil estabelecer grandezas ção) da primeira reflete-se não no efei- Nesses termos, um indicador que se
to, mas na probabilidade de ele surgir relacione apenas estocasticamente com
Em primeiro lugar, o exemplo da tem- (ou se modificar). a dimensão do processo que deseja
peratura é de fato simples, mas não medir, é com certeza, mais fraco, menos
seria honesto tomá-lo como represen- Um exemplo simples de relação esto- definitivo, do que um indicador determi-
tativo para balizar o estabelecimento cástica é a existente entre o fumo e nístico. Da mesma forma, quando um
e refinamento de grandezas, nem certos tipos de câncer: tal relação exis- determinado processo tiver natureza
mesmo dentro das ciências exatas. te, mas não é determinística, no senti- estocástica, também estocástico terá
Embora outras haja com comparável do de que não está assegurado nem que de ser o modelo que o irá descrever. Em
popularidade, como o comprimento todos os fumantes irão contrair a mo- outras palavras, os indicadores envolvi-
(usualmente dado em metros) e a léstia, nem que um não-fumante não a dos estarão ligados entre si segundo
massa (em geral referida ao quilogra- contrairá. Fumar não traz a doença uma lei estocástica, implicando que o
ma), a maioria não apresenta um sig- como conseqüência necessária, mas grau de controle e o conhecimento que
nificado imediato, palpável, de fácil seguramente aumenta a probabilidade se tem do processo são muito menores
compreensão, mas corresponde a de que ela apareça. Além disso, quanto e bastante mais fracos, se comparados
uma abstração que só faz (se é que) maior a quantidade de fumo consumi- a uma situação determinística.
do, mais a probabilidade crescerá, po-
sentido para um especialista. E, se
dendo até, como no caso determinísti- Caso se tentem classificar os proces-
assim é, especialistas, e muitos, são
co, existir uma lei matemática aplicá- sos e as grandezas das ciências exa-
necessários para estabelecê-las, e
vel. Ela, porém, não estará relacionan- tas em determinísticos, estocásticos e
somente o conseguem após reuniões
do a causa ao efeito, mas à probabili- não-paramétricos (isto é, não represen-
e debates que podem estender-se por
dade de ele ocorrer. táveis numericamente), a primeira cate-
décadas.
goria certamente predominará; já repe-
É bastante comum, em certos meios, tindo o exercício nas áreas de ciências
Em física, existem duas combinações
tentarem-se confundir opiniões e inter- sociais e humanas, essa será segura-
envolvendo a velocidade e a massa de
locutores, argumentando deterministica- mente a categoria de menor amplitude,
um corpo em movimento. Em uma de-
mente com relação a processos esto- configurando-se, desse modo, um am-
las, as duas grandezas são simples-
cáticos. Adversários de cintos de segu- biente menos amigável para os indica-
mente multiplicadas; na outra, faz-se rança citam exemplos de situações em dores quantitativos.
o produto da velocidade por ela mes- que os envolvidos em colisões morrem
ma e pela massa e divide-se o resul- Se estabelecer tais indicadores para as
tado por dois. O que cada uma des- ciências exatas já se constitui em um
sas combinações significa? Qual a in- * Uma idéia aproximada da diferença entre os desafio de considerável envergadura,
formação contida em cada caso? Esse dois conceitos pode ser dada em termos do
que uma pessoa sentiria ao ser atingida por um maior ainda é o de desenvolvê-los para
tema foi discutido durante anos no as ciências humanas e sociais. Isso não
corpo em movimento: a extinção do momento
século XIX, tendo-se concluído que linear desse corpo corresponderia a uma for- pode ser feito simplesmente transferin-
ambas são importantes e correspon- ça aplicada num intervalo de tempo muito curto, do a experiência nesse sentido acumu-
dem a aspectos distintos do proces- e geraria uma sensação de dor; já a energia
cinética estaria associada ao deslocamento de lada nas primeira para as últimas: mui-
so corpo em movimento. Estabelece- tecido ocasionado pela força, sendo respon- ta cautela é necessária para que tal
ram-se, assim, os conceitos de mo- sável por um arroxeado ou fratura. transferência de fato se dê de maneira

160 Ci. Inf., Brasília, v. 27, n. 2, p. 159-164, maio/ago. 1998


Indicadores quantitativos: reflexões que antecedem seu estabelecimento

útil e proveitosa. Sem a menor dúvida, FIGURA 1


porém, esse é um esforço bem despen- Diagrama para a extração de informações relativas
dido e, uma vez harmoniosamente inte- a processos ou sistemas de qualquer natureza
grado aos métodos e técnicas tradicio-
nais das áreas não-exatas do conheci-
mento, deverá contribuir significativa- Perguntas
mente para que essas áreas se desen-
volvam e para que gerem modelos cada
vez mais perfeitos dos processos por
elas estudados.
Características
A medição
Sistema ou Processo dos indicadores:
"a priori" e desejáveis
Caso se concorde que ser de natureza
estocástica é bastante comum nas
áreas de humanas e sociais, surge um
Procedimentos
complicador a mais na quantificação dos padronizados
aspectos relevantes de processos: a
medição. Em uma relação determinísti-
ca, basta fazer uma observação e o va-
lor correspondente fica disponível, isto é,
Dados
interage-se uma vez com o processo Reelaboração
(eventualmente com um instrumento de
medição adequado) e já se obtém um re- Interpretação
sultado muitas vezes satisfatório. No caso Refinamento
estocástico, como anteriormente discu-
tido, observações isoladas nada permi- Valores de referência
tem concluir ou deduzir: é preciso dis-
por-se de um conjunto representativo de
observações da mesma espécie para Informações
poder fazer afirmativas fundamentadas.

Adicione-se a isso a questão, nada sim- nam-se triviais, drasticamente reduzin- ciona? Existe uma regra, uma organi-
ples, de se identificarem e empregarem do o ônus de se trabalhar intensivamen- zação ao alcance de minha lógica, em
sensores e detectores (materiais) para te com enormes massas de dados. seu comportamento? A resposta (ou as
os processos estudados pelas ciên- respostas) surgirão das informações que
cias humanas e sociais. Nas exatas, O momento de quantificar é sem dúvida forem possível conseguir.
molas, colunas de mercúrio, imãs e agora. Cabe aos cientistas e pesquisa-
outros dispositivos auxiliam na busca da dores zelar para que isso ocorra de modo Conforme apresentado na seção an-
informação. Nas não-exatas, a engenho- a maximizar a utilidade e a fidedignidade. terior, a expressão de informações sob
sidade maior fica por conta de pessoas forma numérica apresenta inegáveis van-
(no plural!) e da sua capacidade de ob- Neste trabalho, buscam-se indicar al- tagens, mas não é facilmente realizada
servação e de questionamento direto. guns aspectos a serem considerados na prática. Ao se propor uma discus-
para uma construção sistematizada de são a respeito da construção de indica-
Combine-se a necessidade de muitas indicadores quantitativos referentes a dores quantitativos, consideram-se pelo
pessoas por observação com a de fazer processos de qualquer natureza. menos duas metas da maior relevância:
muitas observações, e o custo fica proi-
bitivo. Sem mencionar o enorme esforço A CONSTRUÇÃO DE INDICADORES •quebrar a distância entre o topo (per-
posterior de organização, estudo, análi- QUANTITATIVOS guntas) e a base (informações) do dia-
se e síntese das informações coletadas grama em trechos menores, através do
(uma ilustração desse complexo todo O abc dos indicadores estabelecimento de critérios para análi-
são os recenseamentos populacionais). se dos indicadores em fases diversas
O diagrama da figura 1 ilustra uma par- do seu desenvolvimento;
Essa situação, no entanto, está mudan- te da metodologia da ciência estreita-
do decisivamente nos últimos anos. mente ligada ao desenvolvimento de in- •que, já no instante da concepção/pro-
Máquinas com recursos espetaculares dicadores. No centro de tudo, obviamen- posição de um indicador, sejam obser-
para guardar, compilar, organizar e re- te, encontra-se o processo de interes- vados os aspectos básicos necessários
organizar informações estão diariamen- se. Observá-lo envolve, sob o ponto de para que ele seja bom ou, pelo menos,
te se tornando mais poderosas, mais vista do pesquisador, dirigir ao proces- promissor, bem como que se evitem ví-
disponíveis e mais acessíveis. Coisas so, ao Universo, uma ou mais pergun- cios básicos que possam, futuramente,
que jamais se imaginariam possíveis tor- tas no seguinte sentido: Como você fun- vir a limitar sua validade ou amplitude.

Ci. Inf., Brasília, v. 27, n. 2, p. 159-164, maio/ago. 1998 161


Indicadores quantitativos: reflexões que antecedem seu estabelecimento

As duas metas podem ser contempla- As características a priori Uma segunda tentativa seria o número
das, considerando-se os quadros colo- do calçado. Trata-se de um indicador
cados no lado direito da figura 1. A rota Trata-se das propriedades indispensá- unívoco, suficientemente variável (pre-
das perguntas até as informações pas- veis, que qualquer indicador-candidato sumivelmente entre 34 e 45) e sua ob-
sa, então, por: deve necessariamente exibir*: tenção pode ser padronizada e rastrea-
da. Ele carece totalmente, no entanto,
a) Fase que precede a obtenção da in- 1) relevância (seletividade, segundo o da relevância com respeito ao que se
formação: IPEA3 e Tironi et al.4): o indicador deve pretende estudar (a altura em centíme-
retratar um aspecto importante, essen- tros seria outra instância do mesmo
•proposição dos indicadores: busca, no cial, crítico do processo/sistema; tipo).
processo, de dimensões ou aspectos
com características específicas, que 2) gradação de intensidade: o indicador Agora, como exemplo (não mais con-
possam, direta ou indiretamente, con- deve variar suficientemente no espaço tra), poder-se-ia pensar nas notas obti-
ter as respostas desejadas; dos processos/sistema de interesse; das pelos estudantes no vestibular. Com
respeito a elas, restrições (aparente-
•padronização da metodologia de ob- 3) univocidade: o indicador deve retra- mente contornáveis) existiriam, talvez,
tenção: tal metodologia deve ser está- tar com total clareza um aspecto único na padronização e na rastreabilidade,
vel, bem definida e reprodutível, de modo e bem definido do processo/sistema; mas os demais aspectos estariam to-
que, repetindo-a em circunstâncias idên- dos contemplados, ao menos poten-
ticas, os dados colhidos sejam coeren- 4) padronização (estabilidade, segundo cialmente. É claro que teria de haver ain-
tes entre si; o IPEA e Tironi et al.): a geração do in- da um importante trabalho de extração
dicador deve basear-se em uma norma, da informação desejada (indicador de
b) Fase de obtenção da informação: um procedimento único, bem definido e potencial de aprendizagem) dos dados
estável no tempo; brutos disponíveis (notas das provas).
• reelaboração dos dados brutos: a in-
formação desejada, em geral, fica escon- 5) rastreabilidade: os dados em que a Mudando de contexto, mas ainda per-
dida nos dados colhidos (questão atri- obtenção do indicador é baseada, os manecendo nessa área (para a qual fica
buída a Arno Penzias, ganhador do Prê- cálculos efetuados e os nomes dos res- proposta a denominação educaciome-
mio Nobel de Física: Where is the infor- ponsáveis pela apuração devem ser re- tria...), é possível ilustrar o aspecto uni-
mation lost in the data?). É preciso ree- gistrados e preservados (IPEA e Tironi vocidade. Estatísticas sobre o desem-
laborá-los (por exemplo, reordenando-os et al.). penho escolar freqüentemente se res-
de diversos modos ou efetuando algum tringem a aprovados (67,2%), portanto
tipo de cálculo) para que ela apareça; Mais ilustrativo do que exemplos de indi- reprovados (32,8%). Esse segundo in-
cadores-candidatos que atendam a to- dicador não é unívoco, ele mistura vári-
•interpretação: corresponde a saber o dos esses requisitos é a apresentação os efeitos e acontecimentos diferentes
que a informação resultante realmente de contra-exemplos, em que pelo menos e tem muito pouca utilidade como fonte
significa, que resposta foi de fato obti- um esteja ausente. Considere-se o pro- de informação acerca do processo. Ape-
da. É, de certo modo, uma retroalimen- blema de medir o potencial de aprendi- nas serve para registrar um resultado
tação: Que pergunta foi efetivamente zagem dos alunos ingressantes em uma indesejável, mas não permite a defini-
respondida, a original ou outra qualquer? instituição de ensino superior (eles cons- ção de qualquer ação corretiva, uma vez
Se outra, qual? tituiriam, então, o sistema de interesse). que não encerra a natureza exata do que
vai mal. Basta raciocinar em termos de
c) Fase de aperfeiçoamento da relação Tome-se como primeiro possível indica- casos limites: na sala A, houve muitas
indicador-informação: dor a idade dos estudantes (em anos): desistências durante o período letivo,
certamente estão ou podem ser atendi- mas todos os alunos (67,2%) que per-
•efinamento: freqüentemente, o esta- dos os critérios relevância, univoci- maneceram até o final foram aprovados;
belecimento da interpretação leva a al- dade, padronização e rastreabilidade. já na sala B, nenhum estudante desis-
gum tipo de refinamento em uma ou mais A gradação de intensidade, no entanto, tiu, todos participaram de todas as ava-
das etapas anteriores (enunciado das não seria suficiente para possibilitar liações e atividades, mas apenas 67,2%
perguntas originais, metodologia de ob- qualquer conclusão: a maioria dos en- deles apresentaram o desempenho mí-
tenção, reelaboração); volvidos teria praticamente a mesma nimo necessário. Nos dois casos, o in-
idade. dicador simplista reprovados teria o
•valores de referência: consolidado um mesmo valor, mas significados muito
indicador, podem-se muitas vezes iden- diferentes; as providências para sanar
tificar para ele valores específicos, do- o problema teriam de ser igualmente
tados de significado especialmente re- distintas em cada caso.
levante, que podem tornar-se metas a *** As denominações apresentadas, nesta e
superar (velocidade do som, índice de na próxima seção para as características dos
solvabilidade mínimo recomendado para indicadores, não são consagradas, mas mera-
mente sugestões do autor; para as aquelas que
os bancos pelo Comitê de Basiléia e si-
constam nos trabalhos citados (IPEA e Tironi
milares). et al.), indica-se também o nome lá empregado.

162 Ci. Inf., Brasília, v. 27, n. 2, p. 159-164, maio/ago. 1998


Indicadores quantitativos: reflexões que antecedem seu estabelecimento

As características desejáveis •Progressos em determinadas áreas do Retome-se a questão de se avaliarem


conhecimento? instituições e pesquisadores para ilus-
Embora possam estar presentes (deli- trar a invariância de escala, a última e
beradamente ou por acaso) já no mo- •O grau de desenvolvimento de uma re- mais sutil das características mencio-
mento da proposição, as propriedades gião (estado ou país)? nadas. Por exemplo, a Faculdade R
desejáveis dos indicadores costumam tem 150 docentes que publicam 75 ar-
resultar de aperfeiçoamentos em sua Parece razoável considerar três dessas tigos por ano em veículos de expressão
conceituação e obtenção. Muitas vezes, categorias – pesquisadores, instituições internacional; a Universidade S, com 4
inclui-se aí até mesmo uma mudança e áreas do conhecimento – como relati- mil docentes, publica 2 mil artigos
maior ou menor no próprio significado, vas a sistemas/processos distintos desse tipo por ano. Ambas apresentam
na interpretação do que os números em uma mesma subárea de interesse. o mesmo índice de 0,5 artigos/
encontrados representam. Assim, um indicador que funcione bem (docentes.ano). Superficialmente, poder-
nas três terá uma amplitude maior do se-ia dizer que os dois grupos de pes-
São características desejáveis: a cober- que outro, aplicável a somente uma ou quisadores são igualmente produtivos.
tura (segundo o IPEA3 e Tironi et al. 4) duas delas. Mas isso é necessariamente verdade?
ou abrangência ou amplitude, a porta- Eventualmente, pode não ser: encargos
bilidade ou transferabilidade e a in- A categoria publicações, por sua vez, é administrativos em geral não crescem
variância de escala. Essencialmente, os diferente da anterior, mas não de todo de forma proporcional quando se aumen-
três dizem respeito a poder-se aplicar o afastada dela. Não é absurdo admitir que ta o número de docentes em uma insti-
indicador a processos/sistemas diversos um indicador adequado à primeira pos- tuição. Assim, na Universidade S, a
daqueles para os quais ele foi inicial- sa também fazer sentido na última. Em carga administrativa por professor ten-
mente concebido, sem que seja perdi- caso positivo, tratar-se-ia de um indica- de a ser menor, ele teria mais tempo
da a sua validade, o seu significado, a dor com boa portabilidade. O grau de para pesquisar, deveria publicar mais.
sua fidedignidade relativamente à infor- desenvolvimento de uma região parece Ou seja, 0,5 artigos/(docentes/ano) po-
mação que retrata. constituir uma terceira categoria, distinta dem não ter o mesmo significado na
das outras duas: de novo, a aplicação, escala 4 mil e na escala 150, o que im-
•a amplitude aumenta quando a nova a ela, de qualquer indicador eficaz nas plicaria que esse indicador não apresen-
aplicação corresponde a processos/sis- outras duas, constitui-se em outro ta invariância de escala.
temas de natureza diferente, porém den- exemplo de portabilidade.
tro da mesma (sub)área do conhecimen- Existe, ainda, outro fator que pode con-
to na qual o indicador é usualmente Cabe, neste ponto, um comentário cuja tribuir para que a informação contida no
empregado; importância não poderia ser maior: o fato indicador não seja exatamente a mes-
de um indicador ser excelente em um ma nos dois casos: em uma instituição
•a portabilidade, mais forte, significa que determinado contexto não implica que pequena, um dado equipamento é usa-
o uso do indicador pode ser estendido possa ser automaticamente emprega- do por apenas um pesquisador, ficando
com sucesso para o estudo de siste- do em outros, mesmo que próximos. ocioso boa parte do tempo; na grande,
mas/processos de outras (sub)áreas do Eventualmente, ele nem ao menos che- é comum haver até disputa por acesso
conhecimento contíguas a alguma em gará ao nível de ruim, sua interpretação a uma certa máquina. De novo, 0,5 arti-
que ele funciona adequadamente; costumeira poderá simplesmente não gos/(docentes/ano) não têm exatamen-
fazer qualquer sentido. A portabilidade te o mesmo significado em um e outro
•a invariância de escala está presente não é óbvia, não é evidente, não é dada caso. Observe-se que essa considera-
quando o indicador mantém sua valida- a priori. Precisa ser verificada e só deve ção permite supor que o indicador nú-
de e sua interpretação, mesmo que as ser aceita quando exaustivamente com- mero de artigos/recursos investidos em
dimensões do processo ou sistema provada. equipamento igualmente não satisfaça
examinado sejam acentuadamente di- a invariância de escala.
ferentes. A tendência natural, especialmente
quando se trata de um indicador de gran- Finalmente, um indicador de fato inva-
Dessa vez, bons exemplos podem ser de sucesso e credibilidade, é a portabi- riante de escala deveria manter sua in-
dados em termos dos indicadores bi- lidade nem ser questionada. Isso impli- terpretação, mesmo quando aplicado a
bliométricos e dos relativos à informa- ca a existência de um risco enorme de apenas um pesquisador. Embora inte-
ção, mais especificamente aqueles que se tomarem decisões erradas, com sé- ressante, a discussão desse ponto não
buscam estabelecer alguma espécie de rios prejuízos morais e materiais para será feita aqui.
avaliação. No contexto, podem-se divi- pessoas e instituições, em decorrência
sar diversas subáreas de interesse: pre- de um excesso de confiança em núme-
tende-se avaliar exatamente o quê? ros de validade insuficientemente esta-
belecida, quando estendidos a novas
•Pesquisadores? situações.

•Publicações?

• Instituições?

Ci. Inf., Brasília, v. 27, n. 2, p. 159-164, maio/ago. 1998 163


Indicadores quantitativos: reflexões que antecedem seu estabelecimento

Vantagens que podem se tornar b) Muito cuidado com a interpretação Ponha-se, de um lado, essa fácil aces-
riscos preconceituosa. sibilidade e, de outro, o fato de que a
elaboração de indicadores é uma tarefa
a) É bastante favorável construir indica- Obtido o indicador, tende-se a atribuir- difícil. O resultado é que os assim cha-
dores a partir de dados naturalmente lhe automaticamente o significado que mados indicadores automáticos tende-
disponíveis no sistema/processo em se imaginou ao concebê-lo. Essa é uma rão fatalmente a se tornarem extrema-
estudo. atitude que tem de ser conscientemen- mente populares e que muitas pessoas
te evitada: a interpretação de indicado- e sistemas tentarão usá-los para apoiar
A construção de indicadores não pode res deve ser examinada criticamente tomadas de decisão. Se os indicadores
deixar de levar em conta o ônus que eles (com isenção) e amplamente discutida, não forem bem construídos, muitas más
irão representar. Parte desse ônus pode até se chegar um consenso do exato decisões poderão ser tomadas.
ser o custo financeiro de sua determi- conteúdo em termos de informação so-
nação, mas nem sempre é esse o pon- bre o processo ou sistema que ele en- Mais ainda, deve-se ficar alerta com res-
to de maior dificuldade. Muito pior e cerra de fato. peito a tentar extrair dos indicadores
muito mais dificilmente contornável é informações que eles não foram proje-
uma necessidade de modificações no c) A verdade final está sempre com o tados para fornecer, especialmente a já
sistema ou processo para chegar aos sistema ou o processo. discutida questão da portabilidade. Um
dados brutos. Especialmente nas ciên- indicador adequado para fornecer infor-
cias sociais, é bastante complexo mu- Ao se elaborar indicadores, há uma mações sobre revistas científicas pode
dar hábitos, alterar procedimentos, in- questão fundamental que não pode ser ser empregado para avaliar pesquisado-
troduzir inovações, ampliar a carga de perdida de vista: o mais importante é res ou instituições?
tarefas: em princípio, o poder do pes- sempre a realidade, o processo ou sis-
quisador não é suficiente para isso*. Em tema que os indicadores descrevem; se A comunidade de pesquisadores, de-
uma investigação acerca de aproveita- um indicador diz que o sistema vai mal, senvolvedores e usuários de indicado-
mento escolar, um exemplo seria exigir mas na verdade ele vai bem, acreditar res quantitativos precisa constantemen-
que provas fossem formuladas ou corri- que isso é possível e duvidar do primei- te revê-los, questioná-los e discuti-los,
gidas pelos professores segundo um ro, e não do último... Após um indica- divulgando, de forma clara e sem ambi-
padrão específico, para que das notas dor ter sua obtenção padronizada, fica güidades, tanto a informação que eles
se pudesse obter mais do que um sim- fácil obtê-lo, e torna-se cômodo basear contêm como a que eles não contêm
ples aprovado/não-aprovado. O suces- nele muitas decisões, esquecendo que com respeito ao processo a que estão
so passaria a depender de uma coope- ele não é a realidade, mas uma expres- associados.
ração onerosa para o sistema em estu- são incompleta de uma parte dela.
do de que, ao menos num primeiro mo- REFERÊNCIAS BIBLIOGRÁFICAS
mento, não se poderia estar segu ro. CONCLUSÃO: DISPONIBILIZAR
A conseqüência pode ser ou falha, ou INDICADORES É UMA ENORME 1. RESNICK, R., HALLIDAY, D. Física. 2. ed. Rio
fracasso de um excelente projeto, ge- RESPONSABILIDADE de Janeiro: Livros Técnicos e Científicos,
1974. v. 1.
rando desânimo e desconfiança relati-
vamente a outras iniciativas similares. Ao longo deste trabalho, procurou-se
2. CAMPOS, V. F. TQC - controle da qualidade
mostrar que construir bons indicadores total (no estilo japonês). Belo Horizonte:
* Aí estão mais algumas diferenças entre as não é trivial, mas pode e deve ser feito. Christiano Ottoni, 1992.
ciências humanas e sociais e as exatas. Nes- A ampla disponibilidade de computado-
tas últimas, trabalha-se com máquinas e mate-
riais inanimados, amplamente dominados pelo
res reduziu drasticamente o custo do 3. INSTITUTO DE PESQUISA ECONÔMICA APLI-
armazenamento e manipulação de gran- CADA. Critérios para a geração de indi-
experimentador no laboratório e razoavelmen-
cadores da qualidade e produtividade no
te controláveis em campo. Já nas primeiras, o des massas de dados, permitindo a serviço público. Brasília: IPEA/MEFP, 1991.
laboratório é, em muitos casos, excessivamente padronização de procedimentos para
distante da realidade para ser útil, e a própria
realidade é impossível de ser submetida.
extrair informações praticamente sem 4. TIRONI, L. F., SILVA, L. C. E., VIANNA, S. M. et
esforço (uma vez disponíveis os algo- al. Critérios para a geração de indicado-
ritmos pertinentes). Assim, facilmente res de qualidade e produtividade no ser-
Quantitative indicators: reflections viço público. Brasília: IPEA/MEFP, 1991.
serão obtidos indicadores variados, dis- (Texto para discussão, 238).
before their establishment poníveis nos próprios sistemas que
guardam e disseminam informações
Abstract em geral.
The paper points out some aspects to be
considered for the systematized building of
quantitative indicators relating to any kind of
processes, and including attributes such as Piotr Trzesniak
relevance, intensity, univocality,
standardization and tracking. Professor da Escola Federal de Engenharia de
Itajubá, MG.
Keywords
Ptrzesniak@uspif1.if.usp.br
Indicators – Methodology.

164 Ci. Inf., Brasília, v. 27, n. 2, p. 159-164, maio/ago. 1998