Escolar Documentos
Profissional Documentos
Cultura Documentos
TECNOLOGIA
12 a 14 de julio de 1999
Ciudad de Mexico, Mexico
Embora possamos identificar dezenas de outros bons motivos que justifiquem a necessidade da avaliao,
isso no implica que sempre deve existir avaliao. A avaliao se aplica principalmente nos casos em que
os mecanismos descentralizados e auto-reguladores da sociedade no esto por algum motivo
funcionando.
Um dos principas desses mecanismos o mercado para muitas das atividades produtivas da sociedade.
Assim, na ausncia de externalidades, ou imperfeies de mercado, como assimetria de informao ou
poder de algumas empresas de influenciar os preos, o mercado avalia aqueles que so mais ou menos
eficientes, mantendo os primeiros e eliminando os ltimos. Assim, ns no ouvimos falar por a que
Mestre e Ph.D. em Politicas Publicas pela Universidade de Harvard. E-mail: ekondo@pos.ucb.br; fax/tel:
+55-61-340-5550.
Mecanismos usados pela sociedade para garantir que atividades benficas sejam
executadas.
Vejamos primeiro quais as alternativas encontradas pela sociedade para fazer com que essas atividades
EXISTAM.
Pesquisa Bsica
No caso da pesquisa bsica, vrias caractersticas prejudicam a atuao de um empreendedor.
Inveno
Fatores que prejudicam a atuao do empreendedor
No caso das invenes, o mecanismo natural muito semelhante ao do caso anterior. O empreendedor
precisa alocar recursos e pessoal, mas no momento em que desenvolve uma inveno, todos podem imitar
e usufruir dos benefcios da inveno sem terem incorrido em custo algum. Assim, no mundo real, investir
em invenes se transforma num fator de perda de competitividade, que no compensa. Com o passar do
tempo, ningum mais estar inventando.
Inovao
Fatores que prejudicam a atuao do empreendedor
Segundo o Manual Oslo, um produto pode ser chamado de inovao somente quando ele inserido e se
estabelece no mercado. Assim, a atividade inovativa, segundo essa definio, essencialmente uma
atividade de mercado. Neste caso, ento, no deveria haver qualquer dificuldade em fazer com que o
mercado produzisse inovaes sem a interveno do estado.
significativo e aquelas que dele no dependem. No primeiro caso, os empreendedores necessitam de uma
capacidade de investimento que os altos riscos inerentes ao processo podem inviabilizar. Assim, governos
criam fundos de financiamento de investimentos de risco para estimular atividades de ponta na C&T.
Criam tambm incubadoras de empresas de base tecnolgica onde se compartilham necessidades comuns
de infraestrutura e se estimula o contato entre potenciais empreendedores. No segundo caso, em atividades
menos dependentes do aparato ou conhecimento cientfico, movimentos de estmulo ao
empreendedorismo se espalham pelo mundo num contexto em que o emprego tradicional nas empresas,
conforme amplamente fundamentado por Jeremy Rifkin, tende a desaparecer. Em tal contexto, o
empreendedor somente sobreviver se conseguir encontrar maneiras de oferecer servios e produtos que
no so oferecidos atualmente.
O dilema do avaliador
Para evitar problemas bvios que a avaliao das atividades pelos prprios executores pode criar, um
procedimento mais objetivo a contratao de avaliadores externos instituio avaliada. O avaliador
externo convidado a dar um parecer v-se confrontado com a seguinte situao: cumprir com a obrigao
profissional de dar um parecer independente e objetivo, ou ceder presso real de sobreviver como
consultor e dar um parecer agradvel e complacente. No primeiro caso, o avaliador corre o risco de no
mais ser convidado, e no segundo caso garante seu trabalho em futuras avaliaes, mas compromete sua
integridade profissional.
Se o avaliador for nico e soberano, ele pode at ser ditatorial ( o caso do poder dado aos fiscais e
inspetores em geral). No caso da avaliao de sistemas de cincia e tecnologia ou de seus subsistemas, esse
dilema se coloca com fora total. Considere o caso dos especialistas de cincia e tecnologia (uma boa parte
dos participantes deste Taller) em seu prprio pas. De um lado, aqueles que coletam os dados so
funcionarios do Governo, particularmente dos Conselhos Nacionais de Cincia e Tecnologia. O
responsvel que ocupa uma posio de chefia necessita manter sua lealdade com os superiores que lhe do
o mandato e que so sustentados por um conjunto de foras polticas. Em alguns pases, os titulares dessas
posies j conseguiram se estabelecer como tcnicos que atuam fora do contexto poltico, como o caso
mais notvel da NSF, mas em outros isto continua sendo um desafio ainda a ser superado.
Nos pases em que a avaliao feita dentro da prpria estrutura governamental, o avaliador se v
colocado entre fazer uma avaliao objetiva e uma condescendente, quando
no enviesada e
ostensivamente favorvel. Conscientes desse risco, as agncias internacionais que financiam projetos,
sugerem que as avaliaes sejam feitas por consultores independentes, geralmente das universidades. Se o
consultor produz um relatrio muito crtico, por maior que sejam as dificuldades financeiras dos governos,
eles sempre conseguem recursos para contratar outro consultor independente que dar uma apreciao
mais objetiva da situao. Assim, todos os pesquisadores sabem que avaliar constitui um dos desafios
mais difceis, e o dilema que se coloca possui a mesma estrutura do clssico dilema do prisioneiro na
Teoria dos Jogos.
Vejamos qual a situao enfrentada pelo avaliador no esquema representado abaixo.
Avaliador 2
Avaliador 1
ser condescendente
ser independente
ser condescendente
(0,0)
(2, -10)
ser independente
(-10,2)
(4,4)
Cada avaliador pode ser condescendente ou ser independente (objetivo). Se os dois forem independentes,
resulta uma boa avaliao, fornecendo subsdios concretos para que a instituio ou indivduos objeto da
avaliao se aperfeioem. Os avaliadores saem satisfeitos, pois cumpriram seu verdadeiro papel e
contriburam para os avaliados e para a sociedade. Numa escala arbitrria de valorao relativa, daremos o
valor de 4 pontos positivos de prestgio e respeito para esse resultado.
Se apenas um dos dois for objetivo, e o outro condescendente, o primeiro corre srios riscos de ser visto
como algum querendo prejudicar a instituio. Se j difcil para as instituies ou indivduos ouvirem
crticas mesmo quando eles mesmos reconhecem, imagine a reao a uma crtica da qual no concordam?
O avaliador independente corre o risco de ser visto como algum possuidor de interesses escusos. No
terreno frtil do ambiente poltico em que se encontram inseridos esses casos, as interpretaes podem
rapidamente ser direcionadas para o conspiratrio: --Talvez ele esteja planejando ser Ministro num
prximo mandato, ou um correligionrio de um inimigo poltico meu? Ou quem sabe, uma frente de
ameaa que eu nem tinha desconfiado? Numa situao como essa o condescendente abre mo do seu
profissionalismo, mas ganha uma grande simpatia do avaliado. Se considerarmos que o profissionalismo
vale 2 pontos e a garantia de trabalho futuro pela simpatia do cliente valem outros 2 pontos, o
condescendente conseguiu apenas 2 pontos. Para o independente, a vida infelizmente no traz as
impresses negativas e positivas com a mesma intensidade. Pois, no s ir o cliente odi-lo, mas envidar
todos os seus esforos para garantir que o avaliador independente nunca mais tenha oportunidade de
avaliar. O custo de ser independente, quando h uma grande possibilidade de os outros avaliadores
envolvidos no o sero, desproporcionalmente alto. Arbitrariamente represento esse custo por -10 pontos
pela obteno de inimizade e desconfianca das pessoas que esto no poder.
Quando ambos decidem ser condescendentes, obtm-se a simpatia do cliente, mas o papel de avaliador
no foi cumprido. Nesse caso defino como no havendo ganho de qualquer espcie, pois a simpatia que se
obtm no suficientemente grande para compensar as perdas decorrentes do comprometimento do
profissionalismo.
Observe o leitor que cada um poder ter valoraes diferentes com relao s pontuaes dadas, o que
bastante natural. A utilizao deste modelo apenas para ilustrar uma dinmica danosa que se produz na
sociedade, e a adequao ou no do modelo pode ser testada pelos casos de avaliao que observamos na
vida real. A meu juzo, os avaliadores acabam com freqncia caindo no quadrante (condescendente,
condescendente).
Ser pluralista, garantindo que avaliaes com resultados distintos possam coexistir.
Ter condies de afetar as instituies para as mudanas necessrias ou para seu fechamento.
Indicadores
Indicadores e Avaliao: Dois elementos indissociveis
Os indicadores existem para permitir aos tomadores de deciso verificar se o sistema sob responsabilidade
do tomador de deciso est atingindo os objetivos para o qual foi desenhado (planejado).
Assim, durante o transcorrer do processo ou da execuo dos trabalhos necessrios para atingir o objetivo,
os indicadores de maior interesse so os indicadores de monitoramento. Aqueles que permitem
acompanhar o processo em andamento. Na medida em que os indicadores revelam comportamentos do
sistema diferentes dos esperados, o sistema como um todo avaliado e decises de modificaes
Brasil:
Execuo por
EMP, IES e GOB
5,000.0
4,500.0
4,000.0
3,500.0
3,000.0
2,500.0
2,000.0
1,500.0
1,000.0
500.0
0.0
1
Outro caso:
Execuo por
quatro sectores
1400
1200
1000
800
600
400
200
0
1
13/08/1999
geralmente corresponde a um ano, perodo necessrio para que dados estatsticos gerais da economia
sejam disponibilizados ou levantamentos sejam realizados.
Quaisquer que sejam os balanos resultantes desse conjunto de foras, o fato inevitvel que a divulgao
de um conjunto de indicadores gera um processo imediato de avaliao por parte de todos os envolvidos.
possibilidade de que os indicadores so representaes imperfeitas dos fenmenos. Mais importante ainda,
contudo, a possibilidade de que os indicadores selecionados no sejam capazes de refletir a parte mais
relevante dos fenmenos.
Um exemplo simples poder ilustrar este tipo de preocupao. Analisemos o quadro da Figura 1 que
mostra dois grficos. O primeiro grfico mostra a evoluo contnua das barras refletindo um crescimento
absoluto desses nmeros. Eles representam os gastos de Cincia e Tecnologia que se fizeram no Brasil de
1993 a 1996 nos setores de Empresas, Educao Superior e Governo. Comparado com o grfico seguinte
colocado logo abaixo, o primeiro representa uma situao mais desejvel de crescimento contnuo. O
segundo grfico mostra uma certa inconstncia dos gastos, talvez semelhantes aos ocorridos no Brasil em
princpios desta dcada, quando houve uma queda significativa nos investimentos em C&T.
Apesar disso, o segundo grfico a representao de uma realidade muito mais desejvel que a primeira,
pois representa a evoluo no tempo do quarteto de cordas Opus 59, nmero 1, de Bethoven.
Assim, como o exemplo acima procura demonstrar, que limitaes similares existem nos indicadores na
maneira como eles so concebidos? Que aspectos importantes estamos deixando de compreender, que
elementos essenciais estamos deixando de ver?
Tipos de indicadores
Quando falamos de indicadores, vale refletir que tipo de indicadores estaramos falando. No mundo ideal
teramos os indicadores desejveis. Aqueles que permitem monitorar os elementos essenciais de um
sistema de C&T.
A realidade, contudo, nos apresenta o resultado de um processo histrico que por vrios motivos so
representados por um grupo de indicadores estabelecidos a nvel mundial.
A realidade particular de cada pas, por outro lado, trazem um conjunto de indicadores que possvel
desenvolver em vista das limitaes de existncia de dados, de recursos humanos capacitados e da
infraestrutura disponvel.
Finalmente, um conjunto de indicadores disponibilizado, geralmente resultado da realidade poltica e
administrativa existente.
Na medida em que um pas consegue cada vez mais se aproximar e sintonizar essas quatro dimenses,
mais teis sero os indicadores. O processo de compatibilizar essas quatro dimenses geralmente
Novos rumos
Os fatores que contribuem para uma boa msica
O que poderamos aprender com o exemplo da msica de Bethoven no sentido de desenhar indicadores
que melhor reflitam os pontos essenciais dos sistemas de C&T?
Um indicador que faz falta e essencial para a qualidade da msica a medida de coordenao entre os
quatro instrumentos, violino1, violino2, viola e violoncelo. Um outro aspecto importantssimo que h
significado na ordem. Isto , a subida ou descida das notas, a execuo mais forte ou mais fraca delas e a
ordem em que elas se sucedem AFETA a qualidade da msica. Finalmente, a msica possui um propsito
claro de satisfazer a audincia. Uma medida da sua qualidade o nvel de satisfao que consegue levar a
audincia.
Uma primeira pergunta seria se os sistemas de C&T tem propsitos e quais so eles. O propsito seria
atender s empresas privadas, aos executores da pesquisa cientfica, aos interesses polticos dos
governantes, ou as necessidades sociais da populao como um todo? Ou como dizem muitos cientistas, a
C&T boa em si mesma e ela deve ser estimulada no mais alto nvel possvel.
Um outro aspecto refere-se a especificidade dos principas setores do sistema de C&T quais sejam as
Empresas, o Ensino Superior, o Governo e as Organizaes Privadas Sem Fins de Lucro. Como ocorre no
quarteto musical, cada um destes setores tem um papel diferente no conjunto e portanto desempenham
funes diferentes. Quais seriam as especifidades relevantes?
No incio do texto apresentou-se a proposio de que onde existam bens privados e mercados sem
imperfeies a interveno governamental se faz desnecessaria. Discutiu-se ainda que, onde bens pblicos
se vejam envolvidos, a avaliao aparece como um dos elementos essenciais para garantir que os
benefcios potenciais provenientes dessas atividades se materializem.
Assim, a distino mais relevante em se tratando de avaliao de instituies saber quais so as
caractersticas predominantes dos bens envolvidos em cada um dos quatro setores. Conforme mencionado
por este autor em documento recente2, alguns setores, como o das Empresas, trabalham prioritariamente
com bens privados e outros, como o Governo, trabalham prioritariamente com bens pblicos.
A literatura mostra que j existem casos especficos de aplicao da Teoria do Caos no campo da avaliao.
Por exemplo, Marcial Losada observou diversas equipes de executivos por vrios anos e constatou que
aquelas equipes que demonstravam alta produtividade tinham um padro de interao que plotado em um
grfico reproduzia um padro catico. Aquelas equipes que demonstravam menor produtividade tinham
um padro de interao que plotado num grfico refletia padres no-caticos, como um toride ou um
crculo.3 (V. Fig. 2)
Figura 2 - Tipos de Atratores
Reproduzido do documento distribudo por Marcial Losada na Conferencia "A Arte do Business Coaching", em Madri, 19-22 de maro de
1998.
Num segundo exemplo, Goldberger e Rigney observaram que um corao saudvel, quando plotado num
grfico, apresentava um padro catico. Um corao oito dias antes de um ataque cardaco tinha um
padro peridico (que se repetia aps um certo perodo), e um corao treze horas antes de um ataque
LOSADA, M. The Complex Dynamics of High Performance Teams. Forthcoming in Mathematical and
Computer Modelling.
Comentrios finais
O desenvolvimento de tal metodologia de avaliao sem dvida colocar em cheque muitos processos e
atividades que hoje aceitamos como parte normal de nosso cotidiano. Mas, assim como a cobertura
protetora de oznio foi parcialmente destruda, trazendo srios riscos a uma frao significativa da
humanindade, o mundo comea a sentir cada vez mais o efeito das contradies existentes no seu sistema
de produo e consumo atual.
Que indicadores desenvolver para que a sinfonia de Gaia no se esvaia num conjunto confuso de notas
desafinadas e instrumentos descoordenados o grande desafio que provavelmente teremos de comear a
trabalhar muito, muito brevemente.
GOLDBERER, A.L. e RIGNEY, D.R. Sudden death is not chaos in KRASNER, S. (ed.) The Ubiquity of
Referncias Bibliogrficas
COVEY, S.R. The 7 Habits of Highly Effective People. New York: Simon and Schuster, 1989.
GIBBONS, M. et al. The New Production of Knowledge. London: Sage, 1994.
GLEICK, J. Chaos: Making a New Science. London: Penguin Books, 1987.
GOLDBERER, A.L. e RIGNEY, D.R. Sudden death is not chaos in KRASNER, S. (ed.) The Ubiquity of
Chaos. Washington, D.C.: AAAS, 1990. Cited in LOSADA, M.
KONDO, E.K. Desenvolvendo Indicadores Estratgicos em Cincia e Tecnologia: As Principas Questes.
Cincia da Informao. Vol. 27, no. 2, pp. 128-133, maio-ago. 1998.
KONDO, E.K. A Framework to Search for an Environmentally Sustainable Production: The Quartz-SiO2
- Telecommunications Industry. Proceedings do First Workshop on QITS: Materials Life-Cycle and
Sustainable Development, Tquio: United Nations University, 1998.
KONDO, E.K. "Hacia la Normalizacin de las Estadsticas de CyT en la Red Iberoamericana de
Indicadores de CyT" in Jaramillo, H. e Albornoz, M. Mediciones en Cincia. Bogot: ColCincias,
1997.
KONDO, E.K. Fatores que Afetam a Distribuio dos Recursos de C&T no Brasil. Poster apresentado na
49a. Reunio da SBPC, Belo Horizonte, MG, 18 de julho de 1997.
LOSADA, M. The Complex Dynamics of High Performance Teams. Forthcoming in Mathematical and
Computer Modelling.
PEAT, D.F. Synchronicity: The Bridge Between Matter and Mind. New York: Bantan Books, 1987.
SCHUMACHER, E.F. Small is Beautiful: Economics as if People Mattered. New York: Harper Perennial,
1973.
SENGE, P.M. The Fifth Discipline. New York: Doubleday, 1990.
SHIBA, S.; GRAHAM, A. e WALDEN, D. TQM: Desarrollos Avanzados. Portland: Productivity Press,
1993. ISBN: 84-87022-17-0.