Aderencia - Aval Fundos Setoriais - Metodologia - Fase 2

Metodologia de Avaliação de Resultados e
Impactos dos Fundos Setoriais
Relatório Final
Centro de Gestão e Estudos Estratégicos

Ciência, Tecnologia e Inovação
Relatório Final
Brasília, DF
Dezembro, 2006
Presidente
Lucia Carvalho Pinto de Melo
Diretor Executivo
Marcio de Miranda Santos
Diretor
Antonio Carlos Filgueira Galvão
Fernando Cosme Rizzo Assunção
Metodologia de Avaliação de Resultados e Impactos dos Fundos Setoriais -

Relatório Final.: 2006. Brasília: Centro de Gestão e Estudos Estratégicos, 2006.
66 p : il.
1. Avaliação - Brasil. 2. Fundos Setoriais - Brasil. I. Título. II. Centro de Gestão e Estudos
Estratégicos.

SCN Qd 2, Bl. A, Ed. Corporate Financial Center sala 1102
70712-900, Brasília, DF
Telefone: (61) 3424.9600
Http://www.cgee.org.br
Esta publicação é parte integrante das atividades desenvolvidas no âmbito do Contrato de Gestão CGEE/MCT/2006.
Todos os direitos reservados pelo Centro de Gestão e Estudos Estratégicos (CGEE). Os textos contidos nesta publicação poderão ser
reproduzidos, armazenados ou transmitidos, desde que citada à fonte.
Relatório Final
Supervisão
Antonio Carlos Filgueira Galvão
Coordenadora
Silvia Maria Velho
Consultores
André Furtado
Lea M. S. Velho
Maria Carlota de Souza Paula
Newton M. Pereira
Equipe técnica do CGEE

Paulo César Gonçalves Egler
Regina P. de Gusmão
Sílvia Maria Velho
Sofia Daher
SUMÁRIO
1. Introdução
2. O CGEE e a Avaliação dos Fundos Setoriais
2.1. Remodelagem da base de fomento do Prossiga/IBICT - Sistema de

Informações Gerenciais dos Fundos Setoriais - Sig-FS
2.2. Avaliação de aderência
3. Avaliação em CT&I: referencial teórico e metodológico
1.1 Avaliação como instrumento da Gestão Estratégica
3.1. O Projeto de uma avaliação
4. Método de avaliação de resultados e de impacto dos Fundos Setoriais
4.1. Linhas Básicas do Método de avaliação de resultados dos Fundos

Setoriais
4.2. Exemplo de metodologia de avaliação de impacto dos Fundos Setoriais
5. Etapas de trabalho e cronograma de execução
5.1. Identificação e organização das informações disponíveis relativas à

operação e execução dos Fundos Setoriais
5.2. Entrevistas com os Comitês Gestores dos Fundos
5.3. Elaboração da proposta metodológica para avaliação dos Fundos
5.4. Estruturação de uma base de informações e indicadores de referência

para a avaliação de políticas, programas e projetos em CT&I
5.5. Atividades de avaliação complementares - Fundações de Amaparo à

Pesquisa (FAPs)
5.6. Organização de um Seminário Internacional sobre Avaliação de

Políticas de CT&I
5.7. Cronograma
2
2 Introdução
Conforme estabelecido pelo Contrato de Gestão firmado entre o Centro de

Gestão de Estudos Estratégicos – CGEE – e a União, supervisionado pelo
Ministério de Ciência e Tecnologia, cabe ao Centro desenvolver uma
metodologia de avaliação dos resultados e impactos dos Fundos Setoriais.
Os Fundos foram formalmente criados a partir do ano 2000 e tiveram como

precursor o específico da área de Petróleo, o CTPetro, que foi a eles
incorporado. Os seis anos passados desde a sua criação são, a nosso ver,
suficientes para permitir uma análise ampla dos resultados e impactos
observados. Sendo um instrumento inovador, com mais de três mil projetos
contratados, os Fundos Setoriais demandam a adoção de procedimentos
avaliativos específicos, indispensáveis à gestão estratégica de quaisquer
programas de apoio ao desenvolvimento científico e tecnológico nos dias de
hoje. A avaliação deve ser tomada como de instrumento essencial de
prestação de contas aos financiadores e à sociedade, gerando elementos para
instruir as decisões e aprimorar as ações.
Os Fundos Setoriais constituem, hoje, importantes instrumentos de

financiamento à pesquisa e desenvolvimento e à inovação no Brasil. Tomam
como base uma visão sistêmica da inovação, que reconhece que as áreas do
conhecimento são cada vez mais interdependentes e os campos de pesquisa
mais interativos, condicionados por arranjos que envolvem múltiplos atores e
instituições com funções e papéis diferenciados.
A adoção da abordagem sistêmica implica na criação de instrumentos de

financiamento adequados ao ambiente complexo em que se engendram e se
desenvolvem as inovações. Ela sugere iniciativas que se voltam, por exemplo,
para incentivar e promover uma maior colaboração entre as empresas, as
universidades e os centros de pesquisa.
Nessa perspectiva, a criação dos Fundos Setoriais representou uma resposta

ao reconhecimento crescente dessa maneira de conceber e interagir sobre o
ambiente da inovação. Ele emerge da crítica às concepções do modelo linear,
fonte de inspiração da maioria dos instrumentos clássicos de fomento à C&T
3
existentes no País. A noção de que se fazia necessária a criação de um
instrumento de financiamento que propiciasse maior interação e articulação
entre a base técnico-científica e o setor produtivo ganhava respaldo na
trajetória de evolução das iniciativas de apoio à inovação em âmbito mundial e
nos levantamentos da primeira pesquisa ampla realizada no país sobre
inovação tecnológica nas empresas, a Pesquisa Industrial de Inovação
Tecnológica - Pintec, realizada pelo IBGE.
. Todos os Fundos receberam a orientação de articular os atores acadêmicos e

empresariais na tentativa de superar a distância que tem afastado, na prática,
esses ambientes fundamentais para o desenvolvimento de inovações. Cada
Fundo possui objetivos estratégicos, formulados e validados por seu Comitê
Gestor, que devem fundamentar as escolhas dos projetos nas áreas ou linhas
de pesquisa consideradas prioritárias. As diretrizes e objetivos de cada Fundo
devem, por sua vez, estar alinhados com a concepção sistêmica maior da
política de CT&I.
Dessa forma, as perguntas básicas da avaliação devem buscar desvendar as

relações entre os resultados e os princípios e condições fundamentais que
orientaram a ação dos Fundos Setoriais, sendo esse o elemento central que
preside a proposta de avaliação de resultados e impactos desenvolvida no
presente documento.
Essa proposta contempla as seguintes questões que organizam a seqüência

de capítulos :
a) Balanço das atividades para avaliação dos Fundos Setoriais

desenvolvidas pelo CGEE em articulação com o MCT e suas agências
(capítulo 2);
b) Quadro referencial teórico e metodológico sobre o qual se apóia a

avaliação de CT&I em geral, discutindo sua bases conceituais, métodos
e pressupostos gerais (capítulo 3);
c) Linhas básicas do método de avaliação de resultados e exemplo de

metodologia de avaliação de impacto dos Fundos Setoriais (capítulo 4);
4
d) Etapas de trabalho e cronograma de execução de atividades associadas
ao processo de avaliação proposto (capítulo 5);
3 O CGEE e a Avaliação dos Fundos Setoriais
Promover a avaliação de políticas, programas e projetos no campo da ciência,

tecnologia e inovação (C&T&I) é uma das atividades principais do CGEE, que
tem buscado fortalecer sua competência e atualizar-se acerca das práticas e
metodologias de avaliação mais amplamente utilizadas. O Centro possui um
pequeno núcleo interno responsável pela coordenação dos trabalhos nessa
área, os quais são realizados com o aproveitamento da competência existente
no país e, eventualmente, com a participação de especialistas estrangeiros.
O CGEE, ao assumir a organização e a coordenação de projetos de avaliação,

passa a ter um papel ativo na definição do escopo do projeto, atuando como
interlocutor entre o solicitante (ministérios, organizações ou grupos gestores de
políticas e de programas) e a equipe competente para sua execução.
Definido o projeto, o Centro segue representando o solicitante no

desenvolvimento das atividades, estabelecendo as articulações, mas também
assumindo responsabilidades no provimento de dados, informações e outras
condições essenciais à realização do trabalho e, de modo especial, em seu
monitoramento permanente, até a validação dos resultados. Isso implica dizer
que o CGEE tem um papel ativo na concepção e condução de cada projeto de
avaliação. Cabe ressaltar, a efetiva utilização dos resultados da avaliação é
aspecto de fundamental importância no desenho dos projetos de avaliação,
pois aproxima-os de seu objetivo maior que é o uso recorrente como
instrumento de apoio à gestão.
O CGEE busca contribuir diretamente para a qualidade e o aperfeiçoamento do

instrumento de avaliação, à medida que defende sempre a adoção de ciclos
completos de avaliação, integrando análise retrospectiva, avaliação de
processos e avaliação de resultados e impactos. Procura também associar
esses processos às visões prospectivas, aos exercícios de futuro, não raro
utilizando técnicas e métodos específicos a esse tipo de atividade.
5
Ambiente da Avaliação e o CGEE
Fonte: CEC/EU DG-Regio 2006
Os processos de avaliação usuais, ditos ‘ex-ante’ ou ‘on going’, próximos ao

acompanhamento e informação gerencial que presidem a tomada de posição
sobre a aprovação das políticas, programas ou projetos, tendem a ser
assumidos diretamente pelas unidades gestoras, cabendo mais ao CGEE
colaboração na escolha dos arcabouços metodológicos adequados a cada
caso. Os processos de avaliação ‘ex-post’ de resultados e impactos, que
colocam em perspectiva o confronto das políticas, programas e projetos com o
ambiente maior do respectivo setor e da sociedade em geral, podem contar
com um engajamento mais amplo do CGEE na tarefa, diante dos
requerimentos de isenção, espectro de visão e capacidade de compreensão
das múltiplas interações envolvidas nas atividades de CT&I.
6
O Quadro 2.1 retrata o espaço geral dos processos de avaliação. O almejado
nesta proposta se distingue especialmente por associar resultados e impactos
às necessidades, problemas e desafios que motivaram a instituição e operação
dos fundos setoriais. A esse respeito, trata das dimensões de efetividade e
utilidade/sustentabilidade, estas últimas podendo ser traduzidas por eficácia.
Algumas outras dimensões da avaliação, como a relativa à eficiência, embora

muito importantes para a implantação de um arcabouço integral de gestão
estratégica, que inclui o acompanhamento, escapam ao escopo da proposta
aqui desenvolvida. Ela integra toda uma demanda vinculada à necessidade
premente de uma avaliação de processo, capaz de constituir-se como um
instrumento da gestão cotidiana dos Fundos.
Os fundos setoriais foram concebidos como dispositivo novo de política

científica e tecnológica no país em relação a uma série de características.
Começaram a ser articulados por ocasião da promulgação, em 06 de agosto de
1997, da Lei 9.478, mais conhecida por Lei do Petróleo. A Lei, em seu artigo
49, previa a concessão de royalties ao Ministério da Ciência e Tecnologia,
decorrente da produção de petróleo nacional, ‘‘... para financiar programas de
amparo à pesquisa científica e ao desenvolvimento tecnológico aplicados à
indústria do petróleo’’. Por força da Lei, os royalties não poderiam ter outra
destinação que não a prevista, constituindo-se, pois, em recursos vinculados
ao setor petrolífero. Em 1998, criou-se o Programa Nacional de Ciência e
Tecnologia do Setor Petróleo e Gás Natural, mais conhecido por Fundo Setorial
de Petróleo e Gás ou, ainda, pelo seu acrônimo, CTPetro, que se encarregaria
das aplicações dos royalties concedidos.
A essa iniciativa, seguiram-se outras vinculações de recursos de tal modo que,

ao final de 2000, sete fundos setoriais estavam criados, todos eles contando
com recursos oriundos de diferentes taxas ou emolumentos, porém sempre
com a aplicação setorial definida. No final de 2000, pode-se afirmar, a
estratégia de estruturação de Fundos Setoriais estava instituída.
Os Fundos buscam mobilizar vários agentes do processo inovativo, com

destaque para as empresas, e estimular a interação entre eles, criando
7
oportunidades para o surgimento e consolidação de redes cooperativas de
pesquisa e inovação. Também objetivam garantir constância de recursos
financeiros para o sistema de ciência e tecnologia, ao enfocar setores
considerados estratégicos e reconhecer a necessidade de maior eficiência na
gestão de tais recursos.
O CGEE já vem realizando ações relacionadas com aos Fundos Setoriais

desde a sua criação. Já no início da implantação, o CGEE esteve à frente da
instituição das primeiras 10 Secretarias Técnicas de apoio ao MCT na sua
atuação junto aos Fundos, integradas por lideranças experientes nos temas
enfocados, técnicos e auxiliares, definindo estratégias de apoio às iniciativas de
cada setor
Durante o ano de 2002, ações de apoio à gestão dos Fundos foram

organizadas pelo CGEE, que resultaram na maior explicitação dos referenciais
estratégicos para as aplicações de recursos. A definição das prioridades para a
aprovação de projetos pelos Comitês Gestores contribuiu para aperfeiçoar a
atuação dos Fundos. No caso do Fundo de Infra-Estrutura, cuja natureza se
distingue dos demais e envolve investimentos de monta nos departamentos e
laboratórios universitários e de centros de pesquisa, organizou-se um processo
expedito de avaliação, que contribuiu decisivamente para a melhoria da gestão
do Fundo.
Além dessas iniciativas precursoras na área, algumas etapas iniciais para a

instauração de processo robusto de avaliação vêm sendo vencidas,
particularmente no que tange à base de informações do sistema e à análise de
aderência do instrumento às diretrizes básicas e estabelecidas.
Uma dessas tarefas preparatórias diz respeito ao mapeamento de

competências em avaliação de ciência, tecnologia e inovação. O mapa de
competências compreende a caracterização dos atores da área, esclarecendo
questões acerca de como se organizam, que metodologias desenvolvem, em
que programas atuam e que conexões estabelecem entre si, enquanto grupos
8
ou pesquisadores individuais.1 No entanto, alguns outros avanços recentes se
destacam, reforçando as bases para a estruturação de processos robustos de
avaliação.
As seções 2.1 e 2.2, a seguir, apresentam uma síntese de duas importantes

iniciativas desenvolvidas pelo CGEE nessa direção.
3.1 Remodelagem da base de fomento do Prossiga/IBICT e o Sistema

de Informações Gerenciais dos Fundos Setoriais – SIG-FS
Em 2005, foi criada a Comissão de Avaliação dos Fundos Setoriais com a

participação do MCT, FINEP, CNPq e CGEE com o propósito de construir uma
estratégia compartilhada entre as instituições responsáveis pela gestão dos
fundos. Ao CGEE foi delegada a competência de gerenciar o processo de
avaliação.
Nessa ocasião a Comissão reconheceu que o primeiro passo era construir uma
base de informações gerenciais, a partir da então disponível no Prossiga/IBICT.
Essa base, apesar de disponibilizar informações sobre as atividades de
pesquisa em andamento no país, financiadas tanto pelo Conselho Nacional de
Desenvolvimento Científico e Tecnológico – CNPq como pela Financiadora de
Estudos e Projetos – FINEP, apresentava dificuldades de integração que
inviabilizavam seu emprego na gestão e avaliação dos Fundos Setoriais.
Convidando representantes do IBICT/Prossiga para participar de suas
reuniões, a Comissão definiu um conjunto de atividades com o objetivo de
tornar a Base Prossiga uma ferramenta de gestão.
Dado que já existia uma rotina de envio dos dados ao Prossiga pelo CNPq e a
FINEP, o IBICT, com o assessoramento do CGEE, fez as modificações
necessárias no sistema para adequá-lo às necessidades da Comissão. Por
exemplo, foram incorporados novos campos e se estabeleceu uma clara
1
O CGEE desenvolveu a ferramenta necessária para isso: o Portal Inovação, em parceria com o Instituto Stela. A
identificação dos grupos no Portal, e as entrevistas com seus líderes, possibilitam a construção de um mapa de
competências, em base informatizada e disponível no endereço do CGEE para consulta da Comunidade.
9
associação entre os projetos e as respectivas atas ou editais dos Fundos. Isso
permitiu agilizar as análises por projetos.
Aos dados já existentes, foram ainda incorporadas novas informações como:

demandas, instituições proponentes, co-executoras e apoio, valores de
financiamentos e bolsas, ações transversais, fundos pagantes e ano de
desembolso. Outro avanço residiu na possibilidade de associar as bolsas e
auxílios do CNPq, contratadas com o repasse de verbas da FINEP, aos seus
projetos originais.
O sistema também passou a permitir uma visualização de séries históricas

tanto dos projetos em vigência quanto dos já finalizados, habilitando um
monitoramento constante e a geração de indicadores. E, por fim, criou um
aplicativo para o acesso simultâneo a duas bases de dados distintas,
possibilitando ao avaliador o acesso aos dados dos projetos, às atas dos
Fundos e aos editais ao mesmo tempo. O aplicativo representou o inicio do
estabelecimento de um sistema único de acompanhamento das informações
relacionadas a fundos setoriais, desde a decisão de apoio a determinadas
áreas até a avaliação dos projetos financiados.
A integração da base de dados originada do Prossiga ao Sistema de

Informações Gerencias do MCT, vem representando outro passo importante.
Ganhou o nome de Sistema de Informações Gerenciais dos Fundos Setoriais –
Sig-FS. Para ampliar o uso do Sig-FS, decidiu-se agregar a ele um conjunto de
ferramentas associadas às soluções de Business Intelligence – BI. Essa
tecnologia, de última geração, pretende possibilitar o uso da base na gestão
dos Fundos, propiciando plena integração entre os dados analíticos e
operacionais.
O portal de informações do Sig-FS, apresentado em novembro de 2006, foi

desenhado para permitir uma relação amigável com os usuários, com fácil
navegação entre os módulos do sistema, o que abre caminho para uma
utilização social mais ampla. Por último, cabe ressaltar que embora constitua
um avanço decisivo para o planejamento, acompanhamento e avaliação dos
Fundos, o sistema Sig-FS não contempla ainda uma base de dados sobre
resultados, capaz de ancorar processos de avaliação como os defendidos
nessa proposta.
10
3.2 A avaliação de aderência
O primeiro passo no sentido de testar a nova base de dados do Prossiga e

mapear as ações já executadas pelos Fundos Setoriais foi a formulação de
uma análise de aderência entre as carteiras de projetos financiadas pelos
Fundos e seus objetivos seminais. A análise, realizada por uma equipe do
Departamento de Política Científica e Tecnológica da Universidade Estadual de
Campinas2 sob a coordenação do CGEE, teve como finalidade verificar o grau
de atendimento às prioridades estabelecidas nos documentos básicos dos
Comitês Gestores dos Fundos Setoriais, através da análise de algumas
características dos projetos contratados.3 A escolha amparou-se na
experiência que a equipe já detinha em avaliações anteriores, tantos dos
Fundos como de Políticas de C&TI.
Para esta avaliação, definiu-se um conceito operacional para o termo aderência

como sendo a “ consonância entre os termos dos projetos contratados às
diretrizes estratégicas” dos fundos setoriais. Foram identificados três
componentes das diretrizes estratégicas passíveis de serem analisados quanto
ao seu atendimento pelos projetos:
1. As temáticas prioritárias, ou seja, aos temas identificados como

prioritários pelos documentos básicos para as ações dos fundos;
2. A participação de empresas nos projetos, em atendimento ao objetivo

estratégico de estimular a interação entre os vários agentes do processo
de inovação, com destaque para a empresa e para os arranjos
colaborativos;
3. A distribuição regional de recursos, já que os documentos básicos da

maioria dos Fundos estabelecem que um mínimo de 30% dos recursos
devem ser destinados a projetos desenvolvidos por empresas e
2
Liderada pelos Prof. Drs. Newton M. Pereira e Lea Velho.
3
Não tratou, portanto, da avaliação da qualidade científica e tecnológica dos projetos, nem da verificação de seus
resultados e impactos. Tampouco enfocou os aspectos operacionais e gerenciais dos fundos.
11
instituições de ensino e pesquisa sediadas nas regiões Norte, Nordeste e
Centro-Oeste.4
Assim, a análise realizada indicou a extensão em que os projetos contratados

pelos fundos setoriais estavam em consonância com as áreas temáticas
prioritárias, contavam com a participação de empresas, e respeitavam os
critérios de distribuição regional.
Vários problemas foram identificados quanto à confiabilidade e grau de

cobertura das informações constantes na Base. Os mais dramáticos para a
avaliação da aderência foram ausência de projetos sabidamente contratados e
falta de resumo de determinados projetos. Não menos grave se mostrou a
dificuldade de operar uma base em permanente atualização, com informações
sendo sistematicamente incorporadas ou alteradas.
Apesar das limitações, os resultados do exercício de avaliação de aderência

sugerem pistas e conclusões gerais interessantes para a gestão dos Fundos
Setoriais e apontam a necessidade de outras avaliações mais focadas na
gestão e nos resultados.
Em relação à pergunta central desta avaliação – a extensão em que projetos

contratados atendem às diretrizes estratégicas – constatou-se que o grau de
aderência varia em função do fundo setorial e da dimensão considerada, seja
ela a área temática, a participação de empresas ou a distribuição regional de
recursos. Essas variações estão demonstradas no Quadro 1, especialmente
construído para oferecer uma visão geral da avaliação de aderência realizada:
Como mostra o Quadro mencionado, o índice de aderência temática dos

projetos do universo avaliado é alto (93,06%). De todo o modo, o índice
estimado demonstra a preocupação dos comitês gestores em seguir as
estratégias temáticas recomendadas, bem como reafirma o compromisso dos
fundos com o foco setorial para o qual foram criados.
Quadro 2.1 - Fundos Setoriais: amostra e índices de aderência temática,

empresarial e regional
4
Para o CTPetro a Lei determina a aplicação mínima de 40% nas regiões Norte e Nordeste.
12
aderência
nº de Recursos aderência aderência
Fundo empresarial
projs. investidos (R$) temática (%) regional (%)
(%)
CTAero 14 39.544.555,19 100,00 98,24 0,00
CTAgro 11 13.071.098,52 95,71 32,13 41,10
CTAmaz 5 4.552.800,00 n.d.* 0,00 100,00
CTAqua 0 0,00 - - -
CTBio 24 13.247.381,59 83,48 23,26 13,11
CTEnerg 104 118.949.758,66 68,15 28,86 20,25
CTEspacial 2 2.869.987,10 100,00 0,00 0,00
CTHidro 137 38.534.115,47 91,38 22,23 38,11
CTInfo 127 27.246.778,04 100,00 73,85 18,99
CTInfra 492 440.105.004,00 100,00 0,00 30,19
CTMineral 21 8.607.210,84 85,95 23,88 51,38
CTPetro* 262 109.896.237,62 95,78 71,22 46,12
CTSaúde 30 24.835.881,22 100,00 0,00 24,74
FVA 488 245.897.049,43 98,00 18,16 20,55
CTTranspo 0 0,00 - - 0,00
Ações
529 447.160.323,77 87,81 31,25 21,72
Transversais
Total5 2246 1.534.518.181,45 93,06 31,54 25,89
*n.d.: sem área temática definida em qualquer documento de referência
As ações transversais apresentaram, no conjunto, aderência temática menor

(87,81%). Os Fundos CTEnerg, CTMineral e, em menor escala, CTBio,
oferecem índices de aderência temática igualmente mais baixos.
A aderência dos projetos à diretriz estratégica que busca criar redes

cooperativas de pesquisa através do envolvimento de empresas mostra uma
situação diferente. O comprometimento médio dos recursos dos fundos
setoriais com ações que envolveram empresas, retirando-se da base de cálculo
o CTInfra, chega a 31,54%. O resultado mostra que, no seu conjunto, os
fundos setoriais ainda não têm logrado atingir o objetivo estratégico de
estimular as relações mais diretas entre instituições de pesquisa e empresas.
Não obstante, os números são um pouco mais favoráveis quando se passa a
considerar a participação de empresas em número de projetos, pois 48,51%
celebraram parcerias com o setor empresarial.
5
O ‘Total’ refere-se ao universo investigado, ou seja, projetos de pesquisa financiados por intermédio de ações
lançadas pela Finep entre 2001 e 2005.
13
Ao nível de cada fundo setorial, somente o CTPetro, CTInfo e o CTAero
tiveram envolvimento direto de empresas acima de 70%. Os demais fundos
ainda apresentam uma participação tímida do setor empresarial, abaixo dos
30% em termos de recursos. No caso do Fundo Verde Amarelo, em que se
esperava haver, por definição, uma participação mais expressiva de empresas,
os resultados exprimem o rigor do critério adotado, que deixou de fora
participações empresariais indiretas e mesmo iniciativas de uso difuso, como o
próprio Portal da Inovação, destinado a um uso preferencial das empresas.
Quando a análise se volta para o tipo de empresa que participa dos projetos
apoiados pelos Fundos Setoriais percebe-se que a maior parte delas são de
médio (principalmente) a grande porte. A participação de pequenas empresas
se dá em número pouco expressivo.
Quanto à distribuição regional de recursos, definida como a terceira

componente das diretrizes estratégicas avaliadas, os fundos setoriais
apresentam, no seu conjunto, grau de aderência satisfatório, 34,81%.
Analisados os Fundos individualmente, no entanto, verifica-se que o CTPetro,
CTHidro, CTMineral e CTAgro ultrapassam significativamente os índices
médios. Os dados demonstraram que a parcela de recursos que,
obrigatoriamente, deve ser destinada às regiões Norte, Nordeste e Centro-
Oeste, é abaixo da estabelecida nos Fundos CTEnerg, frágil em todos os
aspectos avaliados, e o CTBio
Ao término do trabalho foram feitas as seguintes recomendações para melhorar

a gestão dos Fundos Setoriais:
• Estimular os comitês gestores a produzirem planos plurianuais em que

se explicitem as áreas temáticas que devem ser objeto de ações
prioritárias. Sem essas áreas, as ações do fundos tornam-se vagas e
genéricas.
• Divulgar amplamente as áreas temáticas através de entrada específica

na página Web de cada fundo, nos escritórios virtuais.
14
• Criar uma entrada no formulário de propostas para registro, obrigatório,
da área temática em que o proponente enquadra o projeto. Importar
esse registro para a Base de Dados Prossiga.
• Disponibilizar (completar) na Base o resumo dos projetos.
• Incluir na Base informações sobre acompanhamento, resultados e

impactos dos projetos
• Criar oportunidades para que o desenvolvimento e aprimoramento da

Base de Dados, quanto ao desenho, cobertura e confiabilidade, seja
feito em interação com os usuários.
• Investigar as razões para a participação tímida do setor empresarial nos

projetos de pesquisa. Compreensão fundamental para auxiliar no
desenho de ações dos fundos setoriais que sensibilizem também as
empresas de pequeno porte a participar.
• Estimular a discussão sobre os impactos das ações transversais e das

implementadas na modalidade ‘encomenda’ nas estratégias dos fundos
setoriais.
• Reavaliar a estratégia de concessão de recursos por intermédio de

ações transversais para que os fundos financiem projetos mais
relacionados ao interesse dos seus respectivos setores.
4 Avaliação em CT&I: referencial teórico e metodológico
Apresentar uma visão ampla sobre conceitos e práticas de avaliação mais

utilizadas no campo de C&T&I é o objetivo desse item.
Cada avaliação é, em si, uma pesquisa. Trata-se de uma investigação, de uma

reflexão sobre um objeto determinado – política, programa, ações ou projeto -,
com base em dados e informações que possam contribuir para responder às
perguntas centrais associadas ao objetivo específico do que se pretende
avaliar.
Por isso, só é possível falar em “roteiros de avaliação” em termos gerais, ou

seja, que indicam caminhos amplos. As estratégias para percorrê-los e o
15
detalhamento de atividades e indicadores devem ser definidos caso a caso,
dependendo da natureza do objeto a ser avaliado e da avaliação que se
pretende.
Os tipos possíveis de avaliação podem ir desde o cotejamento entre objetivos x

resultados, com a finalidade de prestação de contas, numa visão de auditoria,
ou para legitimação de ações, até uma abordagem estratégica - que
consideramos mais adequada - mesmo quando se tratam de avaliações
parciais.
4.1 Avaliação como instrumento da Gestão Estratégica
Chama-se aqui de Gestão Estratégica o sistema de gestão que considera as

mais diversas interações intervenientes em um programa; o contexto interno e
externo; que apresenta flexibilidade para mudanças ao longo do processo de
implementação das atividades, sempre que isso for indicado como necessário
aumentar a eficiência quanto aos resultados pretendidos. Pode, inclusive,
implicar na exclusão de atividades, de instrumentos, ou do próprio programa
caso se mostrem ineficientes ou aconteçam fatores externos que os tornem
não pertinentes.
Trata-se de uma abordagem pro-ativa, que compreende desde as avaliações

prévias, o planejamento e a administração estratégica, ressaltando-se a
avaliação como um instrumento permanente, em todas as etapas do programa,
que deve gerar elementos objetivos para o processo de tomada de decisões
seja de natureza estratégica, gerencial ou operacional.
Em sua concepção ampla, a avaliação como instrumento da gestão estratégica

se constitui em uma análise que visa:
• observar os elos entre os objetivos, formas de organização e gestão,

volume e estratégia de financiamento, atores e sua participação;
• compreender os resultados e impactos de um programa e não apenas

identificá-los;
16
• compreender o modo e o processo pelo qual esses resultados foram
possíveis;
• compreender os fatores intervenientes, esperados ou inesperados, e

seus impactos – positivos ou negativos – na gestão e nos resultados;
• estabelecer diretrizes para o futuro, que possam contribuir para o

aperfeiçoamento das políticas, programas e instituições avaliados -
permitindo uma revisão estratégica da gestão - ou para a formulação de
novas políticas, estratégias e programas6.
Nessa visão, a avaliação é um instrumento, é uma parte imprescindível da

gestão estratégica de uma política, programa ou instituição7. São
características importantes para que uma avaliação associada à gestão
estratégica8 possa se consolidar como um trabalho confiável e útil:
• ser diretamente associada ao processo decisório, para ter “utilidade”: é

essencial haver compromisso dos tomadores de decisão com a
avaliação, para que seja reconhecida como efetivo instrumento de
gestão estratégica.
• Ser realizada em tempo real: trata-se de um processo que deve gerar as

informações necessárias, em tempo hábil para servir à tomada de
decisões.
• Ser pertinente: deve responder às questões corretas sobre o que se

quer avaliar - pertinentes do ponto de vista dos objetivos do programa ou
política que se avalia e dos destinatários da avaliação9. Por isso é tão
6
Avaliações para controle do ponto de vista físico e financeiro (auditoria, prestação de contas, etc), para verificação
simples de aderência dos resultados aos objetivos e metas propostas, não buscam compreender os fatores que
favoreceram ou dificultaram o programa, nem se preocupam com o processo decisório ou com o futuro. Sem negar sua
utilidade em determinadas ocasiões, não nos parecem enfoques suficientes à avaliação de políticas e programas
públicos.
7
Não trataremos aqui do caso da avaliação de projetos para financiamento (seleção de projetos; avaliação ex-ante ao
financiamento).
8
Há autores que defendem o uso direto da expressão “avaliação estratégica” em lugar de gestão estratégica. Em
nossa visão isso não é adequado, pois a gestão incorpora várias atividades importantes, gerenciais, operacionais, de
coordenação, que não são, necessariamente, de avaliação.
9
Muitas dificuldades e inadequações na avaliação ocorrem devido ao fato de que as questões a serem respondidas
não recebem a devida atenção: avaliadores e clientes colocam questões que não são passíveis de resposta; as
questões colocadas não são as mais importantes ou significativas; muitas questões nunca são respondidas; ou
resultados encontrados ao final da avaliação não se relacionam às perguntas colocadas. (Smith e Mukherjee;
17
importante a fase de negociação, de preparação da avaliação, durante a
qual as questões a serem abordadas devem ser acordadas entre
avaliadores, gestores e clientes do programa, e consolidadas em um
termo de referência bem feito;
• ter credibilidade: esse aspecto se relaciona diretamente à competência e

legitimidade das instituições e dos especialistas associados à avaliação.
Incide, portanto, na escolha dos avaliadores, da metodologia, dos
procedimentos adotados para o desenho e implementação da avaliação,
incluindo-se critérios e indicadores adequados aos objetivos propostos;
• apresentar fundamentos sólidos: os argumentos em que se baseia a

interpretação dos indicadores e outros aspectos da avaliação têm de ser
sólidos, claros e compreensíveis, de modo a resistir a críticas e garantir
a credibilidade. Dotar uma avaliação dessa característica não é uma
tarefa trivial, pois, ainda que existam inúmeros métodos, cada avaliação
é diferente da outra, e apresenta singularidades que exigirão adaptações
e escolhas. Cada avaliação combina de maneira diferente um diferente
conjunto de instrumentos. Evidentemente, esta característica está
associada à competência dos avaliadores, tanto em termos dos métodos
de avaliação quanto do conhecimento da natureza dos processos a
serem avaliados.
Para garantir essas características, para cada avaliação, é imprescindível

elaborar um “projeto de avaliação” específico. Esse é o momento de articulação,
de esclarecimento de conceitos e expectativas, de estabelecimento das bases
da avaliação.
4.2 O Projeto de uma avaliação
No projeto, devem se explicitar os conceitos adotados; as características do

objeto de análise (projeto, programa, política, organização, setor ou área do
Classifying Research Questions Adressed in Published Evaluation Studies- Educational Evaluation and Policy Analysis,
vol.16/2:223-230, Summer 1994).
18
conhecimento); a finalidade da avaliação (para que se quer avaliar?) e o
objetivo da avaliação. Assim, estarão colocadas a natureza e a dimensão do
trabalho (período e aspectos a serem abordados – operacionais, resultados
e/ou impactos).
Com base nessas primeiras definições, devem ser estabelecidos os aspectos

metodológicos - Metodologia, escolha de avaliadores, critérios, indicadores,
procedimentos, etc. e organizativos, que também influenciam na estratégia e
metodologia propostas, tais como prazos e recursos. Esse projeto deve ser
construído em um processo interativo entre avaliadores e aqueles que
demandam a avaliação.
4.2.1 O objeto da avaliação
Ainda que existam orientações gerais para a avaliação (ex: ser estratégica; participativa; exter
avaliação. Para se avaliar um programa no campo de C&T a estratégia, os
critérios e indicadores deverão ser diferentes daqueles de um programa social;
ainda que dentro de um mesmo campo, podem ser necessários diferentes
instrumentos.
As questões a serem colocadas frente a tais especificidades e as respectivas

definições quanto às estratégias, instrumentos e indicadores mais adequados
relacionam-se à pertinência, uma das características fundamentais de uma boa
avaliação.
4.2.2 A finalidade da avaliação (Para que?)
A finalidade deve ser muito bem definida com aqueles que demandam a
avaliação, pois determinará, em grande parte, o objetivo e, a partir daí, o
detalhamento do projeto.
Como podem existir divergências entre a visão dos avaliadores e das

instituições que demandam a avaliação, é necessário esclarecer para que se
quer uma avaliação, qual sua finalidade, ou seja, em que e para que serão
utilizados os resultados da avaliação.
É imprescindível que os responsáveis pela avaliação e as instituições que a

demandam tenham plena compreensão dos objetivos do programa e de como
19
eles podem ser realizados. Indefinições ou divergências quanto a esse aspecto
podem provocar escolhas inadequadas de estratégias, de critérios, enfim, de
metodologias de avaliação10.
A utilização dos resultados da avaliação é outro aspecto de fundamental

importância – associado à visão estratégica de futuro. Como as questões
tratadas e as conclusões, quase sempre, estão associadas a fatores políticos,
e a diferentes visões de mundo por parte dos atores com possibilidade de atuar
no programa (ou instituição) avaliado, é comum ocorrerem problemas na
absorção dos resultados da avaliação. Por isso, ao se discutir a finalidade de
uma avaliação, não se pode esquecer dessa perspectiva de futuro, não apenas
de um ponto de vista teórico, mas criando um ambiente e formas que permitam
o aproveitamento dos resultados da avaliação. Que eventuais resistências
sejam bem fundamentadas em argumentos sólidos (obviamente, podem
ocorrer equívocos nas avaliações) gerem propostas que possam ser
confrontadas, discutidas e fonte de inspiração para propostas ao processo
decisório, sempre visando o aperfeiçoamento dos programas, políticas,
instituições, etc., em prol dos objetivos mais amplos para os quais esses
instrumentos foram criados.
4.2.3 O(s) foco(s) da avaliação
Em alguns casos, podem caber discussões sobre a adequação da demanda

frente à finalidade do trabalho, (ex: avaliação de impactos socioeconômicos de
um determinado programa ou projeto). É necessária uma análise crítica e ao
mesmo tempo pró-ativa, caso se vislumbre que a ênfase pré-estabelecida não
é o para a definição do foco mais adequado para a avaliação do objeto em
questão.
Evidentemente, a abrangência de uma avaliação poderá ser mais restrita ou

mais ampla, dependendo da fase em que se encontra a política, o programa ou
a instituição avaliada, da natureza desses objetos, e de seus resultados e
10
No campo de C&T, o exemplo mais comum desse conflito é o que decorre da aplicação exclusiva de parâmetros e
critérios de avaliação científica para avaliar programas, projetos ou instituições de caráter tecnológico, ou misto, ou os
programas de inovação.
20
impactos. Mesmo considerando a abordagem da gestão estratégica, pode ser
necessário avaliar aspectos parciais específicos, que podem estar relacionados
à gestão do programa, aos seus resultados, ou aos impactos, por exemplo, em
determinados momentos. Isso é particularmente importante nos programas de
longo prazo.
Os avaliadores ou a instituição responsável pela avaliação devem definir junto

aos demandantes o tipo de avaliação mais adequado para que o trabalho
possa, realmente, ser útil; além disso, caso a demanda seja por uma avaliação
parcial – de resultados, por exemplo – dependerá da reflexão e compreensão
de vários fatores que não os resultados em si mesmos, mas que, de alguma
forma, podem ter interferido no processo no qual eles foram gerados.
Ou seja, em qualquer momento que se realize uma avaliação, ou de qualquer

aspecto parcial que seja estabelecido como foco da avaliação, não se pode
esquecer das interações deste aspecto com os demais aspectos e fases do
que se avalia. Ainda que se tenham estabelecido limites – de períodos ou focos
de avaliação – deve-se buscar compreender as relações entre este foco e as
questões mais abrangentes, como aquelas acima destacadas. Por exemplo, a
análise da execução pode suscitar questões relacionadas, por exemplo, à
formulação do programa, a decisões anteriores, a estruturas ou conjunturas
externas ao programa que condicionam determinadas formas ou mecanismos
de gestão, bem como os seus resultados.
A definição do(s) foco(s), quando não se tratar de uma avaliação completa,

depende, de modo especial, de dois fatores: i. das necessidades percebidas
pela gestão durante a execução do programa e ii. Da fase em que se encontra
o programa.
21
Quadro 3.1 - Quanto aos focos da avaliação
Aspectos Gestão e Resultados Impactos

estratégicos operacional
Projetos - x x x
Programas x x x x
Políticas x x x x
Instituições x x x x
A decisão sobre os focos possíveis para uma avaliação está também

associada à fase em que se encontra o programa e tempo de maturação dos
resultados; o que é possível avaliar, dada a fase em que se encontra a política,
o programa, a instituição? Este é um aspecto que, em grande parte, determina
a abrangência de uma avaliação, de modo particular no que se refere à análise
de resultados e impactos.
No caso de programas em fase de implementação, podem ser realizadas

avaliações parciais. Assim, ao se receber uma demanda para se estabelecer
um projeto de avaliação deve-se refletir e definir claramente que aspectos
poderão ser avaliados e até que ponto se pode chegar, no momento em que se
realiza a avaliação.
Quanto ao momento mais adequado para se fazer uma avaliação, depende

daquilo que se quer avaliar. Nesse sentido, relacionando a avaliação com a
fase do projeto, encontram-se:
• avaliação ex-ante; avaliação prévia; avaliação estratégica: realizadas

na fase de formulação da política ou do programa, de modo a gerar
informações importantes para uma boa definição de objetivos; das
estratégias; da metodologia; para identificação de atores e formas de
participação; para escolha de instrumentos adequados e outros
aspectos que podem contribuir para o êxito da ação;
• acompanhamento: realiza-se durante o período de implementação da

política ou do programa. Dependendo das características do objeto
22
da avaliação, o acompanhamento pode incluir algumas avaliações
parciais;
• avaliação ex-post: pode ser
o uma avaliação final, ou seja, ao término da implementação,

quando, em geral, podem ser verificados os resultados da
política ou do programa, ou até mesmo alguns impactos
parciais;
o ou uma avaliação de impactos de longo prazo, realizada após

o término da implementação. Esse prazo deve ser definido de
acordo com a natureza da ação e com o que se quer avaliar.
Quadro 3.2 - Quanto ao foco x momento da avaliação
Ex-ante Durante Ex-post - Final Ex-post

(estratégico, (monitoramento,
(resultados e (impactos;
qualidade, metas e resultados
impactos imediatos; revisão
relevância) intermediários,
revisão estratégica) estratégica)
gestão, operacional)
Projetos x x x x
Programas x x x x
Políticas x x x x
Instituições* x x x x
* No caso de instituições essa classificação não se aplica diretamente. Em geral, faz-se a
avaliação por programas e/ou projetos desenvolvidos pelas instituições, e por períodos de
gestão dos dirigentes.
Dependendo da fase e da natureza do programa, poderão ser identificados

resultados parciais e até mesmo alguns impactos mais pontuais; na avaliação
ex-post, os resultados finais e, talvez, alguns impactos. Na maioria das vezes,
os impactos mais amplos dependem de um tempo específico de maturação, de
ciclos relacionados ao campo em que se aplica o programa, ou até mesmo de
ações externas ao programa, quando se trata da aplicação dos respectivos
resultados. Há que saber o momento em que é possível medir cada um desses
elementos.
23
4.2.4 Os avaliadores e sua situação frente ao programa
• avaliação interna - quando se realiza pelos próprios gestores e/ou

executores;
• avaliação externa - quando é realizada por atores que não são

vinculados à gestão e execução do programa, projeto, etc.;
A avaliação externa é considerada, quase sempre, como aquela que garante –

na medida do possível – isenção e contribui de forma importante para a
confiabilidade do trabalho.
A avaliação interna é um dos instrumentos da gestão estratégica, mas não é

suficiente para a análise de uma política, programa ou instituição. Caso seja
previsto algum procedimento de avaliação interna, os respectivos resultados
devem ser colocados à disposição dos avaliadores externos.
Independente disso, quando se faz uma avaliação externa, é importante que

haja interação com os atores internos, tanto para viabilizar os dados e
informações como para considerar as opiniões, observações e análises que
esses atores derivam de sua experiência prática no processo de gestão.
Os avaliadores externos devem considerar os demais instrumentos de

acompanhamento e avaliação já previstos ou realizados, de modo a verificar a
qualidade da informação gerada por meio desses instrumentos, inclusive para
sugerir melhorias, se for o caso, bem como para traçar a estratégia da
avaliação que realizam. Portanto, são necessárias reuniões e entrevistas com
os responsáveis pela implementação do programa.
As formas mais adequadas para a participação de outros atores – se painéis,

entrevistas, questionários, observação in loco, etc., devem ser definidas
quando considerado adequado, seja pelo solicitante, seja pelos avaliadores.
Esta definição deverá considerar a natureza dos programas e as categorias de
atores.
Podem ser destacadas as formas mais freqüentes de avaliação:
24
Quadro 3.3 - Quanto à posição dos avaliadores em relação ao objeto
Av. Av.
externa interna
Projetos x -
Programas x x
Políticas x x
Instituições x x
Quadro 3.4 - Quanto aos avaliadores

Peer Peer Review Painel de Painel Análise por
Review ampliado Especialistas ampliado especialistas
em avaliação
Projetos* x x x x -
Programas x x x x x
Políticas - - x x x
Instituições x x x x x
*A avaliação de projetos pode variar, dependendo do objetivo (ex: avaliação para seleção, por
agências de financiamento; avaliação associada à avaliação institucional), do tamanho do
projeto (há grandes projetos para os quais a avaliação deve ser tratada de forma semelhante à
avaliação de programas).
Assim, o quadro 3.5 apresenta um resumo das abordagens

metodológicas de avaliação, conforme o momento, o foco, a posição do
avaliador e acrescenta algumas ferramentas auxiliares que podem ser
utilizadas e combinadas, nas diversas situações.
25
Quadro 3.5 Metodologias e ferramentas auxiliares à avaliação
Avaliação Projetos Avaliação de qualidade e relevância:
ex-ante Revisão por pares; revisão por pares ampliada – sob a forma de
análise individual, comitês ou painéis; painéis de especialistas; painéis
ampliados;
Programas “Avaliação estratégica”; Technology assessment (no caso de
tecnologias);
Instrumentos auxiliares: Prospectiva; Vigilância; Delphi; análises
sociais e econômicas; estudos de viabilidade técnica e econômica;
painéis com especialistas e atores;
qualidade e relevância:
Revisão por pares; revisão por pares ampliada – sob a forma de
análise individual, comitês ou painéis;; painéis de especialistas;
painéis ampliados;
Políticas : “Avaliação estratégica”; Technology assessment; Instrumentos
auxiliares: Prospectiva; Vigilância; Delphi; análises sociais e
econômicas; painéis com especialistas e atores, etc.
Avaliação de qualidade e relevância:
Revisão por pares; revisão por pares ampliada – sob a forma de
análise individual, comitês ou painéis; painéis de especialistas; painéis
ampliados;
Durante Projetos Avaliação de qualidade e relevância:
a Revisão por pares; revisão por pares ampliada – sob a forma de
implementação análise individual, comitês ou painéis;; painéis de especialistas;
painéis ampliados;
Avaliação da gestão:
Análise de especialistas; análise interna e mista.
Programas Aspectos estratégicos:
e Análise contínua do programa pelos gestores, e por
Políticas especialistas, quando necessário ou previsto no
sistema de acompanhamento, monitorando os
aspectos estratégicos, definidos no projeto;
Avaliação de qualidade e relevância:
Revisão por pares; revisão por pares ampliada – sob
a forma de análise individual, comitês ou painéis;
painéis de especialistas; painéis ampliados;
metas parciais; resultados e impactos intermediários;
formas de participação e outros atributos previstos no
programa;
Avaliação da gestão:
Análise de especialistas; análise interna e mista.
Instrumentos auxiliares de acompanhamento: MS
Project ..... etc
Avaliação Projetos Avaliação de resultados e impactos:
ex-post Revisão por pares; revisão por pares ampliada - sob
painéis de especialistas; painéis ampliados.
impactos econômicos; sociais; ambientais; etc.
Programas Avaliação integral - análise interna e mista.
e Avaliação de resultados e impactos:
Políticas Revisão por pares; revisão por pares ampliada – sob
painéis de especialistas; painéis ampliados;
Instrumentos auxiliares: estudos de caso;
26
4.2.5 A definição de critérios e indicadores de avaliação
Como uma avaliação tem como pré-requisito básico a identificação e

construção de critérios e indicadores adequados ao que se quer avaliar, às
atividades a serem avaliadas, e ao contexto em que se aplica, em caráter
tentativo, o Quadro 3.6 apresenta as possíveis áreas de impacto e categorias
de indicadores que podem ser utilizados para a correspondente avaliação.
A definição de critérios de avaliação científica – seja para seleção de projetos,

para a definição e alocação de recursos - tem sido feita com base no
julgamento pelos pares (peer review) e não se questiona o papel central da
comunidade científica, dos critérios por ela desenvolvidos e dos indicadores
correspondentes. Neste processo, destacam-se os comitês científicos e outras
instâncias de natureza similar, através das quais se expressa a representação
da comunidade científica. Em alguns casos, em tempos mais recentes, esse
sistema tem sido realizado com a contribuição de outros atores sociais
(“modified” ou “extended” peer review) além dos representantes da comunidade
científica, visando incorporar questões de natureza social, ética e outras
relacionadas às formas de pesquisa ou ao uso de seus resultados. Mas esse
ainda não é um tema resolvido.
O debate sobre a necessidade de ampliar a participação nesses processos

avaliativos tem se fortalecido. Muitos elementos novos têm sido considerados,
principalmente no que se refere ao papel social da ciência e, relacionado ao
mesmo, o uso dos resultados das atividades científicas. Nesse sentido, coloca-
se a necessidade de participação de outros atores, além da própria
comunidade científica, nos processos de avaliação da política, instituições ou
atividades científicas.
Além disso, grande parte das preocupações com a avaliação não se refere à
avaliação científica pura, no sentido da pesquisa básica. Um dos maiores
desafios, nesta proposta, é a avaliação como instrumento de política pública
em CT&I e os respectivos impactos no desenvolvimento nacional.
Nesse sentido, o principal foco de avaliação são programas, políticas e

instrumentos – como os Fundos Setoriais. Embora neste universo estejam
27
contidas ações de apoio e promoção da pesquisa básica, em geral, ela está
associada a objetivos e finalidades estratégicas.
Em se tratando de políticas públicas, de programas e projetos de inovação, de

projetos científicos e tecnológicos voltados para temas de interesse direto da
sociedade, destaca-se ainda mais a necessidade de participação dos vários
atores em todo o processo, desde a formulação até a avaliação final desses
instrumentos.
Esse debate está evidentemente relacionado à democratização. Porém, ele é

também estreitamente relacionado à gestão estratégica, na qual a participação
e integração dos atores envolvidos - planejadores, executores, financiadores,
usuários - é considerada uma condição importante para a efetividade das
ações. Há que criar sinergias dessas interações, das redes e sistemas nos
quais se dá a geração de conhecimentos e a inovação.
Outro aspecto importante sobre os avaliadores é que seu papel não se limita a
aplicar critérios e fazer julgamentos, mas também a construir esses critérios e,
dessa forma, contribuem para institucionalizar os padrões e parâmetros aceitos
pelas diversas áreas do conhecimento e campos de atividade, que servirão de
referenciais básicos para o A&A.
De modo especial, no contexto da gestão estratégica, as observações acima

implicam que a construção de critérios e indicadores, e as análises de
resultados e impactos deverão considerar:
• a natureza do objeto a ser avaliado – definida por seu objetivo específico

e elementos de contorno considerados nos documentos básicos
correspondentes às políticas, programas e projetos;
• os objetivos específicos da própria avaliação. Isso depende da(s)

dimensão(ões) que se quer avaliar e dos limites porventura existentes
para a avaliação (financeiros; prazos; informações, etc). A importância
desse aspecto relaciona-se, também, às diferenças de visões e
parâmetros que podem ocorrer entre os avaliadores e as
instituições/programas que demandam ou são objeto da avaliação. Ou
28
seja, os critérios e indicadores deverão ser cotejados com a finalidade e
os objetivos da avaliação.
• questões, características e dinâmicas específicas de cada programa ou

projeto, da área/setor ao qual eles se relacionam de forma mais direta;
• as múltiplas interações entre os diferentes campos de atividade, sendo

necessário analisar os diferentes tipos de produtos e impactos;
• a hierarquia de critérios, conforme a relação direta com o foco dos

programas e projetos. O fato de ser necessário verificar os impactos nos
vários campos interativos da atividade humana não significa considerá-
los forma igual, no contexto de uma avaliação. A significação dos
resultados e impactos diferencia-se de acordo com a natureza, com os
objetivos específicos, com as hierarquias de finalidades do projeto ou
programa que se analisa. Por essa razão, em um processo avaliação é
necessário não apenas estabelecer critérios adequados/não adequados,
mas também atribuir pesos, de acordo com a natureza do instrumento
que se está avaliando;
• os atores e instituições em que se realizam as atividades: impactos nos

grupos de pesquisa (núcleos); nas agências; no sistema de C&T; nos
organismos públicos; nas empresas e outros segmentos da sociedade;
• as relações com o território: impactos em nível local; regional; nacional;

internacional.
QUADRO 3.6 – Categorias de indicadores e áreas de impacto
29
ÁREAS DE INDICADORES PROVÁVEIS AVALIAÇÃO
IMPACTO
Conhecimento Produção científica – Indicadores bibliométricos; Por pares, em comitês ou painéis;

Grau de participação na produção de conhecimento Por pares, ampliada. – em comitês
(Produção de nas áreas e temas correlatos ao objeto da avaliação; ou painéis, com a participação de
conhecimentos especialistas das áreas de
conhecimento e/ou temas
certificados) envolvidos e de representantes de
outros segmentos da sociedade;
Educação Índices de formação; Por pares, em comitês ou painéis;

Pós-graduação (comportamento); Por pares, ampliada. – em comitês
(capacitação de ou painéis, com a participação de
Base de recursos humanos em especialidades
recursos humanos) correlatas ao objeto da avaliação (ex: Índices de especialistas das áreas de
profissionais por hab.). conhecimento e/ou temas
envolvidos e de representantes de
outros segmentos da sociedade;
Economia Novos produtos e processos; Por pares, em comitês ou painéis;
Inovações; Por pares, ampliada. – em comitês
Patentes, licenças, registros; ou painéis, com a participação de
especialistas das áreas de
Absorção/adequação de tecnologias; conhecimento e/ou temas
Geração de riqueza; envolvidos e de representantes de
Vantagem competitiva; outros segmentos da sociedade;
Índices de crescimento; Análises estatísticas.
Aspectos sociais e Índices específicos de cada área, dependendo do Análises estatísticas
programa/projeto/política que está sendo avaliada e Painéis de especialistas com
políticas públicas
dos impactos prováveis no campo social. Por participação ampliada.
exemplo, se é um programa de saúde pública, no
(produção de bens combate a endemias, os indicadores deverão refletir
coletivos – saúde e o comportamento dos grupos alvo com relação às
endemias abordadas, ou a seus impactos (ex:
outros campos de índices de infecção; índices de mortalidade; etc, além
políticas públicas; e de impactos cruzados como, por ex. índices de
desempenho escolar, de nutrição, etc)
produção de
conhecimentos para
a sociedade)
Meio-ambiente Índices de melhoramento/degradação de aspectos Análises estatísticas;

ambientais associados à natureza de atividades do Painéis de especialistas com
que se está avaliando; participação ampliada.
Difusão de Grau de informação da população; Análises estatísticas;
conhecimentos Mudanças comportamentais e culturais; Painéis de especialistas com
Ações de educação científica, ambiental, social, participação ampliada.
(criar ambiente sanitária e outras, dependendo do
programa/projeto/política que está sendo avaliada;
propício à ciência e
Formas de divulgação adequadas ao objeto;
ao processo técnico
Índices de divulgação;
na sociedade em Público alvo da divulgação – e quantitativos;
geral) Publicações de difusão (jornalismo científico,
ambiental, etc)
30
4.2.6 Os indicadores
Indicadores são índices construídos a partir de relações e ponderações

referentes às características, aos insumos, resultados e impactos das
atividades de programas, projetos, instituições, grupos ou indivíduos. São
instrumentos utilizados para avaliar esses sujeitos em suas áreas respectivas
quanto a desempenho e outros aspectos.
Nesse sentido, no âmbito do A&A em C&T, podem ser distinguidos

indicadores de entrada (inputs, insumos) – que servem para subsidiar a
avaliação inicial sobre as condições e fatores reconhecidos como essenciais
para a implementação de um programa ou de um projeto. Expressam a base
para a elaboração de propostas, para a organização das atividades e, muitas
vezes, para a seleção de projetos.
Os indicadores de saída (outputs) demonstram os resultados e os impactos de

um programa, projeto ou instituição. Permitem a verificação dos avanços e
contribuições geradas, desde que se conheça a base inicial referente ao tema
tratado, sendo muito importante que existam também metas fixadas.
São instrumentos que permitem demonstrar o nível de realização dos objetivos

(indicadores de desempenho ou de resultados) e os conseqüentes impactos
(indicadores de impacto) de um programa, projeto ou atividade, cotejando-se com os
objetivos e as metas previstas. Uma escolha de indicadores independente desses
elementos pode levar a um "retrato" das atividades, ou até mesmo a uma relação dos
resultados, mas não permitirão uma avaliação relacionada às expectativas e ao
desempenho.
Para que o indicador seja útil e adequadamente utilizado como instrumento de

avaliação, ele deve ser comparável em várias dimensões: com relação à base
inicial, com as metas estabelecidas no âmbito do projeto ou programa, com os
parâmetros aceitos como adequados para o fato que se analisa. Assim, uma
determinada relação de trabalhos produzidos/pesquisador/ano somente pode
ser interpretada como um resultado bom ou ruim, quando comparado com as
metas ou com parâmetros da área à qual se refere. Essa medida, combinada
com outros indicadores, é que possibilitará fazer uma avaliação do
desempenho.
31
Os indicadores de impacto são particularmente complexos e, com muita
freqüência, compõem-se com outras variáveis externas ao programa ou
projeto. Para uma verificação adequada do impacto de um programa, projeto
ou atividade em C&T, é conveniente destacar pelo menos três níveis
diferenciados de impacto:
• os impactos em nível das instituições, grupos ou áreas executoras das

atividades;
• os impactos intermediários, no sistema de C&T;
• os impactos últimos, de ordem mais geral na sociedade

(competitividade, por exemplo). Esses apresentam uma grande
complexidade e dificuldade para uma avaliação adequada, já que a
contribuição da C&T se associa com múltiplos fatores de múltiplas
naturezas.
4.2.7 Análise da avaliação dos impactos
A avaliação de impactos deve partir de algumas premissas:
1) Os impactos de uma ação não podem ser avaliados sem

conhecer os seus resultados. Isso porque a maior parte dos
impactos é decorrente da utilização dos resultados. Portanto, não
se pode falar apenas de “avaliação de impactos” sem avaliação
dos resultados.
2) As atividades de pesquisa e inovação são atividades socialmente

construídas, e estão inseridas em contextos sociais, políticos e
econômicos específicos e diferenciados.
3) Impactos podem ser positivos (esperados e não esperados) e

negativos. Os impactos esperados, em geral, são positivos. Mas
nas complexas interações com a realidade social, podem
aparecer impactos positivos e negativos não esperados. Estes
podem ter origem na ausência de uma análise prévia de riscos,
32
na ocorrência de fatos não previstos e/ou não previsíveis, assim
como no uso inadequado dos conhecimentos, processos e
produtos.
4) A inexistência ou insuficiência de impactos positivos esperados

não significa, necessariamente, falha de um projeto. A efetividade
de um projeto, no que se refere aos impactos esperados, não
depende exclusivamente dos resultados alcançados.
Os impactos mais amplos dependem, em grande parte, da utilização dos

resultados e muitos fatores podem levar a que esses não sejam utilizados ou
sejam utilizados inadequadamente (a bomba atômica foi um grande êxito do
ponto de vista do projeto científico/tecnológico).
Portanto, em cada caso, em uma avaliação, há que buscar compreender os

fatores associados ao processo de utilização, de transferência dos
conhecimentos e tecnologias que, eventualmente, tenham representado
entrave ao uso do conhecimento, do processo ou do produto.
E para compreender os processos que levam aos impactos, negativos ou

positivos, esperados ou não, é necessário compreender todo o processo –
desde a geração do programa, passando pela execução, acompanhamento e
avaliação, o contexto e fatores intervenientes.
Para analisar o impacto da pesquisa, do desenvolvimento tecnológico e da

inovação, em qualquer área do conhecimento, é necessário compreender as
formas pelas quais essas atividades e seus resultados podem afetar a
sociedade.
É importante conhecer “como as capacidades e os conhecimentos são

gerados, adquiridos e aplicados pelos indivíduos, grupos e organizações”
(Molas, 172).
Esses impactos podem ocorrer em, pelo menos, cinco grandes campos da
atividade humana: científica, educacional/formativa, econômica, social/políticas
públicas, e difusão/popularização (Callon e outros, 2001, p... e Pallotin, G. ).
Evidentemente, dependendo do foco do projeto ou programa, os impactos são
mais concentrados ou mais importantes em alguns desses campos.
33
Embora se possa discutir essa proposta e encontrar várias outras divisões,
acreditamos que essa agregação abarca os principais aspectos sob os quais
podem se manifestar os impactos da ciência, da tecnologia e da inovação.
Apenas propomos acrescentar o campo ambiental, dada sua importância para
a sustentabilidade das sociedades no mundo atual.
4.2.8 A adequação e confiabilidade das informações
Dispor de informações adequadas e de qualidade é condição sine qua non

para que uma avaliação seja confiável. Para isso, é necessário ter muito claro
que informação é essencial, quais as fontes relevantes, quem a coleta,
processa e sistematiza. As informações devem:
Æ refletir os objetivos do programa e dos projetos;
Æ ser adequadas aos critérios estabelecidos para a avaliação;
Æ ser coletadas de forma que permita avaliar os avanços com relação

ao baseline, bem como as dificuldades, obstáculos, novas
necessidades, fatores novos, surpresas, etc.
Entre as principais ações que permitem garantir essa qualidade da informação,

podemos destacar:
• os objetivos, metas e critérios devem ser claramente definidos,

tanto os que se referem ao objeto da avaliação quanto aos seus
objetivos propriamente ditos;
• o documento básico de um programa deve conter informações

que reflitam a base inicial - o ponto de partida, sobre o qual será
feita parte da avaliação, no que se refere aos resultados
esperados posterior;
• estabelecer os instrumentos de acompanhamento (relatórios,

visitas, periodicidade, etc), construindo-os de forma a atender às
necessidades de informação;
34
• definir as formas de armazenamento, coleta e tratamento das
informações;
• definir as responsabilidades dos diversos atores no que se refere

à informação e seu tratamento;
• estabelecer um trabalho contínuo de sistematização das

informações, conforme os critérios e indicadores definidos, com
base nos documentos dos programas e projetos, assim como dos
processos de acompanhamento.
• Nos momentos atuais, indica-se a adoção de sistemas

informatizados que facilitem a comunicação e fornecimento de
dados, bem como a sistematização nos casos de dados
quantitativos.
Quando se projeta uma avaliação, um dos primeiros passos, após a definição

dos objetivos e dos critérios, é verificar a informação disponível. Caso haja
problemas nessa linha, torna-se imprescindível uma ação conjunta entre a
equipe de avaliação e os gestores do programa ou projeto no sentido de suprir
as deficiências, construir as informações, se possível, ou até mesmo reavaliar
as possibilidades e limites da avaliação de resultados e impactos.
No caso da avaliação de impactos, em geral, são necessárias informações que

não estão disponíveis nas bases dos programas ou projetos. Nesse caso, a
busca de informações deve ser realizada de acordo com as especificidades do
programa e com os impactos esperados. Podem ser úteis estatísticas
disponíveis em diversos organismos públicos e privados. Mas também pode
ser necessária uma pesquisa direta nos setores, segmentos ou comunidades
potencialmente afetadas pelos resultados do programa e dos projetos em
análise. Essa definição é parte da tarefa dos avaliadores no momento da
construção do projeto de avaliação.
4.2.9 Análise qualitativa
Para Roessner (2000:125 e 131))
“...a escolha de medidas ou métodos quantitativos versus

qualitativos na avaliação de programas de pesquisa,
35
assim como na avaliação de outros tipos de programa, é
uma falsa escolha....Muitas vezes é mais fácil desenvolver
‘indicadores’ quantitativos de desempenho do que
analisar o que o programa deve realizar”.
A análise qualitativa é imprescindível na avaliação de programas e projetos de

C&T, possibilitando considerar tanto fatores intrínsecos à natureza e grau de
avanço do conhecimento em cada área, em contextos específicos, quanto
fatores externos ao campo de C&T ou às instituições de P&D que contribuem
fortemente para o desempenho – seja em termos quantitativos, de
produtividade, ou de qualidade - dos grupos e instituições.
Dessa forma, além de dados estatísticos e indicadores quantitativos, os

programas devem contar com algum tipo de avaliação qualitativa, realizada por
especialistas e outros atores das áreas ou campos aos quais se relacionam os
programas, seus projetos e atividades.
Sem dúvida, esse é um processo com alto grau de subjetividade, razão pela
qual as normas e critérios para sua realização no quadro de um programa
devem ser definidos de forma mais clara e precisa possível, possibilitando a
indicação de referências que reflitam os parâmetros e os procedimentos
considerados adequados.
Isso se ressalta pela premissa, acima indicada, de que a atividade de pesquisa

e inovação são também atividades socialmente construídas, que estão
inseridas em contextos sociais, políticos e econômicos específicos e
diferenciados. Esse contexto, bem como as condições nas quais se realizam as
pesquisas, pode interferir de modo importante nos resultados. Por outro lado,
também devido às diferenças contextuais, conjunturais ou estruturais, um
determinado resultado pode adquirir significação maior ou menor se tivesse
ocorrido em outras condições ou momentos. Por sua vez, as condições
“estruturais”, mais impregnadas, complexas e que demandam processos mais
lentos para transformação dos distintos contextos devem ser levadas em conta
na avaliação.
36
4.2.10 O cronograma
As limitações de tempo devem ser consideradas na determinação do tipo e

amplitude da avaliação. Muitas vezes as avaliações se tornam demasiado
longas e seus resultados se produzem após o tempo adequado para as
intervenções que poderiam garantir a utilidade da avaliação.
Os prazos estabelecidos para uma avaliação variam de acordo com a

finalidade e abrangência da avaliação. No entanto, em se tratando de
demandas, pode ocorrer que os prazos determinem a natureza e a dimensão
da avaliação. Ou seja, conforme o prazo estabelecido, os especialistas poderão
indicar se é possível ou não se realizar a avaliação; ou que aspectos poderão
ser analisados naquele prazo, sempre considerando os parâmetros acordados
para o que se considera um bom trabalho de avaliação (com credibilidade,
pertinência, fundamentação e utilidade).
Associado ao cronograma, está o detalhamento das atividades. Quanto mais

bem detalhadas sejam as atividades, tanto aquelas relacionadas à metodologia
quanto à coordenação e gerenciamento do trabalho, menores serão os riscos
de fatores intervenientes não esperados, e maiores serão as chances de êxito.
37
5 Método de avaliação de resultados e impacto dos Fundos
Setoriais
A política de Fundos Setoriais inaugura um novo modelo de financiamento da

CT&I no país, envolvendo recursos obtidos através de contribuições que incidem
diretamente sobre o faturamento de empresas de determinados setores e sobre o
resultado da exploração de recursos naturais da União. Tais recursos são
transferidos para o Fundo Nacional de Desenvolvimento Científico e Tecnológico
(FNDCT), administrados pela FINEP, e devem ser aplicados em projetos que
estimulem a cadeia produtiva de conhecimento no setor de origem dos recursos
ou naqueles assinalados como estratégicos ao país. Não obstante a explícita
priorização ao fomento da cadeia de conhecimento setorial, até 2005, quando
regulamentada a Lei de Inovação, os investimentos públicos em pesquisa e
desenvolvimento tecnológico eram quase que exclusivamente alocados à
universidades e centros de pesquisa, restrição que por si só inibiu maior inserção
do setor produtivo.
Contradições à parte, o foco central do novo modelo de financiamento à CT&I

incide no estímulo ao maior comprometimento dos empresários tanto na
formulação da agenda de pesquisas, nas decisões de aplicação dos recursos,
como também na própria execução dos desenvolvimentos científicos e
tecnológicos financiados por intermédio dos fundos setoriais. Para exercer o papel
de destaque que a política de Fundos Setoriais lhe reservou, o setor empresarial
ganhou representação nos comitês gestores de cada um dos fundos criados. Por
conta desse estímulo é esperado maior alinhamento da pesquisa acadêmica com
as demandas tecnológicas expressadas pelas empresas. Esse alinhamento é
ainda reforçado pelas diretrizes que estruturam a ação dos fundos setoriais que
determinam que projetos na modalidade "projeto cooperativo", em que uma ou
mais empresas são clientes e co-financiadoras do conhecimento gerado em
ambiente acadêmico, tenham prioridade de financiamento.
Na expectativa de um maior envolvimento empresarial, a política de Fundos

Setoriais instituída adotou estratégia de ação mais indutiva e menos pautada na
demanda espontânea da comunidade científica, o que por si só lhe emprestou
aspecto diferencial das políticas implementadas até então e do modelo tradicional
de financiamento à P&D adotado pelas agências de fomento.
Por seu turno, ao incorporar a empresa no sistema de CT&I e elegê-la foco da

demanda tecnológica, a política de Fundos também pretendeu estimular a
construção de ambiente favorável para parcerias entre governo, instituições de
pesquisa e empresas, inspirando-se no sucesso de experiências congêneres
conduzidas em países centrais. Nesse contexto, não seria arriscado sustentar que
o novo modelo contempla uma visão mais interativa do processo de inovação em
que as empresas participam mais ativamente do desenvolvimento da pesquisa
científica e tecnológica.
A partir de 1999, quando se deram os primeiros financiamentos por intermédio de

um fundo setorial, a nova política foi se estruturando e ampliando seu raio de
atuação à medida em que novos fundos foram sendo criados, até alcançarem,
atualmente, o número de dezesseis. Embora denominados setoriais, dois deles
são tipicamente horizontais: o CTInfra, que não prevê a participação de empresas
e aplica seus recursos por meio de projetos na modalidade "projeto isolado",
afastando-se, portanto, das diretrizes anteriormente apresentadas; e o Fundo
Verde-Amarelo que, apesar de operar na modalidade "cooperativo", não dispõe
de um setor preferencial de aplicação dos recursos. Este ultimo constitui, por si
só, um sistema de fomento à parte, com mecanismos de financiamento
singulares, dando escoamento a demandas de natureza variada.
A parte as leis que os instituíram e os decretos que os regulamentaram, o grau de

institucionalização de cada um dos dezesseis Fundos Setoriais existentes é
bastante variável. Influenciam essa variabilidade os processos históricos que
conformaram cada setor contemplado, bem como os arranjos institucionais já
estabelecidos setorialmente. Por outro lado, mesmo tomando-se o Fundo do
Petróleo e Gás (CT-Petro) como precursor e norteador da concepção e modus
operandi dos fundos, existem lacunas ainda por serem preenchidas para a
institucionalização de vários deles. Registre-se aqui a falta de documentos de
diretrizes e planos plurianuais de aplicação dos recursos o que, dentre outros
aspectos, acarreta sérias dificuldades no processo avaliativo dos respectivos
fundos uma vez que não se tem parâmetros para confrontar o executado. Nesse
39
particular, o Relatório Final dos Estudos de Aderência contratados pelo CGEE
sustenta que a Política de Fundos Setoriais ainda é incompleta. Falta-lhe um
acabamento institucional.
Além dos problemas de institucionalização específicos, os Fundos apresentam

dificuldades importantes de achar um foco de atuação definido. Embora os
Fundos surgiram com uma missão específica de fomentar a atividade inovativa do
setor produtivo nacional em setores estratégicos, esses Fundos foram sofrendo
uma acomodação de funções para preencher carências de recursos existentes
nos mecanismos habituais de fomento e para novas funções da política de C&T
nacional. Por essa razão, a participação de empresas nos fundos setoriais nem
sempre se fez presente. Alguns deles, entre os quais, o mais importante, o
CTInfra, destinaram os seus recursos quase exclusivamente para projetos
isolados (não cooperativos). Os Fundos, a partir de 2002, passaram a sofrer o
impacto das ações transversais, que adicionaram uma nova dimensão à alocação
de recursos.
Passados oito anos da instituição do primeiro fundo setorial mostra-se necessário

e oportuno sistematizar procedimentos para avaliar como a Política de Fundos
Setoriais vem afetando a sociedade brasileira, seja no ambiente empresarial de
cada segmento econômico que em última análise a financia, seja no campo das
instituições acadêmicas e de pesquisa em que cada fundo setorial se insere, ou
ainda, sob uma ótica macro e desafiadora, avaliar os desdobramentos dessa
política na CT&I nacional.
A avaliação pressupõe que se olhe primeiramente para os objetivos de uma

política ou intervenção específica em matéria de C&T. No caso dos Fundos
Setoriais, os objetivos são bastante variados, mas o que se destaca mais talvez
seja o da relação universidade-empresa, e dentro dela a transferência de
tecnologia. Enfocar esse objetivo permite delimitar melhor o campo de análise
para o qual deve se orientar a inovação, porém esse campo não pode de forma
alguma se restringir apenas aos objetivos do programa. Uma abordagem
sistêmica é muito mais relevante na medida em que possibilita que se entenda
melhor como ocorrem as interações entre insumos e produtos dentro de uma
política.
40
Cada ambiente, segmento ou campo mencionado acima, na verdade atores que
interagem no sistema de fundos setoriais e nos sistemas de inovação em geral,
constitui um nível distinto em que ocorre o processo de inovação e, por
conseguinte, cada qual conforma um nível de análise distinto. Nesse particular, os
projetos apoiados pelos fundos até 2005 foram formulados e executados
predominantemente em ambiente acadêmico, devido, principalmente, às
restrições legais impostas ao financiamento não reembolsável às empresas e à
exigência no editais de projetos cooperativos de contrapartida financeira por parte
das empresas. Assim é que apesar das estratégias da Política de Fundos
Setoriais enfatizar a demanda tecnológica empresarial pode-se afirmar que até
2005 ainda imperou o modelo linear de inovação, que pressupõe a academia
como responsável pela geração de conhecimentos tecnológicos a serem
oportunamente utilizados pelas empresas na atividade produtiva. Segundo esse
modelo, os desdobramentos dos projetos financiados constituem essencialmente
resultados intermediários do processo de inovação, tais como a produção
científica e tecnológica, e a formação de recursos humanos, e, também, os
esforços preliminares com vistas à transferência de tecnologia.
As empresas, como discutido no parágrafo anterior, formam um segundo nível de

análise de resultados a ser trabalhado, avaliando-se, fundamentalmente, se os
projetos financiados pelos fundos setoriais que contaram com participação de
empresas se preocuparam, e proporcionaram, transferência de conhecimento a
essas e, se a transferência foi feita, como se deu a aplicação desse conhecimento
na atividade produtiva. Nesse nível de análise busca-se avaliar a efetividade das
estratégias introduzidas pela nova política de financiamento e se essa vem
promovendo relações de cooperação em CT&I entre os segmentos empresarial
e acadêmico, aspectos dos mais destacados pela Política de Fundos Setoriais.
O presente Termo de Referência vem balizar e estruturar o desenvolvimento

metodológico de futura pesquisa que investigará as questões até aqui
apresentadas e problematizadas no contexto da Política de Fundos Setoriais,
questões essas centrais à avaliação de programas tecnológicos e que são
destacadas a seguir :
41
1. Quais os resultados dos projetos de P&D apoiados?
2. Quais impactos econômicos observados no setor empresarial?
Em paralelo as duas questões de ordem geral acima apresentadas, outras mais

específicas serão também investigadas para se obter informações sobre a
eficácia dos diferentes instrumentos utilizados na implementação da Política em
pauta. Dentre elas podem ser destacadas as seguintes:
3. A Política de Fundos Setoriais tem resultado em maior interação entre

instituições acadêmicas e empresas para a promoção de inovações?
4. A Política de Fundos Setoriais tem concorrido para a mudança de postura

da academia em relação às empresas?
5. A Política de Fundos Setoriais tem favorecido a capacitação científica e

tecnológica de regiões menos desenvolvidas do país?
6. As ações na modalidade ‘encomenda’ têm atendido seus demandantes?
7. As ações transversais têm aumentado a convergência entre a Política de

Fundos Setoriais e a Política Industrial, Tecnológica e de Comércio
Exterior?
As metodologias de avaliação que podem ser empregadas para responder as

questões formuladas são várias, muitas vezes elucidando aspectos específicos da
relação que se estabelece entre ciência, tecnologia, inovação e sociedade. No
entanto, as metodologias de avaliação de programas de P&D concentram-se,
sobretudo, nas avaliações de impacto econômico, para o que a corrente
neoclássica é praticamente hegemônica. Essa corrente produziu diversas
abordagens, algumas delas apoiadas na função de produção e outras com
enfoque micro-econômico centrado no estudo do impacto de tecnologias.
Entretanto, mais recentemente, tem ganhado destaque a abordagem contrafatual,
que busca analisar a adicionalidade do gasto público em matéria de P&D.
De um modo geral, as grandes vantagens da abordagem neoclássica consistem

em sua coerência teórica e na grande tradição de estudos. Por outro lado, sua
fragilidade reside na excessiva simplificação de hipóteses, que pouco contribuem
para desvendar a natureza do processo de inovação. No caso específico do
42
Brasil, a avaliação de impactos econômicos da P&D tem sido aplicada, sobretudo,
na área agrícola, estimando-se impactos agregados e realizando-se avaliações de
tecnologias que utilizam o método do excedente econômico. De todo o modo, são
poucas as avaliações de impacto econômico que fogem ao molde neoclássico,
merecendo ser destacada dentre essas a proposta estruturada pelo BETA para
quantificar os impactos econômicos resultantes da aprendizagem.
Os fundos setoriais são políticas dirigidas para determinadas áreas tecnológicas.

São intervenções simultaneamente verticais e horizontais. Entende-se como
vertical as políticas voltadas para o desenvolvimento de sistemas tecnológicos
definidos e políticas horizontais aquelas dirigidas a promover ações que atuam
indistintamente entre setores. Os Fundos guardam características setoriais,
porque possuem prioridades tecnológicas que os tornam verticais, porém seus
instrumentos são de natureza horizontal. Eles se apóiam no princípio da indução,
no qual não se propõe desenvolver um sistema ou produto definido. Os recursos
são alocados por meio de Editais em que concorrem instituições de P&D
(Instituições de Ensino Superior ou Centros de Pesquisa), em cooperação ou não
com empresas, as quais, em algumas modalidades de apoio, definem os temas
dos projetos de pesquisa. Os recursos dos fundos são alocados em complemento
ao das empresas. São intervenções denominadas por essa razão intermediárias,
entre a vertical e a horizontal. Nesse contexto, cabem metodologias que busquem
analisar o processo de transferência de tecnologia entre Universidade e Empresa.
No entanto, dentro dos Fundos nem todos tem as características mencionadas

acima. Alguns possuem uma orientação nitidamente horizontal com é caso dos
Fundo Verde-Amarelo e de Infra-Estrutura. Os Fundos englobam uma grande
variedade de instrumentos de intervenção que vão desde Editais, a encomendas
e ações transversais, estas últimas chegam a extrapolar os moldes setoriais do
Fundo. Em cada uma dessas intervenções existem arranjos institucionais
distintos. Por essa razão deve-se lançar mão de abordagens distintas e de
metodologias diferenciadas que busquem captar a pluralidade de objetivos e
divisão de tarefas entre os principais atores. A avaliação dos Fundos não deve se
restringir apenas relação entre universidade-empresa. Ela deve abarcar outras
dimensões mais específicas da pesquisa da pesquisa acadêmica.
43
5.1 Linhas básicas do método de avaliação de resultados
A metodologia a ser utilizada para a consecução da presente proposta de

avaliação ainda não está totalmente definida, nem estão disponíveis na literatura
experiências que dêem conta de todos os seus aspectos, de modo que se
procederá por aproximações sucessivas aos objetivos traçados. Entende-se que
tal definição ainda dependerá de um processo de refinamento, que passará pela
confrontação de cada um dos fundos a serem investigados com a proposta
metodológica que está sendo estruturada neste texto e que importância deverá
ser dedicada aos atores considerados relevantes de cada fundo setorial, visto que
exercerão papel central na adequação da abordagem da proposta.
A metodologia que está sendo preliminarmente apresentada tem por objetivo

apenas ilustrar um dos possíveis caminhos a serem adotados na avaliação dos
fundos setoriais, e destina-se principalmente para aquelas ações que prevêem
projetos cooperativos entre universidade e empresa, a qual deverá se apoiar em
duas principais vertentes. A primeira, que envolverá os resultados intermediários
ocorridos no âmbito das instituições de pesquisa sem fins lucrativos, responsáveis
pela execução dos projetos de pesquisa, e a segunda que tratará da avaliação
dos impactos que se concretizam no âmbito empresarial. De todo o modo, as
duas vertentes estão intimamente associadas, tanto pelo aspecto da
complementaridade entre os atores institucionais envolvidos nessa política como
pelo fato que a segunda não passa de um aprofundamento de informações
obtidas na primeira.
O passo inicial do esforço avaliativo consistirá na definição do seu objeto. Embora

esta proposta se dirija aos dezesseis fundos setoriais existentes, o objeto
específico a ser avaliado será definido considerando-se a tipologia desenvolvida
para os fundos setoriais por Pereira (2005)11 e seus respectivos períodos de
instituição, o que oferecerá também uma visão agregada temporal da
implementação da nova Política . Para cada fundo, ou grupo de fundos, serão
11
Pereira, Newton M. Fundos Setoriais: Avaliação das Estratégias de Implementação e
Gestão, Textos Para Discussão, n.1136, IPEA, Brasília, Novembro de 2005.
44
investigadas ações de fomento à P&D lançadas por intermédio de editais,
chamadas públicas, encomendas e, na medida do possível, também as ações
transversais, procurando-se focar naquelas mais representativas do campo de
atuação do respectivo fundo. Para tanto, e não se dispõe de outras maneiras de
centrar esse foco, torna-se indispensável o conhecimento prévio dos fundos no
que respeita à história, aos objetivos, aos resultados, às ações e mesmo o grau
de aderência às estratégias maiores da Política de Fundos Setoriais e outras
destacadas pelo governo.
Mesmo considerando-se a existência de um hiato temporal entre a geração de

conhecimento e a sua aplicação em atividades produtivas, o que confere graus de
incerteza à avaliação, a abordagem metodológica apresentada, e que se propõe
venha a ser adotada, se situa no âmbito das avaliações ex-post, que buscam
estimar resultados e impactos já ocorridos em decorrência de uma intervenção
pública em ciência e tecnologia.
A avaliação de resultados pode se apoiar em metodologia anteriormente

desenvolvida no Departamento de Política Científica e Tecnológica para ser
aplicada em dois importantes programas: o PADCT III e o PROSAB.12 Desses, o
primeiro foi orientado, sobretudo, para fomentar a relação universidade-empresa,
o que lhe confere certa primazia no país quanto à promoção de arranjos
institucionais atualmente considerados virtuosos para a inovação.
Aplicando-se a metodologia desenvolvida no DPCT ao caso específico dos fundos

setoriais, propõe-se que seja inicialmente escolhida uma amostra de projetos
representativa de seu todo. Nessa amostra então será levantado um conjunto de
indicadores dos esforços realizados (financeiros e humanos alocados aos
projetos) e dos diferentes tipos de resultados que podem derivar do fomento da
CT&I praticado pelos fundos setoriais. Não obstante serem as patentes e a
12
Furtado, André T. Hasegawa, M. e Freitas, A. G. “Avaliação do Subcomponente Projetos
Cooperativos Regionais e Setoriais (PCRS) do Programa de Apoio ao Desenvolvimento Científico
e Tecnológico – PADCT III”. In Anais do XXII Simpósio de Gestão da Inovação Tecnológica,
NPGT-USP, 17 p., Cdrom, 2003; Furtado, André T, e Miglino, M. A. “Avaliação de Resultados do
Prosab”. In Anais do XI Seminário de Gestión Tecnológica – ALTEC 2005, , NPGT-USP, 17 p.,
Cdrom, 2005.
45
transferência formal de tecnologia os fatores por meio dos quais os resultados
finais do processo de inovação são geralmente avaliados, na verdade constituem
tão somente uma das possibilidades pelas quais o conhecimento gerado em
ambiente acadêmico se traduz em impacto econômico. Diferentemente, os
indicadores propostos para a avaliação que se pretende sistematizar no presente
texto buscam captar um conjunto mais abrangente e complexo de informações
sobre os projetos e sobre os seus desdobramentos, seus resultados. Nem por
isso esta proposta metodológica não prevê que, eventualmente, a avaliação de
resultados possa envolver também as empresas, sobretudo quando essas
tenham se engajado diretamente na execução de projetos. Nesse caso
específico, a percepção das empresas sobre o desenvolvimento científico e
tecnológico decorrente da Política de Fundos Setoriais pode constituir importante
complemento da percepção das instituições acadêmicas, e mesmo indispensável
quando a questão é apreciar o processo de transferência de tecnologia.
Assim, tendo por estratégia a adoção de um enfoque amplo, capaz de captar as

múltiplas dimensões do processo de inovação pertinentes ao projeto e seus
participantes, foram selecionados os indicadores dispostos no Quadro a seguir.
46
Variáveis Indicadores
Área de conhecimento do Recursos financeiros

Caracterização dos
projeto por projeto
Projetos Localização na região do Recursos humanos por
país projeto
Recursos humanos
alocados ao projeto
Recursos financeiros
aplicados no projeto
Grau de Consecução Média do Grau de
Objetivos do Projeto
• Grau Contribuição do Consecução dos
programa objetivos dos projetos
• 0 = nenhum (A);
• 1 = pouco; Média do Grau de
• 2 = médio; Contribuição do
• 3 = significativo ; Programa (B);
• 4 = total Produto de A x B
medindo o grau de
contribuição efetivo do
Programa à
consecução dos
objetivos.
Positivos Média das respostas
Fatores de Sucesso
Negativos por ordem ascendente
• Classificação por ordem
de importância
Recursos do programa Contrapartida(s) da(s)
Situação Financeira
contratados e empresas/Desembolso
desembolsados (até o do programa
momento da avaliação); Recursos
Contrapartida(s) da(s) desembolsados
empresas (até o momento /Recursos contratados
da avaliação)
47
Novos produtos, Numero total de novos
Impactos
processos e serviços produtos, processos e
Tecnológicos gerados pelo projeto; serviços
Grau de Contribuição do Média do Grau de
Diretos e Indiretos
programa por novo contribuição por tipo de
produto, processo ou invenção (produtos,
serviço; processo e serviços)
Soma de Novos
Produtos, Processos e
erviços x Média do
Grau de Contribuição
Número de artigos em Número total de
Resultados
periódicos, anais e resultados por tipo de
Científicos resumos por local de publicação x média do
publicação (país e Coeficiente de
exterior) Contribuição do
Coeficiente de programa
Contribuição do programa
por publicação;
Titulações obtidas por Titulações obtidas por
Formação de
nível (pós-doutorado, nível x Média do Grau
Capital Humano doutorado, mestrado, de Contribuição médio
graduação) do programa por nível;
Treinamento realizado por Treinamento realizado
nível qualificação do por nível de
trabalhador qualificação do
(cientista/engenheiro ou trabalhador x Média do
técnico) Grau de Contribuição
Número de pessoas médio do programa por
incorporadas por nível nível;
(doutorado, mestrado, Número de pessoas
graduação, técnico) incorporadas por nível x
Grau de Contribuição do Média do Grau de
programa Contribuição do
programa por nível.
Número de projetos que Número de ampliações
Formação de Infra-
introduziram de infra-estrutura x
estrutura de C&T melhoramentos e Média do Grau de
ampliações de infra- Contribuição do
estrutura programa.
Número de projetos que
criaram nova unidade
Grau de Contribuição do
programa.
48
Variáveis Indicadores
Número de iniciativas de N° de
Transferência de
transferência de iniciativas/Projetos
Tecnologia tecnologia N de iniciativas x Grau
Estágio alcançado pela de Contribuição do
transferência de programa * Estágio da
tecnologia transferência de
Grau de Contribuição do tecnologia
programa
Fonte: adaptado de Furtado, A. et al. (2002)
Em que pese o grau de sistematização necessário, toda metodologia requer certa

adaptação para se adequar ao seu objeto de estudo, não sendo diferente com os
fundos setoriais e suas respectivas ações de fomento, sejam elas editais ou
outras modalidades. Uma das adaptações será a indispensável participação dos
representantes nos comitês gestores, que serão chamados a contribuir na
definição e detalhamento do que deve ser avaliado em cada um dos fundos
setoriais. Estima-se que uma certa aproximação com os atores relevantes da
Política de Fundos será determinante no delineamento das questões a serem
abordadas, assim como para a observação de variáveis e a construção de
indicadores que possam captar os esforços despendidos e os resultados de cada
intervenção.
As informações necessárias ao desenvolvimento da avaliação em pauta pretende-

se buscar no Sistema de Informações Geo-referenciadas dos Fundos Setoriais
(SIG-FS), atualmente em estruturação e por meio da aplicação de questionário a
gestores da amostra de fundos, editais e projetos selecionados a cada etapa de
desenvolvimento da avaliação. Aos questionários respondidos, que se espera
sejam o mais amplos possível, será aplicado teste de consistência para verificar a
aderência à ação investigada, ao conjunto de respondentes e, por conseguinte,
quão representativo são. Os representativos, alimentados ao SIG-FS, participarão
da construção de indicadores. A análise quantitativa e descritiva permitirá
transmitir uma visão integrada da intervenção pública que se busca avaliar.
49
5.2 Exemplo de metodologia de avaliação de impacto dos Funsdos
Setoriais
A avaliação de impactos pode ser considerada a continuidade e o

aprofundamento lógico da avaliação de resultados até então descrita. Enquanto a
avaliação de resultados procura identificar casos em que ocorreram transferência
de tecnologia das universidades e centros de pesquisa para empresas, a
mensuração e avaliação de impactos econômicos procura estimar, em amostra
representativa de casos em que ocorreu essa transferência, os respectivos
ganhos econômicos. Entre as metodologias existentes para a avaliação do
impacto econômico pode-se destacar, como referência para a pesquisa, a
desenvolvida pelo Bureau d’Economie Théorique et Apliquée- BETA, de
Estrasburgo, França, de conhecimento e já testada por equipe do Departamento
de Política Científica e Tecnológica da Unicamp. Uma vez para avaliar os
impactos econômicos do Programa de Águas Profundas da Petrobras, o
PROCAP 1000, e outra para avaliar esse impacto no China–Brasil Earth
Resources Satellite, Programa CBERS, ambos com resultados satisfatórios.
Feita a devida contextualização da avaliação de impacto, subseqüente a de

resultados, não parece de todo ocioso discorrer sobre os fundamentos e
conceitos que a metodologia BETA utiliza. A começar que foi desenvolvida para
captar o conjunto de desdobramentos advindos da execução de
projetos/programas de P&D, e que se baseia na mensuração dos impactos diretos
e indiretos de uma amostra de projetos de um programa tecnológico, impactos
esses descritos a seguir.
¾ Impactos Diretos
Relacionados apenas aos objetivos iniciais de um projeto/programa. Decorrem da

aplicação em escala comercial do novo conhecimento gerado, explicitamente
incluído em suas metas.
50
¾ Impactos Indiretos
Definidos de uma forma mais ampla que os diretos, englobam todo tipo de
resultado não previsto nos objetivos explícitos do projeto/programa. Utilizam o
conceito de spin off . Merecem atenção:
¾ Impactos tecnológicos
Dizem respeito à transferência de tecnologia oriunda das atividades de um

projeto/programa para outras atividades por meio de:
- novos produtos
- novos processos
- serviços tecnológicos
- patentes, quando se tratar de invenções sem aplicação comercial
¾ Impactos comerciais
Consistem no aumento da atividade econômica ocasionada pelo estabelecimento

de novas relações com os parceiros comerciais:
- de rede: entre participantes de um mesmo consórcio;
- de reputação: obtenção de reconhecimento e visibilidade externos que se

traduzem em aumento de vendas;
- concorrenciais: alteração da dinâmica competitiva em mercados de

fornecedores decorrente do aprendizado realizado no projeto.
¾ Impactos organizacionais e de métodos
Alteração da cultura e estrutura organizacional dos participantes, conduzindo a

inovações e melhoramentos.
- habilidade em gerenciar projetos: aquisição de capacidade para gerenciar

novos projetos de pesquisa;
- impactos organizacionais: mudanças na estrutura organizacional da firma.
- impactos metodológicos: transferência novos métodos organizacionais

implementados no projeto para outras atividades.
51
¾ Impactos em recursos humanos
A execução do projeto implica na contratação de novos recursos humanos e na

realização de esforços de treinamento específico. Esses impactos resultam em
maior competência e capacitação tecnológica, aumentando o volume de ativos
intangíveis da firma ou instituição.
Quantificação dos Impactos

Os impactos econômicos do programa tecnológico são mensurados em todas as
organizações que participam ativamente do seu desenvolvimento, e podem ser
quantificados em termos de aumento do valor agregado gerado ou de redução de
custos. Quando se torna muito difícil quantificar os impactos nesses termos, usa-
se o custo como valor proxy. Por exemplo, para uma nova patente, utiliza-se o
custo de registro e de sua obtenção; para os impactos em RH, emprega-se o
custo de manutenção de uma dada competência após o projeto findar ou os
gastos com treinamento. No Quadro abaixo são apresentadas as principais
varáveis a serem quantificadas.
Principais Variáveis Utilizadas para Quantificar Impactos
Tipos de Impactos
Impacto Econômico
Impactos Diretos vendas/redução de custos
Impactos Indiretos
Transferência de vendas
produtos
Tecnológicos Transferência de redução de custos
processos
Transferência de serviços Vendas
Patentes custo de patenteamento
Comerciais Impactos de rede Vendas
52
Efeitos de reputação Vendas
Concorrenciais vendas/redução de custos
Gerenciamento de redução de custos

Projeto
Organizacionais Organização redução de custos/vendas/ orçamento
e de Métodos
Métodos redução de custos
RH Competência equivalente monetário em homens-horas
Treinamento
Fonte: Bach et al. (1994)
Assim, apresentadas as duas perspectivas metodológicas para avaliar os fundos

setoriais, a avaliação de resultados e a de impactos, e os dois níveis específicos
em que se dará a investigação, instituições de pesquisa acadêmicas executoras
dos projetos de P&D e empresas demandantes dos novos conhecimentos
científicos e tecnológicos, passa-se a discorrer sobre os aspectos operacionais
gerais.
53
6 Etapas de trabalho
O processo de concepção e proposição de um método para avaliação dos Fundos

Setoriais, nos termos do aqui proposto e apresentado nas seções precedentes,
envolve cinco tipos de atividades ou etapas de trabalho, a serem realizadas num
período de 6 meses, de acordo com cronograma apresentado ao final da presente
seção. Elas são brevemente discriminadas a seguir.
6.1 Identificação e organização das informações disponíveis relativas à

operação e execução dos Fundos Setoriais
Trata-se da busca, coleta e sistematização das informações e dos documentos já

produzidos no que tange ao planejamento e à execução de cada um dos 16
Fundos Setoriais, e identificação de suas eventuais lacunas e incompatibilidades,
com destaque para:
- documentos básicos de política e nível de detalhamento;

- deliberações complementares e/ou eventuais aditivos;
- relatórios de acompanhamento e de avaliação das ações concluídas;
- editais publicados e informações correlatas produzidas no âmbito das agências
gestoras (promotoras?) (CNPq, Finep e FAPs), tais como: texto completo dos
editais e volume de recursos envolvidos; detalhamento da demanda e
respostas submetidas (numero e montante dos projetos, grau de cobertura dos
temas considerados prioritários e de entidades mobilizadas, etc);
caracterização do conjunto de projetos aprovados; projetos executados, etc.
6.2 Entrevistas com os Comitês dos Fundos Setoriais
A realização de entrevistas com os responsáveis (ou representantes principais?)

dos Comitês Gestores dos 16 Fundos Setoriais tem como objetivo central o
levantamento de dados complementares e informações mais qualitativas relativos,
fundamentalmente, a:
54
- forma de gestão, planejamento e processos decisórios envolvidos (elaboração
de documentos básicos do Fundo em questão, definição e grau de
formalização dos procedimentos a serem adotados, atores envolvidos, etc.);
- forma de elaboração dos editais (processo decisório e definição de prioridades,
atores mobilizados, tipo e formas de atuação dos diferentes atores que tem
assento no Comitê em questão, etc.);
- processo de aprovação das propostas submetidas (etapas e tipos de atores
envolvidos, escolha de pareceristas, critérios que fundamentam a seleção dos
projetos a serem financiados, prazos de julgamento e difusão, documentação
produzida no processo, etc.);
- tipo de envolvimento do Comitê Gestor no processo de implementação e
acompanhamento das ações e dos projetos aprovados (modalidades e
freqüência de interfaces com as agências promotoras e com os executores dos
projetos financiados, mecanismos de controle e documentação produzida, etc.);
- papel do Comitê Gestor na avaliação de resultados e de impactos dos projetos
financiados;
- grau de interação com os Comitês Gestores de outros Fundos (troca de
informações e de experiências, ações complementares, iniciativas de
cooperação, etc.).
6.3 Elaboração de proposta metodológica para avaliação dos Fundos
A proposição de um método para avaliação dos Fundos setoriais, dentro de um

processo dinâmico e de constante revisão e aperfeiçoamento, tomando como
base o quadro geral de referências exposto na seção 2 do presente documento,
envolve duas etapas principais:
a) preparação de um diagnostico, a partir de todo o material e documentação

levantados nas etapas precedentes (cf. § 4.1 e 4.2), das principais lacunas e
deficiências da base de informações disponíveis para cada Fundo, de forma a
instruir a elaboração de um método de avaliação especifico, bem como a
55
proposição de procedimentos e instrumentos de gestão e de acompanhamento
das ações mais compatíveis e apropriados;
b) proposição do método de avaliação propriamente dito, levando-se em conta

alguns pressupostos básicos (??):
- adotar uma estratégia/método de avaliação específico para cada Fundo;
- promover uma estreita colaboração/interação e efetiva negociação com os

Comitês Gestores dos Fundos no que se refere ao método e estratégia de
avaliação a serem adotados em cada caso;
- distinção entre "avaliação de resultados" e "avaliação de impactos"(??)

(...dentro de uma concepção mais ampla de "impactos", quais dimensões
considerar?);
- no que concerne a "avaliação de resultados", pretende-se adotar uma base

comum para todos os Fundos (seleção de variáveis e definição de um núcleo
de indicadores comuns aplicáveis a todos os casos);
- necessidade e pertinência de focar, simultaneamente, a "avaliação de

processos", no âmbito da gestão e operação dos Fundos (como as decisões
são tomadas, as prioridades são estabelecidas, as ações são avaliadas, as
informações são armazenadas e processadas... etc.).
6.4 Estruturação de uma base de informações e indicadores nacionais e

internacionais de referência para a avaliação de políticas, programas
e projetos em CT&I
Trata-se aqui do rastreamento, mapeamento e gerenciamento de um conjunto de

fontes institucionais, documentais e de sistemas on-line de recuperação de dados
e indicadores de CT&I, com vistas ao acompanhamento e análise sistemáticos do
estado da arte e dos rumos atuais da produção científica e tecnológica do país, no
contexto mais amplo da dinâmica internacional do setor.
Na sua concepção, a manutenção e difusão de um repertório de fontes nacionais

e internacionais de informação em CT&I constituem-se numa ferramenta
importante e insumo imprescindível à implementação de processos de avaliação
56
de políticas, programas e demais ações governamentais no setor, bem como para
o atendimento das necessidades de informação dos gestores, operadores e
usuários do sistema.
Nesse sentido, o gerenciamento e atualização permanentes de uma base de

informações dessa natureza pressupõem uma estreita colaboração entre
diferentes atores do sistema nacional de inovação, envolvendo, entre outros
mecanismos: a troca de informações e de metodologias de seleção e
armazenamento de dados; o compartilhamento de bancos, plataformas e
diretórios já disponíveis; a interoperabilidade entre os sistemas de recuperação de
dados existentes, etc.
6.4.1 Contexto e justificativas
Já são amplamente conhecidos os limites e lacunas que marcam a produção de

informações e de indicadores de CT&I no Brasil, especialmente no que se refere
a: dificuldade de obtenção de dados primários atualizados e confiáveis;
problemas de sistematização e de padronização dos diferentes bancos de dados
e sistemas de informação disponíveis, comprometendo sua compatibilidade e
comparabilidade; desarticulação entre os produtores e os usuários finais de
informações em CT&I, limitando a incorporação de novas demandas; isolamento
ou reduzida interação entre os produtores e gestores de bancos de dados, nos
diferentes setores e esferas de decisão, comprometendo a adoção de referenciais
comuns (técnicas e metodologias de coleta, tratamento, classificação, análise e
difusão dos dados).
No plano interno da maior parte das agências e órgãos do sistema nacional de

pesquisa e inovação, soma-se a essas limitações a inexistência de um setor ou
núcleo específico responsável pela gestão da informação sobre política de CT&I e
pela produção sistemática de indicadores. Diante disso, a implementação de um
sistema integrado de fontes de informação, como o aqui proposto, justifica-se
também pela necessidade de criação de uma infra-estrutura e de competências
internas específicas, até então dispersas e insuficientes, para a viabilização de
um processo permanente de avaliação dos resultados e impactos dos programas
dessas agências. Em outros termos, trata-se de municiar os atores mais
diretamente envolvidos com elementos de busca, identificação e escolha dos
57
indicadores CT&I mais pertinentes em torno de questões que lhes são colocadas
pelos formuladores de políticas, gestores, executores ou pela sociedade civil em
geral.
6.4.2 Componentes do sistema
A montagem e operação de uma base de informações, tal como proposta, apóia-

se sobre três pilares principais:
a) concepção e estruturação de um repertório de fontes de informação

em CT&I, o que poderá envolver, num segundo momento, a
construção de bases de dados relacionais complementares, de
forma a viabilizar o armazenamento e cruzamento de um grande
numero de registros, indexados segundo variáveis diversas;
b) atividades de apoio metodológico, em nível conceitual e operacional,

de forma articulada com os principais produtores oficiais e usuários
de dados em CT&I (como, por exemplo, apoio à definição de marcos
conceituais e metodológicos comuns, à adoção de procedimentos
compatíveis de coleta e tratamento dos dados armazenados, à
interoperabilidade entre bases institucionais e/ou serviços de
informação on-line diversos, tais como base SciELO, portal
FAPESP.INDICA, Plataforma LATTES, PROSSIGA, Banco de
Teses CAPES, etc.);
c) interfaces com gestores e agentes dos sistemas federal e estaduais

de CT&I com vistas a subsidiar processos de implementação de
sistemas descentralizados, mas coordenados, de produção de
estatísticas para o setor, nos níveis nacional, regional e local.
Com relação às fontes primárias de informação em CT&I, elas referem-se, por um

lado, às diferentes instituições - nacionais e internacionais, de âmbito público e
privado - que produzem, processam e/ou divulgam series estatísticas, tabulações
e/ou indicadores de CT&I consolidados, bem como estudos e análises qualitativas
dos dados disponibilizados, com destaque para:
- órgãos de coordenação e gestão em CT&I;
58
- agências de fomento, organismos internacionais e bancos de desenvolvimento;
- agências de regulação e normalização (incluindo escritórios de marcas e

patentes, etc.);
- instituições do setor acadêmico e de pesquisa;
- institutos nacionais e regionais de estatísticas, processamento e análise de

dados;
- entidades representativas, câmaras de comércio e industria, etc.
Por outro lado, no que concerne às fontes documentais de dados em CT&I,

destacam-se os relatórios de indicadores, enquêtes e publicações correlatas
produzidos pelos principais organismos nacionais e internacionais que atuam no
setor (incluindo anuários, censos, compilações, working papers, boletins e
informes, etc.). Inclui ainda uma seleção de documentos e trabalhos de cunho
metodológico relativos à concepção e construção das diferentes famílias de
indicadores de CT&I (como manuais, sistemas classificatórios e nomenclaturas,
guias de entidades e de empresas, revistas e periódicos especializados, etc.).
Finalmente, uma vez selecionados os registros ou fontes que, potencialmente,

poderão compor a chamada base de informações e de indicadores nacionais e
internacionais de referência para a avaliação de políticas e programas em CT&I, o
sistema poderá facilitar ainda o acesso direto, quando disponíveis, a tabulações
específicas e gráficos pré-formatados pelas fontes primárias e secundarias
repertoriadas.
6.4.3 Atividades de cooperação e difusão
Como mencionado, a implementação de uma ampla e diversificada base de

informação, como a descrita acima, pressupõe a promoção de atividades de apoio
e de cooperação técnica com vistas à produção e uso de indicadores mais
apropriados e pertinentes.
Nesse sentido, destaca-se a importância da animação de grupos de trabalho,

workshops, seminários temáticos ou encontros informais sobre temas
mobilizadores ou questões-chave relacionadas à dinâmica atual e perspectivas
futuras do sistema nacional de inovação, através da mobilização dos diferentes
59
gestores dos setores público e empresarial, especialistas em avaliação e usuários
do sistema como um todo. Como um resultado importante dessas iniciativas,
ênfase poderá ser dada à preparação e circulação periódica de dossiers
temáticos específicos, para ampla difusão junto às instancias de decisão e de
avaliação em CT&I.
Em suma, um sistema integrado de fontes de informação em CT&I, nos moldes

do aqui proposto, deve corresponder ao estabelecimento de uma “plataforma”,
caracterizada por:
- um conjunto organizado e permanentemente atualizado de fontes diversificadas;
- a manutenção de capacidades de tratamento avançado dessas informações e

dados quantitativos;
- o domínio intelectual e operacional das ferramentas e métodos que permitem

dar um sentido a esses dados, em termos de formulação de políticas, ações e
estratégias nacionais no campo da CT&I.
Em outros termos, trata-se de não apenas facilitar o acesso a um conjunto

abrangente de documentos, mas, essencialmente, de permitir que os diferentes
atores envolvidos utilizem essa “plataforma” para produzir diagnósticos, análises e
indicadores específicos que melhor correspondam à suas necessidades e
orientações.
6.5 Atividades de Avaliação Complementares - Fundações de Amparo à

Pesquisa (FAPs)
As FAPs assumiram a condução de iniciativas de formulação de editais e seleção

de projetos no âmbito dos Fundos Setoriais.
A maior capacidade de instituições estaduais em identificar suas necessidades e

competências, permitindo uma maior eficácia ao processo de fomento à pesquisa
e ao desenvolvimento locais, coaduna com o crescente reconhecimento da
importância dessas Fundações na descentralização da gestão e dos
investimentos em C&T.
60
A presente proposta de avaliação dos Fundos Setoriais inclui a elaboração de um
estudo do resultado deste repasse de recursos à Fundações Estaduais. Busca-se
saber se os recursos dos Fundos Setoriais repassados às FAPs foram
gerenciados dentro do espírito que fundamentou a criação dos Fundos, se os
argumentos para a descentralização da gestão são pertinentes.
Trata-se, portanto, de uma análise do grau de convergência entre as prioridades

estabelecidas nos documentos básicos dos diferentes Fundos Setoriais e os
projetos financiados pelas FAPs; análise dos processos de gestão adotados e
possíveis vantagens sobre a gestão descentralizada;
O estudo buscará:
- conhecer o montante de recursos repassados e as carteiras de projetos

financiados;
- analisar a aderência da carteira aos objetivos estratégicos do Fundo, bem como

apontar os achados da pesquisa sobre a capilaridade, ganhos ou prejuízos
operacionais eventuais e descrevendo os resultados diferenciados que tenham
sido observados. Esta etapa será realizada por amostragem, selecionando
algumas Fundações para o estudo;
- analisar se os projetos financiados pelas FAPs alcançaram resultados

diferenciados daqueles obtidos pelas agências federais;
- gerar um documento, a partir dos resultados do estudo, que apóie o Ministério

da Ciência e Tecnologia na definição de um novo modelo de relações
interinstitucionais com as Fundações de Amparo à Pesquisa, numa perspectiva
de maior descentralização do sistema de C&T&I, no que concerne os Fundos
Setoriais.
No processo de avaliação será incorporada a visão de especialistas, dos

beneficiários, dos gestores das FAPs e a análise da equipe de avaliação.
Este estudo foi apresentado ao Banco Mundial, já tendo recebido a “não objeção”
para sua execução.
61
6.6 Organização de um Seminário Internacional sobre Avaliação de
Políticas de CT&I
A importância da avaliação como instrumento de gestão estratégica de

políticas e programas; a natureza institucional do CGEE; o caráter
eminentemente multidisciplinar da avaliação; e a necessidade de se
estabelecerem equipes de trabalho adequadas a cada caso de política ou
programa a serem avaliados impõe que este centro organize essas
atividades a partir de uma forte articulação com os diversos grupos da
comunidade acadêmica e tecnológica que vêm pesquisando e realizando
trabalhos no campo da avaliação no Brasil.
Para isso, o conhecimento sobre as metodologias, os usos e as estratégias de

avaliação adotadas por outros países e por instituições internacionais no campo
da ciência e da tecnologia é de inegável valor para que o CGEE fortaleça
continuamente sua competência nesse campo e também contribua para o
fortalecimento de toda a comunidade nele atuante.
É conhecido que grupos acadêmicos, instituições governamentais e outras

vinculadas ao setor produtivo têm-se dedicado à pesquisa, realizado estudos de
casos e participado da gestão de políticas e programas com atividades de
avaliação. Para realizar suas funções nesse campo, o CGEE já está articulado e
utiliza muito da competência instalada no país. No entanto, há necessidade de
ampliar o conhecimento sobre essa competência, bem como da oportunidade de
contribuir para seu fortalecimento e, conseqüentemente, para o exercício de suas
funções. Além disso, o CGEE entende como parte de seu trabalho contribuir para
melhorar a percepção da avaliação como instrumento de gestão de políticas
públicas e programas.
Nesse sentido, é oportuno realizar um seminário internacional que possibilite uma

reflexão sobre o estado da arte da pesquisa e prática em avaliação de C&T&I, as
principais linhas de investigação e metodologias utilizadas. Pretende-se,
62
sobretudo, um debate sobre quais são os desafios mais importantes nesse campo
e as possibilidades de atuação nos próximos cinco anos. A identificação desse
panorama, dos atores e metodologias de maior relevância nos cenários nacional e
internacional da avaliação em C&T&I darão muito mais eficiência ao CGEE na
missão de avaliar os resultados da política de Fundos Setoriais e outros
programas e políticas. Esse seminário também abrirá oportunidades de inserção
do CGEE nas principais redes técnico-científicas da área.
O Seminário contará com recursos do Banco Mundial, que já aprovou o projeto, e

se realizará no período de 13 a 15 de agosto de 2007, na cidade do Rio de
Janeiro (RJ). Um termo de referência definindo nomes de participantes e agenda
do seminário está em fase de conclusão.
63
7 Cronograma
O quadro abaixo apresenta um cronograma preliminar de execução para a

presente proposta.
Cronograma de execução
0 1 2 3 4 5 6 Meses
Legenda:
Identificação e organização das informações relativas à operação dos 16 Fundos Setoriais

Entrevistas com dos Comitês Gestores dos 16 Fundos Setoriais
Concepção e proposição de um método de avaliação dos 16 Fundos Setoriais
Projeto de estruturação de uma base de informações e de indicadores nacionais e
internacionais de referência para a avaliação de políticas, programas e projetos em CT&I
Atividades de Avaliação Complementares (FAPs)

Organização de um Seminário Internacional sobre Avaliação de Políticas em CT&I
64

Aderencia - Aval Fundos Setoriais - Metodologia - Fase 2

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Aderencia - Aval Fundos Setoriais - Metodologia - Fase 2

Enviado por

Direitos autorais:

Formatos disponíveis

Metodologia de Avaliação de Resultados e

Impactos dos Fundos Setoriais

Centro de Gestão e Estudos Estratégicos

Metodologia de Avaliação de Resultados e Impactos dos Fundos Setoriais -

Centro de Gestão e Estudos Estratégicos

Equipe técnica do CGEE

2. O CGEE e a Avaliação dos Fundos Setoriais

2.1. Remodelagem da base de fomento do Prossiga/IBICT - Sistema de

2.2. Avaliação de aderência

3. Avaliação em CT&I: referencial teórico e metodológico

1.1 Avaliação como instrumento da Gestão Estratégica

3.1. O Projeto de uma avaliação

4. Método de avaliação de resultados e de impacto dos Fundos Setoriais

4.1. Linhas Básicas do Método de avaliação de resultados dos Fundos

4.2. Exemplo de metodologia de avaliação de impacto dos Fundos Setoriais

5. Etapas de trabalho e cronograma de execução

5.1. Identificação e organização das informações disponíveis relativas à

5.2. Entrevistas com os Comitês Gestores dos Fundos

5.3. Elaboração da proposta metodológica para avaliação dos Fundos

5.4. Estruturação de uma base de informações e indicadores de referência

5.5. Atividades de avaliação complementares - Fundações de Amaparo à

5.6. Organização de um Seminário Internacional sobre Avaliação de

Conforme estabelecido pelo Contrato de Gestão firmado entre o Centro de

Os Fundos foram formalmente criados a partir do ano 2000 e tiveram como

Os Fundos Setoriais constituem, hoje, importantes instrumentos de

A adoção da abordagem sistêmica implica na criação de instrumentos de

Nessa perspectiva, a criação dos Fundos Setoriais representou uma resposta

. Todos os Fundos receberam a orientação de articular os atores acadêmicos e

Dessa forma, as perguntas básicas da avaliação devem buscar desvendar as

Essa proposta contempla as seguintes questões que organizam a seqüência

a) Balanço das atividades para avaliação dos Fundos Setoriais

b) Quadro referencial teórico e metodológico sobre o qual se apóia a

c) Linhas básicas do método de avaliação de resultados e exemplo de

3 O CGEE e a Avaliação dos Fundos Setoriais

Promover a avaliação de políticas, programas e projetos no campo da ciência,

O CGEE, ao assumir a organização e a coordenação de projetos de avaliação,

Definido o projeto, o Centro segue representando o solicitante no

O CGEE busca contribuir diretamente para a qualidade e o aperfeiçoamento do

Fonte: CEC/EU DG-Regio 2006

Os processos de avaliação usuais, ditos ‘ex-ante’ ou ‘on going’, próximos ao

Algumas outras dimensões da avaliação, como a relativa à eficiência, embora

Os fundos setoriais foram concebidos como dispositivo novo de política

A essa iniciativa, seguiram-se outras vinculações de recursos de tal modo que,

Os Fundos buscam mobilizar vários agentes do processo inovativo, com

O CGEE já vem realizando ações relacionadas com aos Fundos Setoriais

Durante o ano de 2002, ações de apoio à gestão dos Fundos foram

Além dessas iniciativas precursoras na área, algumas etapas iniciais para a

Uma dessas tarefas preparatórias diz respeito ao mapeamento de

As seções 2.1 e 2.2, a seguir, apresentam uma síntese de duas importantes

3.1 Remodelagem da base de fomento do Prossiga/IBICT e o Sistema

Em 2005, foi criada a Comissão de Avaliação dos Fundos Setoriais com a

Aos dados já existentes, foram ainda incorporadas novas informações como:

O sistema também passou a permitir uma visualização de séries históricas

A integração da base de dados originada do Prossiga ao Sistema de

O portal de informações do Sig-FS, apresentado em novembro de 2006, foi

O primeiro passo no sentido de testar a nova base de dados do Prossiga e

Para esta avaliação, definiu-se um conceito operacional para o termo aderência

1. As temáticas prioritárias, ou seja, aos temas identificados como

2. A participação de empresas nos projetos, em atendimento ao objetivo

3. A distribuição regional de recursos, já que os documentos básicos da

Assim, a análise realizada indicou a extensão em que os projetos contratados

Vários problemas foram identificados quanto à confiabilidade e grau de

Apesar das limitações, os resultados do exercício de avaliação de aderência