Desenvolvimento e Aplicao de Metodologia de Avaliao de Programas de Fomento a C,T&I: o Mtodo de Decomposio

Resumo
Este artigo apresenta uma proposta metodolgica para a avaliao de programas de fomento a Cincia, Tecnologia e Inovao (C,T&I). O mtodo de decomposio tem como caracterstica fundamental a identificao de indicadores que buscam apreender a diversidade de caractersticas dos diferentes tipos de programas. Assim, trata-se de mtodo que combina aes dedutivas e indutivas com o objetivo de avaliar resultados e impactos em dimenses especficas ligadas natureza dos programas. Tal mtodo para a avaliao de programas de fomento a C,T&I apia-se em dois eixos: na decomposio dos objetivos formais dos programas e no dilogo com os diferentes atores envolvidos por meio de painis estruturados. Em outras palavras, a partir dos objetivos do programa-alvo so eleitos os principais temas que o caracterizam e busca-se traduzi-los em elementos mensurveis, ou seja, indicadores. Estes indicadores so submetidos a um painel de especialistas para a validao e fundamentam um questionrio base, seguindo o mtodo de decomposio adotado. Alm de apresentar o mtodo em si, o artigo tambm mostra sua aplicao a quatro programas de fomento da Fundao de Amparo Pesquisa do Estado de So Paulo (Fapesp). So eles: PIPE (Programa de Inovao Tecnolgica em Pequena Empresa), PITE (Programa de Apoio Pesquisa em Parceria para Inovao Tecnolgica), Programa de Pesquisa em Polticas Pblicas e Programa de Apoio a Jovens Pesquisadores em Centros Emergentes. Os resultados e a prpria validao do mtodo tambm so apresentados no artigo.

1. Avaliao de programas de fomento a C,T&I: alguns elementos conceituais

A avaliao de resultados e impactos da pesquisa uma temtica que vem ganhando fora em organizaes pblicas e privadas em mbito global; para muitas instituies de pesquisa e de fomento pode-se afirmar, inclusive, que iniciativas de avaliao constituem-se em um dos imperativos fundamentais para sua legitimao social. Alguns princpios gerais, enunciados abaixo, so importantes para a compreenso do universo da avaliao: no h uma definio nica, geral e abrangente de avaliao; entretanto, pode-se considerar avaliao como abordagens analticas voltadas a identificar e interpretar resultados e/ou conseqncias alcanados e/ou esperados, criando informao qualificada; sua utilidade , em geral, a de criar informao sobre a qual se far um juzo e, posteriormente, poder-se- tomar uma deciso;

avaliaes no tm como objetivo buscar verdades absolutas, mas apresentar anlises (bem) justificadas para subsidiar decises; neste sentido, no so um fim em si mesmas; assim, avaliao verifica com determinado mtodo e informa; seus resultados no incluem a tomada de deciso, que logicamente separada do processo de avaliao; e, finalmente, o elo que alimenta o planejamento sistemtico.

A aplicao desses princpios gerais para distintos campos (no nosso caso, para avaliao em cincia, tecnologia e inovao) pressupe ainda algumas consideraes adicionais, que se referem ao entendimento dos objetivos motivadores da avaliao, da especificidade do objeto a ser avaliado e, conseqentemente, da escolha dos mtodos e das ferramentas a serem aplicadas no processo. Os distintos objetivos que tm permeado as avaliaes em C,T&I tm resultado em enfoques e trabalhos necessariamente distintos: mensurao do desempenho da pesquisa (bibliometria, avaliao pelos pares), mensurao da eficincia no uso de recursos e eficcia na realizao dos resultados planejados (accountability), avaliao dos impactos de inovaes tecnolgicas sobre a sociedade (assessment), entre outros. Mais recentemente, sob a tica de uma nova institucionalidade para atividades de pesquisa a C&T em rede novas relaes entre mudana social e tecnolgica passaram a ganhar espao nos exerccios de avaliao, assim como a necessidade de ampliar a participao de distintos atores relacionados ao universo avaliado nesses processos ou seja, torna-se premente a utilizao de abordagens que procuram captar a complexidade do sistema de pesquisa cientfica e tecnolgica e suas relaes com outros sistemas, seja o sistema econmico, o sistema social, o sistema ambiental etc. (Zackiewicz, 2006, Georgiou e Roessner, 2000). Assumindo que o processo de inovao incerto, complexo, envolto de fatores sociais e tcnicos imponderveis e pode derivar para trajetrias diferentes das planejadas, os objetivos da avaliao quase sempre se tornam alvos mveis. O mtodo cientfico clssico apreende a realidade a partir da anlise (decomposio) do todo em partes. Cada parte, uma vez simplificada o suficiente, pode ser entendida em suas leis gerais a partir da formulao de hipteses, cuja validao na explicao causal (tese) do fenmeno analisado lhes atribui valor de verdade. O mtodo prossegue com a tarefa de novamente agregar as partes por um processo de sntese. Nesse processo, as explicaes das diversas partes so confrontadas e concatenadas e a verificao de estruturas isomrficas entre diferentes conjuntos de hipteses e teses verdadeiras leva a generalizaes tericas progressivas. Dessa forma, torna-se vlido deduzir o comportamento do geral pela observao do particular e explicar os fenmenos por meio de estruturas matemticas que relacionem as diferentes naturezas de suas partes relevantes, captadas a partir das escalas e unidades de medida apropriadas. O modelo lgico-dedutivo clssico limitado a sistemas fechados ou queles para os quais estes sejam uma aproximao razovel. Por decorrncia, a formalizao matemtica e computacional de conceitos referentes a fenmenos complexos hoje utilizados em muitos campos do saber difcil e limitada.

Em outras palavras, a obteno de medidas de resultados e impacto, no sentido numrico do termo, e de rotinas de avaliao, no sentido da implementao de algoritmos computveis e estveis, pressupe a existncia de um modelo do tipo clssico. Por outro lado, apreender impactos no marco de sistemas de inovao pressupe um modelo dinmico e evolutivo, de acordo com a complexidade existente no contexto do objeto avaliado. Esse um complicador considervel do processo de avaliao de atividades de C,T&I. Para construir um modelo de avaliao que d conta dessas necessidades antagnicas preciso concatenar um nvel estruturado, que opera no universo numrico e computvel e segue os princpios clssicos de anlise e sntese para modelar resultados e impactos e suas medidas, com um nvel contextual, que situa o nvel estruturado e incorpora premissas de coexistncia de distintas dimenses de anlise e de mltiplas racionalidades identificadas (mltiplos juzos de valor). Este artigo apresenta uma proposta metodolgica para a avaliao de programas de fomento a C,T&I. A caracterstica fundamental a identificao de indicadores que buscam apreender a diversidade de caractersticas de diferentes tipos de programas. Assim, trata-se de mtodo que combina aes dedutivas (por decomposio de objetivos) e indutivas (por discusso com atores envolvidos) com o objetivo de avaliar resultados e impactos em dimenses especficas ligadas natureza dos programas.

2. Sobre o mtodo
O mtodo em anlise para a avaliao de programas de fomento a C,T&I apia-se em dois eixos: na decomposio dos objetivos formais dos programas e no dilogo com os diferentes atores envolvidos com estes por meio de painis estruturados. Destes dois eixos emergem os temas e os indicadores de avaliao. Um esquema sinttico do mtodo representado na Figura 1. As etapas apresentadas no esquema so descritas a seguir.

1) Anlise dos objetivos dos programas

2) Decomposio dos objetivos em termos

3) Transformao dos termos em temas de avaliao

4) Identificao de indicadores para qualificar e mensurar os temas de avaliao

5) Validao do conjunto de indicadores por tema

Figura 1: Esquema sinttico do mtodo de decomposio

2.1. Anlise dos objetivos dos programas Uma vez definido o programa a ser avaliado, inicia-se a etapa de anlise de seus objetivos. Para tal, estuda-se a histria do programa (incluindo as justificativas e as motivaes para sua criao), seus mecanismos de gesto, seu rol de projetos e identifica-se o conjunto de atores envolvidos. a partir da que se caracteriza o contedo analtico do programa, com especial ateno aos seus objetivos e implicaes decorrentes. Deve-se ressaltar que a anlise dos objetivos do programa parte no somente do contedo explcito (ou seja, dos objetivos formalizados), mas tambm do contedo deduzido a partir do conhecimento aprofundado das especificidades do programa e de sua insero institucional. 2.2. Decomposio dos objetivos em termos A partir dos objetivos e de suas implicaes, so extrados termos relacionados aos programas. Os termos so as idias principais que derivam dos objetivos caracterizados e que so capazes de revelar a extenso dos resultados e impactos deles esperados. Assim, quando um programa lista entre seus objetivos criar condies para incrementar a contribuio do Sistema de Pesquisa para o desenvolvimento social e econmico, pode-se derivar como termos Sistema de Pesquisa e desenvolvimento social e econmico. Outro exemplo, se um programa relaciona entres seus objetivos possibilitar que pequenas empresas se associem a pesquisadores do ambiente acadmico em projetos de inovao tecnolgica, termos que retratam este item poderiam ser pequenas empresas, projetos de inovao tecnolgica, ambiente acadmico. Se um programa se prope a criar adequadamente trabalho para pesquisador de grande potencial, podemos extrair os termos criao adequada de trabalho e pesquisador de grande potencial. 2.3. Transformao dos termos em temas de avaliao Uma vez identificados os termos, procede-se a um rearranjo dos mesmos em temas que os traduzam de forma mais concisa e consistente o que dos termos se pode deduzir. Assim, se um dado programa retrata entre seus diversos objetivos termos relacionados ao incentivo inovao, pode-se agrup-los em um tema nico, por exemplo, Cultura de Inovao. A relao entre termos e temas pode ser direta um termo gerando um tema similar ou indireta vrios temas compondo um tema mais abrangente (por exemplo, o termo desenvolvimento social e econmico pode gerar o tema com o mesmo nome ou pode compor um tema mais geral como desenvolvimento). De fato, no h uma regra fixa para esta conjugao de termos. O agrupamento dos termos e a forma com que se pretende analisar o programa so arbitrrios e devem, na medida do possvel, buscar o entendimento dos objetivos motivadores e das especificidades do objeto em avaliao, assim como traduzir as dimenses que circunscrevem cada programa. Deve tambm levar em conta os objetivos da avaliao, se prestao de contas, planejamento ou aprendizado interno. A finalidade ltima da identificao dos temas , portanto, organizar o enfoque que se pretende com a avaliao. Isto posto, pode-se considerar que a ao dedutiva de construo de temas pode, igualmente, permitir a possibilidade de se incluir temas que no constam, explicitamente, nos objetivos do programa, mas que, contudo, transparecem por meio da misso da instituio que o financia. Um exemplo emblemtico so temas como capacitao e incremento de infra-estrutura que, por vezes, no so explicitados como os objetivos primrios do programa, mas que,

dependendo da natureza do programa, ocorrem indiretamente e no convm escaparem da avaliao dada a sua relevncia na contribuio da estruturao de sistemas de C,T &I. 2.4. Identificao de indicadores para qualificar e mensurar os temas de avaliao Uma vez definidos os temas que revelam o carter da avaliao do programa, parte-se para a etapa de definio dos indicadores. Os indicadores podem ser quantitativos, qualitativos ou compostos e devem buscar captar um conjunto extenso de transformaes derivadas das atividades de pesquisa de forma mais sistmica do que o modelo linear de inovao considera.1 Com esta perspectiva, foram identificados indicadores baseados em: (i) variveis de insumo (recursos financeiros, recursos humanos); (ii) variveis de produto (produo cientfica, resultados tecnolgicos diretos e indiretos e transferncia de tecnologia); (iii) mudanas estruturais (formao de capital humano, mudana organizacional, formao de redes); e (iv) variveis de causalidade (grau de contribuio do programa) relacionadas ao programa (Furtado et al, 2006, Roessner, 2000). Mais duas condies devem ser consideradas na definio dos indicadores nesta proposta metodolgica: a) pertinncia, isto , o indicador deve relacionar-se com o tema no qual est inserido; b) causalidade, indicadores devem expressar condio de causalidade clara entre inputs e outputs. A definio de indicadores uma tarefa exaustiva e no deve perder de vista os objetivos do programa, to pouco da avaliao. 2.5. Validao do conjunto de indicadores por tema Com a lista de temas e de seus respectivos indicadores, deve-se partir para a etapa de validao pelos atores envolvidos com os programas na avaliao. Esta etapa se constitui na apresentao dos indicadores para o grupo selecionado (com seu posterior refinamento), via de regra, no formato de painel estruturado, o que por vezes torna o processo oneroso, pois inclui as despesas decorrentes da preparao de um evento e de deslocamento dos convidados. Uma alternativa ao painel encaminhar a lista de temas e indicadores por meio eletrnico para cada especialista. Se por um lado esta alternativa mais econmica, por outro, perde-se na riqueza que emerge das discusses realizadas por um grupo com experincias diversificadas. Assim, caso se opte pela consulta remota, devem ser previstos mecanismos que garantam a ampla participao e retorno dos envolvidos. Processos participativos em trabalhos de avaliao so, de maneira geral, bastante ricos por trazerem tona experincias, histrias, conflitos, casos bem e mal sucedidos, entre outros aspectos que por vezes os executores da avaliao so incapazes de apreender de maneira verdadeiramente abrangente. Ademais, esta atividade desperta nos participantes um sentimento de co-responsabilidade no processo de construo da avaliao (Hong e Boden, 2003).

Para uma anlise crtica do modelo linear ver Kline & Rosenberg (1986).

3. Aplicao do mtodo de decomposio

Este item visa apresentar a aplicao do mtodo de decomposio em quatro programas de fomento a C,T&I de naturezas distintas: um de incentivo a empresas de base tecnolgica, outro de fomento a parceria entre universidades e empresas, o terceiro abarcando inovao no campo das polticas pblicas e o quarto programa relacionado fixao de pesquisadores em centros emergentes de pesquisa. Os programas acima listados so executados pela Fundao de Amparo Pesquisa do Estado de So Paulo Fapesp. A Fapesp a principal agncia de fomento a C,T&I do Estado de So Paulo. Com um oramento anual de cerca de R$ 600 milhes (pouco menos US$ 300 milhes), a Fapesp representa uma parcela substantiva do financiamento a cincia e tecnologia no apenas no Estado de So Paulo, como tambm no Brasil (Fapesp, 2007). Os programas citados so, respectivamente, o PIPE (Programa de Inovao Tecnolgica em Pequena Empresa), o PITE (Programa de Apoio Pesquisa em Parceria para Inovao Tecnolgica), o Programa de Pesquisa em Polticas Pblicas e o Programa de Apoio a Jovens Pesquisadores em Centros Emergentes. Os quatro programas foram submetidos s cinco etapas do mtodo descritas anteriormente: anlise dos objetivos dos programas; decomposio dos objetivos em termos; transformao dos termos em temas de avaliao; identificao de indicadores para qualificar e mensurar os temas de avaliao; e validao do conjunto de indicadores por tema. A avaliao destes quatro programas iniciou-se em agosto de 2006 e est em curso. As etapas acima descritas foram cumpridas e a ltima etapa de validao dos indicadores ocorreu por meio de um Painel Metodolgico, realizado em novembro de 2006, quando se reuniu cerca de 60 especialistas, entre gestores de C,T&I, empresrios, pesquisadores de universidades, centros de pesquisa e empresas para debater os temas e indicadores de cada um dos programas. Na seqncia, apresenta-se uma breve descrio de cada um dos programas em avaliao, assim como os resultados da aplicao das etapas do mtodo de decomposio a estes mesmos programas. Para apresentar os resultados, foram elaborados quadros contendo: (1) os objetivos do programa; (2) os termos derivados da anlise dos objetivos deste; (3) os temas derivados da anlise e reorganizao dos termos; e (4) os indicadores validados por temas. Os quadros foram organizados de acordo com o modelo abaixo.
1

Programa 2 DECOMPOSIO DOS TERMOS OBJETIVOS DO PROGRAMA

TEMAS

INDICADORES VALIDADOS

Quadro 2: Modelo de apresentao dos resultados por programa

3.1. Programa de incentivo a empresas de base tecnolgica (PIPE) O PIPE (Programa de Inovao Tecnolgica em Pequena Empresa) tem como objetivo principal apoiar o desenvolvimento de pesquisas inovadoras a serem executadas em pequenas empresas. Foi criado em 1997 com base no programa norte-americano SBIR Small Business Innovation Research Program. Conta atualmente com 576 projetos (concludos e em andamento), com dispndio, at 2005, de mais de R$ 72 milhes (cerca de US$ 35 milhes). O proponente o pesquisador relacionado pequena empresa e a Fapesp financia o projeto na empresa via pesquisador. Os temas e indicadores levantados buscam apreender programas cuja natureza seja incentivar empresas de base tecnolgica. Foram elaborados indicadores, distribudos nos seguintes temas: empreendedorismo, desempenho scio-econmico, capacitao/formao de competncias, produo tcnico-cientfica, inovao/cultura de inovao, universidadeinstituio de pesquisa/empresa, infra-estrutura. Os temas e indicadores propostos so apresentados no Quadro 2. 3.2. Programa de fomento parceria entre universidade e empresa (PITE) O PITE (Programa de Apoio Pesquisa em Parceria para Inovao Tecnolgica) teve incio em 1995 e seu principal objetivo o de financiar, nas universidades e instituies de pesquisa, projetos de interesse do setor empresarial, contribuindo para ampliar as parcerias com universidades e organizaes de pesquisa. Para tanto, o PITE financia projetos entre instituies de pesquisa e desenvolvimento do Estado de So Paulo e empresas localizadas no Brasil ou no exterior. O proponente sempre o pesquisador da instituio de pesquisa. A empresa envolvida no projeto entra com uma contrapartida financeira, utilizando-se de recursos prprios ou de terceiros. Ou seja, os recursos da Fapesp vo para a universidade/instituio de pesquisa e a empresa tambm aporta recursos diretamente para a instituio de pesquisa com a qual desenvolver o projeto. Estes recursos de contrapartida so sempre financeiros, que podem ser destinados infra-estrutura, pagamento de recursos humanos, entre outros. A empresa pode se beneficiar de incentivos fiscais relativos ao aporte que faz s instituies. Em sua maioria so empresas de grande (cerca de 50% do total) e mdio porte (cerca de 17% do total). Entre projetos finalizados e em andamento, o programa conta com 93 iniciativas, at dezembro de 2006, cujo valor ultrapassou, at 2005, os R$ 42 milhes (aproximadamente US$ 20 milhes). Relao universidade-instituio de pesquisa/empresa, produo tcnico-cientfica, capacitao/formao de competncias, infra-estrutura, inovao/cultura de inovao, desempenho scio-econmico foram os temas abordados neste programa o qual o foco parceria entre universidades, centros de pesquisa e empresas. O Quadro 3, relaciona os temas e indicadores validados pelos especialistas. 3.3. Programa de pesquisa em poltica pblica (PPPP) O PPPP (Programa de Pesquisa em Polticas Pblicas) tem como objetivo principal financiar pesquisas voltadas ao atendimento de demandas sociais e busca a aproximao do sistema de cincia e tecnologia paulista com a sociedade. O programa permite ampla cobertura de temas de investigao, via formao de parcerias entre instituies de pesquisa e o poder pblico ou o terceiro setor, visando a utilizao dos resultados da pesquisa na implementao de polticas

pblicas de relevncia social no Estado de So Paulo. O Programa foi criado em 1998 regido pelo lanamento de chamadas, a princpio, anuais, entretanto, no h uma freqncia regular de chamadas. A operacionalizao do Programa se d da seguinte forma: os institutos de pesquisa e universidades pblicos ou privados so os proponentes dos projetos e devem contar com as instituies parceiras (que devem ser organismos do setor pblico ou do terceiro setor somente do Estado de So Paulo) no desenho, desenvolvimento e implementao da pesquisa. A Fapesp repassa os recursos para a instituio proponente e a instituio parceira entra com a contrapartida, que no necessariamente financeira. Os agentes da instituio parceira devem participar dos trabalhos de pesquisa como forma de capacitao ou exercer atividades de formao. O valor total dispendido no programa entre 1999-2005 foi de R$ 16,6 milhes (cerca de US$ 8 milhes) e, at 2006, o Programa contava com 221 projetos. Inovao em Polticas Pblicas, transferncia de tecnologia, produo tcnico-cientfica, capacitao/formao de competncias, formao de redes e parcerias, cultura de pesquisa em Poltica Pblica so os temas listados no Quadro 4. Trata-se de temas que buscam retratar programas que visam o estabelecimento de parcerias para pesquisas inovativas de cunho social entre universidades ou instituies de pesquisa com organizaes pblicas ou do terceiro setor. 3.4. Programa de fixao de pesquisadores em centro emergentes de pesquisa (Programa Jovem Pesquisador, JP) O objetivo principal do Programa JP contribuir para a nucleao de novos grupos, preferencialmente em centros emergentes, descentralizando o Sistema Estadual de Pesquisa. So apoiados projetos de pesquisa submetidos por jovem pesquisador ou grupo de jovens pesquisadores, com ttulo de doutor ou equivalente (desejvel) e expressiva produo cientfica e tecnolgica. No h limite de idade, mas observado o tempo decorrido desde o doutoramento. O Programa foi criado em 1995 e voltado para instituies que no tenham tradio de pesquisa na rea do projeto apresentado pelo JP, ou seja, so priorizados projetos a serem desenvolvidos em Centros Emergentes de pesquisa (instituies com atividade cientfica incipiente); entretanto, podem ser submetidos projetos que procurem introduzir novas frentes de pesquisa em centros j consolidados. O valor total dispendido no programa entre 1998-2005 foi de mais de R$ 124 milhes (aproximadamente US$ 62 milhes). No final de 2006, o programa celebrou 678 projetos aprovados. O Quadro 5 relaciona os temas e indicadores que podem ser abordados em programas cuja meta seja fixar recm doutores em centros emergentes de pesquisa. Entre os temas, destacamse nucleao de pesquisadores, localizao geogrfica e institucional, trajetria do pesquisador, produo tcnico-cientfica, capacitao/formao de competncias, formao de redes e parcerias, recursos humanos e/ou financeiros, infra-estrutura, acolhimento institucional.

Uma vez elaborada a lista de indicadores, parte-se para o que se convencionou chamar de questionrio base. Esta ferramenta apresenta o rol de indicadores e suas respectivas fontes de coleta de dados, tais como bases institucionais, consulta a pesquisadores e demais instituies.

Quadro 3: Resultados da aplicao do mtodo de decomposio para o programa PIPE

Quadro 4: Resultados da aplicao do mtodo de decomposio para o programa PITE

Quadro 5: Resultados da aplicao do mtodo de decomposio para o programa PPPP

Quadro 6: Resultados da aplicao do mtodo de decomposio para o programa JP O conjunto de indicadores que se extrai de tal procedimento permite avaliar os programas pelo que eles se propem e pelo que eles de fato so. Pelo que se propem os indicadores so obtidos da decomposio de termos e temas; pelo que de fato so os indicadores so obtidos a partir de discusso estruturada com envolvidos. Chega-se assim a um conjunto bastante amplo e confivel de temas e, conseqentemente, de indicadores que permitem uma ampla avaliao dos programas. Os indicadores assim obtidos servem integralmente para a avaliao de resultados dos programas (o que se esperava alcanar e o que se alcanou), mas podem no servir integralmente para a avaliao de impactos (as conseqncias e efeitos dos resultados

alcanados). Neste sentido, a avaliao de impactos pode exigir a complementao dos indicadores. Isto vai depender das dimenses de impacto escolhidas. Por exemplo, a avaliao de impactos econmicos pode exigir indicadores de custo benefcio que a avaliao de resultados no necessariamente previu. Da mesma forma, a avaliao de impactos de capacitao pode incluir a formao de capacidades outras que aquelas diretamente deduzidas dos objetivos do programa. A obteno de indicadores de impacto pode tanto ser feita nos momentos da decomposio e da validao, como pode ser feita aps a definio dos indicadores de resultado, complementando-os. Nos casos acima descritos os indicadores de impacto foram identificados no processo de decomposio e de validao.

4. Concluses
Pode-se afirmar que o desenvolvimento do mtodo de decomposio, assim como os resultados preliminares de sua aplicao, contribuem fortemente para estudos relativos avaliao de programas de fomento a C,T&I. O mtodo tem como orientao central a derivao de indicadores ou seja, elementos mensurveis a partir dos objetivos dos programas avaliados, assim como dos objetivos mais gerais da agncia de fomento na qual os programas esto inseridos. Neste sentido, trata-se de um mtodo de avaliao que pretende relacionar a intensidade e a importncia de transformaes ocorridas em decorrncia dos programas com as metas a que eles formalmente se propem. A submisso dos indicadores a especialistas traz consistncia e adeso ao contexto no qual se desenrola cada programa. Esta etapa mostrou-se crucial para o refinamento e validao dos indicadores, alm de promover a participao dos diferentes atores que vivenciam o cotidiano de cada programa, seja no envolvimento com sua formulao e conduo no mbito da agncia de fomento, seja no desenvolvimento de projetos. Ademais de enriquecer o contedo analtico da avaliao, a participao essencial para a criao de uma viso compartilhada e consensada sobre o andamento dos programas e o cumprimento de seus objetivos, de forma a criar compromissos para a eventual implantao de reorientaes e mudanas. Os resultados preliminares da avaliao indicam que alguns temas so transversais, ou seja, so aplicveis aos quatro programas avaliados. So eles produo tcnico-cientfica, infraestrutura e capacitao. Isto se explica por serem estes temas inerentes a quaisquer programas cujo objetivo mais amplo esteja relacionado ao fomento de pesquisa cientfica e tecnolgica. Estes esto presentes nos quatro programas e provavelmente em qualquer programa de fomento cientfico e tecnolgico e de promoo da inovao. J os programas de fomento pesquisa em empresas PIPE e PITE indicam, alm dos j citados, temas como desempenho scio-econmico, relao universidade-empresa e inovao/cultura de inovao. Esse fato ocorreu por se tratarem de programas que, embora tenham como objetivo mais amplo o fomento pesquisa cientfica e tecnolgica, esto estritamente relacionados com o estmulo inovao e, portanto, apropriao social dos resultados do conhecimento produzido.

Nos outros dois programas, Polticas Pblicas e Jovem Pesquisador, houve indicao de temas relacionados formao de redes e parcerias, j que ambos trabalham com estmulos a novas formas de organizao do sistema de pesquisa o Programa JP no sentido de fortalecer instituies ou linhas de pesquisa emergentes, e o PPPP por lidar com parcerias ainda pouco exploradas nos meios acadmicos, a parceria entre universidades ou instituies de pesquisa com organizaes pblicas ou do terceiro setor, a fim de atender demandas sociais. At o presente momento, o mtodo de decomposio mostrou-se extremamente verstil s diferentes situaes que foram encontradas, sendo capaz de apreender no somente as caractersticas de forma e contedo propostas pelos distintos programas em avaliao, como tambm captar as condies reais de sua conduo pela participao de atores envolvidos direta e indiretamente com eles. Em consequncia, a aplicao do mtodo de decomposio resultou em um conjunto de indicadores bastante abrangente a ser aplicado a programas de fomento a C,T&I, alm de permitir uma discusso qualificada sobre os quatro programas em avaliao. A mensurao das variveis associadas aos indicadores identificados, por meio da aplicao de questionrios a pesquisadores e parceiros envolvidos com a conduo dos projetos em cada um dos programas, constitui-se a prxima etapa da avaliao. Pretende-se, neste processo, captar as transformaes ocorridas ou que vm ocorrendo nos ambiente em que os projetos tenham ou estejam em desenvolvimento, discutindo-as frente aos objetivos propostos por eles, assim como testar a consistncia dos indicadores identificados at o presente momento para avaliao dos quatro Programas de fomento da Fapesp.

5. Bibliografia
FAPESP. Evoluo das receitas de 1962 a 2007. http://www.fapesp.br/materia.php?data[id_materia]=469 , em 31 de maio de 2007. FURTADO, A. T.; BIN, A.; BONACELLI, M. B., PAULINO, S. R.; MIGLINO, M. A. e CASTRO, P. F. D. 2006. Evaluation of the Results and Impacts of a Social-Oriented Technological Program in Brazil: The Case of the Prosab (Sanitation Program). Annual Conference Technology Transfer Society Next Generation Innovation: New Approaches and Policy Designs Georgia Institute of Technology Atlanta, USA September 27 29, 2006. HONG, H.D. e BODEN, M. R&D Programme Evaluation theory and practice. England: Ashgate Publishing Limited. 2003. GEORGIOU, L. e ROESSNER, D. Evaluating technology programs: tools and methods. Research Policy, v. 29. pp. 657-678. 2000. KLINE, S. & ROSENBERG, N. An overview of innovation. in Landau, R. & Rosenberg, N. (eds.), The positive sum strategy. National Academy of Press. Washington DC, 1986. ROESSNER, D. Quantitative and qualitative methods and measures in the evaluation of research. Research Evaluation, v. 9, n. 2, pp. 125-132. 2000. ZACKIEWICZ, M. Avaliao de Programas de Cincia, Tecnologia e Inovao - as fronteiras entre resultados, impactos e governana. XXIV Simpsio de Inovao Tecnolgica, Gramado-RS. 2006.