VI SEMEAD

ESTUDO DE CASO ADM. GERAL

TTULO DO TRABALHO: AVALIAO DE RESULTADOS DE PROJETOS E PROGRAMAS SOCIAIS

AUTOR INSTITUIO GRU MXIMO ESTUDO Cristina Faculdade de Bacharel Fedato Economia e Engenharia Pogoda Administrao Mecnica USP

ENDEREO E-MAIL POSTAL

Av. Prof. cfedato@uol.com.br Luciano Gualberto, 908 USP CEP 05508900 Joo Faculdade de Bacharel - Rua Tomas joaoro@ig.com.br 3887-2198 Teixeira Economia e Engenharia Carvalhal, Pires Administrao Mecnica 307, apto. 41 USP Paraso SP CEP 04006-000 Telma +Valor Bacharel Rua telmamoretti@uol.com.br 9938-9700 Moretti Consultores em em Ribeiro Gesto Psicologia Bonito, 499 Ipiranga SP CEP 04286-130

TELEFONE DE CONTATO 4612-5293

TTULO: AVALIAO DE RESULTADOS DE PROJETOS E PROGRAMAS SOCIAIS RESUMO A avaliao de projetos e programas sociais um tema em desenvolvimento, no qual est implcito um julgamento de valor, a partir do qual, decises so tomadas e destinos so traados. Assim, torna-se relevante estudar e analisar a forma como este processo conduzido, de modo a compreendermos sua dinmica e a eficcia de seus resultados. A proposta do presente trabalho foi analisar as metodologias de avaliao de resultados de projetos e programas sociais utilizadas por instituies ligadas ao Terceiro Setor que trabalham no Brasil com pblico-alvo crianas e adolescentes. Assim, foi utilizada uma amostra intencional de 3 instituies que coordenam e/ou financiam projetos e programas voltados a crianas e adolescentes: Instituto Ayrton Senna, Fundao Abrinq e Capacitao Solidria. A base conceitual e os objetivos do processo de avaliao das organizaes pesquisadas apresentaram caractersticas comuns, seguindo os passos de avaliao de marco zero, indicadores, avaliao de processo, produto e impacto. Os objetivos da avaliao so estratgicos, buscando alinhar as aes das organizaes sua misso, e auxiliando tambm na disseminao e transparncia de suas aes. Os processos avaliativos procuram ser participativos e dinmicos, procurando incorporar, desta forma, a flexibilidade e dinamismo da rea social. 1 - INTRODUO Existe um nmero crescente de projetos e programas sociais sendo implementados por organizaes do terceiro setor no Brasil. Em pesquisa realizada pelo IPEA (2000), constatou-se que 423.000 empresas pequenas, mdias e grandes investiram no perodo de um ano mais de R$ 4 bilhes em projetos sociais. Poucas parecem saber sobre a eficincia e eficcia no uso dos recursos empregados. A mesma pesquisa do IPEA constatou que apenas 12% das empresas da regio sudeste, 48% da regio sul e 11% da regio nordeste fazem algum tipo de avaliao dos investimentos realizados. A avaliao de projetos e programas um tema extenso e complexo, prestando-se a vrias abordagens, principalmente quando se trata de projetos e programas sociais. Est implcito um julgamento de valor do qual decorrem decises a respeito dos mesmos. por isto que se torna relevante estudar e analisar a forma como este processo conduzido, j que atravs desta forma que se faz a diferena quando se trata de tomar decises a respeito de projetos existentes (Reis, 1999). Observando a cultura existente em organizaes ligadas ao terceiro setor, Adulis (2002) considera que a avaliao ainda vista como uma atividade isolada, realizada geralmente ao trmino de um projeto, com o propsito de controle ou fiscalizao. Segundo Marino (1998), as organizaes que vem a avaliao como mecanismo de controle transformam em objeto passivo o indivduo que est sendo avaliado. Correm o risco de despertar uma atitude negativa nos 2

participantes, que resulta em superficialidade, ocultao ou at alterao de informaes essenciais para a credibilidade do que se quer avaliar. O entendimento completo do papel da avaliao de projetos e programas sociais remete-nos ao conhecimento do modo como a aprendizagem ocorre no ser humano. Segundo Marino (1998) a aprendizagem do adulto no contexto organizacional ou em outros sistemas sociais, s possvel atravs de um processo contnuo de ao e reflexo. A reflexo ocupa um papel fundamental: provocar mudanas nas aes dos indivduos. Este especificamente o papel da avaliao: construir momentos reflexivos que permitam aos indivduos a anlise da realidade e dos fatos, para da direcionarem suas aes, aprendendo pela experincia. Percebemos, assim, que o papel da avaliao transcende a mera questo fiscalizadora ou controladora, abrangendo uma intensa reflexo que deve ser feita com todos os envolvidos no processo. O presente trabalho pretende identificar, comparar e analisar alguns mtodos de avaliao de projetos e programas sociais e, ao final, avaliar as seguintes hipteses: os resultados de projetos e programas sociais so em sua maioria avaliados apenas qualitativamente, de modo quase intuitivo; a avaliao de projetos e programas sociais pode ser quantificada, com a criao e aplicao de indicadores.

2 - FORMULAO TERICA 2.1 - DEFINIES FUNDAMENTAIS Preocuparemo-nos, inicialmente, com a definio de alguns termos fundamentais utilizados ao longo do trabalho, de modo a fornecer a base terica sobre a qual sustentaremos nossas anlises e concluses. Em relao ao termo avaliao, no existe uma nica definio que seja amplamente aceita na comunidade mundial dos avaliadores profissionais. No escopo deste trabalho, utilizaremos a definio mencionada em Chianca (2001:16): A coleta sistemtica de informaes sobre as aes, as caractersticas e os resultados de um programa, e a identificao, esclarecimento e aplicao de critrios, passveis de serem defendidos publicamente, para determinar o valor (mrito e relevncia), a qualidade, utilidade, efetividade ou importncia do programa sendo avaliado em relao aos critrios estabelecidos, gerando recomendaes para melhorar o programa e as informaes para prestar contas aos pblicos interno e externo ao programa do trabalho desenvolvido. Notamos nesta definio de avaliao, a meno da avaliao de um programa. Podemos encontrar, tambm, a avaliao de um projeto. O que diferencia um programa de um projeto social? Segundo Armani (2001:18) podem-se identificar trs nveis de formulao da ao social: a) o nvel dos grandes objetivos e eixos estratgicos de ao (a poltica);

b) um nvel intermedirio em que as polticas so traduzidas em linhas mestras de aes temticas e/ou setoriais (programas); e c) o nvel das aes concretas, delimitadas no tempo, no espao e pelos recursos existentes, que possam realizar os programas e as polticas, ou seja, os projetos. No contexto de programa, entendemos atividades que so oferecidas em bases contnuas. J no contexto de projeto, entendemos atividades que so oferecidas por um perodo determinado de tempo. Para efeito de nosso trabalho, a avaliao aqui concebida e analisada se presta a programas e projetos, j que suas etapas e filosofias subjacentes se aplicam a ambos os tipos de empreendimentos sociais. A avaliao de projetos e programas sociais pode ser subdividida nas seguintes avaliaes: avaliao do marco zero, avaliao de processo ou formativa, e avaliao somativa (Chianca, 2001).

Segundo Chianca (2001:18) a avaliao do marco zero ocorre antes da instalao de um determinado programa e serve para orientar a equipe responsvel por ele no planejamento das aes, garantindo o mximo de proximidade s reais necessidades e expectativas dos futuros usurios. Ainda segundo Chianca (2001:17), a avaliao de processo ou formativa tem como objetivo prover informaes essenciais sobre um determinado programa para que os gestores possam introduzir mudanas a fim de melhor-lo ainda durante seu processo de implementao. J a avaliao de produto ou somativa conduzida aps o trmino de um programa ou projeto, servindo basicamente para julgar o mrito e a relevncia de um programa ou projeto em relao a determinados critrios (Chianca, 2001:18). Marino (1998 :23) acrescenta a chamada avaliao de impacto afirmando que o efeito final ou impacto de um projeto deve ser examinado aps o perodo de implementao das aes(Marino,1998:23). Os indicadores de resultados devem ser comparados queles iniciais, observados no Marco Zero. Para que seja possvel a avaliao de um projeto ou programa social, deve-se fazer um esforo, desde o planejamento inicial das atividades, para identificar e desenvolver indicadores de resultados do projeto. Segundo Valarelli (1999), em projetos sociais, indicadores so parmetros qualificados e/ou quantificados que servem para detalhar em que medida os objetivos de um projeto foram alcanados, dentro de um prazo delimitado de tempo e numa localidade especfica. Ainda segundo o autor so uma espcie de marca ou sinalizador, que busca expressar e demonstrar a realidade sob uma forma que possamos observar e obter dados mais concretos para melhor avaliao. Os indicadores indicam mas no so a prpria realidade. Baseiam-se na identificao de uma varivel, ou seja, algum aspecto que varia de estado ou situao, variao esta que consideramos capaz de expressar um fenmeno que nos interessa (Valarelli, 1999). Marino (1998) considera, ainda sobre a questo dos indicadores de resultados, que os objetivos do projeto 4

ou programa e as perguntas formuladas para orientar a avaliao so importantes fontes para se definir os indicadores de resultados parciais ou finais. Segundo Armani (2001), um bom sistema de indicadores deve: ter mais indicadores nos nveis de atividades e resultados e menos no nvel de objetivo geral; conter um nmero de indicadores adequado para o projeto, trazendo informaes importantes porm no em excesso, de modo a facilitar a operacionalizao da avaliao; fazer com que o processo de definio de indicadores seja o mais participativo possvel, envolvendo todos os principais atores do projeto; promover reflexes peridicas com os atores ao longo de todo o projeto; explicitar os meios de verificao e coleta de dados, bem como seus responsveis; buscar fazer uso de informaes j existentes ou de simples produo, com o objetivo de otimizar o uso de recursos. DIRETRIZES GERAIS DOS PROCESSOS DE AVALIAO DE PROJETOS E PROGRAMAS SOCIAIS

2.3 -

Segundo a Kellogg Foundation Handbook, h basicamente trs componentes de uma avaliao de projetos que norteiam o seu escopo e abrange, cada um, um diferente aspecto do projeto: 1) Avaliao do contexto: acessar as necessidades, ativos e recursos de uma comunidade alvo para planejar intervenes relevantes e efetivas, dentro do contexto daquela comunidade; identificar a atmosfera poltica, econmica e social da comunidade envolvida, de modo a aumentar a probabilidade de que as intervenes escolhidas sejam acatadas e implementadas pelos lderes locais. 2) Avaliao da implementao: trata-se de uma avaliao contnua, persistente que levanta informaes sobre o que acontece e porque acontece. Envolve a contnua adaptao do plano inicial, de modo a considerar as condies locais, a dinmica organizacional e as incertezas programticas. As informaes devem ser continuamente analisadas e aes de correo tomadas para garantir o atingimento dos resultados propostos. 3) Avaliao de resultados: procura focar os resultados prticos de curto e longo prazo do projeto. Como normalmente os projetos trazem resultados nem sempre previstos na proposta original, e devido aos esforos de preveno serem complexos em um ambiente de comunidade, na qual se atua em projetos sociais, e difceis de mensurar, deve-se ser especialmente flexvel ao conduzir uma avaliao de resultados. Ainda de acordo com a Kellog Foundation Handbook, os passos previstos para a avaliao de projetos e programas so os seguintes: 1) ETAPAS DE PLANEJAMENTO: Consiste na preparao para avaliao. Os passos so: a) identificar os stakeholders envolvidos e a equipe de avaliao; b) desenvolver as questes de avaliao; c) orar a avaliao; d) selecionar o avaliador. 5

2) ETAPAS DE IMPLEMENTAO: Consiste no desenho e conduo da avaliao. Os passos so: a) determinar a metodologia de coleta de dados; b) coletar dados; c) analisar e interpretar dados. 3) ETAPAS DE APROVEITAMENTO DA AVALIAO: Tratam-se das etapas de comunicao dos resultados e envolvendo o aproveitamento da experincia do processo de avaliao e seus resultados J Chianca (2001), prope um detalhamento maior nas etapas de planejamento, execuo e anlise/divulgao dos resultados da avaliao. Os principais itens identificados pelo autor so: a) PLANEJAMENTO: Estudo da viabilidade: determinao dos interessados, quem deve conduzir, como selecionar os avaliadores, e o porque e quando avaliar; Esclarecimento de objetivos da avaliao e anlise do contexto: determinao do que avaliar e mapeamento do contexto poltico envolvido (relaes de poder, interesses); Identificao e seleo de perguntas avaliativas; Identificao de indicadores: ndices relacionados s perguntas avaliativas; Seleo de fontes e mtodos de informao: determinao de amostras, mtodos de anlises de dados e determinao de forma de comunicao dos resultados obtidos na avaliao. Determinao dos custos de avaliao: Segundo Chianca (2001) o valor total do custo de avaliao normalmente gira em torno de 5 a 10% do custo total do projeto. Atentar para aspectos polticos e ticos durante a avaliao: no se deve permitir que valores individuais e interesses influenciem a avaliao; Coleta de dados: sempre testar os instrumentos de coleta, capacitar profissionais que coletam os dados, fazer cpia dos dados coletados, checar dados anotados. Focar a simplicidade, buscar sempre incluir mais de uma fonte de informao e mtodo de coleta de dados no estudo, procurar combinar mtodos qualitativos e quantitativos. Quanto aos mtodos, procurar combinar anlise de documentos, observao, questionrios, entrevistas individuais, entrevistas por telefone e entrevistas em grupo. A fase de anlise envolve o manuseio e interpretao de dados quantitativos (freqncias, mdias, desvios-padro, quantidades), dados qualitativos (agrupamento de respostas em categorias, anlises de campo)

b) EXECUO DA AVALIAO -

c) ANLISE DE RESULTADOS -

d) DIVULGAO E UTILIZAO DOS RESULTADOS atravs de relatrios para cada pblico de interesse envolvido no processo. Deve-se proceder uma avaliao da avaliao: anlise crtica do processo de avaliao, analisando pontos fortes, dificuldades e pontos a melhorar no processo como um todo. Dentro da metodologia proposta por Armani (2001), notamos a presena de etapas similares s descritas nas metodologias de Chianca (2001) e da Kellog Foundation Handbook, sendo mais 6

especfico na etapa de planejamento da avaliao onde parece residir o ponto fundamental para o xito do projeto. Ao nosso ver, qualquer que seja a metodologia de avaliao a ser utilizada, o melhor sentido da avaliao aquele que, segundo Reis (1999), se estabelece como um .....meio de melhorar os projetos existentes, aprimorar o conhecimento sobre sua execuo e contribuir para seu planejamento futuro, tendo como pano de fundo sua contribuio aos objetivos institucionais. Neste sentido, um exerccio permanente e, acima de tudo, comprometido com as repercusses de um projeto ao longo de sua realizao. 3 - METODOLOGIA A proposta do presente trabalho foi analisar, dentro de instituies ligadas ao Terceiro Setor que trabalham no Brasil com pblico-alvo crianas e adolescentes, aquelas que utilizam e praticam alguma metodologia de avaliao de resultados de projetos e programas sociais. O intuito foi fazer uma pesquisa qualitativa de carter exploratrio, de modo a possibilitar a compreenso do estgio em que se encontram algumas das melhores prticas de avaliao de projetos e programas. Segundo Mattar (1994:85) a pesquisa exploratria, dentre outros objetivos, pode ser usada para familiarizar e elevar o conhecimento e a compreenso de um problema de pesquisa, para auxiliar a desenvolver a formulao mais precisa de um dado problema ou situao, ajudar no desenvolvimento ou criao de hipteses explicativas, clarificar conceitos e estabelecer prioridades para futuras pesquisas. Pareceu-nos assim uma abordagem adequada para o mapeamento e compreenso das metodologias existentes de avaliao de projetos e programas sociais na rea proposta, fornecendo, tambm, os conhecimentos necessrios para alavancar estudos futuros referente ao tema. Assim, foi utilizada uma amostra intencional de 3 instituies que coordenam e/ou financiam projetos e programas voltados a crianas e adolescentes, nas quais foram realizadas entrevistas pessoais, nas instalaes das instituies, com os responsveis por avaliao de projetos e programas. So elas: Instituto Ayrton Senna, Fundao Abrinq e Capacitao Solidria. As entrevistas duraram, em mdia, 2 horas, tendo sido utilizado um roteiro com perguntas abertas. Alm das entrevistas, utilizamo-nos de materiais, em forma de folders, catlogos, artigos, documentaes internas, que serviram de dados secundrios, ajudando a compor nossas descries e anlises subsequentes. 4 - CASOS ESTUDADOS 4.1 - INSTITUTO AYRTON SENNA O INSTITUTO AYRTON SENNA nasceu de uma iniciativa familiar que visava materializar um sonho do piloto brasileiro Ayrton Senna. A filosofia bsica que norteia os programas sociais 7

desenvolvidos pelo IAS esto fundamentadas nos 4 pilares de Educao criados pela UNESCO: aprender a ser; aprender a conviver com o prximo; aprender a aprender; aprender a fazer. A partir desta filosofia norteadora, criou-se no IAS uma metodologia que acredita no potencial das crianas e busca transformar esse potencial em competncias e habilidades que gerem mudanas de comportamento, como forma de prepar-los para a vida. com o foco nestas metas, que se estabelecem indicadores de resultados que sero avaliados no processo e no impacto obtidos pelos programas. O IAS no desenvolve projetos diretamente. Busca parceiros que tenham projetos com misso e pblico-alvo coerentes com os do Instituto. Com o decorrer dos anos os parceiros vo se tornando capazes de replicar os programas j implantados, avaliados e revisados. Na avaliao dos projetos, procura-se produzir sempre avaliaes internas e externas. considerado de suma importncia envolver a todos numa comunidade de aprendizagem. A construo de indicadores, por exemplo, ocorre com o envolvimento da organizao, havendo sempre um conjunto fixo e outros especficos para cada projeto. O objetivo claro do processo de avaliao, envolvendo marco zero, processo, produto e impacto qualificar e credibilizar as prticas, para que possam ser assimiladas por outras organizaes. Busca-se tambm transparncia no investimento, objetivando dar a devida satisfao aos parceiros envolvidos. A importncia do processo avaliativo para o IAS revela-se no oramento de um processo de avaliao dentro de um programa social, correspondendo entre 15% e 20% do custo total. As perguntas-chave a serem respondidas pela avaliao esto ligadas ao processo e ao impacto gerado no pblico-alvo: Estamos investindo eficientemente e efetivamente os recursos? Que diferenas os programas esto fazendo na vida das crianas, suas famlias, escolas e comunidade? O mtodo desenvolvido no IAS consta assim de 7 passos, resumidos a seguir: 1. Estabelecer um foco para avaliao; 2. Construir a equipe de avaliao; 3. Identificar os stakeholders, questes avaliativas e indicadores; 4. Reunir as informaes importantes; 5. Analisar as informaes encontradas; 6. Registrar os resultados encontrados; 7. Usar e disseminar os resultados. Ressalta-se o esforo necessrio para traduzir fatores intangveis como sucesso na vida em habilidades e competncias observveis, atravs de indicadores. Utilizao dos resultados da avaliao O processo de utilizao e disseminao das avaliaes consiste em trs caminhos bsicos: alimentar os processos de tomada de deciso para o planejamento de aes; melhorar a sistemtica da prpria avaliao realizada; disseminar o projeto, com os resultados disponveis. O IAS disponibiliza kits gratuitos para qualquer entidade ou lder comunitrio que queira implementar ou conhecimento destas prticas testadas que deram certo. 4.2 - FUNDAO ABRINQ A Fundao Abrinq pelos Direitos da Criana e do Adolescente uma entidade sem fins lucrativos, de Utilidade Pblica Federal, que tem como objetivo bsico promover os direitos 8

elementares de cidadania das crianas e principal estratgia a disseminao dos programas e a influncia de polticas pblicas. .Sua fundao ocorreu na mesma poca da criao do Estatuto da Criana e do Adolescente, visando mobilizar e sensibilizar a sociedade para a necessidade de implantao do ECA. Os principais critrios avaliados para seleo de projetos so a capacidade de sistematizao, escalabilidade e sustentabilidade dos projetos. A Fundao elabora seus prprios projetos e capta projetos atravs de aes onde seleciona, sistematiza projetos (escrevendo roteiros de sucesso) e cria pacotes de tecnologia social. Na fase de concepo de um projeto/programa j definido o mtodo de avaliao, e criada uma quantidade mnima de indicadores, mas a gerao de indicadores vista como um processo dinmico e contnuo ao longo do projeto. Segundo a Fundao uma avaliao deve ser participativa, envolvendo gestores, equipe, parceiros e pblico beneficiado, respeitando o perfil dos atores sociais envolvidos, ou seja, a avaliao no pode prejudicar sua atuao ou prevalecer causa. Deve tambm analisar a eficcia (alcance dos objetivos; quanto o programa/projeto capaz de atingir os resultados previstos), eficincia (relao entre aplicao de recursos -humanos, materiais e financeiros -e os benefcios alcanados) e efetividade (impacto social alcanado) de suas aes. Os principais objetivos da avaliao so: Analisar a coerncia entre objetivos, estratgias e resultados obtidos; Cumprir o dever tico de apresentar sociedade os resultados de suas aes; Acompanhar o comportamento das aes sociais e da dinmica social; Manter a transparncia junto s financiadoras e facilitar a captao de recursos. Com o objetivo de isentar a anlise de impacto do envolvimento na execuo do projeto a Gerncia de Planejamento e Processos responsvel pela avaliao de eficcia e eficincia dos programas/projetos e a Gerncia de Sistematizao e Contedo responsvel pela avaliao de efetividade (impacto social). O budget aproximado dedicado a avaliao constitui aproximadamente 10 a 15% do budget total do projeto/programa. A avaliao sistematizada em trs fases: ex-ante, continuum e pos-facto. A fase ex-ante se refere ao ponto de partida no incio do projeto, e inclui: anlise e diagnstico do contexto social anterior ao projeto, definio do marco-zero; planejamento de atividades; avaliao da capacidade do programa/projeto em atender as demandas e expectativas do pblico-alvo; estudo de viabilidade da proposta dentro dos critrios de sistematizao, disseminao e sustentabilidade. A fase continuum se d ao longo da implantao e execuo do programa/projeto e inclui a avaliao de processos e indicadores de acompanhamento de ao; a avaliao de objetivos operativos visando melhor desempenho e planejamento de novas etapas e avaliao de desempenho pessoal. Esta fase segue os conceitos de planejamento estratgico, sistematizados com uso de rvores de objetivos. A avaliao pos-facto a avaliao do impacto social, mediante confrontao da nova realidade social obtida com o objetivo principal do programa/projeto. vista como mais complexa, uma vez que o ganho capital social. A avaliao de resultados muitas vezes parte de uma primeira avaliao da capacidade local do projeto, ou seja, leva em conta o potencial inicial de transformao do municpio. 9

O Programa Prefeito Amigo da Criana, por exemplo, parte de um ranking de municpios conforme sua capacidade relativa. Os indicadores medem capacidade, esforo, resultados e participao. Para municpios de capacidade grande avalia-se predominantemente o resultado; para municpios de capacidade baixa prevalece a avaliao de esforo. Os indicadores so distribudos nos temas oramento, educao, sade e assistncia social. A mesma metodologia de avaliao aplicada a programas e projetos aplicada definio de objetivos das gerncias e da Fundao como um todo. A criao da rvore de objetivos e de indicadores de desempenho segue o mesmo mtodo. O plano de ao da Fundao a soma das aes planejadas para os programas, projetos e gerncias. O conjunto de todos os programas, projetos e gerncias constitui a rvore de objetivos da Fundao. Este documento exemplifica a preocupao estratgica da Fundao em alinhar suas aes sua misso. Utilizao dos resultados da avaliao A avaliao monitora os processos e atividades previstos no plano de ao da Fundao, analisa constantemente a coerncia entre objetivo principal, estratgias propostas e resultados obtidos. De modo consistente com os objetivos apontados, a Fundao utiliza continuamente os resultados de avaliao para realizar ajustes e correes imediatos no desempenho dos programas/projetos bem como na sistematizao dos programas, com vistas sua disseminao. . Os resultados so divulgados s financiadoras e sociedade, buscando manter a transparncia de suas aes. 4.3 - CAPACITAO SOLIDRIA O PROGRAMA CAPACITAO SOLIDRIA (PCS) teve incio em 1996 e originou-se do Programa Comunidade Solidria, que elegeu como prioridades a gerao de emprego e renda, o apoio ao desenvolvimento do ensino fundamental e a defesa dos direitos e promoo social das crianas e adolescentes no Brasil. O PCS tem como objetivo a capacitao de jovens para o trabalho, desenvolver habilidades para gerao de renda; incentivar o retorno escola; estimular a interao social, alm de fortalecer as organizaes da sociedade civil , contribuir para o aperfeioamento metodolgico, gerencial e financeiro dessas organizaes sociais. O Concurso de Projetos, que financia cursos de capacitao profissional para jovens de 16 a 21 anos, com baixa renda e escolaridade, que vivem na periferia das grandes cidades, foi a forma encontrada pelo PCS para garantir s organizaes sociais uma participao igualitria no processo de seleo para financiamento de projetos. Os concursos so lanados em regies metropolitanas, selecionadas a partir de indicadores socioeconmicos que revelam o panorama da situao de trabalho e do nvel de empobrecimento dos jovens nas regies. Os critrios que orientam o processo de seleo buscam garantir a coerncia dos objetivos do projeto com o pblico-alvo e a proposta do PCS (gerao de renda, organizao social da comunidade, articulao de parcerias) alm da obrigatoriedade de mdulos bsicos e especficos e garantia de vivncia prtica. A avaliao de projetos da Capacitao Solidria visa contribuir no s para a efetividade da ao social como para o fortalecimento e aprendizado das organizaes envolvidas e para isso envolve gestores, instrutores e jovens do projeto.

10

Mtodo de Avaliao Respaldados na teoria apresentada neste trabalho, podemos considerar que a avaliao de marco zero feita mediante a anlise da ficha cadastral do aluno com os dados pessoais, situao de trabalho, atividades de lazer e expectativas, renda familiar, caractersticas do domiclio e situao profissional dos pais. O PCS dedica a esta parte cuidado, orientando o correto preenchimento , e a importncia dele ser respaldado por um clima de confiana que no gere constrangimentos sobre os dados e fazendo os alunos refletirem sobre essa experincia como um exerccio para o futuro(procura de emprego, inscrio em cursos ou concursos). A avaliao de processo dos programas j fazia parte do PCS desde a sua criao. Ela foi planejada e aplicada desde 1996 como instrumento fundamental e aperfeioada at chegar ao modelo atual. O processo est estruturado em dois departamentos : o Monitoramento Tcnico Financeiro, que atravs de entrevistas com representantes da organizao acompanha a gesto dos recursos recebidos mensalmente e o Monitoramento Tcnico Pedaggico, feito atravs de pelo menos uma visita mensal a cada projeto onde o enfoque incentivar a parceria e apoiar o desenvolvimento pedaggico do curso, sendo as observaes e orientaes registradas a base que compe o banco de dados do PCS . Nesta atividade analisa-se desde a forma de divulgao do curso utilizada pela OCs, como os critrios utilizados para a seleo dos jovens. Alm do monitoramento, o processo avaliativo contempla durante o curso a realizao de trs oficinas (no segundo, terceiro e quinto ms de curso) que buscam a troca de experincia entre as OCS da regio e fortalecimento de redes. Estima-se que 1% do budget do PCS seja utilizado nos processos avaliativos. Mais de 90% dos recursos arrecadados so destinados diretamente s OCs, com percentuais definidos para serem gastos em alimentao, transporte e bolsa auxlio (R$ 50,00/ms por aluno). O processo avaliativo tambm conta com uma avaliao de impacto, realizada desde 1997 por uma equipe externa. Esta avaliao acompanha o aluno por 1 ano aps o curso e mede no somente a capacidade de gerar renda do aluno, como tambm as mudanas nas relaes sociais. Utilizao dos resultados de avaliao Os resultados do processo avaliativo no somente servem para aferir se os objetivos e compromissos do PCS esto sendo alcanados como servem de instrumento fundamental no aperfeioamento de editais, instrumentos de trabalho e contedo de seminrios. Alimenta tambm , visto que a avaliao atualmente um processo padronizado e informatizado, o banco de dados do PCS no que diz respeito ao perfil dos jovens atendidos pelo programa e perfil das organizaes. Cada OCs recebe um relatrio especfico, elaborado pelo monitor, sobre o curso desenvolvido, seu alcance, sucesso e sugestes de melhoria.

5 - CONCLUSO A seguir apresentaremos as principais concluses deste trabalho, fruto de reflexes a partir do estudo realizado. A base conceitual e os objetivos do processo de avaliao das organizaes pesquisadas apresentam caractersticas comuns. Todas seguem os conceitos de marco zero, indicadores, 11

processo, produto e impacto, conforme encontrado na referncia terica. Os objetivos da avaliao so sempre estratgicos, buscando alinhar as aes das organizaes sua misso, e auxiliando tambm na disseminao e transparncia de suas aes. Buscam sempre criar processos de avaliao participativos e dinmicos. A origem, a cultura e a misso das organizaes pesquisadas influenciam o enfoque da avaliao, sendo que as principais diferenas encontradas podem ser atribudas a estes fatores. O Instituto Ayrton Senna, de origem familiar e enfoque empresarial, opera de modo bastante semelhante a instituies do segundo setor. J a Fundao Abrinq demonstra uma clara preocupao com o fortalecimento do estado atravs da influncia de polticas pblicas e da mobilizao da sociedade, o que pode ser vinculado militncia caracterstica de seus fundadores e dirigentes. A Capacitao Solidria incorpora a viso de descentralizao do Programa Comunidade Solidria do governo federal e se utiliza de um sistema ordenado e rigoroso em sua padronizao, caracterstico dos editais do setor pblico. A avaliao de impacto em projetos sociais tende a produzir mais indcios do que resultados efetivos, devido ao nmero de variveis que compe o quadro. J a avaliao de processo e produto so mais facilmente sistematizveis e produzem avaliaes mais precisas. Os processos avaliativos tendem a apresentar uma abordagem pluralista (quali-quantitativa), centrada nas relaes entre o sistema de ao e a lgica dos atores. Os processos so enriquecidos quando h o envolvimento de diferentes atores e a preocupao em se criar um sistema diversificado de indicadores, combinando conceitos, meios de coleta e responsveis diferentes. Em relao s hipteses assumidas, podemos dizer que para os casos estudados a avaliao qualitativa importante, porm no um mero processo intuitivo. Aliada avaliao quantitativa, sistematizao e ao planejamento forma um sistema lgico de avaliao de resultados. O resultado pode e quantificado atravs da criao e aplicao de indicadores, sendo estes peas fundamentais deste sistema. 6 - BIBLIOGRAFIA ADULIS, D. Como planejar a avaliao de um projeto social? . In: Apoio Gesto. Rio de Janeiro; Site da RITS, 2002; Artigo. ARMANI, D. Como elaborar projetos? Guia Prtico para Elaborao e Gesto de Projetos Sociais . Porto Alegre: Tomo, 2001. CHIANCA, T. Desenvolvendo a cultura de avaliao em organizaes da sociedade civil. So Paulo: Global, 2001. KELLOG FOUNDATION HANDBOOK; Site da Kellog Foundation, 2002. MARINO, E. Manual de Avaliao de Projetos Sociais So Paulo: IAS Pedagogia Social, 1 a edio, 1998. MATTAR, F. N. Pesquisa de Marketing. So Paulo: Atlas S.A., 2 edio, 1994. REIS, L. C. Avaliao de projetos como instrumentos de gesto. In: Apoio Gesto. Rio de Janeiro; site da RITS, 1999; Artigo. VALARELLI, L. Indicadores de resultados de projetos sociais. In: Apoio Gesto. Rio de Janeiro; site da RITS; 1999; Artigo. 12