Da Construo de Capacidade Avaliatria em Iniciativas Sociais: Algumas Reflexes

Daniel Braga Brando Rogrio Renato Silva Cssia Maria Carraco Palos

Resumo

Este ensaio discute alternativas de apoio ao desenvolvimento da capacidade avaliatria em organizaes da sociedade civil. Nele so debatidos elementos estratgicos para apoiar processos de aprendizagem nas organizaes e para fortalecer conquista de autonomia no campo da avaliaDaniel Braga Brando o. Aborda-se a construMestrando em Educao, PUC/SP Abstract Consultor do Instituto Fonte o da capacidade avalidaniel@fonte.org.br atria como processo de Some Rogrio Renato Silva construo de sujeitos, e Reflections on Doutor em Sade Pblica, USP no como um movimento Coordenador Editorial de natureza predominanteBuilding do Instituto Fonte mente tcnica. Com base Cssia Maria Carraco Palos Evaluation nos princpios de aprendiMestre em Sade Pblica, USP zagem, autonomia, respeiCapacity on Consultora do Instituto Fonte to e participao so profonte@fonte.org.br Social Initiatives postas cinco dimenses esThis essay focuses on tratgicas para apoiar o building evaluation capacity desenvolvimento de capacidade avaliatin civil society organizations. It considers ria: 1) a conscincia a respeito e a capaciaspects to support the organizational learning dade de lidar com as relaes de poder process and propose five dimensions to be presentes nas aes avaliatrias; 2) a busconsidered in an evaluation capacity building ca de razes e motivao para avaliar as process: 1) The power that involves the prticas; 3) a construo de um certo grau relationship among the stakeholders and its de identidade organizacional em torno da consequences in the decision making avaliao; 4) o desenvolvimento de comprocess; 2) The reasons and motivations to petncias no campo da facilitao e gesEnsaio: aval. pol. pbl. Educ., Rio de Janeiro, v.13, n.48, p. 361-374, jul./set. 2005

to de processos e da investigao da realidade, necessrias a realizao de avaliaes; 5) a captao e alocao de recursos para criar as condies de trabalho necessrias aos processos de avaliao. Palavras-chave: Avaliao. Capacidade avaliatria. Avaliao de programas. Desenvolvimento organizacional. Identidade organizacional.

362

Daniel Braga Brando, Rogrio Renato Silva e Cssia Maria Carraco Palos

develop the evaluation process; 3) The search to develop an organization understanding of the meaning of evaluation; 4) The need to develop skills in evaluation and 5) The need to raise and manage resources to the evaluation. Keywords: Evaluation. Capacity building. Organizational development. Organizational identity.

duo e sistematizao de conhecimentos e prticas a respeito dos problemas da regio e, sobretudo, de alternativas conceituais e possibilidades concretas de interveno e mudana dos cenrios de excluso e dependncia que marcam as realidades locais. Um dos pressupostos mais importantes na busca por melhores polticas pblicas ou intervenes sociais que ajudem o processo de desenvolvimento latino-americano encontra-se na necessidade de criar e fortalecer organizaes e programas que estruturem modelos de gesto que tenham a reflexo e a aprendizagem entre seus pilares de sustentao. Neste cenrio, o desenvolvimento de culturas de avaliao nas organizaes da regio tem-se constitudo como ao estratgica para o fortalecimento organizacional. O caso brasileiro no foge regra. A ampliao daquilo que podemos denominar de pensamentos avaliatrios no Brasil tem sido acompanhado de fatos bastante significativos. Seja por meio da criao da Rede Brasileira de Avaliao no ano de 2002, das dezenas de cursos e seminrios sobre avaliao que tm sido promovidos em distintos espaos e organizaes ou dos investimentos pblicos e privados para a contratao de avaliaes internas e externas, parece j existir consenso em torno da necessidade de que projetos e programas sejam avaliados em busca de eficincia, transparncia e equidade, ainda que muitos dos desenhos e mtodos utilizados se apresentem frgeis e, muitas vezes, pouco democrticos, superficiais e pouco confiveis. Ao olharmos para alm do horizonte dos discursos existentes neste campo, identificamos desafios complexos e de natureza estruturante para o fortalecimento da cultura da avaliao

Resumen Constructin de Capacidad en Avaluacin

Este texto trata de la construccin de capacidades en evaluacin en organizaciones de la sociedad civil. Aborda el tema orientado por los proceso de aprendijage organizacional y considera cinco dimensiones presentes en la construccin de la capacidad en evaluacin en una organizacin: 1) Las relaciones de poder entre los stakholders y sus consecuencias en las decisiones; 2) Las razones y los motivos para desarrollar una evaluacin; 3) La elaboracin de una identidad organizacional para la evaluacin; 4) La necesidad del desarrollo de competencias en evaluacin y 5) La necesidad de garantizar y manejar fondos para la evaluacin. Palabras clave: Evaluacin. Capacidad evaluativa. Desarrollo organizacional. Aprendizaje organizacional.

Das razes que nos levaram a escrever este ensaio

A busca de melhores condies para o enfrentamento dos graves problemas sociais no Brasil, assim como em toda a Amrica Latina, requer investimentos decisivos na pro-

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v.13, n.48, p. 361-374, jul./set. 2005

Da Construo de Capacidade Avaliatria em Iniciativas Sociais: Algumas Reflexes

363

no Brasil. Ao mesmo tempo em que muito se fala em avaliao, alguns fatores seguem determinando um certo grau de dificuldade para que as organizaes a incorporem em sua prtica cotidiana. Dentre esses fatores, queremos destacar e analisar brevemente os de natureza econmica, os da natureza da formao de gestores, educadores e consultores e os de natureza organizacional. No que se refere ao aspecto econmico, os recursos alocados para avaliaes entre as organizaes da sociedade civil ainda so restritos. Rubricas destinadas a estudos avaliatrios ainda so difceis de negociar e, muitas vezes, entre destinar recursos para realizar aes ou para avaliar aes, no h dvidas a respeito do caminho seguido. natureza de programao e prioridade do investimento deste aspecto, soma-se alguma dificuldade das organizaes em fazer prognsticos dos custos de uma avaliao. Pode at existir disposio de se investir neste processo, mas existe dificuldade e ausncia de parmetros para definir quanto investir. Mesmo quando os parmetros recomendados por escolas mais estruturadas so utilizados, como as recomendaes da escola americana em destinar 6 a 10% do oramento global de um projeto para avaliao, no parece haver qualquer sentido em estabelecer uma relao cartesiana entre tal diretriz e a realidade brasileira. Somente o acmulo de experincias em processos de avaliao e, sobretudo, a utilizao de seus resultados, podero dar s organizaes condies de julgar a relevncia de se destinar recursos financeiros a essa finalidade. Outra questo desafiadora encontra-se na formao de gestores, educadores e consultores para atuarem no campo da avaliao.

Ainda que j reunamos um bom volume de literatura a respeito do tema, sobretudo nos campos da sade e da educao, ainda so estritas e superficiais os espaos de formao. Tanto a universidade quanto as organizaes da sociedade civil que atuam no preparo de gestores e consultores ainda investem pouco em contedos em avaliao. Quanto aos fatores organizacionais, possvel identificar que gestores e educadores convivem com uma polaridade entre fazer e refletir que muitas vezes inviabiliza o investimento em avaliao. A organizao do trabalho, o ativismo, as demandas constantes e a permanente escassez de tempo so alguns dos fatores que impedem que um processo de reflexo sobre a prtica se enraze em muitas organizaes, mantendo a avaliao em um lugar invivel, ainda que sempre reconhecido como importante. A partir destes desafios que procuramos organizar algumas idias, reunir algumas experincias, e compartilhar com os interessados nossas reflexes. Queremos tambm destacar trs experincias que muito contriburam para o nascimento deste ensaio. Em primeiro lugar nossa participao no ciclo de Seminrios de Aprofundamento Profissional para o Consultor em Processos de Desenvolvimento, ministrados por Jacques Ulje (Ncleo Maturi). Em segundo, a coordenao que fizemos do Seminrio Construindo Capacidade Avaliatria em Iniciativas Sociais, promovido em parceria com a Ashoka Empreendedores Sociais. Em terceiro, nossa participao como facilitadores na avaliao da quinta edio do Programa de Apoio a Projetos de Atendimento a Crianas e Jovens de 7 a 14 anos na Grande So Paulo, de Vitae Apoio Cultura, Educao e Promoo Social.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v.13, n.48, p. 361-374, jul./set. 2005

364

Daniel Braga Brando, Rogrio Renato Silva e Cssia Maria Carraco Palos

A fora de nossa aprendizagem est na forma como queremos dividir nossas experincias e, portanto, queremos afirmar que este no um modelo de avaliao, nem consideramos as idias aqui apresentadas como definitivas. Buscamos colaborar com o debate em torno do tema avaliao e conhecer e discutir idias e sugestes que permitam incrementar nossa prtica avaliatria, fortalecer a cultura de avaliao na Amrica Latina, sobretudo, ajudar o Brasil a alcanar o desenvolvimento social que ajude a erradicar iniqidades.

Revisamos, com isso, o conceito que apresentamos em artigo anterior (SILVA; BRANDO, 2003). Um dos princpios fundamentais que temos em mente quando nos referimos a um processo avaliatrio o de que uma avaliao no se constitui apenas em um dispositivo tcnico, mas sobretudo poltico. Quando agimos sem que este princpio esteja em nossa conscincia, podemos incorrer em um exerccio autoritrio de poder, como afirma Demo (1988) e fazer com que a avaliao, ao invs de construir sujeitos, torne-se um mecanismo de controle e de coero que impea o desenvolvimento. Entendemos avaliao a partir de uma tica emancipatria, participativa e colaborativa na qual propsitos e critrios de julgamento so construdos por meio da negociao entre diferentes atores sociais. Temos certeza de que cada sujeito capaz de avaliar suas aes e nesse fenmeno, de maneira reflexiva, ele se constri e reconstri a sua prtica. Para ns, o papel de avaliadores externos implica em desconforto, em contradio. Agimos como facilitadores, como educadores que, por meio da linguagem da avaliao, procuramos ajudar sujeitos e organizaes a se desenvolverem.

Do conceito de avaliao: extrato de uma gramtica em expanso

H muitas formas de definir o conceito avaliao, percebido com intensa fora polissmica quando examinamos alguns trabalhos de autores que escreveram sobre o tema, como Chianca, Marino e Schiesari (2001); Demo (1988); Guba e Lincoln (1988); Patton (1997); Worthen, Sanders e Fitzpatrick (1997); Stake (1995). Neste ensaio adotamos um conceito que, em certa medida, reflete os dilogos que temos estabelecido com as organizaes com as quais temos trabalhado. Apontamos para avaliao como um processo de aprendizagem sistemtico e intencional que um indivduo, grupo ou organizao se prope a percorrer para aprofundar a sua compreenso sobre determinada interveno social, por meio da elaborao e aplicao de critrios explcitos de investigao e anlise, em um exerccio compreensivo, prudente e confivel, com vistas a conhecer e julgar o mrito, a relevncia e a qualidade de processos e resultados. A avaliao leva ampliao de conscincia sobre determinado programa ou projeto o que possibilita que escolhas e decises maduras possam ser feitas.

Da construo da capacidade avaliatria: alguns princpios

Nas anlises que fizemos de nossas experincias de consultoria, identificamos um conjunto de princpios que entendemos como importantes ao processo de construo de capacidade avaliatria. Ao mesmo tempo em que operam como espelhamento para nossas prticas de avaliao, per-

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v.13, n.48, p. 361-374, jul./set. 2005

Da Construo de Capacidade Avaliatria em Iniciativas Sociais: Algumas Reflexes

365

cebemos que estes princpios se colocam como um escapulrio que nos inspiram em tempos de luz e nos orientam em perodos de sombra. Os princpios so os seguintes: a. O princpio da aprendizagem anuncia a avaliao como promotora de oportunidades, espaos e movimentos para que os sujeitos e as organizaes aprendam. Avaliar pode se constituir em um processo altamente educativo e transformador da vida social. Para isso preciso criar objetivos e condies de aprendizagem. Aprenderemos com nossos acertos e erros se avaliarmos criticamente o que fazemos. Sem avaliao no h desenvolvimento. b. Os princpios do respeito e da autonomia anunciam que o caminho a seguir em um processo de construo de capacidade avaliatria deve estar orientado pelo contexto cultural, poltico e estrutural da organizao. Como os sujeitos, as organizaes vivem seus momentos histricos as entradas foradas podem mais destruir do que construir capacidades. O processo de construo de capacidade avaliatria precisa ser endgeno. c. Os princpios da participao e da colaborao se estruturam na crena de que o processo de construo de conhecimento e de produo de conhecimento individual e social, ganhando sinergia nesta polaridade. Ainda que venhamos a escolher caminhos mais complexos e longos, no se alcanaro prticas justas, organizaes socialmente responsveis e condies sociais equnimes por caminhos que no sejam democrticos. d. O princpio da felicidade surge sensvel e naturalmente nas esteiras da sa-

bedoria, do bom senso, da arte e, sobretudo, da educao (DEMO, 1988). Felicidade um processo que contm dimenses mgicas, ldicas, religiosas, msticas e se constri na cultura e na histria, no simplesmente como superao dos problemas materiais, mas tambm como expresso sensvel de desenvolvimento. Nas palavras de Demo (1988, p. 27), a felicidade est no clima que pinta, na atmosfera que envolve, na influncia que impregna, na solidariedade que inspira os processos e as relaes sociais.

Da construo de capacidade avaliatria: cinco dimenses

Os processos de construo de capacidade avaliatria com os quais nos envolvemos e que revisamos para produzir este ensaio foram capazes de revelar cinco dimenses a respeito das quais queremos falar agora. Ainda que interligadas, conectadas, dependentes umas das outras, orgnicas, fazemos aqui uma diviso que, acreditamos, nos ajuda a explicitar a compreenso que tivemos do tema. So elas a dimenso do poder, da motivao, da identidade, das competncias e dos recursos. Quando discutamos e procurvamos articular essas cinco dimenses na forma de uma figura que representasse sua ligao, chegamos ao pentagrama como uma figura simblica formada por cinco linhas. Em nossas reflexes e experimentos, nos vimos compreendendo o pentagrama como uma espcie de traduo geomtrica do ser humano, ao mesmo tempo em que percebemos cada dimenso que construmos relaci-

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v.13, n.48, p. 361-374, jul./set. 2005

366

Daniel Braga Brando, Rogrio Renato Silva e Cssia Maria Carraco Palos

onada a distintas partes do corpo. Nos veio a imagem de Leonardo da Vinci superposta ao pentagrama, cujo sentido foi, ao menos para ns, expresso importante da centralidade do sujeito nesta discusso. O poder na

cabea pensante, a identidade esquerda do peito, a motivao na fora da mo, as competncias e recursos, sustentando fisicamente o processo. Esperamos que nosso esforo criativo provoque reflexes.

Figura 1. Construo de capacidade avaliatria como construo de sujeitos.

Poder Motivao Identidade

Competncias
Do poder
A arquitetura e a dinmica das relaes sociais estabelecidas em um grupo envolvido em uma avaliao desempenham papel estruturante na construo de capacidade avaliatria em uma iniciativa social. As relaes entre a organizao financiadora e a organizao financiada, entre os sujeitos na organizao, com as comunidades com as quais se trabalha e, muitas vezes, com a avaliadora externa, resulta em uma dinmica complexa de relaes que vai determinar o processo decisrio e o caminho a ser seguido em uma avaliao. Conseqentemente o caminho de aprendizagem de um determinado grupo tambm passa por estas relaes.

Recursos
Na perspectiva da construo da capacidade avaliatria a partir da construo de sujeitos, a participao efetiva e autnoma dos diversos atores envolvidos na iniciativa torna-se a alma do processo de avaliao. Neste sentido, o exerccio de compartilhar poder e de equilibrar foras e formas de tomar deciso ocupa posio central no processo. Para alguns, este exerccio implica em abrir mo do controle sobre a avaliao, sejam estes gestores da organizao ou consultores externos. O exerccio de compartilhar poder se constitui em um espao privilegiado de negocia-

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v.13, n.48, p. 361-374, jul./set. 2005

Da Construo de Capacidade Avaliatria em Iniciativas Sociais: Algumas Reflexes

367

o, conforme observam Guba e Lincoln (1988) ao escreverem a respeito da Avaliao da Quarta Gerao. Negociam-se expectativas na forma de perguntas e de desejos. Negociam-se pressupostos e conceitos na forma de indicadores e critrios de julgamento. Negociam-se compreenses da realidade por meio da escolha de mtodos de investigao. Negocia-se fora e espao por meio dos compromissos polticos assumidos externa e internamente com o grupo que avalia. A construo de um ethos poltico, no qual o porqu e o como avaliar so definidos de maneira colaborativa, tem grande repercusso metodolgica no processo de avaliao. Quando operamos com a crena de que a avaliao ganha sentido e relevncia medida que envolve diferentes atores que atuam de maneira autnoma para orientar o processo, preciso estar preparado para lidar com as implicaes concretas que as decises do grupo trazem para o ato de investigao da realidade. O acolhimento destas implicaes pode trazer legitimidade e crena no processo. A discusso de poder que fazemos aqui quer marcar o princpio de que construir capacidade avaliatria um processo coletivo. Por ser coletivo, transforma-se em um caminho de pavimentao da autonomia dos sujeitos e das organizaes. Nas palavras de Freire (1997, p. 35), ningum autnomo primeiro para depois decidir. A autonomia vai se construindo na experincia das vrias decises que vo sendo tomadas no processo de trabalho. O caminho de construo de capacidade avaliatria ser gerador de aprendizagem e autonomia medida que criar condies para lidar com a dimenso do poder de forma consciente.

Um outro elemento que queremos examinar na dimenso do poder diz respeito relao entre organizaes financiadas e organizaes financiadoras. Muitas vezes, a demanda por avaliaes surge no seio de organizaes financiadoras, que delimitam suas necessidades avaliatrias e definem as perguntas de avaliao que querem responder. Por sua vez, a fonte de informaes para responder a essas perguntas costuma ser, na maioria dos casos, as organizaes financiadas, bem como as populaes com as quais trabalha. Se este percurso de orientao externa seguido na avaliao, comum que os resultados alcanados sejam apresentados ao financiador e sirvam, primariamente, para suas reflexes e decises, cabendo organizao financiada um lugar de objeto, e no sujeito, da ao avaliatria. Quando falamos em mltiplos atores e na necessidade de que o processo de construo de capacidade avaliatria resignifique relaes de poder, imaginamos que a relao entre as organizaes financiadas e financiadoras tambm objeto desta mudana. Por fim, no podemos deixar de apontar para a necessidade de que a relao entre organizaes e avaliadores externos seja tambm profundamente revisada em um processo de construo de capacidade avaliatria. Mais do que em qualquer outro tipo de trabalho no campo da avaliao, aqui os avaliadores no so unicamente especialistas em avaliao, no so referncias ou autoridades em determinadas reas de conhecimento, mas sim so atores que ajudam os sujeitos e as organizaes a estabelecer sua dinmica de trabalho e a fazer suas escolhas e descobertas.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v.13, n.48, p. 361-374, jul./set. 2005

368

Daniel Braga Brando, Rogrio Renato Silva e Cssia Maria Carraco Palos

Da motivao
Se as implicaes de poder so tratadas como campo privilegiado no processo de construo de capacidade avaliatria, a necessidade de cuidar da motivao, enquanto campo de interesse e disposio em participar do processo, constitui-se tambm em uma dimenso importante. Frente a tantas obrigaes do do fazer administrativo, financeiro, poltico, pedaggico, entre outros, depositar energia em processos de avaliao constitui-se um grande desafio. A motivao no pode, entretanto, ser tratada de maneira estanque. Assim, percebemos a motivao como o fenmeno da significao permanente dos processos de avaliao e de construo de capacidade avaliatria. Se, como afirma Falco (2001, p. 27), a vontade um desejo que cisma que voc a casa dele, esta casa apenas ser reconhecida e valorizada medida que se constituir em espao permanente de aprendizagem, descobertas e transformaes. A dimenso da motivao se constitui tambm em campo reflexivo medida que o sujeito e o processo se reinventam de maneira permanente quando as condies para tal so construdas. Usando uma daquelas frases cuja causa e efeitos so de natureza no linear, somente ter espao e sentido para os sujeitos os processos de avaliao que forem desejados por eles, ao mesmo tempo em que s sero desejados os processos avaliatrios que tiverem sentido para os sujeitos. Para Sanders (2003), quatro razes dificultam a incorporao da avaliao como parte estratgica da organizao, sendo elas
1

(a) o fato de que os sujeitos desconheam os benefcios das avaliaes, (b) o fato dos elevados investimentos de tempo e recursos nas avaliaes, (c) a inexistncia de sujeitos que desempenhem certo papel de liderana frente aos processos de avaliao e (d) o fato da pouca ou nenhuma utilizao das avaliaes para aprender e mudar. A estas observaes acrescentaramos, de forma radicular, o fato da insistncia em processos exgenos, burocrticos, persecutrios e no participativos. Enfrentar estas condies, hegemnicas em muitos cenrios, constitui-se como pea chave para atribuir sentido e trazer motivao ao processo de construo de capacidade avaliatria. Tratar a avaliao de forma transparente e democrtica, relacion-la a espaos e momentos de aprendizagem e deciso, encontrar lideranas interessadas em problematizar e motivar os grupos sociais a avaliarem suas aes, so algumas das alternativas que contribuem para que os processos se tornem viveis1 e sustentveis.

Da identidade
Algumas ferramentas aplicadas gesto de iniciativas sociais so amplamente reconhecidas como capazes de construir e significar conceitos e prticas, como a elaborao de projetos, o planejamento estratgico e a sistematizao. Neste conjunto a avaliao se afirma como ferramenta tcnica-poltica efetiva para promover tais fenmenos. Em si mesma, a avaliao espelha sujeitos e organizaes de maneira significativa. O que queremos, no que acreditamos, o que valorizamos, com quem nos relacionamos, o que negociamos e como julgamos, constitu-

Viabilidade: assegurar que uma avaliao ser feita de maneira realista, prudente, diplomtica e moderada (SANDERS, 1994).

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v.13, n.48, p. 361-374, jul./set. 2005

Da Construo de Capacidade Avaliatria em Iniciativas Sociais: Algumas Reflexes

369

em-se categorias com as quais operamos nos processos de avaliao e que iro revelar de forma marcante nossa identidade nos processos. Por isso mesmo, a dimenso da identidade de grande importncia na construo de capacidade avaliatria. na construo da identidade que percebemos os outros e o que nos difere e nos aproxima daqueles com os quais trabalhamos. Se por um lado nos preparamos para lidar com poderes e criar espaos de construo e por outro enfrentamos a atribuio permanente de sentido, uma terceira dimenso nos convida a explorar gramticas, pressupostos e prticas. nesta dinmica que se irmanam os elementos que nos ajudaro a responder, como sujeitos e grupos sociais: O que entendemos por avaliao? Por que avaliamos? O que queremos aprender? Como utilizaremos o que aprendemos em nossas aes? Como aprenderemos? Para alm das definies em torno dos prprios processos de avaliao, o que temos observado participativamente que as avaliaes criam espaos privilegiados para que a prtica dos sujeitos seja conceituada e para que seus pressupostos e conceitos sejam revisitados e, muitas vezes, negociados e revisados. Os processos de identificao de perguntas e de definio de indicadores (critrios, sinais, marcadores, evidncias) de avaliao, so campos frteis para se produzir e reinventar conceitos. O processo de construo de capacidade avaliatria um processo de construo de identidades, por isso tambm processo que fortalece a construo de sujeitos. Ampliar conscincias, aprofundar conhecimentos, revisitar e revisar prticas, aprender, mudar. Por isso falamos em identidade.

Das competncias
Os processos de avaliao e de construo de capacidade avaliatria em iniciativas sociais no avanam quando se constituem em mera sucesso de mtodos e tcnicas que se aplica para desvendar a realidade. Avanam sim quando se conformam em um caminho de desenvolvimento no qual as escolhas, elaboraes e a organizao do trabalho so produzidos de forma dinmica, convivendo com reinveno permanente. Os processos avaliatrios oferecem espaos nos quais muitas vezes nos confrontamos com nosso conhecimento tcnico no campo da investigao, com nossas habilidades de facilitao e nossa forma de gerir processos. Por tudo isso percebemos que, ao mesmo tempo em que articulamos poderes, que apoiamos motivaes e que provocamos construo de identidades, precisamos nos preparar para lidar com estas dimenses de forma sensvel e eficaz, ao mesmo tempo em que cuidamos desse lugar de investigao sem o qual no h avaliao, ou confiana em seus resultados. Assim articulamos trs campos cujo contedo queremos compartilhar. As competncias de facilitao de processos, de gesto de processos e de investigao da realidade compem um cenrio relevante para o desenvolvimento de sujeitos na rea. Entendemos que o cenrio de competncias um campo de articulao das demais dimenses analisadas aqui, um campo no qual caminhamos em busca de apoiar processos que levem reflexo, aprendizagem e desenvolvimento. A Figura 2, a seguir, ilustra este cenrio.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v.13, n.48, p. 361-374, jul./set. 2005

370

Daniel Braga Brando, Rogrio Renato Silva e Cssia Maria Carraco Palos

Figura 2. Cenrio de competncias em avaliao.

ATRIBUIO DE SENTIDO * motivos * utilidade * foco * negociaes * problematizao APOIO EMANCIPAO * decises * processos * reflexes * interaes

FACILITADOR

GESTOR

INVESTIGADOR

ANLISE DO CONTEXTO * tempo * recursos $ * equipe * comunicao * viabilidade * propriedade PRECISO * abordagens * tcnicas * descrio * anlise * julgamento * sensibilidade * criatividade * compreenso

REFLEXO APRENDIZAGEM DESENVOLVIMENTO

a) a competncia para a facilitao de processos A facilitao de processos competncia fundamental para garantir que as dimenses aqui analisadas consigam existir e buscar pontos de equilbrio que assegurem o desenvolvimento dos sujeitos e grupos. A facilitao envolve trabalho com sentidos, com significados, com articulaes, com negociaes, com construes, com leituras da realidade, com acolhimento e com provocao.

Percebemos a facilitao como competncia chave para atribuir sentido a processos de avaliao. Por isso lida com poderes, motivaes e identidade de maneira intensa. Alm do mais, a facilitao que articular as competncias de gesto e de investigao da realidade a fim de garantir processos viveis e confiveis. Toda a construo tcnica da avaliao se dar a partir das habilidades de facilitao. A seguir identificamos seis habilidades importantes, entre tantas outras.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v.13, n.48, p. 361-374, jul./set. 2005

Da Construo de Capacidade Avaliatria em Iniciativas Sociais: Algumas Reflexes

371

Capacidade de ouvir de forma aberta e sensvel os integrantes do grupo; Capacidade de trabalhar de forma compreensiva as necessidades do grupo; Capacidade de problematizar questes, de provocar e estimular reflexes sobre o projeto e os elementos da avaliao; Habilidade para ajudar o grupo a construir compreenses e respostas, sem lev-las prontas; Capacidade de zelar pelo processo de trabalho do grupo, cuidando de procedimentos, relaes e estrutura; Capacidade de agir com profundo respeito pelas criaes do grupo, acolhendo-as de maneira integral. b) a competncia para gesto de processos Trata-se da competncia em lidar com as variveis internas e externas aos processos de avaliao, tais como o tempo, os recursos financeiros, a gesto de equipes de trabalho, os planos de avaliao, a comunicao, entre outras coisas. As habilidades para enfrentar estes desafios sero fundamentais para que os processos de avaliao sejam sustentveis. c) a competncia para investigao da realidade Em essncia, os processos de avaliao tm na necessidade de investigar a realidade um eixo comum e determinante para sua existncia. Por isso mesmo a necessidade de desenvolver competncias no campo da investigao vista com grande importncia para os sujeitos e organizaes que querem desenvolver capacidade avaliatria. a competncia para investigar a realidade que ter peso determinante na em as2

segurar a preciso2 do processo e, em conseqncia, sua confiabilidade por parte dos diferentes interessados. A necessidade de escolher as abordagens mais adequadas, de garantir os mtodos mais apropriados, profundos e capazes de revelar, de compor quantidade e qualidade de forma harmnica, so os desafios que se colocam no caminho daqueles que se interessam por avaliao. Fugir do cientificismo ingnuo e do relativismo fundamentalista coloca aos sujeitos o desafio de estabelecer formas confiveis de explorar a realidade, de retratar os fatos, de aprofundar compreenses e de revelar informaes que soem verdadeiras aos interessados. Por fim, como afirma Guba e Lincoln (1988), o uso exclusivo do mtodo cientfico fecha as portas para maneiras alternativas de se pensar a respeito do objeto da avaliao.

Dos recursos
A dimenso final a respeito da qual fazemos breves comentrios a dimenso dos recursos. Consideramos recursos o conjunto de elementos que so consumidos em processos de avaliao e que, por isso mesmo, implicam em escolhas, definio de limites e certo controle. Tempo das pessoas, contrataes externas, equipamentos, materiais e estrutura de apoio muitas vezes sero necessrios a determinados tipos de processos de avaliao. Ainda que muitos desenhos avaliatrios, sobretudo os de natureza processual, demandam pouco ou quase nenhum investimento direto, certos casos precisaro ser analisados e ponderados com cuidado, a fim de que a avaliao no se torne custosa e pouco efetiva, traos que contribuiriam

Preciso: assegurar que uma avaliao ir revelar e produzir informaes tecnicamente adequadas sobre os aspectos que determinam o mrito e a relevncia do programa avaliado (SANDERS, 1994).

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v.13, n.48, p. 361-374, jul./set. 2005

372

Daniel Braga Brando, Rogrio Renato Silva e Cssia Maria Carraco Palos

para que cultura avaliatria no se enraizasse nos sujeitos e nas organizaes.

Da sntese das dimenses

As dimenses apresentadas assumem seu sentido de existncia ao se fazerem teis no apoio ao desenvolvimento de iniciativas ava-

liatrias. No estmulo reflexo, na reordenao da prtica e na abertura para novas percepes e sentimentos que as cinco dimenses ganham vida. Para auxiliar este processo, prope-se uma configurao didtica das dimenses discutidas ao longo deste ensaio, apresentada no quadro 1.

Quadro 1. Sntese das dimenses capacidade avaliatria de uma iniciativa social1 . Dimenso Premissa O que gera Perguntas chave Quem ser envolvido? Quais suas aspiraes? Qual o papel de cada um? Qual ser a participao desses atores? Que conflitos existem? Como tomaremos decises? O que entendemos por avaliao? Por que iremos avaliar? Para que iremos avaliar? Como vamos utilizar os resultados? O que buscamos aprender? O que iremos avaliar (pergunta avaliatria)? Que sentimentos a avaliao nos desperta? Queremos avaliar? Estamos dispostos a abrir espao para a avaliao? Quem pode liderar o processo? Como iremos avaliar? Quais conhecimentos e habilidades temos (eu e o outro)? O que precisamos desenvolver? Qual tempo/ envolvimento vamos dispor? Qual o prazo? De quais recursos dispomos? O que ser necessrio captar?

Poder (O que podemos?)

Agir em liberdade

Participao e comprometimento

Identidade (O que somos e pensamos?)

Conceitualizar

Alinhamento

Vontade (O que queremos?)

Desejar e inspirar

Movimento

Competncias (O que sabemos?)

Reconhecer competncias e habilidades no grupo

Unio e busca do desenvolvimento do grupo

Recursos (O que conseguimos agora?)

Reconhecer o que se tem e o que necessrio

Orientao pela realidade: P no cho

3 As perguntas entre parnteses foram sugeridas por Cludia Mara de Melo Tavares, durante a oficina Iniciativas Inovadoras em Avaliao de Projetos e Programas Sociais, por ocasio do V Congresso Nacional da Rede Unida, Londrina, PR, maio de 2003.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v.13, n.48, p. 361-374, jul./set. 2005

Da Construo de Capacidade Avaliatria em Iniciativas Sociais: Algumas Reflexes

373

Das consideraes finais

Acreditamos que a construo de capacidade avaliatria em iniciativas sociais pode encontrar boas reflexes com base na experincia que apresentamos aqui. Sabemos tambm que estas dimenses so dinmicas e no obedecem a um processo equnime de desenvolvimento. H muito a ser feito, descoberto, revisado e aprofundado. Nossa contribuio circunscrita a este pressuposto. Uma avaliao requer autenticidade, curiosidade e rigor, o que nos coloca o desafio permanente de lidar com a incerteza, de sermos compreensivos com a realidade e de buscarmos, insistentemente, a construo de sujeitos.

A construo da capacidade avaliatria como processo de construo de sujeitos est conjugada a um processo pedaggico de perspectiva emancipatria que colabora com o fortalecimento de indivduos, grupos e organizaes. Est associada profunda crena de que mulheres e homens podem transformar a si prprios e a sua interao com os outros, num refazer do mundo e da prpria histria. Est relacionada percepo de que qualquer ao empreendida deve alcanar a liberdade de homens e mulheres. Significa dizer que se busca construir um conhecimento que enxergue alm da indiferena cega e da iluso ingnua. Significa acreditar que se pode compartilhar uma utopia.

Referncias
CHIANCA, T. C.; MARINO, E.; SCHIESARI, L. M. C. Desenvolvendo a cultura de avaliao em organizaes a sociedade civil. So Paulo: Instituto Fonte, Global; 2001. DEMO, P . Avaliao qualitativa. 2. ed. So Paulo: Cortez, 1988. FALCO, A. Mania de explicao. 5. ed. So Paulo: Salamandra, 2001. FREIRE, P . Pedagogia da autonomia. So Paulo: Paz e Terra, 1997. GUBA, E.; LINCOLN, Y. The fourth evaluation generation. Thousand Oaks, Calif.: Sage Publications, 1988. JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL STANDARDS. The program evaluation standards. 2. ed. Thousand Oaks, Calif.: Sage Publications, 1994. PATTON, M. Q. Utilization-focused evaluation: the new century text. 3. ed. Thousand Oaks, Calif.: Sage Publications, 1997. SANDERS, J. R. Mainstreaming evaluation. In: BARNETTE, J. J.; SANDERS, J. R. (Ed.). The mainstreaming evaluation. San Francisco: Jossey-Bass, 2003.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v.13, n.48, p. 361-374, jul./set. 2005

374

Daniel Braga Brando, Rogrio Renato Silva e Cssia Maria Carraco Palos

SILVA, R. R.; BRANDO, D. B. Os quatro elementos da avaliao. So Paulo: Instituto Fonte, 2003. Disponvel em: <www.fonte.org.br>. Acesso em: 29 ago. 2005. STAKE, R. E. The art of case study research. Thousand Oaks, Calif.: Sage Publications, 1995. WORTHEN, B. R.; SANDERS, J. R.; FITZPATRICK, J. L. Program evaluation: alternative approaches and practical guidelines. 2. ed. New York: Longman, 1997. Recebido em: 14/01/2005 Aceito para publicao em: 27/06/2005

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v.13, n.48, p. 361-374, jul./set. 2005