A Avaliação de Programas e A Aprendizagem

A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL*
Ktya Maria Nasiaseni Calmon* *
Resumo
A aprendizagem organizacional tem sido objeto de vrios estudos. Similarmente, pesquisas na rea de avaliao de programas tm gerado ampla e complexa literatura. No entanto, h carncia de estudos que analisem a conexo entre avaliao e aprendizagem, especialmente no setor pblico. Este artigo procurou examinar os aspectos dessa interao, ao tomar por base o caso do Programa de Ao Social em Saneamento (PROSEGE), cuja execuo esteve a cargo da Secretaria de Poltica Urbana (SEPURB), do Ministrio do Planejamento e Oramento (MPO). A anlise utilizou um modelo fundado nas idias
*
Adaptado da dissertao de mestrado em administrao pblica da autora, defendida na Universidade de Braslia, em 1997. Agradecimentos so devidos ao IPEA e SEPURB pelo apoio na realizao da pesquisa, e ao parecerista annimo desta revista, por suas pertinentes sugestes.
**
Tcnica da Coordenao Geral de Poltica Urbana do IPEA.
PLANEJAMENTO E POLTICAS PBLICAS No 19 - JUN DE 1999
de single-loop e double-loop, de Chris Argyris e Donald Schn (1996), e aplicou-o ao caso do PROSEGE. Foram identificadas, primeiramente, as prticas de avaliao nas fases de concepo, implementao e concluso do programa, e utilizou-se a classificao do Evaluation Research Society Standards Committee (1982). Em seguida, foram verificados os tipos de aprendizagem organizacional decorrentes da utilizao da avaliao. Observou-se, no caso do PROSEGE, que a avaliao representou importante instrumento de feedback no processo de aprendizagem organizacional, ou seja, na maneira como a organizao detectou e corrigiu seus erros. No obstante, constatou-se, tambm, que esse aprendizado poderia ter sido mais efetivo. Foram identificados e enumerados os fatores que facilitaram ou dificultaram o aprendizado organizacional produtivo durante as fases de concepo e implementao do PROSEGE.
Abstract
The organizational learning has been the focus of several studies. Similarly, research on the area of program evaluation has generated ample and complex literature. However, there has been a lack of studies that analyze the link between evaluation and learning, specially in the public
4
sector. This study examined aspects of such link, or interaction, focusing on the case of the Programa de Ao Social em Saneamento PROSEGE (a social sanitation program), from the Secretaria de Poltica Urbana - SEPURB, at the Ministrio do Planejamento e Oramento MPO (the Brazilian Ministry of Planning and Budgeting). The analysis has used a model founded on the Chris Argyris and Donald Schns concepts of single-loop and doubleloop (1996). As a first step, the practices of evaluation in the conception, implementation and conclusion phases of the PROSEGE were identified and classified according to the criteria developed by the Evaluation Research Society Standards Committee (1982). Following that, it was verified the types of organizational learning derived from the utilization of evaluation. It was found that evaluation was a very important instrument of feedback on the process of organizational learning, i.e., on the way the organization detected and corrected its mistakes and errors. Nevertheless, there was clear evidence that this learning process could have been more effective. The factors which facilitated or inhibited the productive organizational learning during both phases of conception and implementation of PROSEGE were identified and listed.
A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL
1 Introduo
objetivo deste artigo contribuir para o entendimento da dinmica do processo de aprendizagem organizacional no setor pblico brasileiro. Mais especificamente, verificar de que maneira a avaliao de programas tem sido utilizada como instrumento capaz de estimular essa aprendizagem. Entende-se como aprendizagem organizacional o processo de detectar e corrigir erros.1 Tal definio, atribuda a Chris Argyris (1982), relaciona o processo de aprendizagem capacidade da organizao de buscar, sistematicamente, formas mais apropriadas para solucionar seus problemas e, assim, incrementar sua eficcia e eficincia. A aquisio de conhecimento no mbito da organizao d-se a partir de um processo de feedback, no qual se percebem, monitoram e examinam, continuamente, informaes relevantes advindas do ambiente interno e do externo. nesse sentido que se estabelece a conexo entre aprendizado organizacional e avaliao. A avaliao , por definio, um processo de feedback para a organizao que, como menciona Forss et alii (1994), faz a conexo entre per for mance e as suas estruturas de conhecimento.2 Em outras palavras, a prtica da avaliao pode gerar o aprendizado organizacional na medida em que permite a deteco de erros e sinaliza para alternativas concretas de ao que gerem incremento da eficincia e da eficcia. Foi com base na percepo de que a prtica da avaliao de programas pode vir a transformar as estruturas de conhecimento de uma organizao que se definiu o tema deste artigo. De forma
1
Para melhor detalhamento do conceito de aprendizagem organizacional, ver
captulo 3.
2 Cabe notar que, apesar de sua relevncia, a avaliao apenas uma das formas pelas quais uma organizao pode adquirir conhecimento.
concreta, foram examinados os aspectos da interao entre as prticas de avaliao e o processo de aprendizagem organizacional, na rea de saneamento urbano, ao tomar-se como base o caso do Programa de Ao Social em Saneamento (PROSEGE), da Secretaria de Poltica Urbana ( SEPURB), do Ministrio do Planejamento e Oramento (MPO). Do ponto de vista metodolgico, a investigao da conexo entre avaliao e aprendizagem organizacional seguiu uma orientao tipicamente dedutiva. Foi proposto um modelo terico, fundado nos trabalhos de Chris Argyris e Donald Schn (1996), e, a partir desse arcabouo conceitual, utilizou-se o caso do PROSEGE como evidncia emprica. Do ponto de vista operacional, a pesquisa foi organizada como estudo de caso, em que foi realizada extensa anlise documental complementada por entrevistas, no estruturadas, com os principais atores envolvidos na implementao do Programa. Foram consideradas prticas de avaliao fundadas na tipologia proposta pelo Evaluation Research Society Standards Committee (1982), a saber: (i) front-end analysis; (ii) evaluability assessment; (iii) avaliao for mativa; (iv) avaliao de impacto; (v) monitoramento; e (vi) metavaliao. Uma vez identificadas as prticas de avaliao do PROSEGE, procurouse detectar o impacto dessas avaliaes na aprendizagem organizacional, com base nos conceitos de single-loop e doubleloop de Chris Argyris e Donald Schn (1996). De acordo com o modelo, a aprendizagem single-loop refere-se s aes implementadas pela organizao para corrigir os erros detectados e que no causam alteraes nas suas estruturas de conhecimento existentes, ou seja, em seus objetivos, metas, polticas ou regras. A aprendizagem double-loop implica aes em que a organizao pr ocura corrigir seus desvios mediante pr ocesso de questionamento mais profundo que acarreta mudanas nas prprias regras, polticas, objetivos ou metas que norteiam a organizao e seus programas.
Observou-se, no caso do PROSEGE, que a avaliao representou um importante instrumento de feedback no processo de aprendizagem organizacional, ou seja, na maneira como a organizao detectou e corrigiu seus erros. No obstante, tambm constatou-se que esse aprendizado poderia ter sido mais produtivo.
2 A Avaliao de Programas
2.1 A Evoluo do Estudo sobre Avaliao de Programas
A avaliao de programas surgiu, de forma sistemtica, a partir da aplicao de mtodos de pesquisa cientfica aos problemas sociais. Os primeiros esforos remontam ao perodo que antecedeu a Primeira Guerra Mundial, quando se tentou avaliar os programas de alfabetizao e treinamento profissionalizante, e os programas de reduo da mortalidade e da morbidade causadas por doenas infecciosas [Rossi e Freeman, 1993, p.9]. Na dcada de 30, tais esforos foram estendidos a outras reas, e novas tcnicas de pesquisa foram amplamente aplicadas na avaliao de programas sociais. No final dos anos 50, a avaliao de programas ganhou novo impulso. Ampliou-se no apenas nos pases industrializados, mas tambm nos pases em desenvolvimento. Alm disso, tcnicas de anlise quantitativa complexas passaram a ser utilizadas pelos avaliadores. Conforme observaram Rossi e Freeman: A pesquisa na rea de avaliao prosperou em larga escala no perodo ps-guerra face ao desenvolvimento de mtodos estatsticos e de pesquisa aplicveis ao estudo dos problemas sociais, dos processos sociais e das relaes interpessoais. Ao mesmo tempo, a necessidade de mtodos sofisticados de avaliao de programas sociais estimulou o trabalho metodolgico. Em especial, dois fatores contriburam para o desenvolvimento do campo: o aperfeioamento da sistematizao da coleta de dados,
que resultou na sofisticao das tcnicas de pesquisa, e o desenvolvimento de computadores capazes de examinar analiticamente grande nmero de variveis estatsticas [Rossi e Freeman, 1993, p.11]. Foi ao longo da dcada de 1960 que ocorreu o boom da avaliao de programas. Os principais fatores que acarretaram tal expanso foram: (i) o lanamento, nos Estados Unidos, de um amplo conjunto de programas sociais, iniciados pelo presidente Lyndon Johnson; e (ii) a criao de novas formas de ajuda aos pases em desenvolvimento, mediante financiamento de pr ojetos econmicos e programas sociais. A preocupao com os resultados da aplicao de bilhes de dlares nesses programas refletiu-se diretamente na demanda por avaliao e por profissionais e cientistas sociais especializados. Tais transfor maes levaram sofisticao conceitual e metodolgica da avaliao, e multiplicao do nmero de trabalhos, livros e estudos cientficos publicados. O fortalecimento do campo da avaliao de programas estendeu-se s dcadas de 70 e 80. Na dcada de 90, a avaliao de programas continua a desempenhar papel importante, e alguns fatores contribuem para aumentar ainda mais a demanda por avaliao. Em primeiro lugar, a escassez de recursos decorrente das crises fiscal e econmica, que assolam a maioria dos pases, torna evidente a necessidade de que prioridades sejam estabelecidas e que apenas os programas considerados mais importantes sejam contemplados. Paralelamente, para que determinados programas sejam mantidos, demanda-se que sejam eficazes e eficientes. E a crescente participao da sociedade, dos grupos polticos, organizaes e associaes nas discusses sobre a destinao de recursos pblicos aumenta a presso por resultados, transparncia, racionalidade decisria e eficincia alocativa.
2.2 Antecedentes: os Trs Estgios da Evoluo da Teoria

Segundo William Shadish, Thomas Cook e Laura Leviton (1995), a teoria3 de avaliao de programas evoluiu em trs estgios distintos. O primeiro estgio surgiu ao longo da dcada de 60, e caracterizou-se pela aplicao rigorosa de mtodos cientficos na avaliao de programas sociais. O segundo estgio emergiu na dcada de 70, e teve como centro de preocupao o estudo dos fatores que influenciam a utilizao da avaliao pelos administradores e decisores pblicos. O terceiro estgio surgiu da sntese dos trabalhos tericos dos dois estgios anteriores e analisa os pontos fortes e fracos dos mltiplos mtodos e tcnicas de avaliao existentes, ao enfatizar que a escolha de determinada prtica depende das circunstncias, dos propsitos, e do contexto poltico que envolve a implementao de polticas.
2.2.1 O Primeiro Estgio: Busca do Rigor Cientfico

O primeiro estgio surge ao longo da dcada de 60, e possui duas caractersticas fundamentais: a preocupao com a resoluo dos principais problemas sociais e a aplicao rigorosa de mtodos cientficos. Destacam-se, nessa fase, os trabalhos de Michael Scriven e Donald Campbell [Shadish et alii, 1995, p. 69-170]. As contribuies de Scriven (1967, 1969, 1973) foram marcantes em dois aspectos. Primeiramente, ele criou uma tipologia para a teoria de avaliao e introduziu alguns conceitos e termos fundamentais, tais como a distino entre formative evaluation (realizada com o intuito de gerar feedback para melhoria do programa ou do objeto da avaliao) e summative evaluation (que visa julgar o mrito do programa).4
O significado de teoria entendido como o corpo de conhecimento que organiza, categoriza, descreve, prediz, explica, e paralelamente, auxilia no entendimento e controle de um objeto. [Shadish et alii, 1995, p. 30].
4 Tal distino foi introduzida por Scriven (1967) na discusso sobre avaliao de currculos educacionais.
10
Ainda nessa rea, Scriven introduziu as noes de avaliao sem considerao dos objetivos (goal-free evaluation), nas quais os objetivos preestabelecidos no so considerados como parmetros na avaliao dos programas; avaliao sem custos (cost-free evaluation), na qual a avaliao deve ocorrer apenas quando os benefcios por ela gerados excederem os custos da sua realizao; e metavaliao (metaevaluation), que implica avaliao ou anlise de avaliaes realizadas anteriormente. Outra contribuio importante de Scriven deu-se no campo normativo da avaliao de programas. Para Scriven, a avaliao claramente valorativa, j que o que se procura analisar o mrito e a qualidade de um determinado programa. No entanto, apesar dessa preocupao com os aspectos normativos da avaliao, ele acreditava que os programas poderiam ser avaliados, inclusive no que tange ao seu mrito, de forma objetiva, a partir de fatos empricos. Portanto, a avaliao deve gerar, como concluso, exatamente o que os cientistas sociais, por longo tempo, julgaram ser ilegtimo: um julgamento de valor, mrito. Esse o significado maior do ponto de vista cientfico e filosfico da avaliao.[Scriven apud Shadish et alii, 1995, p.75]. Os estudos de Donald Campbell [Campbell e Stanley, 1963], por sua vez, influenciaram de forma marcante o campo da avaliao, no que se refere utilizao de mtodos e tcnicas quantitativas de pesquisa cientfica. Segundo o autor, as mudanas sociais devem estar fundamentadas na experimentao, e a sociedade pode ser convertida em uma sociedade de experimentos (experimenting society). Conseqentemente, a efetividade dos programas pode ser estudada por meio de experimentos naturais, mediante a utilizao de tcnicas de pesquisa experimentais ou quase experimentais. Uma caracterstica fundamental desse primeiro estgio a preocupao com a validade dos instrumentos de pesquisa e com a ausncia de vis ou ambigidade na interpretao dos experimentos. Assume-se que a avaliao, se adequadamente conduzida, constitui importante instrumento de feedback, e que os seus resultados so automaticamente utilizados pelos decisores, administradores e formuladores de polticas.
11
2.2.2 O Segundo Estgio: nfase na Utilizao e no Pragmatismo

O segundo estgio inicia-se na dcada de 70 e possui, como aspecto relevante, a preocupao com as questes do pragmatismo e do incremento do uso da avaliao nas tomadas de deciso sobre a concepo, alterao ou continuidade dos programas. Destacam-se, nessa segunda fase, os trabalhos de Carol Weiss, Joseph Wholey e Robert Stake5 [Shadish et alii, 1995, p. 171-314]. Os estudos desses autores surgem da percepo de que, na prtica, as informaes geradas pelas avaliaes nem sempre eram utilizadas adequadamente pelos decisores, e no produziam, necessariamente, melhoria do desempenho dos programas. Em alguns casos, por exemplo, avaliaes com padres cientficos deficientes eram consideradas aceitveis pelos formuladores de polticas, decisores e administradores. Em outros, a preocupao excessiva com o rigor metodolgico e cientfico dos trabalhos de avaliao demandava tempo excessivo, o que impossibilitava que as informaes estivessem disponveis a tempo de subsidiar tomadas de decises concernentes ao programa. O foco dos trabalhos do segundo estgio converge para a questo do aumento da utilizao, pelos decisores, das informaes e recomendaes provenientes dos estudos de avaliao na melhoria dos resultados dos programas. Primeiramente, considera-se que a utilizao direta ou instrumental da avaliao no ocorre de forma deliberada ou espontnea. O avaliador deve determinar as necessidades dos diversos interessados na avaliao ou nos seus resultados (stakeholders) e reput-las como variveis importantes. Em segundo lugar, preconiza-se que as informaes decorrentes da avaliao tambm podem ser utilizadas conceitualmente (enlightment), o que contribui para o entendimento de questes
H vrios trabalhos desses autores que merecem destaque. Shadish et alii mencionam, entre outros: Weiss (1972; Weiss e Bucuvalas, 1980), Wholey (1977, 1983), e Stake (1975, 1981)
12
e problemas relativos ao programa e gera novas idias e perspectivas [Shadish et alli, 1995, p. 172]. Foi no segundo estgio que surgiu o debate sobre a utilizao de tcnicas de avaliao quantitativas versus qualitativas6 na avaliao de programas. Tal debate decorre do pluralismo de mtodos, conceitos e tipos de avaliao, e da ausncia de consenso entre os tericos sobre a melhor prtica a ser utilizada: Vrios fatores contribuem para essa diversidade metodolgica. Os tericos do segundo estgio acreditam que a avaliao requer uma quantidade menor de conhecimentos do que a demandada pela cincia social bsica. Alguns discordam sobre quais mtodos produzem respostas de alta qualidade para determinados tipos de questes. Alguns tericos qualitativos, por exemplo Guba e Lincoln (1981), acreditam que o estudo de caso to bom quanto outros mtodos de inferncia causal, e portanto prefervel porque permite responder a uma ampla gama de questes. Se questes relativas descrio, explicao, generalizao e descobertas sobre o programa tm a mesma prioridade que as questes causais, significa que os experimentos so ferramentas muito limitadas. Torna-se necessrio uma amplitude maior de mtodos [Shadish, et alii, 1995, p. 176].
2.2.3 O Terceiro Estgio: Integrao de Tcnicas Conforme o Contexto

O terceiro estgio surge a partir da sntese dos trabalhos dos dois estgios anteriores. Os tericos mais importantes desse estgio so Lee J. Cronbach e Peter Rossi [Shadish et alii, 1995, p. 315437].
As abordagens qualitativas so tambm conhecidas como naturalsticas (naturalistic evaluation). Os trabalhos de Robert Stake so considerados inovadores na utilizao de estudos de caso e de outros mtodos de pesquisa qualitativos, e influenciaram de forma marcante outros importantes tericos defensores da avaliao qualitativa tais como Guba, Lincoln e Patton.
13
Cronbach e Rossi 7 desenvolveram teorias que integram e legitimam as tcnicas, os mtodos e as preocupaes das teorias do primeiro e segundo estgios, mas de forma condicional. Para os autores, a escolha de uma determinada prtica de avaliao depende, entre outras coisas, das circunstncias, do contexto e do propsito da avaliao [Shadish et alii, 1995]. H consenso, no terceiro estgio, de que os programas so afetados politicamente, caracterizam-se por diversidade epistemolgica e metodolgica, e possuem prioridades mltiplas, o que impossibilita a existncia de uma prtica ideal de avaliao. Baseando-se fortemente em Carol Weiss, James March e Charles Lindblom, Cronbach e seus seguidores descrevem de forma convincente e completa os programas sociais e os contextos sociais pelos quais so implantados. Para eles, a avaliao parte do estudo das polticas. Nenhum programa merece ser avaliado a no ser que se procure averiguar como os grupos interessados o aprovaram, influenciaram a sua concepo, o implementaram e monitoraram, e ajudaram a modific-lo nos planos federal, estadual e municipal. Todas as teorias de avaliao requerem fundamentao nas realidades poltica e administrativa, que criam, mantm e restringem cada programa [Shadish et alii, 1995, p. 351]. A principal contribuio de Rossi8 foi a tentativa de sintetizar os trabalhos realizados nas ltimas trs dcadas. Como parte desse esforo, Rossi prope trs conceitos fundamentais: avaliao abrangente (comprehensive evaluation), avaliao sob medida (tailored evaluation) e avaliao direcionada pela teoria (theorydriven evaluation).
H inmeros trabalhos desses autores que merecem ser citados. Shadish et alii. destacam, entre outros, Cronbach (1982) e Rossi (Chen e Rossi, 1983; Rossi e Freeman, 1993).
8 Ao longo de sua carreria Rossi, desenvolveu suas contribuies em parceria com outros tericos da avaliao, tais como: Howard Freeman, Huey-Tsyh Chen e Wright.
14
A avaliao abrangente surge a partir da constatao de que, ao longo das ltimas dcadas, foram adotadas prticas de avaliao diversificadas, centradas apenas na formulao, na implementao ou na anlise dos resultados finais do programa. Tal diversidade gerou, alm da especializao, prticas de avaliao distintas e muitas vezes incompatveis. Rossi no apenas reafirmou a importncia dessa diversidade e especializao, mas props que fossem integradas no que chamou de avaliao abrangente. Esse tipo de avaliao deve, sempre que possvel, envolver atividades relacionadas com todas as fases de um programa, quais sejam: a sua concepo e design; o monitoramento da sua implementao; e a verificao (assessment) da sua efetividade9 e eficincia10 (program utility) [Rossi e Freeman, 1993]. Ao considerar que nem sempre a realizao da avaliao compreensiva factvel, em face das restries de tempo ou de recursos, Rossi prope o conceito de avaliao sob medida, na qual as prticas de avaliao variam em funo do estgio de desenvolvimento do programa: Cada avaliao deve ser adequada [tailored] ao seu programa. As tarefas dos avaliadores dependem do estgio de atividade em que se encontra o programa e das necessidades e interesses dos diversos interessados na avaliao, tais como os formuladores de polticas, administradores e grupos financiadores do programa. Alm disso, as avaliaes variam dependendo se o programa novo ou inovador, estabelecido, ou estabelecido que necessita de ajustes. Quando programas novos so concebidos e implementados, o avaliador encontra-se comprometido com uma ampla variedade de atividades. As avaliaes de programas novos geralmente so realizadas para determinar o seu impacto e a sua eficincia. (...) avaliaes de programas novos requerem que o staff e os financiadores repensem alguns ou todos os aspectos do programa
9 10
Procura avaliar se o programa tem obtido resultados na direo esperada. Procura medir os benefcios gerados pelo programa em relao aos seus custos.
15
o que inclui os objetivos, caractersticas da populao-alvo e medidas de resultados. (...) As avaliaes de programas j estabelecidos so difceis de serem realizadas em termos de medir seu impacto e eficincia. Muitas vezes a avaliao limita-se a verificar at que ponto os objetivos do programa esto claros e so relevantes para os interesses dos financiadores, staff e outros interessados, e a averiguar se o programa est sendo executado conforme o programado e se tem alcanado o alvo apropriado. Um nmero considervel de avaliaes so direcionadas ao ajuste ou adequao dos programas estabelecidos ao redefinir a populao alvo, modificar as formas de interveno, ou modificar o programa para aumentar a sua efetividade e/ou eficincia [Rossi e Freeman, 1993, p. 105]. Outra constatao importante feita por Rossi, aps analisar as prticas de avaliao nos ltimos anos, refere-se ao fato de que a maioria delas feita de maneira aterica. Isso parece ser paradoxal, visto que os programas governamentais so elaborados a partir de referenciais tericos especficos, que guiam e orientam no apenas o diagnstico dos problemas a serem resolvidos, mas tambm o tipo de soluo que deve ser buscada para san-los. Rossi prope que o avaliador leve em considerao as bases tericas que foram utilizadas na concepo e implementao do programa, examinando a sua adequao e os seus limites, e tornando, assim, a prtica de avaliao de programas integrada aos debates tericos e conceituais correntes [Shadish et alii, 1995, p. 384-385]. Rossi e Cronbach discutem os pontos fortes e fracos dos diferentes mtodos e tcnicas de avaliao propostos por outros tericos, e especificam, de maneira contingencial, sob quais circunstncias determinadas prticas devem ser ou no utilizadas. Ambos afirmam que as teorias anteriores oferecem solues razoveis para os problemas enfrentados pelos avaliadores, e propem o uso de mltiplos mtodos sempre que possvel, como, por exemplo, a combinao de tcnicas quantitativas e qualitativas.
16
2.3 Os Aspectos Gerais da Avaliao de Programas 2.3.1 Definio

H uma diversidade de definies sobre avaliao. Carol Weiss (1972, p. 4), por exemplo, define a avaliao como uma atividade no qual se procura medir os efeitos de um programa em relao aos objetivos almejados, como forma de contribuir para tomadas de decises sobre o programa e aperfeioar programaes futuras. Para Verdung (1993, p. 39), a avaliao um mecanismo expost para explicar e medir a implementao, os resultados e o alcance das polticas e programas pblicos, com o propsito de gerar decises futuras. Rossi e Freeman (1993, p.5) definem a avaliao como a aplicao sistemtica de procedimentos de pesquisa cientfica para verificar a conceitualizao, design , implementao e utilidade dos programas de interveno social. Para eles, a avaliao , antes de tudo, uma atividade complexa que envolve tambm decises polticas e administrativas. Chelimsky, por sua vez, afirma que avaliar consiste na aplicao sistemtica de mtodos de pesquisa para verificar o design do programa, sua implementao e efetividade [Chelimsky apud Rist, 1990, p.5]. Outros autores, como Guba e Lincoln (1989, p.8), ressaltam que a avaliao deve transcender a simples aplicao dos mtodos de pesquisa cientfica, e incluir os diversos aspectos humanos, polticos, sociais, culturais e contextuais que envolvem todo o seu processo. O termo avaliao ser utilizado, neste estudo, como sinnimo de avaliao de programas governamentais. A avaliao consiste no exame sistemtico e na aplicao de mtodos de pesquisa, quantitativos e/ou qualitativos, para verificar o design , a implementao, o impacto e os resultados alcanados por determinado programa. O termo programa refere-se a um grupo de projetos.
17
2.3.2 Tipos de Avaliao

Assim como h diversidade de definies sobre o que seja avaliao, h tambm grande nmero de modelos e tcnicas que podem ser utilizados pelos avaliadores. A adoo de uma prtica especfica varia em funo das caractersticas do programa, das perguntas a serem respondidas, do perfil do avaliador, dos propsitos da avaliao, das expectativas dos interessados, do nvel de suporte institucional e da disponibilidade de recursos para a sua realizao. Verdung (1993, p.40), por exemplo, ressalta que existe um profundo desacordo em torno das bases metodolgicas e das orientaes prticas da investigao em matria da avaliao. H dezenas de enfoques suficientemente sistematizados que aparecem na literatura. A existncia de diferentes modelos e prticas de avaliao torna extremamente difcil a adoo de uma tipologia bsica. Na verdade, apesar de a literatura sobre o assunto estar repleta de sugestes para uma taxonomia nica, as classificaes sugeridas so muitas vezes incompatveis, e enfatizam aspectos distintos da avaliao. Para efeito deste artigo, foi selecionada a tipologia desenvolvida pelo Evaluation Research Society (ERS) Standards Committee, que classificou as prticas de avaliao em seis categorias distintas, a saber (1983, p. 9-11): a) Front-end analysis tambm conhecida como avaliao exante (preinstalation), avaliao de contexto, ou feasibility analysis. Inclui as atividades de avaliao realizadas previamente implantao do programa, no sentido de confirmar, verificar, ou estimar as necessidades (needs assessments), a concepo, o suporte operacional, as fontes de financiamento, o arranjo institucional ou outros tipos de suporte necessrios. Os resultados da avaliao tm como objetivo prover informaes a fim de aprimorar o planejamento do programa, ao determinar o nvel de implementao apropriada, ou mesmo ao gerar feedback para subsidiar decises sobre a implantao ou no do programa.
18
b) Evaluability assessment (avaliao da avaliabilidade) constitui uma avaliao preliminar da concepo do programa para verificar se outros tipos de avaliao (em especial a avaliao de impacto) devem ou no ser iniciados. A avaliao da avaliabilidade ganhou destaque e legitimidade em face da crescente preocupao profissional com os custos da avaliao em relao aos seus benefcios e com a necessidade de identificar as caractersticas gerais dos programas (significncia, abrangncia, execuo, etc.) que facilitam ou atrapalham os esforos de avaliao. A avaliao da avaliabilidade pode abranger os questionamentos de viabilidade tcnica (por exemplo: podem ser estabelecidos indicadores de performance vlidos?), os aspectos polticos (por exemplo: os diretores do programa entendem os tipos de informao a serem geradas pela avaliao proposta?; os interesses dos financiadores so apenas imediatos?), e, obviamente, as caractersticas prprias do pr ograma (por exemplo: o pr ograma foi de fato implementado?). c) Avaliao formativa (formative evaluation) tambm denominada avaliao de processo, on-going, ou de aperfeioamento (developmental evaluation ). Envolve testes ou avaliaes de processo de programas em andamento (on-going) com o objetivo de realizar modificaes ou aperfeioamentos. As atividades podem incluir anlise das estratgias de gerenciamento, interaes dos envolvidos no programa, avaliao dos recursos humanos, pesquisa das atitudes em relao ao programa, e observaes. Em alguns casos, a avaliao formativa significa pesquisa de campo de um programa em pequena escala, antes de sua implementao mais ampla. O avaliador geralmente trabalha em conjunto com os formuladores e administradores do programa que participam diretamente das decises para realizar as modificaes necessrias. d) Avaliao de impacto tambm denominada summative evaluation, avaliao de resultados ( outcome evaluation), ou avaliao de efetividade. Corresponde a uma das mais comuns definies de avaliao qual seja, tentar identificar se o programa tem funcionado satisfatoriamente. A avaliao de impacto , em geral, realizada aps a implantao do programa e tem como objetivo gerar informaes teis aos tomadores de deciso sobre
19
a sua continuao, expanso ou reduo. Os desafios dos avaliadores consistem em estabelecer os indicadores de impacto apropriados e identificar os tipos de impacto que podem ser atribudos ao programa e no a outras influncias. Algum conhecimento ou estimativa das condies anteriores implantao do programa requerido. As avaliaes de impacto diferem na medida em que a pesquisa por indicadores apropriados ultrapassa os objetivos estabelecidos, ou as expectativas dos formuladores do programa, diretores, financiadores, ou outros patrocinadores da avaliao. No entanto, h consenso geral de que quanto mais independente for o avaliador, mais credibilidade ter o resultado das avaliaes de impacto, desde que as expectativas dos indivduos que administram, controlam ou influenciam o programa encontrem-se refletidas na avaliao. Alcanar equilbrio entre os conflitos potenciais dos critrios constitui desafio constante. e) Monitoramento do programa esta a menos reconhecida, mas provavelmente a categoria de avaliao mais praticada, que abandona a noo de que o avaliador necessariamente chega, realiza o trabalho e vai embora. Inmeros rgos federais, estaduais e locais exigem que os programas sejam intensamente monitorados, mesmo os implementados h mais tempo. Esses programas podem ou no ter sido objeto de avaliaes do tipo ex-ante, de processo, ou de impacto, ou mesmo metavaliao. Os tipos de atividades envolvidas no monitoramento variam consideravelmente, e englobam desde acompanhamentos peridicos, para verificar a consistncia com as polticas pblicas, at monitoramentos constantes e diretos dos servios prestados e dos beneficirios do programa. O monitoramento do programa pode incluir propsitos ou resultados encontrados mediante a utilizao de outras categorias de avaliao. Um exemplo seria o reexame minucioso para identificar se as necessidades originais estabelecidas na concepo do programa ainda servem ou existem, ou na sugesto de modificaes, atualizaes e revitalizaes no programa.
20
f) Metavaliao ( metaevaluation , avaliao da avaliao) conhecida como auditoria de avaliao, ou avaliao secundria, que tambm pode incluir a utilizao da avaliao. Essas atividades so aplicadas com maior freqncia avaliao de impacto e so estimuladas por vrios interesses, tais como investigao acadmica, exigncia dos rgos que coor denam ou supervisionam o programa, no-disposio do avaliado em aceitar o resultado da avaliao original, ou interesse nos efeitos posteriores da avaliao no programa. A avaliao das avaliaes pode ter diversas formas, e variam de crticas profissionais a relatrios de avaliao, e de procedimentos para reanalisar os dados originais (muitas vezes com hipteses diferentes) coleta de informaes novas. No caso dos programas de maior interesse pblico, avaliaes secundrias podem examinar os resultados de diferentes avaliaes (ao incluir avaliaes das diversas unidades e componentes) para verificar o impacto total. Os envolvidos nos estudos recentes sobre a utilizao dos dados da avaliao devem estar alertas ao fato de que problemas no uso da avaliao no esto necessariamente relacionados com suas falhas.
2.3.3 A Utilizao da Avaliao

H, fundamentalmente, dois grandes paradigmas que marcam a literatura sobre utilizao da avaliao. O primeiro paradigma surgiu a partir do boom nos trabalhos de avaliao realizados nas dcadas de 60 e 70. Nesse perodo, percebeu-se que, apesar da multiplicidade de estudos, os resultados e recomendaes geradas no eram utilizados efetivamente pelos tomadores de deciso. Um dos problemas com esse primeiro paradigma decorre do conceito de utilizao adotado. Para os seguidores desse paradigma, a utilizao era tratada de forma simples, instrumental e unidimensional, e era definida como o efeito imediato, concreto e observvel nas decises e programas advindas dos resultados da avaliao [Patton, 1978, p.24]. Essa definio, extremamente restrita, gerou, inevitavelmente, a percepo de que o impacto da avaliao era pequeno ou 21
inexistente em relao ao processo de formao e implementao de polticas pblicas. Um segundo paradigma surge no final da dcada de 70, principalmente a partir das contribuies de Michael Quinn Patton. Para os adeptos desse paradigma, tornou-se claro que a utilizao no poderia ser considerada a partir de uma tica unidimensional, mas como parte de um processo muito mais complexo e idiossincrtico. Estudos demonstraram que, ao contrrio do que se acreditava, os resultados da avaliao eram utilizados amplamente na maioria dos casos, embora de forma indireta e em circunstncias muitas vezes inesperada. Pesquisas recentes demonstraram que a avaliao um dos mais importantes instrumentos de feedback capaz de contribuir para o aprendizado organizacional. Os decisores pblicos dependem dos dados da avaliao para implementar programas e aperfeioar a gesto das polticas governamentais. O uso dos estudos de avaliao pode ocorrer de diversas formas e no h consenso entre os especialistas quanto a uma tipologia bsica.11 Para efeito deste trabalho, sero consideradas duas formas principais de utilizao da avaliao: a) instrumental caracterizada pela utilizao formal da avaliao. Em funo dos estudos realizados, h alterao direta ou formal do programa, do processo de tomada de decises ou dos procedimentos adotados pela organizao; b) conceitual caracterizada pelo impacto indireto da avaliao nas polticas pblicas, pr ogramas ou pr ocedimentos organizacionais [Rossi e Freeman, 1993]. Embora a avaliao no acarrete, diretamente, implementao de mudanas no programa ou na organizao, h consenso acerca da sua importncia como instrumento capaz de contribuir para a elevao no nvel de conhecimento existente.
11
Ver estudos de Leviton e Hughes (1981).
22
3 A Aprendizagem Organizacional
3.1 Antecedentes
A teoria sobre aprendizagem organizacional ampla e complexa, e h muito tornou-se objeto de estudo de diversas disciplinas. Os especialistas em histria econmica, por exemplo, tm examinado a importncia da aprendizagem no desenvolvimento de novas indstrias e tecnologias, e no desenvolvimento formal da rea de Pesquisa e Desenvolvimento (P&D). Os economistas, por sua vez, realizaram estudos em que verificaram como a aprendizagem afeta a produtividade e as estruturas industriais. Alm disso, a aprendizagem nas empresas tem sido um dos focos da teoria das organizaes e ocupam papel de destaque no estudo da administrao estratgica e da gesto [Dodgson, 1993]. A literatura sobre aprendizagem organizacional pode ser dividida em dois ramos principais. O primeiro deles voltado para a prtica, possui carter prescritivo e tem sido divulgado principalmente por consultores, burocratas e profissionais preocupados com os aspectos pragmticos da aprendizagem. O segundo possui caractersticas tericas, neutras e no prescritivas, e vem sendo desenvolvido por acadmicos e tericos de diferentes reas [Argyris e Schn, 1996, p. 180-199]. Embora existam divergncias entre os dois enfoques, as questes centrais so as mesmas: (i) o que tor na a aprendizagem organizacional desejvel e produtiva; (ii) quais so as ameaas a tal aprendizagem; e (iii) como podem ser superadas. Apesar da diversificao, percebe-se tambm o esforo dos estudiosos em abordar os conceitos relacionados com a maneira como as organizaes se adaptam, buscam novas idias, questionam-se, promovem o seu desenvolvimento e o de seus membros, e modificam as suas formas de agir [Argyris e Schn, 1996]. A literatura de carter prescritivo sobre apr endizagem organizacional ampla e, conforme ressaltam Argyris e Schn (1996), varia em funo da influncia dos diferentes enfoques adotados pelos autores das mais diversas reas. Um dos enfoques,
23
por exemplo, consiste nos chamados sistemas sociotcnicos, conhecidos como Quality of Work Life ou Industrial Democracy Movement, que cresceram na Inglaterra, no Tavistock Institute, aps a Segunda Guerra Mundial, e se estenderam s dcadas de 60 e 70. Tais sistemas defendiam a idia da aprendizagem organizacional como fruto de participao coletiva no desenvolvimento de novos padres de trabalho, carreiras e formas de adaptao. Outro enfoque da literatura o da administrao estratgica, que surgiu h 25 anos, criado nas escolas de administrao de empresas. A idia foi originalmente concebida como um tipo de tcnica de planejamento, voltada para a formulao de polticas baseadas na posio da empresa em relao a seus mercados, competidores, tecnologias, materiais, e habilidades. O enfoque recente dessa abordagem passou a enfatizar a interao entre planejamento e implementao, em um processo descrito como aprendizagem organizacional. Os estudos sobre aprendizagem organizacional na rea de produo tambm merecem ser citados. Tais estudos surgiram nas dcadas de 70 e 80, a partir da perda de competitividade dos produtos dos Estados Unidos no mercado internacional e da ascenso de novas potncias comerciais no Leste Asitico. A necessidade de contnua melhora na qualidade dos produtos, e nos processos de produo, despertou o interesse no processo de aprendizagem na organizao.12 A rea de desenvolvimento econmico tambm influenciou a literatura sobre a aprendizagem organizacional. Essa rea, embora dominada por economistas, demonstrou preocupao com aspectos tericos da aprendizagem, principalmente no que se refere ao seu impacto sobre a produtividade do estoque de capital humano de um determinado pas. Na verdade, os economistas
12
Um exemplo foi a obra de Hayes, Wheelwright e Clark (1988) intitulada Dynamic Manufacturing: Creating the Learning Organization.
24
argumentam que a forma correta de explicar as diferenas de produtividade e competitividade de um pas deve levar em conta, fundamentalmente, as diferenas na capacidade do estoque de capital humano de aprender, aplicar e disseminar novas tecnologias. Em suma, o diferencial de aprendizagem de um pas explicaria, em grande parte, seu diferencial da performance de sua economia. Outro enfoque importante o dos chamados sistemas dinmicos, que foram desenvolvidos por Jay Forrester (1961), com base na teoria do controle e do servomecanismo. Entre os seus seguidores destaca-se Peter Senge (1990), com sua abordagem prescritiva que, conforme ressaltam Argyris e Schn (1996, p. 184), combina a metodologia de sistemas dinmicos com certas idias adaptadas da teoria da ao, notadamente com relao importncia de modelos mentais e inclui aqueles que limitam ou facilitam o questionamento confivel no processo organizacional. Todavia, o enfoque da rea de recursos humanos tem adotado amplamente a linguagem de aprendizagem organizacional e salienta o desenvolvimento da capacidade humana de questionar, experimentar e inovar em nome da organizao. Os trabalhos nessa rea enfatizam as interaes mtuas entre o aumento das oportunidades de desenvolvimento individual, na organizao, e da capacidade de desempenho competitivo da empresa. Alm de todos os enfoques mencionados, Argyris e Schn (1996) acrescentam o da cultura organizacional. Muitas vezes o termo cultura organizacional utilizado, inadequadamente, como sinnimo de aprendizagem organizacional. O trabalho de Edgar Schein (1992) constitui um dos estudos mais cuidadosos no sentido de definir e relacionar adequadamente os dois termos. O autor ressalta que, entre outras coisas, num mundo de mudanas turbulentas, as organizaes devem aprender, rapidamente, o que implica uma cultura de aprendizagem que funciona como um sistema perptuo de aprendizagem [Schein apud Argyris e Schn, p.185].
25
No que se refere literatura terica sobre aprendizagem organizacional, pode-se ressaltar que tem sido desenvolvida com o objetivo de preencher os gaps tericos encontrados na literatura prescritiva: Os economistas tendem a ver a aprendizagem como uma simples quantificao na melhoria das atividades, ou como alguma forma de resultado positivo definido vaga e abstratamente. Os gerentes e a literatura de administrao de empresas geralmente igualam a aprendizagem eficincia competitiva comparativa sustentvel, e a literatura sobre inovao geralmente v a aprendizagem como promotora da eficincia inovadora comparativa. Essas vrias literaturas tendem a examinar os resultados da aprendizagem, ao invs de pesquisar o que aprendizagem realmente e como esses resultados so alcanados [Dodgson, 1993, p.377]. A literatura que enfatiza os aspectos no prescritivos da aprendizagem organizacional vasta e diversificada. H, nessa literatura, uma preocupao central em buscar respostas para questes consideradas fundamentais, tais como o que aprendizagem organizacional?, como praticada?, quais so seus objetivos?, quais so os tipos de aprendizagens organizacionais desejveis, para quem e quais so as chances de sua ocorrncia?, e quais so os fatores que facilitam ou dificultam a aprendizagem organizacional?. Apesar do considervel nmero de estudos publicados, no h consenso entre os tericos sobre as noes e conceitos bsicos relacionados com a aprendizagem organizacional [Argyris e Schn, 1996, p.188]. O interesse pelo estudo da aprendizagem organizacional encontrase atualmente em fase de ascenso. Um dos fatores que contribui para esse aumento de interesse consiste na demanda por estruturas e sistemas empresariais que sejam mais flexveis e que reajam s constantes mudanas, em que a aprendizagem passa a desempenhar papel-chave. Tambm os rpidos avanos tecnolgicos constituem fator de impacto nas organizaes e demandam que estas se adaptem e aprendam a operar conforme
26
novos padres tecnolgicos. Outro fator relevante reside no prprio conceito de aprendizagem, que possui caractersticas dinmicas e valor analtico abrangente, haja vista a variedade de disciplinas que o utilizam [Dodgson, 1993]. Assim, ante os objetivos propostos neste artigo, e ao considerar a significativa diversidade terica existente na rea de aprendizagem organizacional, optou-se por estudar, mais detalhadamente, o modelo proposto por Chris Argyris e Donald Schn. Para os autores, a organizao detecta e corrige os seus erros e, conseqentemente, aprende de duas formas distintas: single-loop (loop simples ou um loop) e double-loop (loop duplo ou dois loops). Alm disso, as organizaes podem engajar-se em um processo sistemtico de aprendizagem single-loop e double-loop, denominado deuterolearning , que representa a capacidade organizacional de aprender a aprender.
3.2 A Aprendizagem Organizacional segundo Chris Argyris e Donald Schn

Argyris e Schn (1996) salientam que o termo aprendizagem possui dois sentidos. Em primeiro lugar, pode ser utilizado como um produto (alguma coisa aprendida), e significa o acmulo de informaes na forma de conhecimento ou habilidade, ou seja, o que aprendemos. Alm disso, o termo pode representar tambm um processo, e referir-se atividade, forma ou a maneira como aprendemos. As organizaes aprendem quando adquirem informao, de qualquer tipo ou maneira, seja ela em forma de conhecimento, compreenso, know-how, tcnicas ou prticas. O esquema genrico da aprendizagem organizacional inclui o produto (contedo informacional), o processo (aquisio, processamento e armazenamento da informao) e o aprendiz (a quem o processo de aprendizagem atribudo) [Argyris e Schn, 1996, p.3].
27
Segundo os autores, as organizaes so instrumentos identificveis de deciso e ao coletiva, nos quais os membros podem agir e aprender mediante o processo de questionamento que resulta no produto do aprendizado. Os indivduos funcionam como agentes organizacionais, de acordo com os papis que desempenham e com as regras formais e informais dominantes. O questionamento o entrelaamento entre o pensamento e a ao. Origina-se na identificao de uma situao problemtica (discrepncia entre os resultados esperados e a ao, e os resultados realmente alcanados) e na sua resoluo. O resultado (output), pode ser uma mudana na forma de pensar e agir e pode acarretar alteraes nas prticas organizacionais [Argyris e Schn, 1996, p. 11-12]. As organizaes funcionam como instrumentos capazes de captar e armazenar conhecimento. Tal conhecimento pode estar nas mentes de seus indivduos; documentadas em arquivos (regulamentos, decises, organogramas, instrues, etc.); implcito em objetos utilizados para o desempenho de tarefas; ou embutidos em rotinas e prticas. O conhecimento organizacional pode ser representado por uma teoria da ao (theory of action) que contm as estratgias de ao, os valores que direcionaram a sua escolha, e os pressupostos nos quais se baseiam. Essa teoria pode ser definida em termos da situao especfica S, da conseqncia intencionada C, e da estratgia de ao A. Portanto, para se produzir a conseqncia C, na situao S, deve-se ento realizar A. A teoria da ao possui duas formas, independentemente de serem aplicadas s organizaes ou aos indivduos (Argyris e Schn, 1996, p 13-15): a) teoria proclamada (espoused theory): a teoria formal, explcita, adotada conscientemente, e que contm as explicaes ou justificativas para um dado padro de comportamento ou atividade; e
28
b) teoria aplicada (theory-in-use): a teoria observada na prtica, e encontra-se implcita nas estratgias de ao, objetivos, normas, rotinas, padres de comportamentos ou atividades. Muitas vezes, a teoria proclamada no coincide com a teoria aplicada da organizao. Freqentemente, por exemplo, pode-se perceber que documentos formais, que contm a descrio de estruturas, polticas, objetivos ou regras de uma organizao, mostram-se, na prtica, incongruentes com os padres reais de atividades observados. Ademais, as organizaes so compostas por indivduos que possuem uma imagem parcial, incompleta e mutante da teoria aplicada: As organizaes so como um organismo, em que cada clula contm uma imagem particular, parcial e mutante de si mesma em relao ao todo. Como tal organismo, as prticas organizacionais so geradas dessas imagens: suas teorias aplicadas dependem das formas pelas quais seus membros a representam. Portanto, nossa explorao de aprendizagem organizacional no deve lidar com entidades estticas, chamadas organizaes, mas sim, como afirma Karl Weick (1969), com processos ativos de organizao. As imagens da organizao desenvolvidas pelos membros moldam cada objeto de sua investigao [Argyris e Schn, 1996, p 16]. Argyris e Schn enfatizam que as organizaes so capazes de agir, questionar, adquirir conhecimento e aprender: A aprendizagem organizacional ocorre quando os indivduos, dentro da organizao, vivenciam uma situao problemtica e a questionam em favor dessa organizao. Eles identificam, na ao, uma discrepncia entre os resultados esperados e alcanados e respondem a tal situao mediante um processo de reflexo e ao futura. Tal processo direciona-os a modificar suas imagens da organizao, sua percepo do fenmeno organizacional e a reestruturar suas atividades, no sentido de realinhar resultados e expectativas, modificando conseqentemente, a teoria aplicada da organizao. Para tornar-se organizacional, a aprendizagem
29
que resulta do questionamento organizacional deve tornar-se encrustrada nas imagens da organizao contidas nas mentes de seus membros e/ou nos artefatos epistemolgicos (mapas, memrias, e programas) embutidos no ambiente organizacional [Argyris e Schn, 1996, p. 16]. Os autores ressaltam que o produto do questionamento pode ser traduzido em aprendizado organizacional apenas quando h evidncias de mudanas na teoria aplicada da organizao, seja na forma dos comportamentos observados, ou nas imagens individuais (mapas, memrias, e programas) que armazenam o conhecimento. Torna-se difcil, portanto, delimitar com clareza os limites da aprendizagem organizacional: H situaes de delimitao nas quais difcil determinar com preciso se o questionamento interativo r ealmente organizacional, se acarretou verdadeira mudana na teoria aplicada, ou se os seus resultados passaram a fazer parte das memrias, mapas e programas organizacionais. Tal impreciso inerente ao fenmeno organizacional que mal informado, emergente, ou pode refletir, no entanto, a falta de informao suficiente para permitir uma determinao clara. Eles no invalidam nossa definio, desde que muitos exemplos se encaixem nela e desde que as informaes necessrias para que sejam atribudas e limitadas aprendizagem organizacional sejam claras [Argyris e Schn, 1996, p.18]. Argyris e Schn preconizam que a aprendizagem organizacional pode ser ou no produtiva, dependendo do objetivo final a ser alcanado, dos valores atribudos ao aprendizado para julgar sua validade, ou do momento em que ocorre (1996, p. 20). Segundo a abordagem de Argyris e Schn, a aprendizagem organizacional pode ser classificada em dois tipos principais: a) single-loop consiste na aprendizagem instrumental que acarreta mudanas nas estratgias de ao ou nas suas premissas, sem alterar a teoria aplicada da organizao. Os indivduos, mediante processo de questionamento, detectam e corrigem os
30
erros (discrepncia entre as expectativas da organizao e os resultados alcanados), e agem de acordo com os sistemas de valores e padres organizacionais existentes. No aprendizado single-loop, a estrutura de conhecimento existente na organizao (objetivos, metas, polticas, regras, etc.) mantida. Os indivduos observam se os objetivos so ou no alcanados de acordo com o desejado, detectam os problemas, e buscam alternativas de soluo para conseguir o que desejam, mantendo a situao em vigor. Embora possam ocorrer mudanas para corrigir falhas detectadas, o aprendizado de um loop no estimula a reflexo ou o questionamento que podem levar reconcepo da situao ele focaliza a anlise e a correo do problema em questo [Kofman, 1996, p. 41]. b) double-loop consiste na aprendizagem que resulta em mudanas nos valores da teoria aplicada da organizao, bem como nas suas estratgias e pressupostos. Refere-se a dois feedback loops que conectam os efeitos observados da ao com as estratgias e com os valores que esto por trs dessas estratgias. Implica reestruturao de valores e premissas fundamentais da teoria aplicada da organizao, que inclui suas estratgias, valores, percepes do seu ambiente e compreenso de suas prprias competncias. No aprendizado double-loop, a estrutura de conhecimento fundamentalmente questionada. Tal aprendizado leva a organizao a refletir sobre seus objetivos, suas polticas ou sua forma de operar e podem ocorrer mudanas estruturais profundas. Ao contrrio do aprendizado de um loop, o aprendizado de dois loops [...] procura trazer tona e questionar premissas e normas de uma organizao que possam levar reformulao do problema [Kofman, 1996, p.41]. De acordo com Argyris e Schn (1996), alguns fatores como o tamanho e a complexidade da organizao, bem como o relacionamento entre os produtos da aprendizagem e os valores
31
e nor mas envolvidos no processo de questionamento organizacional, podem vir a dificultar a distino clara entre os aprendizados single-loop e double-loop. Os sistemas de aprendizagem das organizaes so compostos por estruturas que canalizam o questionamento e por um universo comportamental, os quais podem facilitar ou inibir a aprendizagem. Tais estruturas organizacionais incluem os canais de comunicao formais e informais; os sistemas de informao (mdia, tecnologia, computadores, etc.); os procedimentos e rotinas; e os sistemas de incentivos. O universo comportamental da organizao envolve as qualidades, significados e sentimentos que condicionam os padres de interao entre os indivduos na organizao e afetam o questionamento organizacional [Argyris e Schn, 1996, p. 2829]. Argyris e Schn ressaltaram a importncia de um tipo especial de aprendizagem organizacional denominado deuterolearning, ou seja, a capacidade da organizao de aprender como aprender. Significa gerar e fazer uso sistemtico dos mecanismos de feedback relacionados com os tipos de aprendizagem single-loop e doubleloop.
3.3 A Avaliao de Programas como Instrumento de Aprendizagem Organizacional: um Modelo Analtico

O modelo analtico, adotado neste trabalho, objetivou verificar como a avaliao de programas pode contribuir para o processo de aprendizagem organizacional. A figura 1 apresenta o modelo, o qual enfatiza a existncia de uma conexo entre a estrutura de conhecimento organizacional e a avaliao como instrumento de feedback.
32
FIGURA 1
Estrutura de Conhecimento, Avaliao e Aprendizagem Organizacional

ESTRUTURA DE CONHECIMENTO DOMINANTES
(*)
PROGRAMAS,
RESULTADOS
PLANOS, PROJETOS, ETC.
(SINGLE-LOOP)
MUDANAS A PARTIR DAS ESTRUTURAS DE CONHECIMENTO EXISTENTES
AVALIAO
(FEEDBACK)
(DOUBLE-LOOP)
MUDANAS NAS ESTRUTURAS DE CONHECIMENTO DOMINANTES
Fonte: Modelo adaptado pela autora com base na teoria de Argyris e Schn (1996). Figura adaptada pela autora dos estudos de Forss et alii. (1994). (*) Regras, normas, objetivos, metas, polticas, etc.
O modelo proposto foi fundado na teoria de aprendizagem organizacional desenvolvida por Argyris e Schn (1996), com destaque para os tipos de aprendizagem single-loop e doubleloop. Foi tambm realizada uma adaptao na figura utilizada no modelo, com base nos estudos de Forss et alii. (1994) sobre experincias de avaliao e aprendizagem organizacional na Noruega. Considerou-se, como avaliao de programas, as prticas que se enquadravam no conceito terico adotado neste trabalho, e que pudessem ser classificadas em uma ou mais categorias da tipologia proposta pelo Evaluation Research Society Standards Committee. 33
O modelo pode ser explicado a partir da idia de que as organizaes atuam com base nas estruturas de conhecimento dominantes. Tais estruturas so representadas por objetivos, polticas, normas, estruturas formais e informais, padres de atividades ou comportamentos, instrumentos, regras e procedimentos. Conforme Argyris e Schn (1996), a estrutura de conhecimento corresponde teoria de ao da organizao que pode ser dividida em: (i) teoria proclamada, que a teoria formal, explcita, adotada conscientemente, e que contm as explicaes para um dado padro de comportamento ou atividade; e (ii) teoria aplicada, que a teoria observada, e encontra-se implcita nas estratgias de ao, objetivos, normas, rotinas, padres de comportamento ou atividades. As organizaes atuam com base na sua estrutura de conhecimento, na tentativa de colocar em prtica seus programas, projetos ou planos. A partir dessa atuao, so produzidos resultados que podem ou no ser auferidos quantitativamente ou qualitativamente, de forma sistemtica ou no, durante as vrias fases do programa ou projeto. Os resultados obtidos podem ou no corresponder ao desejado pela organizao, e muitas vezes acarretam conseqncias no previstas, sejam elas positivas ou negativas. Para que as organizaes verifiquem os resultados de suas aes, necessitam de mecanismos de feedback adequados. A avaliao de programas constitui um dos mecanismos de feedback mais importantes na organizao, capaz de detectar erros na sua forma de agir, indicar como corrigi-los, e contribuir para melhorar a eficincia e a eficcia organizacional. A avaliao de programas pode gerar apr endizagem organizacional, a partir do momento em que a organizao busque utilizar sistematicamente esse mecanismo de feedback, seja de maneira instrumental ou conceitual, para aperfeioar ou mudar a sua forma de agir.
34
Dois tipos de aprendizagem podem ser gerados em funo da utilizao, pela organizao, das informaes decorrentes da avaliao de seus programas: a aprendizagem single-loop, que acarreta mudanas na forma de agir, ao manter-se a estrutura de conhecimento dominante, ou a aprendizagem double-loop, que implica mudanas fundamentais na estrutura de conhecimento da organizao. Portanto, quando a organizao utiliza a informao advinda da avaliao para melhorar a sua performance, mas mantm, basicamente, as mesmas estruturas de conhecimento, realiza a aprendizagem single-loop. Entretanto, se as informaes geradas so utilizadas para transformar o conjunto de objetivos, normas e padres de comportamento da organizao, ela realiza a aprendizagem double-loop. As organizaes nas quais a prtica da avaliao utilizada sistematicamente e de forma adequada podem desenvolver a capacidade de aprender a aprender que Argyris e Schn caracterizam como deuteroaprendizagem (deuterolearning). H, portanto, do ponto de vista conceitual, clara conexo entre a estrutura de conhecimento da organizao, as prticas de avaliao adotadas, a maneira como os resultados dessas avaliaes so utilizados, e a dinmica das diferentes formas de aprendizagem organizacional.
4 O Programa de Ao Social em Saneamento (PROSEGE)

Aspectos Gerais O PROSEGE um programa federal institudo oficialmente em 199213 e encontra-se em fase de concluso. voltado para a melhoria da qualidade de vida da populao de baixa renda, mediante a realizao de obras de esgotamento sanitrio e da gerao de empregos.
13
Ver Decretos no 481, de 26/3/92, e no 1 675, de 13/9/95.
35
Quando da sua concepo, foi parte do Plano de Ao Imediata de Saneamento (PAS Brasil), anunciado em agosto de 1990 pelo Ministrio da Ao Social (MAS), posteriormente denominado Ministrio do Bem-Estar Social (MBES). Com a extino do MBES, a execuo do PROSEGE passou, em janeiro de 1995, para o mbito da Secretaria de Poltica Urbana (SEPURB ), do Ministrio do Planejamento e Oramento. Participam do PROSEGE os governos estaduais e municipais, por intermdio das companhias estaduais de saneamento bsico, prefeituras e servios autnomos municipais. Integram atualmente o programa 218 projetos de esgotamento sanitrio, distribudos por 185 municpios, localizados em regies metropolitanas, cidades mdias e aglomeraes urbanas de todos os estados do pas. Inicialmente, foram selecionados 264 projetos. Cada um desses projetos atendeu aos seguintes critrios de elegibilidade definidos no programa: (i) estar localizado em reas ou regies de maior incidncia de desemprego; (ii) beneficiar a populao de baixa renda (renda familiar de at sete salrios-mnimos); (iii) possuir parecer favorvel dos rgos ambientais e no causar impacto ambiental negativo significativo; (iv) integrar o Plano Diretor14 municipal; (v) apresentar cobertura de rede de gua adequada demanda; (vi) apresentar plano de adeso,15 (vii) ter prazo de execuo entre doze e dezoito meses; (viii) apresentar viabilidade econmico-financeira, medida por meio do ndice de custo eficincia, dentro dos limites do programa; (ix) ser de mnimo custo econmico; (x) indicar capacidade de contrapartida; e (xi) possuir capacidade legal e administrativa para assegurar a
De acordo com o artigo 182 da Constituio de 1988, o Plano Diretor o instrumento bsico da poltica de desenvolvimento e expanso urbana, sendo obrigatria a sua aprovao pela cmara municipal para as cidades com mais de vinte mil habitantes.
15 Disposio da populao em aderir ao programa e arcar com os custos das ligaes de esgoto intradomiciliares (da casa at a calada).
14
36
realizao de obras complementares eventualmente necessrias [Brasil, MAS, 1991, p. 4-5]. Com relao ao critrio ambiental, os pr ojetos foram cuidadosamente analisados e classificados em quatro categorias distintas, por ordem de preferncia. Alm desses critrios, foram igualmente estudadas as capacidades de contrapartida, institucional, operacional e financeira dos agentes promotores. Estrutura Organizacional Em termos de estrutura organizacional, o programa administrado por uma Unidade Central Executora ( UCE ), vinculada ao Departamento de Saneamento da SEPURB. Durante o perodo de junho de 1992 a abril de 1997, a UCE contou com o apoio de uma consultoria em engenharia, especializada em gerenciamento de implantao de empreendimentos, contratada para prover apoio ao gerenciamento, por meio de suporte tcnico e operacional especializado, necessrios implantao, execuo e monitoramento dos seus projetos e do programa. No plano local, o programa administrado pelas Unidades Executoras Locais (UEL), que fazem a interface entre o agente promotor (governos estaduais, companhias estaduais de saneamento, prefeituras municipais e servios municipais autnomos) e a UCE. H tambm duas comisses que participam da estrutura organizacional do PROSEGE. A primeira a Comisso Interministerial, que foi estabelecida com o objetivo de propor diretrizes e polticas operacionais e avaliar os resultados do programa; composta pelos seguintes membros: (i) secretrio-executivo do Ministrio do Planejamento e Oramento (presidente da Comisso Interministerial); (ii) secretria de Poltica Urbana do MPO; e (iii) representantes dos Ministrios da Fazenda, do Trabalho, da Sade, e da Secretaria-Executiva do Programa Comunidade Solidria. A segunda a Comisso Especial, criada com as atribuies de analisar e aprovar os projetos integrantes do PROSEGE, e tem suas
37
funes exercidas atualmente pela secretria de Poltica Urbana, pela diretora de Saneamento, e pelo coordenador geral do PROSEGE. Objetivos e Metas As metas estabelecidas para o PROSEGE, quando da sua concepo original, previram a implantao de 275 mil ligaes domiciliares de esgoto, com o propsito de beneficiar uma populao de 1,55 milho de habitantes, e a construo de 5 mil quilmetros de redes coletoras de esgoto sanitrio. Foram implantadas, at 31 de dezembro de 1997, 559 mil ligaes domiciliares e construdos 6 015 quilmetros de redes coletoras de esgoto sanitrio, que beneficiaram uma populao de 2,96 milhes de pessoas (ver tabela 1) e ultrapassaram, significativamente, as expectativas iniciais previstas.
TABELA 1
PROSEGE Metas Fsicas Iniciais x Realizaes at 31/12/97

Unidade de Metas Fsicas Medida Previstas Inicialmente(A) Realizaes at 31/12/97 % de Realizao (B)/(A) Ligaes domiciliares Redes de esgoto Populao beneficiada Unidade km Habitante 275 000 5 000 1 550 000 559 000 6 015 2 960 000 203% 120% 191%
Fonte:
MPO/SEPURB/PROSEGE.
Cabe ressaltar que as metas estipuladas para o PROSEGE foram dimensionadas com base nos dados dos projetos bsicos aprovados e de acordo com indicadores disponveis na poca da concepo do programa. Ao longo da fase inicial da implantao do PROSEGE, houve reviso detalhada dos projetos bsicos, alm da realizao de visitas aos 38
locais das obras. Constatou-se que, em diversos casos, os recursos financeiros estavam superestimados em relao quantidade de ligaes e redes previstas. Alm disso, foram sugeridas, pela equipe da UCE , alter nativas tecnolgicas de menor custo econmico. A correo de tais problemas resultou em melhor desempenho do programa. Tambm estipulou-se como meta a gerao de 67 800 empregos, dos quais 45 mil diretos, no setor de construo civil; 15 mil indiretos, nos setores de produo de insumos e respectivos sistemas de administrao; e 7 800 permanentes (diretos e indiretos), nos servios de operao e manuteno de obras realizadas. As metas relativas gerao de empregos diretos e indiretos, com a implementao do PROSEGE, no foram aferidas e no h como avaliar esse objetivo precisamente. Tal fato decorre das dificuldades enfrentadas na coleta de informaes junto aos empreiteiros (que recrutavam mo-de-obra disponvel nos locais das obras), e da inexistncia de metodologia de avaliao definida. No entanto, estimativa preliminar, feita pela SEPURB, indica que o impacto total do programa sobre o mercado de trabalho implicou a gerao de aproximadamente 70 mil novos empregos. Alm dessas metas, estavam previstas aes de desenvolvimento institucional e de recuperao tarifria, que deveriam causar impacto direto na recuperao gradual do setor de saneamento. Tal objetivo no chegou a ser efetivado, por dificuldades tcnicas e institucionais. No foram criados parmetros de verificao e controle, nem implementadas medidas junto aos agentes promotores para exigir aes neste sentido. Custo e Financiamento O custo total do PROSEGE foi estimado inicialmente em U$ 500 milhes. Em abril de 1991, foram firmados dois contratos de emprstimo no total de US$ 350 milhes, entre o governo brasileiro e o Banco Interamericano de Desenvolvimento (BID), para financiamento do programa. O primeiro contrato, de no 622/OC-
39
BR, no valor de US$ 300 milhes, foi contrado a dbito de recursos do capital ordinrio (CO) do BID. O segundo, de no 856/SF-BR, no montante de US$ 50 milhes, foi firmado a dbito de recursos do Fundo de Operaes Especiais (FOE) do BID. Os restantes US$ 150 milhes foram aportados com recursos dos agentes promotores (US$ 116 milhes) representados pelos governos estaduais, companhias estaduais de saneamento, prefeituras municipais e servios autnomos municipais e da Unio (US$ 34 milhes) 16 (ver tabela 2).
TABELA 2
Fontes de Financiamento do PROSEGE

(Em US$ milhes)
Fonte de Financiamento Contrato de Emprstimo no 622/OC-BR Contrato de Emprstimo n 856/SF-BR

o
Valor 300 50 150 500
Contrapartida dos agentes promotores e da Unio Total Fonte:

SEPURB/MPO/PROSEGE.
Os recursos do PROSEGE so transferidos mensalmente aos agentes promotores, com base no avano fsico e financeiro dos projetos. A liberao dos valores da Unio ocorre aps verificao, pelo Banco do Brasil, de que foram depositados os montantes correspondentes parcela de contrapartida do agente promotor. Em termos de execuo financeira, at 31 de dezembro de 1997 haviam sido investidos US$ 498,5 milhes, que correspondem a 99,7% do total de recursos previstos para o financiamento. At 1994, apenas 30% dos recursos programados haviam sido
16
Correspondentes aos juros de emprstimo sobre os saldos devedores e comisses de crdito. Encontram-se alocados como recursos de outras fontes no Oramento Geral da Unio.
40
desembolsados, devido a inmeras interrupes nas liberaes de recursos pela Unio, o que causou paralisao em diversas obras, com posterior retomada do seu ritmo de execuo a partir de 1995. Embora o percentual de realizao fsica das metas previstas em cada projeto tenha sido elevado, e a quase totalidade dos recursos tenha sido desembolsada, houve atraso significativo na execuo do cronograma fsico-financeiro do PROSEGE. De acordo com sua concepo original, todas as obras deveriam estar totalmente concludas em outubro de 1993, mas esse prazo foi prorrogado, sucessivamente, para outubro de 1995, outubro de 1996, abril de 1997, dezembro de 1997, junho de 1998, e maro de 1999. O atraso superior a cinco anos na concluso do PROSEGE implicou perodos de paralisao de obras e descrdito do programa junto aos agentes promotores durante as diversas fases da sua implementao. Ademais, acarretou adiamento do incio da amortizao do emprstimo junto ao BID, prevista para seis meses a contar da data do ltimo desembolso,17 e pagamento extra de juros e comisso de crdito sobre o saldo no desembolsado do financiamento. At dezembro de 1997, haviam sido desembolsados, pela Unio, US$ 11,1 millhes de juros e US$ 2,5 milhes de comisso de crdito, o que corresponde a 40% a mais do que o constante do plano de financiamento original do PROSEGE. A situao referente ao estgio das obras dos 218 projetos participantes do PROSEGE, at 31 de dezembro de 1997, encontrase sintetizada na tabela 3, a seguir:
17
Realizados de acordo com as obras executadas e o cronograma fsico-financeiro de cada projeto.
41
TABELA 3
PROSEGE Situao das Obras dos Projetos at 31/12/97

Estgio das Obras Concludas Em andamento Total Fonte:
MPO/SEPURB/PROSEGE.
Total 173 45 218
(%) 79 21 100
Sistema de informaes gerenciais O Sistema Integrado de Controle e Superviso (SICS) o sistema de informaes gerenciais do PROSEGE, que foi implementado, em agosto de 1992, com o objetivo de viabilizar o processamento do grande volume de dados oriundos dos agentes promotores e rgos envolvidos na implantao do programa, e gerou produto que permitisse, em tempo hbil, a anlise da evoluo do programa, a identificao de desvios e a projeo de tendncias, para subsidiar a tomada de medidas corretivas. O SICS contm informaes sobre o progresso de cada projeto, desde a sua concepo at a sua total concluso. Os dados armazenados no sistema permitem, entre outras coisas, a emisso de relatrios de acompanhamento e controle fsico e financeiro, e a gerao de dados estatsticos e de sries histricas. A alimentao do SICS realizada pela Unidade Central Executora por informaes enviadas pelas Unidades Executoras Locais, conforme padres e periodicidade previamente estabelecidos no Regulamento de Operao do PROSEGE. Alm disso, o sistema atualizado com base nos dados coletados por tcnicos da UCE e da gerenciadora, em visitas peridicas de inspeo e superviso aos locais de execuo dos projetos. 42
5 As Prticas de Avaliao do PROSEGE

Em geral, os programas governamentais seguem o ciclo comum de concepo, implementao e concluso. No caso do PROSEGE, a etapa de concepo ocorreu ao longo de 1990 e antecedeu a assinatura dos contratos de financiamento firmados junto ao Banco Interamericano de Desenvolvimento (BID). A etapa de implementao, por sua vez, teve incio aps a assinatura dos contratos de financiamento com o BID, em abril de 1991, quando foram implementadas aes para viabilizar a execuo fsica e financeira do PROSEGE, e encerrou-se em abril de 1997, com o trmino de 95% das obras do programa. A etapa de concluso do PROSEGE, iniciada em abril de 1997, dever estenderse por trs anos a contar da previso de encerramento de todas as obras do programa. Cada uma dessas fases foi marcada por prticas de avaliao especficas. O quadro 1 sintetiza os tipos de avaliao de programa identificados nas etapas de concepo, implementao e concluso do PROSEGE, de acordo com a classificao sugerida pela Evaluation Research Society. O primeiro tipo de avaliao utilizado no PROSEGE foi a front-end analysis , tambm conhecida como avaliao ex-ante , de preinstalao, de contexto ou feasibility analysis. Esse tipo de avaliao foi desenvolvido na fase de concepo do programa, e foi caracterizado por estudos do contexto social, poltico e econmico do pas, e dos principais aspectos do setor de saneamento urbano. Foram analisados tambm outr os componentes tpicos da front-end analysis, tais como questes relativas ao design do programa, as possveis fontes de financiamento, e o arranjo institucional a ser adotado.
43
QUADRO 1
Tipologia de Avaliao de Programas do PROSEGE

Fase do Programa Tipo de Avaliao Caractersticas Principais Relatrios ou Produtos
Concepo
Front-end Analysis (ex-ante, pre-instalao, contexto, ou feasibility analysis)
Estudos sobre o contexto econmico, poltico e social do pas Estudos sobre o setor de saneamento urbano
Documento Bsico
Implementao
Monitoramento e avaliao formativa (de processo, ongoing, pari passu, ou de aperfeioamento)
Acompanhamento do avano fsico e financeiro dos projetos e do programa
Relatrio Gerencial de Acompanhamento e Controle (mensal) Relatrio de Progresso Fsico (semestral) Relatrio de Progresso Financeiro (semestral)
Concluso
Avaliao de Impacto Avaliao da execuRelatrio Final de (summative, de resul- o final do programa Avaliao tados, ou de efetividade) Metodologia a ser uti- Avaliao ex-post lizada na avaliao Metodologia e Sisex-post do programa tema de Recolhimento de Dados
Fonte: Elaborao prpria.
A fase de implementao do PROSEGE foi marcada por duas prticas de avaliao: o monitoramento18 e a avaliao formativa (on-going, developmental ou de processo). O monitoramento consistiu, basicamente, em uma srie de atividades contnuas, desenvolvidas para acompanhar a evoluo
18
Cabe ressaltar que, embora muitos dos tericos mencionados na literatura no classifiquem o monitoramento como uma forma distinta de avaliao, h consenso sobre a sua importncia como pea fundamental sem a qual no seria possvel realizar avaliao de programas de forma adequada e criteriosa.
44
fsica e financeira do PROSEGE quanto ao seu projeto e ao seu programa. Os propsitos do monitoramento foram: (i) verificar se a implantao fsica do programa era executada adequadamente, conforme projeto e licitao; (ii) identificar se os marcos contratuais estavam sendo cumpridos conforme o planejado; e (iii) verificar se os recursos eram gastos de acordo com o previsto, e conforme as regras e limites estabelecidos para o programa. As prticas de monitoramento identificadas possuem tambm caractersticas tpicas das avaliaes formativas. Tal sobreposio decorre do carter ongoing das atividades de avaliao desenvolvidas e dos propsitos formativos, tendo em vista que durante a implementao do programa no houve julgamento de mrito (summative evaluation), mas sim uma busca constante para tentar identificar os problemas existentes, propor solues, e adotar medidas corretivas para o aperfeioamento da sua implantao. A fase de concluso do PROSEGE foi marcada por tentativas de realizar avaliaes de impacto, tambm conhecidas como summative, de resultados (outcome) ou de efetividade. Concretamente, foram desenvolvidas atividades para verificar o resultado da implantao fsica e financeira do PROSEGE. Foram tambm identificados os pontos positivos e negativos da concepo e da execuo do programa, e ressaltadas as lies aprendidas pela equipe gerenciadora, a fim de evitar erros futuros na implementao de programas com caractersticas semelhantes s do PROSEGE. Outra tentativa consistiu na definio da metodologia a ser utilizada futuramente para a realizao da avaliao ex-post do PROSEGE, com incio a partir do terceiro ano de concluso das obras do programa. Avaliadores Todas as prticas de avaliao observadas no PROSEGE foram realizadas pela equipe interna do programa, composta por tcnicos
45
responsveis direta ou indiretamente pela sua concepo, implementao e administrao federal.19 Na fase de concepo do programa, os esforos de avaliao exante foram efetuados pela equipe da Secretaria Nacional de Saneamento, do ento Ministrio da Ao Social. O monitoramento fsico e financeiro (a principal prtica de avaliao identificada, de carter formativo), foi realizado pela equipe da UCE, com o apoio da gerenciadora contratada. Cabe mencionar que, embora tenha sido determinado oficialmente que seria atribuio da Comisso Interministerial avaliar os resultados do PROSEGE,20 na prtica, o papel da comisso limitouse aprovao formal de matrias de interesse do programa (como, por exemplo, a aprovao das alteraes na sistemtica de repasse de recursos e da lista dos projetos prioritrios). A avaliao da execuo do programa (avaliao de impacto) foi realizada pela gerenciadora, e a definio da metodologia a ser utilizada na avaliao ex-post foi elaborada pela UCE. A avaliao por membros da equipe diretamente envolvida com o programa um procedimento que foge idia tradicional de avaliao, a qual, conforme ressaltou o Evaluation Research Society Standards Commttee, implica contratao de um avaliador externo que chega, realiza o trabalho e depois vai embora. A avaliao interna, mesmo quando se consideram limitaes apontadas pelos tericos que defendem a avaliao externa, foi um dos fatores positivos verificados no PROSEGE. A familiaridade e o pr ofundo conhecimento da equipe r esponsvel pelo monitoramento fsico e financeiro do programa, de certa forma, facilitou a identificao de desvios e a adoo de medidas corretivas.
Neste texto, os profissionais da gerenciadora de apoio (Logos Engenharia S.A.) foram considerados membros da equipe da UCE durante o perodo em que vigorou o contrato de prestao de servios. Conforme o disposto no Decreto no 481/92, posteriormente revogado pelo Decreto no 1 675/95.
20
19
46
Propsitos O principal propsito verificado no processo de avaliao do PROSEGE foi o cumprimento das clusulas contratuais junto ao rgo financiador do pr ograma, o Banco Interamericano de Desenvolvimento. O sistema de informaes gerenciais, os modelos dos relatrios peridicos e a metodologia utilizada no monitoramento fsico e financeiro do programa foram concebidos previamente em concordncia com os procedimentos do BID. Outro propsito identificado foi o formativo. Embora as prticas de avaliao adotadas objetivassem primordialmente a compliance, no se pode desprezar o seu carter formativo, ao se considerar que contriburam direta ou indiretamente para o aperfeioamento do programa. Por meio das prticas adotadas, em especial o monitoramento, identificavam-se os problemas e buscavam-se solues para a melhoria da execuo dos projetos e do programa. Cabe ressaltar que, embora tenha sido realizada uma avaliao que foi classificada como de impacto (a avaliao da execuo final do programa), no foi identificado nenhum propsito de julgar o mrito do programa (summative evaluation). A avaliao foi realizada para cumprir as clusulas do contrato firmado entre a gerenciadora e a Unio. Interessados Os interessados (stakeholders) nas prticas de avaliao do programa foram primordialmente o BID e o governo federal. De acordo com literatura a respeito, a avaliao poderia envolver outros interessados em seu resultado, tais como membros da sociedade, a populao beneficiada, entidades no governamentais, ou representantes de classes. No entanto, isso no ocorreu.
47
Utilizao da avaliao O grau de utilizao conceitual ou instrumental das avaliaes realizadas no PROSEGE pode ser inferido pela verificao do cumprimento (pela equipe responsvel pela gesto do programa) das recomendaes constantes dos instrumentos formais de avaliao. Pode-se afirmar que as recomendaes dos relatrios peridicos de gerenciamento e acompanhamento fsico e financeiro do PROSEGE21 nem sempre foram utilizadas instrumentalmente por fatores muitas vezes alheios ao controle dos administradores do programa (como, por exemplo, legislao federal deficiente, mudanas nas estruturas polticas federais ou locais). Entretanto, mesmo no caso de no ter havido utilizao direta ou instrumental da avaliao, ocorreu o que Carol Weiss chamou de enlightment, ou utilizao conceitual, no sentido de que houve contribuio para melhor compreenso do programa. Tcnicas utilizadas Houve combinao de tcnicas quantitativas e qualitativas nas prticas de avaliao do PROSEGE. A principal tcnica quantitativa observada, utilizada na fase de implementao do programa, consistiu na metodologia desenvolvida para o monitoramento do avano fsico e financeiro dos projetos e do programa. Tal metodologia comportou a elaborao dos seguintes ndices: ndice de Avano Fsico (IAFIS), ndice de Avano Financeiro (IAFIN), ndice de Avano de Pagamento (IAPAG), e ndice de Prestao de Contas (IAPOC).22 Com relao s tcnicas qualitativas, destacam-se as visitas de inspeo realizadas pela equipe da UCE aos locais das obras, durante
21
Relatrio Gerencial de Acompanhamento e Controle (mensal), Relatrio de Progresso Fsico (semestral), e Relatrio de Progresso Financeiro (semestral).
22 ndices utilizados na anlise do avano fsico e financeiro dos projetos: (i) IAFIS somatrio dos percentuais de avano de cada item principal do projeto, ponderados com base nos seus pesos financeiros. Calculado em funo dos servios medidos na obra comparados com os previstos; (ii) IAFIN custo dos servios medidos (avano fsico) em relao ao total previsto na planilha bsica; (iii) IAPAG
48
toda a fase de implantao do programa, em que eram verificadas in loco as causas dos desvios entre o planejado e o executado. Outra importante tcnica qualitativa foi utilizada na fase de concluso do PROSEGE, quando foi realizada a avaliao da execuo final do programa (1997). Essa avaliao foi feita com base na experincia adquirida e nas lies aprendidas pela equipe da UCE, com relao a diversos aspectos do programa (institucionais, tcnicos, financeiros, concepo, etc.). A idia principal foi a de incorporar esse aprendizado a programas com caractersticas semelhantes s do PROSEGE a fim de minimizar a ocorrncia de erros.
6 Os Processos de Avaliao e Aprendizagem no PROSEGE

6.1 O Processo de Avaliao e a Aprendizagem na Fase de Implementao do PROSEGE
Os tipos de aprendizagem organizacional observados na fase de implementao do PROSEGE, no perodo compreendido entre 1992 e 1996, verificados a partir dos problemas detectados no processo de avaliao do PROSEGE e das aes corretivas implementadas, foram os seguintes:
relao entre o que foi transferido pelo programa ao agente promotor, em relao aos servios medidos; e (iv) IAPOC grau de prestao de contas do agente promotor em relao aos servios medidos e transferidos pelo programa para pagamento das empreiteiras. ndices utilizados na anlise do avano fsico e financeiro do programa: (i) IAFIS somatrio do avano fsico de cada projeto, ponderados com base nos seus pesos financeiros em relao ao total do programa. Calculado com base no total dos servios medidos comparados com os previstos para o programa; (ii) IAFIN relao entre o total dos custos dos servios medidos (avano fsico) dos projetos e o custo total previsto para o programa; (iii) IAPAG relao entre o total do que foi transferido pelo programa aos agentes promotores, em relao ao total dos servios medidos nas obras do programa; e (iv) IAPOC grau de prestao de contas dos agentes promotores com relao aos servios medidos e transferidos pelo programa para pagamento de empreiteiras.
49
Ano 1992 1993 1994 1995 1996
Tipo de aprendizagem single-loop single-loop single-loop double-loop single-loop
A aprendizagem organizacional observada foi predominantemente single-loop. A maior parte dos problemas internos, detectados pelo processo de avaliao, encontram-se sintetizados a seguir: a) complexidade e excesso de documentao solicitada aos agentes promotores para que o projeto fosse elegvel, os convnios (e aditivos aos convnios) fossem firmados e as determinaes do programa fossem cumpridas; b) prazos insuficientes para que os agentes promotores completassem a documentao pendente para a assinatura dos convnios, incio das obras e cumprissem as clusulas contratuais dos emprstimos firmados entre a Unio e o BID; c) pouca eficincia dos agentes promotores na conduo dos seus projetos e atendimento s exigncias do programa, em decorrncia da estrutura tcnica e organizacional deficiente no plano local; d) dificuldades de comprovao, para a celebrao dos convnios, de regularidade do agente promotor com relao s dvidas com a Unio (INSS, FGTS e inadimplncias); e) incapacidade de diversos agentes promotores de comprovar a posse legal dos terrenos, de obter a licena ambiental para a execuo das obras, e de comprovao de 30% do projeto executivo; 50
f) baixa qualidade tcnica dos projetos; g) falta de autonomia da UCE no repasse de recursos aos agentes promotores; h) dificuldades de efetivao das transferncias de recursos aos agentes promotores, decorrentes de procedimentos burocrticos; i) inadequao dos mecanismos de transferncia de recursos (convnios), considerados extremamente burocrticos; j) dificuldades de viabilizao dos recursos de contrapartida dos agentes promotores; k) vencimento da validade dos documentos constantes dos processos, durante a fase de tramitao pelos diversos setores e rgos competentes, fazendo-os retornar ao estgio inicial; l) atrasos nos pagamentos das empreiteiras em face das dificuldades burocrticas de transferncia de recursos por parte da Unio aos agentes promotores, o que causou paralisaes ou desacelerao da maioria das obras do programa; m) abandono de obras pelos empreiteiros, por desinteresse ou por considerarem os preos contratados muito baixos; e n) pendncias em relao s obras complementares previstas. Outros problemas, de natureza externa, tambm causaram impacto na implementao do PROSEGE e foram igualmente identificados no processo de avaliao, a saber: a) atrasos anuais na publicao do Oramento Geral da Unio, o que dificultou o repasse de recursos aos agentes promotores e gerou problemas de pagamento, desacelerao e paralisao de diversas obras; b) instabilidade econmica e perodos de alta inflao, com a implantao de diversos planos econmicos e trocas de moeda nacional (cruzeiro, cruzeiro real, unidade real de valor e real), o
51
que demandou ajustes nos procedimentos operacionais do PROSEGE e nos contratos com as empreiteiras; c) mudanas nas administraes federais (trs presidentes), estaduais (troca de governadores em jan./95) e locais (substituio de prefeitos em jan./93 e jan./97), causando problemas de descontinuidade administrativa e de desconhecimento dos objetivos do programa; d) alteraes nas estruturas dos rgos federais, com impacto direto na UCE do PROSEGE, que integrou a estrutura de trs ministrios distintos: Ministrio da Ao Social (extinto em novembro de 1992), Ministrio do Bem-Estar Social (extinto em janeiro de 1995) e Ministrio do Planejamento e Oramento; e) instabilidade poltica, agravada pelo afastamento do presidente por impeachment, em setembro de 1992; f) publicao da Lei no 8 666, em junho de 1993, que instituiu novas regras para licitaes e contratos da administrao pblica e gerou alteraes no processo de licitaes das obras do PROSEGE. Tais problemas, detectados e registrados nos relatrios de avaliao, foram em sua maioria corrigidos ou minimizados segundo as normas e regras existentes, o que reflete a aprendizagem single-loop. Apesar das observaes decorrentes do processo de avaliao, que ressaltaram, por exemplo, a inadequao das regras em vigor, dos critrios de elegibilidade e a necessidade de simplificao burocrtica da tramitao dos projetos, no houve modificaes na teoria de conhecimento dominante na organizao. No foram, igualmente, criadas novas regras para incrementar a autonomia da UCE no repasse de recursos aos agentes promotores. Apenas em 1995 observou-se, no programa, a ocorrncia de aprendizagem double-loop. Foram alteradas as regras por meio da implantao da nova sistemtica de transferncia de recursos, implantada a partir de junho de 1995. Houve substituio dos instrumentos de convnio at ento adotados por contratos de
52
repasse, e o programa passou a funcionar em um novo modelo operacional, o que resolveu assim esse problema entre o elenco anteriormente citado. A adoo da sistemtica de contratos de repasse teve como objetivo principal agilizar a execuo do programa e diminuir o prazo de tramitao dos processos e de liberao de recursos. Durante o perodo compreendido entre abril de 1991 e dezembro de 1994, haviam sido desembolsados apenas 30% do total de recursos previstos e muitas obras encontravam-se paralisadas. A nova sistemtica resultou de reunies entre SEPURB e SPO, com representantes da STN e do Banco do Brasil, e tomou como base a experincia com a utilizao de contratos de repasse que vinham sendo utilizados no Programa de Modernizao do Setor Saneamento ( PMSS ), executado pelo Instituto de Pesquisa Econmica Aplicada (IPEA), sob superviso da SEPURB. Tal sistemtica foi, posteriormente, em 1996, ajustada em funo das observaes decorrentes dos trabalhos de auditoria realizada pela Secretaria Federal de Controle (SFC) do Ministrio da Fazenda com relao aos procedimentos oramentrios, administrativos e financeiros adotados. Apesar dos ajustes, a sistemtica de transferncia de recursos aos agentes promotores continuou sendo a de contratos de repasse, com a participao da Coordenao de Oramento e Finanas do MPO, da Secretaria do Tesouro Nacional e do Banco do Brasil. O aprendizado double-loop observado gerou benefcios significativos e induziu a retomada das obras do programa, ante a diminuio dos procedimentos burocrticos e a conseqente agilizao na transferncia dos recursos aos agentes promotores.
6.2 O Processo de Avaliao e a Aprendizagem na Fase de Concluso do PROSEGE

A aprendizagem organizacional do PROSEGE , na sua fase de concluso, durante o exerccio de 1997, encontra-se registrada no Relatrio Final de Avaliao [BRASIL, MPO, 1997] do programa. 53
Pode-se afirmar que houve, na verdade, um importante registro do produto da aprendizagem que foi acumulado, pela equipe da UCE e da gerenciadora, durante todo o processo de avaliao do programa, seja na sua fase de concepo, na de implementao ou na de concluso, conforme detalhado no quadro 2, a seguir. Houve rico aprendizado que foi traduzido em lies aprendidas ou recomendaes feitas pela equipe responsvel pela administrao e avaliao do PROSEGE. O intuito foi registrar o aprendizado decorrente da avaliao, e, principalmente, incorporar na SEPURB as lies aprendidas para prevenir a ocorrncia de erros semelhantes em programas com as caractersticas do PROSEGE.
QUADRO 2
PROSEGE Avaliao e Lies Aprendidas/Recomendaes

Itens Avaliados a) Desenvolvimento e Implantao do Sistema Gerencial. Lies Aprendidas e Recomendaes
Prover a unidade gestora de autonomia jurdica e administrativa para tomar decises, e sujeit-la a auditoriais sistemticas. Prever a contratao de empresa de consultoria para apoio ao gerenciamento. Instituir unidades executora locais, com recomendao de contratao de consultoria externa, quando necessrio. Ressaltar a importncia dos sistema de informaes como ferramenta essencial ao planejamento, acompanhamento e controle de programas com grande volume de informaes. Descentralizar a gesto do programa. Treinar as equipes locais para que entendam e utilizem adequadamente a metodologia de acompanhamento e controle adotadas. Realizar treinamento para suprir as deficincias tcnicas e gerenciais dos agentes promotores. continua
Estrutura organizacional do gerenciamento: Unidade Central Executora (UCE) e Unidade Executora Local (UEL)
Sistema Integrado de Controle e Superviso (SICS.) Acompanhamento e controle federal e local.
54
continuao Itens Avaliados b) Anlise e Avaliao Tcnica dos Projetos Componentes do Programa Lies Aprendidas e Recomendaes
Realizar a anlise dos projetos a partir de

termos de referncia contendo critrios, estudos de concepo, composio do projeto bsico e do projeto executivo.
Anlise Tcnica dos Projetos: questionrios,ndices de enquadramento, documentao exigida, enquadramento ambiental, projeto bsico, e projeto executivo.
Estabelecer prazo mnimo de 120 dias para elaborao dos projetos. Limitar os critrios de enquadramento, e torn-los objetivos e de fcil verificao. Divulgar os critrios de enquadramento e as penalidades do no-cumprimento do regulamento do programa. Efetuar visita prvia para avaliar a veracidade das informaes dos projetos enquadrados nos critrios estabelecidos. Simplificar a documentao exigida aos agentes promotores. Verificar a consistncia dos valores orados, e limitar os valores mximos previstos para o projeto aos valores de licitao. Estabelecer critrios que possibilitem a avaliao gerencial do agente promotor. Estabelecer parceria com os rgos ambientais estaduais e exigir apenas o licenciamento emitido por eles. Verificar a posse legal dos terrenos em visitas prvias ao incio das obras. Realizar a anlise do processo de licitao dos projetos por amostragem. Permitir a contratao da segunda colocada nas licitaes. Simplificar os instrumentos de repasse de recursos e estabelecer exigncias mnimas legais. continua
Anlise Institucional dos Agentes Promotores: critrios de enquadramento, e documentos.
Licenciamento Ambiental Posse Legal do Terreno
c) Preparao dos Projetos Componentes do programa Licitao e Contratao das Obras: edital padro, processo licitatrio, orientao aos Agentes Promotores, modalidade da licitao e desistncias.
55
continuao Itens Avaliados Instrumentos de Contratos de Recursos d) Implantao dos Projetos Componentes do Programa Lies Aprendidas e Recomendaes
Prever visitas de inspeo inclusive na fase de elaborao de estudos e projetos. Criar mecanismos efetivos de punio ao no-cumprimento das clusulas contratuais. Estabeleceer fundo rolativo de recursos para que eventuais descontinuidades no aporte de recursos, por parte da Unio, no inviabilizem a continuidade das obras. Adotar contratos de repasse ao invs de convnios. Solicitar que o Oramento Geral da Unio disponibilize integralmente a fonte 148. Prestar contas mensalmente de acordo com as exigncias legais, para eliminar a necessidade da prestao de contas final. Definir claramente as atribuies e tarefas dos diversos rgos e atores envolvidos.
Relizao Fsica dos Projetos: visitas de inspeo, mecanismos de punio, execuo das obras.
Relizao Financeira dos Projetos: obteno de recursos financeiros, mecanismos de transferncias de recursos (sistemtica de convnio, sistemtica de repasse via Banco do Brasil), disponibilidade oramentria, e prestao de contas mensal.
e) Sistema Institucional Comisso Interministerial Comisso Especial Fonte:

MPO/SEPURB/PROSEGE.
7 Concluses
Conforme Argyris e Schn (1996), a aprendizagem organizacional ocorre quando os indivduos, na organizao, percebem discrepncia entre os resultados esperados e os alcanados, questionam e refletem sobre esse processo, e agem no sentido de realinhar resultados e expectativas.
56
Argyris e Schn (1996) ressaltam, ainda, que o produto desse questionamento pode ser traduzido em aprendizado organizacional, quando h evidncias de mudanas na teoria aplicada da organizao, seja na forma de comportamentos, imagens da organizao contidas nas mentes dos indivduos, ou em artefatos epistemolgicos embutidos no ambiente organizacional. No caso do PROSEGE, houve evidncias de que ocorreu um processo de aprendizagem organizacional, e que as prticas de avaliao desempenharam papel relevante nesse processo de aprendizado. O processo de avaliao adotado, caracterizado basicamente pelo monitoramento fsico e financeiro do programa, contribuiu para que as discrepncias entre o que havia sido planejado e o que estava sendo executado fossem identificadas. Esses desvios detectados geraram um processo de reflexo por parte da equipe da UCE, e foram sugeridas ou adotadas aes para corrigir erros. Esse processo de reflexo, seguido de ao futura, pode ser caracterizado como um processo de aprendizagem, que sobreveio basicamente de maneira single-loop durante a maior parte do programa, embora tenha sido observada, apenas uma vez, a ocorrncia de aprendizagem double-loop. Pode-se asseverar, ainda, que a avaliao do programa resultou no acmulo de conhecimentos por parte da equipe, com relao a diversos aspectos relacionados com a sua concepo, operao e implantao, o que pode ser traduzido como o produto da aprendizagem, que foi acumulado ao longo da execuo do PROSEGE, e que pode ser utilizado pela organizao. Os fatores que facilitaram a aprendizagem organizacional No caso do PROSEGE, os principais fatores que contriburam para a aprendizagem organizacional, independentemente de ter ocorrido de maneira single-loop ou double-loop, estavam relacionados com as regras impostas pelo Banco Interamericano de Desenvolvimento (BID) nos contratos de emprstimo firmados para financiamento do programa.
57
Uma das exigncias do BID foi a implantao, com recursos previstos no financiamento, de um sistema de informaes gerenciais, com o objetivo de viabilizar o processamento do grande volume de dados, e o acompanhamento fsico e financeiro da implementao dos projetos e do programa. Outra determinao foi a contratao, tambm com recursos do programa, de uma firma de apoio operacional Unidade Central Executora. Essa equipe desempenhou papel relevante na avaliao do PROSEGE, alm de aportar know how especfico, minimizando os problemas de carncia de tcnicos especializados e de continuidade administrativa enfrentados durante a implementao de programas governamentais. Finalmente, o BID estabeleceu, nos contratos, que fossem elaborados, periodicamente, relatrios de progresso fsico e financeiro dos projetos e do programa, sob pena de no-liberao de verbas. Os recursos eram repassados aos estados e municpios, com base nos servios medidos nos locais das obras e na prestao de contas dos agentes promotores e da UCE. Essas exigncias levaram a um certo grau de institucionalizao e sistematizao da avaliao no PROSEGE, que passou a examinar, rotineiramente, os desvios entre o que havia sido previsto e realizado no programa, gerando feedback para que os problemas fossem identificados e corrigidos. Os fatores que dificultaram a aprendizagem organizacional ver dade que houve um processo de apr endizagem organizacional, refletido na forma de agir dos indivduos na organizao e nas experincias adquiridas pela equipe ao longo do programa, esse aprendizado poderia ter sido mais produtivo. A aprendizagem organizacional pouco produtiva foi conseqncia da falta de capacidade organizacional de corrigir, adequadamente, muitos dos erros detectados no processo de avaliao do programa.
58
Verificou-se que a maior parte dos problemas do PROSEGE era de natureza double-loop e estava relacionada com a inadequao das regras e normas a que o programa tinha que se submeter. No entanto, tais problemas foram corrigidos de maneira single-loop, ao implementarem-se aes sem acarretar mudanas na teoria de conhecimento organizacional. Embora haja indcios de que as aes corretivas tenham gerado uma reflexo double-loop, em que premissas e os prprios valores, regras e critrios que norteavam o programa foram questionados, tornou-se evidente que essas aes foram adotadas conforme objetivos, valores, polticas e padres organizacionais existentes, ou seja, de forma single-loop. Vrios fatores externos afetaram a implementao do PROSEGE, dos quais destacam-se a instabilidade econmica (com os diversos planos econmicos e trocas de moeda), a descontinuidade administrativa, as alteraes nas estruturas dos rgos federais, as regras federais inadequadas ao programa, e os atrasos na publicao do Oramento Geral da Unio. Diversos fatores internos relacionados com a falta de capacidade organizacional de implementar mudanas necessrias correo de erros tambm dificultaram o aprendizado organizacional produtivo. O primeiro deles consistiu na falta de autonomia legal e administrativa da UCE. Desde o incio da implementao do PROSEGE, ficou constatada a incapacidade da UCE de simplificar as regras federais de tramitao de processos, ou mesmo as relativas s normas de licitao, consideradas extremamente burocrticas, e que causaram significativo atraso na execuo do programa. Outro fator relevante foi a falta de autonomia financeira no repasse de recursos. Por mais que esse problema fosse ressaltado, houve dependncia do programa em relao s regras oramentrias e financeiras da Unio.
59
Observou-se, tambm, dificuldade organizacional em trocar experincias com outros programas federais. Um exemplo de falta de comunicao e interao foi a utilizao da sistemtica de repasse de recursos aos governos estaduais e municipais. Enquanto outros programas federais, como o Programa de Modernizao do Setor Saneamento (PMSS), adotavam o instrumento de contrato de repasse, o PROSEGE persistia com o sistema de convnios, que havia se mostrado inadequado e ineficiente desde o incio da sua implementao. Problemas decorrentes da falta de interface organizacional com outros rgos federais foram igualmente verificados. Tal fato pode ser exemplificado pelas alteraes na sistemtica de repasse de recursos, resultante das observaes da auditoria realizada pela Secretaria Federal de Controle. Os questionamentos legais e administrativos, com relao ao novo modelo operacional, partiram dos prprios rgos que o aprovaram, o que retrata as deficincias na comunicao e o desconhecimento tcnico no plano federal. Outro fator de entrave foi a falta de estrutura tcnica e organizacional dos estados e municpios. Os projetos foram mal elaborados, os agentes promotores no possuam capacidade tcnica para cumprir as exigncias do PROSEGE e estavam organizados de forma inadequada. Tal problema poderia ter sido minimizado na fase de concepo do PROSEGE, quando a avaliao deveria ter desempenhado papel pr eponderante no aperfeioamento do planejamento da implementao do programa. Consideraes finais A experincia do PROSEGE evidenciou que a avaliao de programas desempenha papel relevante no processo de aprendizagem organizacional, ou seja, na capacidade da organizao de detectar e corrigir seus erros. No entanto, para que esse processo de aprendizagem se torne produtivo, a organizao deve estar predisposta a utilizar os resultados da avaliao e possuir capacidade para adotar medidas corretivas que se faam necessrias.
60
Pode-se inferir que, para que haja aprendizagem organizacional produtiva, necessrio prover a organizao de mecanismos que transcendam a simples verificao dos erros e dos problemas internos e externos que afetaram o desempenho de seus programas. fundamental que a organizao possua a capacidade de adotar aes apropriadas para corrigir as deficincias verificadas, busque solues inovadoras, aja de forma articulada com as diversas reas da organizao, e aperfeioe sua interface com outros rgos e atores externos. O caso do PROSEGE demonstrou que a institucionalizao, ou a existncia de regras que demandem a realizao da avaliao, em relao ao programa, positiva para a organizao, pois sistematiza e facilita a identificao dos problemas. De acordo com Leew e Rozendal (1994, p. 69), ...deve haver um certo grau de institucionalizao das atividades de avaliao. A institucionalizao assegura a criao e manuteno das condies e procedimentos para determinar o progresso dentro e entre as vrias unidades responsveis por conceber, implementar, concluir e utilizar os estudos de avaliao.... Para Leew e Sonnichsen (1994, p. 8), ...para ter certeza que a avaliao desempenha papel sistemtico ao invs de ad hoc no processo de aprendizagem organizacional, deve ser criado um ambiente que incentive uma performance eficiente e oportuna da avaliao, bem como da utilizao dos seus resultados...Isso implica que, para que a avaliao desempenhe um papel r elevante nas organizaes governamentais, deve haver, primeiramente, certo grau de institucionalizao. O caso do PROSEGE retratou, tambm, a necessidade de aumentar o grau de utilizao da avaliao. A utilizao direta ou instrumental no ocorre de forma espontnea ou deliberada, e nem sempre contribui para o processo de aprendizagem. Torna-se necessrio que a organizao no apenas despenda esforos para obter avaliaes com qualidade tcnica e voltadas para as necessidades
61
do programa, mas tambm procure utilizar as suas recomendaes, reputando-as como variveis importantes no complexo processo decisrio, ao aumentar, assim, sua capacidade de detectar e corrigir erros. Deve haver, portanto, integrao entre a avaliao, sua utilizao e o processo de polticas na organizao. Nesse sentido ...Rist (1990) fez uma til distino entre a administrao da avaliao [management of evaluation] e a administrao pela avaliao [management by evaluation]. Na sua viso, o input administrativo nos esforos de avaliao tem influncia considervel nos seus resultados. No sentido de integrar a funo da avaliao no processo de polticas nas organizaes governamentais, a funo da avaliao deve ser administrada de maneira construtiva [Rist apud Leeuw e Sonnichsen, 1994, p. 8]. De acordo com o observado no PROSEGE, pode-se ressaltar a relevncia da avaliao em todas as fases do programa, inclusive na fase de concepo, na qual deve ser enfatizada a importncia da front-end analysis. Muitos dos problemas futuros a serem enfrentados, durante a implantao do programa, podem ser antecipadamente identificados pela avaliao, e corrigidos pela organizao na fase de formulao, o que acarreta maior eficincia e eficcia no alcance das metas e objetivos desejados. O estudo do PROSEGE gerou indcios que sustentam as propostas recentes dos tericos do terceiro estgio, em especial Cronbach e Rossi , que defendem a idia de que a avaliao de um determinado programa deve ser personalizada e utilizar uma combinao de tcnicas, sistemas e mtodos especficos para verificar a concepo, a implementao, o impacto ou os resultados do programa em questo. A avaliao deve variar em funo das caractersticas do programa, dos objetivos da avaliao, e dos interessados em seus resultados. Ficou igualmente claro na anlise do PROSEGE que, para um aprendizado mais produtivo, a organizao deve incentivar a troca de experincias entre os seus programas. Problemas e solues
62
devem ser compartilhados no mbito da organizao, para evitar que erros semelhantes sejam cometidos, e possibilitar que solues inovadoras sejam incorporadas aos diversos programas organizacionais. A organizao tambm deve buscar maior articulao com outros rgos e programas externos. Finalmente, a anlise do caso do PROSEGE evidenciou que de extrema relevncia que a avaliao gere, sempre que possvel, um processo de reflexo e ao voltado para a aprendizagem double-loop. A avaliao deve contribuir para que a organizao identifique as razes mais profundas dos seus problemas, e procure corrigi-los de forma adequada, mesmo que isso implique alteraes de regras, objetivos, metas ou procedimentos. Problemas de natureza double-loop, ou seja, relacionados com a inadequao da estrutura de conhecimento organizacional, devem, sempre que possvel, gerar aprendizagem double-loop. Para Leew e Sonnichsen (1994, p. 5), Essa capacidade de rotineiramente examinar as premissas bsicas que esto por trs dos procedimentos organizacionais e de testar sua adequao requer uma organizao com alto grau de racionalidade e maturidade. A organizao deve ser capaz de se auto-monitorar, implementando as mudanas necessrias, analisando-as para verificar se foram ou no efetivas. Conforme ressalta Wildavsky (1992, p. 213), a organizao ideal seria a self-evaluation organization, ou que se auto-avaliasse de forma constante: Essa organizao monitoraria, continuamente, suas prprias atividades para determinar o alcance dos seus objetivos alm de verificar se esses objetivos deveriam continuar a prevalecer. Quando a avaliao sugerisse que alguma alterao nos objetivos ou nos programas fosse desejvel, essas recomendaes deveriam ser levadas a srio pelos altos tomadores de deciso, os quais instituiriam as mudanas necessrias sem continuar a investir nas
63
atividades correntes. Procurariam, ao invs disso, alternativas mais adequadas para o alcance dos resultados. Para que a avaliao contribua para o aprendizado organizacional produtivo, ou seja, gere um feedback que possibilite a identificao e correo dos problemas, torna-se fundamental que a organizao desenvolva essa capacidade de, constantemente, rever suas premissas, objetivos, metas, regras e forma de agir. As solues para os problemas devem ser buscadas em um ambiente que estimule a abertura mudana e inovao. Para tanto, a organizao deve possuir autonomia financeira e administrativa, ser mais flexvel, menos burocrtica, e voltada para os resultados.
64
Referncias Bibliogrficas
ARGYRIS, Chris, SCHN, Donald. Organizational learning II: theory, method and practice. Reading: Addison-Wesley, 1996. 305 p. ARGYRIS, Chris. Reasoning: learning and action. San Francisco: Jossey-Bass, 1982. 499 p. BRASIL. Decreto no 1 675, de 13 de outubro de 1995. Dispe sobre o Programa de Ao Social em Saneamento PROSEGE e d outras providncias. Dirio Oficial [da Repblica Federativa do Brasil], Braslia, no 66, p. 16233, 16 outubro 1995. Seo I. BRASIL. Decreto no 481, de 26 de maro de 1992. Institui o Programa de Ao Social em Saneamento PROSEGE e d outras providncias. Dirio Oficial [da Repblica Federativa do Brasil], Braslia, no 60, p. 3965, 27 maro 1992. Seo I. BRASIL. Lei no 8 666, de 21 de junho de 1993. Institui normas para licitaes e contratos da Administrao Pblica e d outras providncias. Dirio Oficial [da Repblica Federativa do Brasil], Braslia, no 116, p. 8 269, 22 junnho 1993. Seo I. BRASIL. Ministrio da Ao Social. Plano de ao imediata Pas Brasil. Braslia, 1990. 23 p. BRASIL. Ministrio da Ao Social. Secretaria Nacional de Saneamento. Programa de Ao Social em Saneamento (PROSEGE). Regulamento de operao do Programa de Ao Social em Saneamento (PROSEGE). Braslia, 1991,146 p.
65
BRASIL. Ministrio do Planejamento e Oramento. Secretaria de Poltica Urbana. Programa de Ao Social em Saneamento (PROSEGE). Relatrio final de avaliao. Braslia, 1997, 158 p. CALMON, Ktya. A avaliao de programas como Instrumento de aprendizagem organizacional: o caso do PROSEGE. Braslia: Universidade de Braslia, 1997. 192p. CAMPBELL, D. T., STANLEY, J. C. Experimental and quasiexperimental designs for research. Chicago: Rand McNally, 1963. CHEN, H., ROSSI, Peter. Evaluating with sense: the theorydriven approach. Evaluation Review, Newbury Park, no 7, 1983, p. 283-302. CONTRATO de emprstimo entre a Repblica Federativa do Brasil e o Banco Interamericano de Desenvolvimento: Programa de Ao Social em Saneamento. Emprstimo no 622/OC-BR. In: BRASIL. Ministrio do Planejamento e Oramento. Secretaria de Poltica Urbana. Diretoria de Saneamento. Programa de Ao Social em Saneamento (PROSEGE). Nova sistemtica de transferncia de recursos. Braslia: 1995. p. 21-54. CONTRATO de emprstimo entre a Repblica Federativa do Brasil e o Banco Interamericano de Desenvolvimento: Programa de Ao Social em Saneamento. Emprstimo no 856/SF-BR. In: BRASIL. Ministrio do Planejamento e Oramento. Secretaria de Poltica Urbana. Diretoria de Saneamento. Programa de Ao Social em Saneamento (PROSEGE). Nova sistemtica de transferncia de recursos. Braslia: 1995. p. 55-87 CONTRATO de prestao de servios tcnicos especializados de apoio ao gerenciamento do Programa de Ao Social em Saneamento PROSEGE entre a Unio Federal e a Logos Engenharia S.A. Ministrio da Ao Social. Secretaria Nacional de Saneamento. Contrato MAS/SNS/ no 036/92. Braslia: 1992.
66
CRONBACH, Lee J. Designing evaluations of educational and social programs. San Francisco: Jossey-Bass, 1982. DODGSON, Mark. Organizational learning: a review of some literatures. Organizational Studies, v. 14, n. 3, p. 375-394, 1993. ERS STANDARDS COMMITTEE. Evaluation Research Society standards for program evaluation. In: American Evaluation Association. New Directions for Program Evaluation. San Francisco: Jossey-Bass, 1983. n. 15, p. 7-18. FORRESTER, Jay. Industrial dynamics. [S. l.]: Productivity, 1961. FORSS, Kim, CRACKNELL, Basil, SAMSET, Knut. Can evaluation help an organization to learn? Evaluation Review, Newbury Park, v. 18, no 5, p. 574-591, outubro, 1994. GUBA, Egon, LINCOLN, Yvonna. Effective evaluation: improving the usefulness of evaluation results through responsive and naturalistic approaches. San Francisco: Jossey-Bass, 1981. GUBA, Egon, LINCOLN, Yvonna. Fourth generation evaluation. Newsbury Park: Sage, 1989. HAYES, R. H., WHEELWRIGHT, S. C., CLARK, K.B. Dynamic manufacturing: creating a learning organization. New York: The Free Press, 1988. KOFMAN, Fred. Contabilidade de dois loops: uma linguagem para a organizao que aprende. In: WARDMAN, Kellie (ed.). Criando organizaes que aprendem. So Paulo: Futura, 1996. p. 37-48.
67
LEEUW, Franz L., ROZENDAL, Piet J. Policy evaluation and the Netherlandss Gover nment: scope, utilization, and organizational learning. In: LEEW, Franz L., RIST, Ray C., SONNICHSEN, Richar d C. Can gover nments lear n ? Comparative perspectives on evaluation & organizational learning. New Brunswick: Transaction, 1994. p. 67-86. LEEW, Franz L., SONNICHSEN, Richard C. Evaluation and organizational learning: international perspectives. In: LEEW, Franz L., RIST, Ray C., SONNICHSEN, Richard C. Can governments learn? Comparative perspectives on evaluation & organizational learning. New Brunswick: Transaction, 1994. p. 1-16. LEVINTON, L. C., HUGHES, E. F. X. Research on the utilization of evaluations: a review and synthesis. Evaluation Review, Newbury Park, no 5, 1981, p. 525-548. PATTON, Michael. Utilization-focused evaluation. 4. ed. Beverly Hills: Sage, 1978. RELATRIO DE PROGRESSO FINANCEIRO. Braslia: Ministrio do Planejamento e Oramento. Secretaria de Poltica Urbana. Programa de Ao Social em Saneamento (PROSEGE), v. 1-9, julho/dez. 1992 julho/dez. 1996. Semestral. RELATRIO DE PROGRESSO FSICO. Braslia: Ministrio do Planejamento e Oramento. Secretaria de Poltica Urbana. Programa de Ao Social em Saneamento (PROSEGE), v. 1-9, julho/dez. 1992 julho/dez. 1996. Semestral. RELATRIO GERENCIAL DE ACOMPANHAMENTO E CONTROLE. Braslia: Ministrio do Planejamento e Oramento. Secretaria de Poltica Urbana. Programa de Ao Social em Saneamento (PROSEGE), v. 1-56, agosto1992 maro1997. Mensal.
68
RIST, Ray. Program evaluation and the management of government: patterns & prospects across eight nations. New Brunswick: Transaction, 1990. p.184. ROSSI, Peter, FREEMAN, Howard. Evaluation: a systematic approach. 5. ed. Newbury Park: Sage, 1993, p.488. SCHEIN, Edgar. Organizational culture and leadership. 2. ed. San Francisco: Jossey-Bass, 1992. SCRIVEN, Michael. An introduction to meta-evaluation. Educational Product Report, no 2, p. 36-38, 1969. SCRIVEN, Michael. Goal-free evaluation. In: HOUSE, E.R. (ed.), School Evaluation: the politcs and process, Berkeley: McCutchen, 1973. p. 319-328. SCRIVEN, Michael. The Methodology of evaluation. In: TYLER, Ralph, GAGNE, Robert, SCRIVEN, Michael (eds.). Perspectives of Curriculum Evaluation. Chicago: Rand McNally, 1967. p.39-83. SENGE, Peter M. A quinta disciplina: arte, teoria e prtica da organizao de aprendizagem. So Paulo: Best Seller, 1990. 352 p. SHADISH, William, COOK, Thomas, LEVINTON, Laura. Foundations of program evaluation: theories of practice. California: Sage, 1995. 529 p. STAKE, R. E. (ed.). Evaluating the arts in education: a responsive approach. Columbus: Merril, 1975. STAKE, R. E. Case study methodology: an epistemological advocacy. In: WELCH, W. (ed.). Case study methodology in educational evaluation. Minneapolis: Minnesota Research and Evaluation Center, 1981.
69
VERDUNG, Evert. Modelos de evaluacin. Revista de Servicios Sociales y Poltica Social. Madrid, 2 trim. 1993. WEICK, Karl. The social psychology of organizing. 2. ed. Reading: Addison-Wesley, 1969. WEISS, Carol, BUCUVALAS, M. J. Social science research and decision-making. New York: Columbia University, 1980. WEISS, Carol. Evaluation research: methods of assessing program effectiveness. Englewood Cliffs: Prentice-Hall, 1972. WHOLEY, J. S. Evaluability Assessment. In: RUTMAN, L. (ed.). Evaluation research methods: a basic guide. Beverly Hills: Sage, 1977. WHOLEY, J. S. Evaluation and effective public management. Boston: Little Brown, 1983. WILDAVSKY, Aaron. Speaking the truth to power: the art and craft of policy analysis. 3. ed. New Brunswick: Transation, 1992. p. 212-237.
70

A Avaliação de Programas e A Aprendizagem

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

A Avaliação de Programas e A Aprendizagem

Enviado por

Direitos autorais:

Formatos disponíveis

A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL*

Ktya Maria Nasiaseni Calmon* *

Tcnica da Coordenao Geral de Poltica Urbana do IPEA.

PLANEJAMENTO E POLTICAS PBLICAS No 19 - JUN DE 1999

A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL

PLANEJAMENTO E POLTICAS PBLICAS No 19 - JUN DE 1999

Para melhor detalhamento do conceito de aprendizagem organizacional, ver

A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL

PLANEJAMENTO E POLTICAS PBLICAS No 19 - JUN DE 1999

A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL

PLANEJAMENTO E POLTICAS PBLICAS No 19 - JUN DE 1999

2.2 Antecedentes: os Trs Estgios da Evoluo da Teoria

2.2.1 O Primeiro Estgio: Busca do Rigor Cientfico

A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL

PLANEJAMENTO E POLTICAS PBLICAS No 19 - JUN DE 1999

2.2.2 O Segundo Estgio: nfase na Utilizao e no Pragmatismo

A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL

2.2.3 O Terceiro Estgio: Integrao de Tcnicas Conforme o Contexto

PLANEJAMENTO E POLTICAS PBLICAS No 19 - JUN DE 1999

A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL

PLANEJAMENTO E POLTICAS PBLICAS No 19 - JUN DE 1999

2.3 Os Aspectos Gerais da Avaliao de Programas 2.3.1 Definio

A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL

PLANEJAMENTO E POLTICAS PBLICAS No 19 - JUN DE 1999

2.3.2 Tipos de Avaliao

A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL

PLANEJAMENTO E POLTICAS PBLICAS No 19 - JUN DE 1999

A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL

2.3.3 A Utilizao da Avaliao

PLANEJAMENTO E POLTICAS PBLICAS No 19 - JUN DE 1999

Ver estudos de Leviton e Hughes (1981).

A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL

PLANEJAMENTO E POLTICAS PBLICAS No 19 - JUN DE 1999

A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL

PLANEJAMENTO E POLTICAS PBLICAS No 19 - JUN DE 1999

A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL

3.2 A Aprendizagem Organizacional segundo Chris Argyris e Donald Schn

PLANEJAMENTO E POLTICAS PBLICAS No 19 - JUN DE 1999

A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL

PLANEJAMENTO E POLTICAS PBLICAS No 19 - JUN DE 1999

A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL

PLANEJAMENTO E POLTICAS PBLICAS No 19 - JUN DE 1999

3.3 A Avaliao de Programas como Instrumento de Aprendizagem Organizacional: um Modelo Analtico

Estrutura de Conhecimento, Avaliao e Aprendizagem Organizacional

A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL

PLANOS, PROJETOS, ETC.

MUDANAS A PARTIR DAS ESTRUTURAS DE CONHECIMENTO EXISTENTES

MUDANAS NAS ESTRUTURAS DE CONHECIMENTO DOMINANTES

PLANEJAMENTO E POLTICAS PBLICAS No 19 - JUN DE 1999

A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL

4 O Programa de Ao Social em Saneamento (PROSEGE)

Ver Decretos no 481, de 26/3/92, e no 1 675, de 13/9/95.

PLANEJAMENTO E POLTICAS PBLICAS No 19 - JUN DE 1999

A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL

PLANEJAMENTO E POLTICAS PBLICAS No 19 - JUN DE 1999

PROSEGE Metas Fsicas Iniciais x Realizaes at 31/12/97

A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL

PLANEJAMENTO E POLTICAS PBLICAS No 19 - JUN DE 1999

Fontes de Financiamento do PROSEGE

Fonte de Financiamento Contrato de Emprstimo no 622/OC-BR Contrato de Emprstimo n 856/SF-BR

Valor 300 50 150 500

Contrapartida dos agentes promotores e da Unio Total Fonte:

A AVALIAO DE PROGRAMAS E A DINMICA DA APRENDIZAGEM ORGANIZACIONAL