ss “ente reconhecimento de importancia e a “conseaiiente valorizacao da avaliacao de politicas ¢ Programas sociais esconde algumas armadilhas. ‘A mais preocupante delas € pensar a avaliacao sob 05 efeitos da seducio tecnolégica, uma vez que, & ‘ua eficiéncia e eficacia imediatas, nao corresponde necessariamente um compromisso efetive com a eal melhoria da qualidade de vida dos cidadios eneficidrios de programas e servigos piblicos. ‘Os ensaios deste livro sa0 fruto da reflexao de pes- quisadores experientes na formulacao e execucio de projetos de avaliagao Ae politicas e programas socials, reunidos no Seminério de Avaliacio de “Politicas Puiblicas ¢ Programas Sociais, ocorrido em 2000, Os textos foram agrupados em trés grandes, onjuntos, em fungao do tipo de abordagem “realizada: em primeiro lugar, quadros teéricos das _tendéncias na pesquisa avaliativa; em segundo “Tugar, reflexes com base em pesquisas avaliativas Ereslizadas; e, por fim, desenhos de sistemas de monitoramento e avaliago. Este livro interessard a todos aqueles que, de algum ‘modo, estiio envolvidos com a elaboragao, execucio, monitoramento e avaliaao de politicas publicas, no Ambito da aco publica ou privada, e que se confrontam com o constante desafio da gestio da "rea social. Com mais esta publicacio, o IEE/PUC-SP ‘eafirma seu compromisso ético com a real melhoria fa qualidade de vida dos cidadaos brasileiros. Tendéncias e perspectivas na avaliacao de politicas e programas sociaismide Cao Orth) "TENDERING EPRSPRETIAS NA AUALAGKO BE POLTICAS ee een) pei | ‘raiand oeapécte de projet | volta ee ees sa iael enmsbimete duteee na Ge monitoremento ¢ avaliagto implementa fee de hh Tra Di See ee ee een eee eefe} a} vd 8 ct cay ry a a t See oR Soe g RE ECISC RT eR nat aaee ere ye eee eee] ee ney ey Seen ee ne eee eee tees eerie Se ere een oe Tenens Ree Le eee Sey eer eer oer pameiaenteroesercennrenrareaeet semana! © tnsinato de Estudos fspecisis — IEE ven bus ‘cote, eat refleire publiczar pesquisa, eeudon = 2503 1 gus de palitins publiense, patcularmente,sebie a quest avaiagede ples progaits soins (OEE, neste empreendimente,cnvalve ousae ce ntvesde pedapk srverglo no Ambit dos elless aseiais Arc, pata atu di ‘irar © contecimente acuaulade no campo do avlingSa, nosso te NEP — Niclce de Estadoo de Pocas Pablics —, da Universe smipines, +» Fundga — Funda do Desamvalumenta amin eta 6 urn primate seminatig €m Conn eet 0 sucesso deste primeto debate (Que fet publienea ef est na a bie cvalingda de plltcas « programs secisis na Ponca Unive le Calica de S30 Paulo, em que ee aliarom cine enanianc za, em 2000, um segundo semi quicaesintewongioie Caapee — Cente de Est. Documentacéa para Acio Comunitira,2a primeira fase, ccornda em jumbo de 196, yaniv ge da seguints hip ‘ese: "NoTiainda no Bras wna sstemaszacte das cncepgees, end das © metodoloyias de avaliagdo para aerirpeocessog resultadese i [ectos no campo das release programas sodas". Em 2000, énfose rmancewese n9 buece de apreendar e refit scbre « pauta da pense _avaliativa es conceits metoielégins a presontcs 0 foes fina desea ‘mento das inovagtes eorides nests Utimos anes an rea da avai. A hipervalorizagio recente da svatingto ds politeas © programmes zo dais pode nos lever cair em armadilhas. A primeira e @ tis oreo cupante dels ¢ de penser squelaavalagio centrads na seducao tee ‘nclégcs, que acaba por expresear @agio na sus eflciéncia e eck Jmediatas, sem um compromissointeacional coma rel transformagic ‘emelharis ea qualidade de vide des cidacies beneficiaries de progeariae 2 series piblicos [Nease potamar a avaligio se espelas aa reifcagio de indicadores ¢ ‘indies de eficitnci eefciia, daspeltznde a propria acto. Em cums palawras, os incicadonesapresentars- fir oterano comm scbrao qual trabalharé a equa, aja para gare ‘ur uma boa compreensio quando os resulta so divalgadce. ‘Sinteticando litres, slaborages propia @axperéacies de longes anos, ‘8 concetbe,o& matels de an‘lisee os paxfmetzae ag defines om parin-se ns ampla literatura nacional e ntemacional lata a tem. [enefciararsse,sabvetudo, ds celsboragéo des visios pesqisederes ‘com quem tive a gorte de teabalher ao longo desses sn05 AvaLingis DE PoLiticas PUBLICAS: REFERENCIAS E DECISOES DO AVALIADOR anados, psquisas @atvidades de ausisgha de poitcas apsiam-se em wx conjunte de deisee,consciontes unio, ads pele avaisdor ne Inicio zo longo do seu tabslno fo conjunto desrasopetese prefer cons que definie.ce cjotives anatizeca 2 otipadeavaliagte assim come plano prvlaiado de eszudo do ebjeta elite, Tas eaalhasinogrora o gus com egura iberdade, se pode deneminaresraiga de suai, con cea que entretnta abrange também 2s Geistes metodokigjces ence rminadas pelo avaliadoreapontadas no denho da investigncsa, COBIETIVOS, NATUREZA BTIPOS DE AVALIAGOES © avaliador de policas poblicas ententa, de inten, as decisbes acerca os chjtivas edo tia de pesquisa que reaizaa, bern como do vecorte programdlco ds incerencio que pretende aalir ° Politicas, Programas, Projets: Recortes Programtices “Prétcas” ‘A peoguica de avaliagio aqut uateda @ aquela que tem come ober ‘uma dads intervengie na ealidads coc, uma potica la, ented a entfocemo aque se desemolve em esfernspbiens de eocedade — no no plano privado @ interne dav inotuige ou orpanizarber da sociadade, Pbhicas dessa natureza nose restrnger, portanta, apenas {as polticas estas ou de governo,podende aborear, por exermplo, p= ticas de oxganizaches priadas ou no governamentaie de qualequer i ‘es, sempre e quande preservado carter publico ac a releida (© corsa comm p slguas velhasligéer Ae edminiseacta,tearia do ‘orgprizagio ou téenicas de planejamento dstinguem, am graus deces fcontes de absangéncia, policas, programas e proeles. Tomemes um exemple da poltiea plblies goveenamentl alicia Senos reerimesa pit ecicoconal come o conceito mais abrangonte da interven a fedneagio. pearama da metenla e gies em que se deer tvalzao do programs da merenda esslarconsttuies uma unida a menor de ag ener as que intagram 9 programa da merene: aquela palin, enquanto 0 gro de dese. Entre as decisies prévias do avalador, ests a de identificar 0 recone progrimsticedo es objets Sens a pobtics? Um ou mais programas. imeior de uma dad pollca? Um poeta? Teoienerente pode se vate tudo, desde a mas errts até 2 mais abrangente due poltics, conten toque se dsponha doe recursos ntelectanis maternisemetsdslnices| Fara facto Mas sempre bom torema mente que aaliagtesrigoosas de intervengbes complexas¢ abrangentessio dices. Em geal, exeancei toe rfprdos nest enbslha mostram-98 muita mi sdequndes a pro amare projets do que a compleras polities pablicos, Objetives da Avaliagio ‘Avaliagbes de poliieas e programas sespondem 2 disintes objevos Desde logo nd objetivas de conhacimento.lvantadas certashipcteses, pesquisa-se um dado programa para conhecer a relagie entre cond es, mes, resultade ¢impactos da intervencio.€ por iss, ais, que‘blizamos adui a expressio pesquisn de avaliseio,¢ nao simplesmente cueiaaa proservando e enfaisande 6 suport de que é um nove co- nhecimento que sor produzido por meie de invetigngbo que abserra os eanones cientiicos minis. ‘As pesquices de avsliagtes respondem, contuda, tembémn a cjetives de vetifcagdo de eficci, de eficiéncin e de arcurcablty éas agbes, Com efit, €legitina, embora nao to freguenterente quanto &e a: ‘ejaria, que es respoasaveis plo programa —cu seus beneficitive, ot coedomeis grupos de incoresse a ale relaconndon — parguntemse seat: cada pertingncia do seu cust ou ds eficicia de suas agSes. iso, po dem estar movidos pelos mais dstintos interesses: eduzir cust, usar mais adequadamente os reeursosou,enfim, presae contas a sonedade 4 use as recursos, Objetives mais mediates podem alnda Impor-22 8 valagio tne como os de detecer diiculdadeseobsticalor« produsir recomendagSes, as quais possibiltem, per exemple, cerigir 0s mos {do programa ou disseminar igs e aprendizagens, ‘Sc cbjetvos dessa naturza que fazer da pesquisa de avaliago de pal, teas pblices uma pesqulcsiteeseada cu, como diz no ergo da Sree, ly eine, js. que também busca detectnrctocculase propor medidas de corrego allerazo de programas, visando A melhoria da qualidade do ‘5 processa de implementagao edo desempenho da police. 0: dois grupea de cbjerivoa mio ate excuéenten Ao concévi, & multe Sredente que aparegam de forraz combinade, em cada pesquisa de swalacia, predominance um ou outre grupa de acordo com as pe pects © decices do avaliadar ow do proponente 6a eveliagto, Mas lessen cbjeriva também nf se sleengem autematicamente, mesmo quando conscientomente escolhidea pelo avaliadr For exemplo, obj tives de conhecimento dificimente so alcancados se a invectigaglo ‘fo conta com base teria ehipsteses adequadas ou nfo se assente fom rotedologes capazos de garerde a confiabitidade dos resultados ‘Tempouce se pode pensar, por exemplo, que recomendagdes de polit cas constituam um desdobramente automético de qualquer perauisa de avaliagéo: exigom pelo menos oexame isternéticoe oconffonto dee alternativas, nfo necessariamentscentempladcs na pesquisa inca ‘Tipo e Natureza das Avaliagées (0 tipo ea naureza de urns dads peoqita de avalincio sie definios een um campo bastante compleso de sltemativas, referents, cada uma de- 1as.a ditintas cimenstes, momentos e etapas do programa ou de pelt ca que oe pretende avaliar Sera nanhums pretensio de abarcar todas a8 possbilidades, vars nos referr aqui as estingées mais comuns ‘A telago tempore] entre 9 programa # ser valinds es peaquica de ava liagdo propsiamente dita permite fazer a iazica ditingdo ene dois Lupos:avaliagdes ex ante avaliagbes ex pot. ‘Avaliagtes ex onte precedem inicio do programs, rorrendo em geral durant at fases de svapreparagioe forma: também ofridas como avaleges-dagnistcn sie elizades para apolar decisis frais da for= rmulagto, atendendo a um ou dole de seus ebjetves ‘+ predusir oremtaghes, partmetros e indiadores que ce incorporem 49 piojeto, melhorando seu desenho e suas cctratégins metodoligi- ‘as ede implementasao, + fixar um ponte de patida que permita comparagées futures finha ‘de baso ou tempo 20, ‘As avaliagies 2 pst sib fetes concomitantemente ou apés a realiza- ‘fo do programa (Cep, 1952s, p16), tambérm com duplo objetivo 1 worficar os gpaus de eicitnc eefegeia com que o programa esti atendendo a seus obetivos ‘+ svaiar a efetividade ce programs, ou se), seus resultados, impactos fetes?” Quanto 8 natureza, a avellagtes dstinguenn-se entte ealingo de stad @avaliagio de prow, ‘&comum efreghente quese qusra saber, dos programas seestescum- ‘param seus cbjetves. Ne verdade, é mais do que isse: querse saber 0 ‘quanto e com que qualiéede cevs objaiva foram compres A pe ‘qika de avaliegdo que poderé responder adequadamente 2 esta per~ guna € 2 cunia;dode resultados, no seatco amok. ‘as cones de processo tem come foco 6 @esenh, as caraceristicaslorganizaconsis de desenvolvimento dos programas. Sa cbjcio& fa arnentshmente dtectr as Fatores qua, a longo da implementaeds, fe clita ou impeders que um dia programa atisja seus resultados a relher maneira possivel Baploremos um pouee mais esa distingia entre avaliagSn de reals dos e avalagio de processes AVALIAGOES DE RESULTADOS OU IMPACTOS Hii una cera confuso prevocnde, na ings portuguesa pelo mo pouce Drecin da nog de resultado. Com eftatamades na sun acepedo arm Pa, 08 resutades de um dati programe abrangem eaias dverins, cue aqui dering, na fats ée melhor sltemative, como rsuiades propia Imentedits cs efeitos. Esta carta da conveniénea de citing ae oie. att porque sis muito astintes ee sndicaderes mais adequaos para aferc eda um descos nes fe esiraga des programas. Para facltar 2 compreanste, vetmos, n2 Quad 1 algins exemplcs desea dierenciacto, coos" | roe |e ‘idecimrownte demas Value da “Heber de ed Yadnagha,| Te sins aphades Bede iroaginen saite fina’: peSupcts. Beta ce eee Seen Panes “Gao et seuttcttsen eng cnt eon ete nao oe "oat Lem pare getebuldn més taxa des olhorn 48 expociiade. PER a oor cuneate “WTR emamoag era” Epviegannt conga de akan 8 ‘eee at Memsde wTnanscioe Stic pont “Seer se dee scr gerdesparalune Sonataas, famhoeodat doe Gre E ce a eco “Trés programas, na primeireccluna, foram tomados come exempla Al guns Ge sus" eaulados" eto exemplifcados ne segua coluna Muto ‘umariamente,pode.se dizer que as esueades (eo aentige esti) 339, fos "predutos”éoprograma, prevstos em suas metas ederivadce do 62 rocesse parener de predugha. Cestuma-setamban liza 9 tera esenpenko ara indcar resultados em sentido et feuteme) No cas da merenda escola, sio examples de seus reeulados a quantidede de refeigbesdiseibudas os valores cabrices epreiionsacicionades 3 deta iia dos alunos ou, enfi a quantidade de slunee que a eceberam. Ja coimoactos eeferem-sesslerestes ou mudansaseetvas na realidad ‘bre qual opregrams intr e pr le ao provecada. A tesa co Tuna do quadko nes diz que de urn programs de vacnacSe arpa per ‘exemplo iepacto espero sera a reduceo da inci da polcmilte Finalmente felts referer-s a autos irmeaces do programa, espe 524 mo, que afetam 0 m9 eel» ititacons! na qual sa raslizcu [No aaa da vacinagéa antipsie,c aursento do nivel deinformacde da po pulagBo em gel scores da enfermidade pode sr urn doe fetes 20 programa; ou também o grau de setisfacio des pais com a orgnniagbo o eventa, cu, enfin, ne plana institucional, a melhor expacitacio doe agentes pura exccutr ages de carapanhas de vacnagio, ‘Urna mesma pesquisa de avalizcio poe avalaysimultareamente, 886 {pea de resultados ers ans smo] Na msiena da vas nfeliament, lita ea identtiar 0 primeio grupo.0 da eksompenhe do progrema. Podernescommletar as defini anteriones com usm répido exame doe Uipos de indeadores com que se pade avaliar resultados, impactes © fates. aponto tanbtim — perdoern-ve pelo didatisrna — as pergu tas que devem ser zesponcids pele avaliador, quando se cispoe a av iar cada ura daquetes planes da resultados RESULTADOS: COM QUE INDICGADORES AVALIAR? (cada tipo a grup de resultados (no sentido amp) ser melhor ava- lisdo sempre gue para tanto orem utlisadce 0s indicador adequo os © ea instrumantos comeets.Indicadores de Resultados ou Desempenho Desempenko ou resultados de um dado pregremsa séo aferdos por snelode indicadores que medem os graus ab quantidedes eos riveis de ‘qualidade com que as mers progrardticas fara curapridas. Ou sa, Poder ser estmiados cu medidos por indleadores que cenicon:arn ob Jotves © metas, de um Indo, © por realizagbesaleancadas pela ativi Sace-fim, de out, ‘A proporeio das metas realzadas ¢ de cumprimenta do planejado ou 05 ndes Ge cobertura da populagio-aiva ela tipicos indicadores de resultados O nivel de focalizario da programe sobre os piblicosalve pretendidos também. constitu um ber indcader de esultades, Perguntasbesicos do avalader — Esquematicamente, as pecguntas pen ‘pais que onvaliader rata de responder, neste plano, podem ser asia ‘sxemplficadas: © programa reason os cbjetive pretend? Atingla 68 grupes-al que pretendou ating? Compris, ¢ 4mm que alveis de ‘quintidade ede qualidade s metas propostas? Indicadores de tmpocto e, a propésito, mais uma Classificagio das Pesquisas de Avaliasao 5 indicadoves de impacto so malte mats difeis de seem operados, \ejames por qué ‘De acorde com a deinigo anterior as avaliagbes de impacto tatam de ‘adres ‘Tmudangas'pretendides ou,c250@ queira, os resultados mais uradoures, verficades no grupo-2betivo, ois bem, o ndicedores de impactce dever ser capazes de medis os efeitos Ifquides de programa ‘~ somsate do prograrna —asbre a populagdo-alva Voltemos eos exemplos. No caso de progeama de sai, deverfoexti- ‘era variagdo das texas de indidéncia en prevléncis da poliomielite No caso do programa éoleite ov no da merends escolar, deverdo ei ‘mar as varlagbes dos nivels de mutrigio infantil ou do alunade Peruntosbtsees do avatar — No caso dos impactos, 2s perguntes de ‘aliadr sf princpsimente as seguintes:O programa eftvarante po. dois 9 esltedos stitasomo que pretania sloangar? Aetou —eemn cue ‘medi ¢ sentido — a carters da realdade que quva wensformar? 1 exigincias metodoiicas que tomam complena a tavela de avalocio de impacto, Uma dais # a defnigdo da stuagdo on grupo de reerénca, come qual se compataréo os iapactes do programa, Coma quecemperar? ‘Uma posstilidade ¢ conftenter sueito consige mcemo, mediante vine comparagio do tipo “anies — depois". Fara canto, ¢ preciso dispor de indicadores da situagdo ex ant, ou sea, € neceséeo elaborar um cag néstica a situacko antevir ao inicio do programa, com a qual seus ‘impactes sarko comparaées. 0 penta de patide ou s hse, aqui & ‘nical, ou nip haverd avaliaglo de iexpacto passive. to exernpla,so- ‘mente ae poderé medir impacto nutriconal da metenea escolar caso se conhega.o peril nzrcinal do slanago antes « na ausncia do pro rama, No caeo da vaclnaGlo antialig,o impacto de una daca enn panha somente poder ser estimado se se lspuser de indcadores pre ‘ios de prevalnci © ineidncia da poliomialte snes da vacinacio, [Nem sempre asavalagtes dasa po sta oxeqveis, Qusndo ot progr ‘ms sc continues, roliniros unverasis — como €@ cao dee programas ‘ducncionais — ¢ quase impassivel determinar 0 pont inci. Além iso, avaliages dlagndsticas so geralmente complexas e ctas ‘Quande np se processa nenhuma comparagio, a camparagtolimie a0 Lipo antes — depois" descite a avaliagio realzada erquadra se na familia das aveisgies nio experimantais. ra, a confibilidade ds resultades depend des métedos desta dos indivducs «sere omparados etende a deerescer na meclda em que se redaz ocarster cxperimental da pesquisa. Per eta razio, mesmo i avaliagdes nfo experimenrats nfo constituem as melhores alterstvas de avaliagio de impact ss resultados tendendom se mostrar hritados $a, no entamt, altemnativas centifcamente mais densas £ poesvl, por exemple, estimarimpactas de um dado pega por mele da cer Perapio entre seus partcipantes e seus néo-partcipantes @ segundo °grupo operara,entée corn grupe de controle em eiagbo ao qual so estimadas as eferencas da imencte que se quer afer Pare que ae corapa 0 raquo basco des avalagdes experimental, os mmerrbros tanto do grupo de participants (grupo fcslizade) quanta do grupo de nae-particinantes (grup de controle] dever gr alsatoramente selelonndes, abs os grupos apresentandosimilaridsdes nos seus tie butos sa em lag aos Faas observes, sea as no cbservéves x se nto for posse islar porn comparagdo, um grupo de no: parte ones? Se o notso campo forse 0 das cléncas axatas, pederiamas propor 2 alternative cléteies:apliesr programs pera um grupo e simultarea mente, dear de apc 1o para o grupede controle. Ora sto nem se pre possivel, nem elicamente recomendavel. Nes nessos exerplos, envelvera ssuspensho do merends escolar para um grupo, ca vad nagio pata quo! Er tae circunstincias, a estratdgia mais frequents a abalhar com tipor ou desennoe quase axperimentnis ds avaliagSo, nos quais a comparagio se fe com urn grupo que opera como con srafgetual do programa, 2 sua slec30 podendo se dar por distintes mo~ dalidades” supse-se, anda assim, que a sleatoriedade da see, er. ‘nda um doa grupos, tena sido obeervada* (to baste Sdenifiar bem o grupo de controle A aeccéo dos efits Iie {ular de um prraena rnplis, naturakment, ol «contol ahs 8 ‘varivels — da mesma naturesa ou de natureza dita — que possam ingererir nos reseltades tanto dos patcipantes quanto dos no-pat¢- antes. Ouposte,aqui¢« de quea Unieadforenga enue os dois gropos ela o impacto do programa que esta seb avalecto Ora, ocontrole dss, \esavelsinteneniantes no é nada tava Varoe e alguns evempos de ‘ses que podem aller ou contaminar ot reeutadce. ‘A determinacio do tempo transcornido entre o final do programs @ 0 momento da avakinga 6, quase sempre, um fotor crucial, j8 que ce pode eupor que quanto malor for 9 pericco entre aqueles dois momen- tes, maiores serboas rckabildades de ocarténcias de eventos que ve ‘nharn também afetar ot rsultades, ‘Outtes vieses, se nfo contol, podem efetar © comparagio em 0 grupo de contele, mesmo quando esse tenha sido seleclonado por ‘itr adequados Pot exerplo, no case de un pregrars de ete para criangas desnotrida, pede ocorer que o grupo de controle esteja send feta, ou por um outeo programa similar, cu mesmo per varagdes no, controladss na cieta slimentar deméstce, am cartes progremas — {omens como exernpla um programa de capacita¢do para ovens — a rcp decaf de dele paleipar ode introduae vis nos resultados Ou ej, na comparagio ent os dois grupos, crtas difeenqas cupostas ‘ommo impactes — por exempla, estar epregedo ou ter melhores rena ‘mentoa — podem decorrer evs do teinamento ebtde antes Go feror retivagae,em geal arsoriado # ours cracteriseas dos suelo Dic on nfo, quando se quer profuir ume boa valcto de impacts, ‘controle dessis varivels &decisivo, de preferéncia por meio de meéto- os estatistices ue poset instar ¢ mediro impacto relative de cada ‘om dos Fates que influenelom os vesuitados — por exemple, enslise ‘mulevarlada com técnicas de modelagers ou regressiologistica* Indicadores de Efeites cone dissemoe os aftr de um dod programs roforeme a determi nadasalteragdes —eaperodss.ou nfo.outras que io as epeciicarente pretendidas — provocads pelo programa e que, mis de qus 0 prio, (peal focsizado, afetarn as instiuigées ou erganizagles pari ents, o6 agentes que implementa o programa ou 9 meio social ert que est se ean, buts vez vefeider coma impactes indies, ter dam a abranger os ellie ais duradouras do programma bre: “os agentes implementadare, 2 comunidace local e grupos particu lares de interessades na sua execucéo (fesse + asinstuigdes governamentaiso ndo-governamentals associacas 8 ua implementagbo kets insitucionai) erguntas bsicas também se mptem agul A implemantacho do prow rma logro prociuti nasinstituies emvovidas,slquma aprendizagerinsutucional? Produaiu melbors de sues capacidades institucional fate ‘apse? Estimulou ov criou condigSas para a continvidade,ampla ‘fa ou multiplicagso da experitncia (oustentoildade)? As metadolo- is utlizadas puderem eu podem ser aprovsteds/transferda pare ‘utrssexperignciss? Fora corstalodas melhoras n88eapacidades pro fissionsis dos agentes de implementacdo, como raultnda das stivide lds decenvelvidas por eles prépris no interior do programma? Passeaos agora 2s avaligSes de pracesto Talve eetsjam aqui minhas contebuigdes mais itis, AS AVALIAGOES DE PROGESSOS: EM BUSCA DE MODELOS ANALfTICOS Permitem-me inci essas notes com uma imagem sobre 22 nvalagbes {ae processes. ‘As pultices ou os programas tm vida. Naseem, cescem, traneformam se, reformam se, Eventualmenteestagnan, ba vores marrem. escort, ‘ent um ciel vital, um processo de esenvelviment, de maturac e alguns deles, de emvelnecimentoou decrepitade Fest clo (ou alguns de ‘evs momentos) que constitu o objeto das avaintes de precessan ‘As politicas e os programas também tm, em contraparide, cote © ‘2:80, melhor, tém compoe alma Séo cecdidase elaboradas por pessoas, so uiiidas 2s pesioae ou a0 224 habitat, s80 gerecciadas ¢ imple ‘mentedss por pessoas e, quando isso ocore so avaliadas também por pessoas Ora, a8 pessoas cu os grupos de pessoas que animam as pot ‘as. fazem-n0 segundo seus valores, seus inteesses suas opsSes, sua perspectives, que milo cio conceneusia,nem muito mens unre, ‘como sabemos, Ao cnlzia,oearnpo ode Noreacer as pitas # xo gramas pode ar pensado como um campo de ferg, de emnbates, de con- Alito, que se sueedem ese "sesclvem" 20 Tongo do temo. ‘Se for assim, eeavelingles de procestesserbo ainda mais completas 20 tanderer sae apiartamen em conceitos € modelos de andlice capa. es de captar o sentilo ea gies de programs movios por ncresss, confts, eventuais negocagies. Meso exquematicamen's vale a pens identifica os princiais entre esses concetes« dimensies de andlise ‘AS ESTRATEGIAS DA IMPLEMENTAGKO. ‘Osconttidespoticesdas pitas constituem tema cléssice des estudos {e otticas pleas, base para a fraqientemente cada iferencinglo ley pics — pot. Nao €bem deseesconesiasgerais que:me ncers- ‘stata aqui, até pera evtar epetgbes Gemnecessiras. Quer resting me enpeciicamente 8s avalagies de prcessoe a aguas mensées do (que poderiachamar a econ poli das pens pilin, ‘Gomnumenteadisenste de police das polcas pablices rete as mo- _entas deformlacio e,ssbretudo, Geitesiicas, mes nto sornente Aaguelas seferidas aos contetdos materiais dos programas ou 20 s0u esenho, Seu processodeimmplementaSo tambon repous emerientaiee ce prelernciaseclvendoedlculosestratgins escnase decstes pr par ‘2 des agentes quo conduzem eo implementsm ou dle se benefcam, ‘En outas plavras,¢posivel identifica, em cada poica ou programas, Si estrtépia de implementagio, censtitsidapriersialmente por die sca ncocea de caracteitons ou imenstee de procean, tin camo a reno temporal es ators etratégicas a serem mobilzados, nos diferen ‘es estigos, para apcareimplementacio do programs os tubprocessote cstigies pelos qunis se deservsivera implmentagto ate. Quand oom eta, 2 avallagio de processo deve envolver também vaiagto das esta tépias que orertaram a implementagio,aferindo em que medida tveram founéo tiverar eis, garanmam ou dificultaram o sucess do programa, ‘Sem pretender abarcr tedag as dimeneses que una anilise deste pa pode sbrange,refiro-me reaureidamente As que jlgo principale © que ‘meu ver, devem estar na ordem de preacupagbes do avalador da im, plementago mesmo quando ele no va trabslhar enaustvementecom 2 questi extratégicnA Dimensdo Temporal Explictamente ou nda, 2 estrotéia de implementacdo eovlve ura e colhs acerca da ternporalidade das agen, nese que, em principio, cor ‘esponde 8 certos cilelos politics quanto 20s apiose resistencias que enfeentaréo programa Em geal as alternatives aqui polaizam.-se entre estretfgios incrementaise estate de chaque. ss pricaicas imple ‘mentagio se desdobra por um dads period, eufeésntements longo pera ‘quo, através dos vros estas, ogres consti desdso interior mes ‘me éo programa. as lianas ou coiliaies do apoio eapazes ce vencer ss resiineies fs estratégias de chogue, nas quaisogrosto da implemen tag se fc de uma s vez enum memento ico do tenga, supem que Ingrecientes, tls cor 2 surpresa, e medidas, tis cern 0 (nslamento Yburocrtico des que tm poder decisvio, sear copanoe de vencer 2s resistfscas exporadaeeintir¢ aurgimento de news, ‘Atores Estratégicos e Matrizes de Conflto e Cooperagdo ‘Ao reconsttvr s etratglas da rplemmentasao,o avaliador enfrenea _questdes do seguine ipo: Quas eo os arores finatitucinais #cu ine viduals) que sustentem 0 programa? Entre todos, fram ou nt slgune dees especialmente mebilzades para apoiar © programs, podendo ‘mais frente operar como nGcleo de coalioSeeemmplas de suscanta ‘lo? Qutros, termi erucii, ever sido esquecides ou despre, tal encaminharmento tendo sgifcado um ero estotéca dos que tm poder decséro? A prescupagio vale tambean para 05 atores que 18 aderemn ou que reistem g9 program, é claro ‘A identificagdo das varias matizes police inetitucionals de coopera: 580 00 confito, que zermsiam e dinamizam o processo de implemen facia’ € decsiva para a loclizagze des portse de acoude & dos com {enses minimos, sendo indispensivel as negoclagbes e,eabretude, & sustentabiidade doc programas, Parcerias ¢ Redes de Apoio ‘Se, nas cnsiderasbes antciores, a refer fo sobretdo os ators in teres, aqu quer telerivme a0 ieertes rvoes de int RN cir es redes de apoio que, ens amplamente, releonameae-cam © programa avoid, Seo ces muitos e bastante difrenciedoessemnerina tna dlegincs, poderseda consierios prolutores”ecensunidores da yeltien em questa. Pogercs locks cee cs benefice reais iret até atores,institucionels ou no, relacionados, por xeibg9, com seu fnaneamento passa mesmo pelo cancorretes ow sei eles stores vinculadoe «programas sma compeivt ‘Nas avalages de proceso. além da entifieasta esse campo ciferen clado de interesaes,& importante recoohecer gue a props avaliagéo ele aetna; am xeiiade ses tanto ior quant mais apie fe insteumenios © mecanismes de precisa idenifcatie dese in tresses ¢ de suns distingbes Niko sert por iaso que as auaigses pot pativas vim ganhando importénsi? ‘Aandlce polltica das polices pbicos nao € mata fai, nam seme [te possvel de ser realizade ¢, muito freqientemente, deseereda a rmuites Anda assim, a consderagio das quests mais etratgicas da implementagde til para» corte identieagbo dos etoes de pro- cess gue pram ou como fcitedores ox como abtécus 8 corse sui do programe [ESTRUTURA E PROCESSO DA IMPLIMENTAGAO ‘Quero dedicarme & questi da implementagla, Enuetante, para que nos entendamas bem acerca de coneetes,fago deta a dstinclo, na cielo de vide dos pregraras, de duasgranden ecapas: a formulaclo 22 implementacse. ‘+ Formulas: o processo de formulacdo de uma dada politea ou pro: mals omploxe fer um programa, msior sera variedade de interesses on expt envelvides em sua execugie & por conasqutca, mais fries ero as tendénclas a ni. comvergéncia, Arpagineros 2 implementacio de ui programa Federal, de excals ne ans, cas egras de aperaclo supoaham a coaperagha dos ces niveis ie poverma, em um pas federativo multipartiris, coma Brasil era ue preeitos © governadoree tim autonomia polities © podem estat gados partis dstintos, olicas piblicea compartlnades pot go- ‘yernos lgndos @ paris que competem entre si tendem a produsir eemporramento nio-cooperatives, pls na ave dos elagtes de mle “mentagio heveria uma incengruénca bisa de objetives, drivada da competigan eleitoral, Este cenitio — porfitemente fective, dada 4 ‘multipicade de progsamas descenualizados eviscentes — nio pode “ser encarado como um problema, £ elmplesmente urn dado da relic “dade, que impse wn rezodvel rau de inceens quanto 8 convergéncie Ae ngées dos implementadores e, por exten, da pefeta adequegao entre formulacto ariginaleimplamentacd efctiva Suponhamos ands um programa que envolva ume extsnsa rede deer enizngtes no-govemarnentais, coos getores aceite perticipar do q ° ‘Programa por raze interamente pragedtices, mas nio parihem dos ‘mes mos chjetves e concepseee dos fernuladores © fnanciedores razoivel supor que tis agéncias deserpenhem guas fungdes de acordo ‘com sues propria efertncase até mesma de acorco com eeus pbproe abjetives Este comperamente dos implementadores — perieitemente posse, dada a variedade de programas pablicesessentades scbre eno ‘so de parcerias pice x pelvado — & um ceniro bastane pevivel apenas corespende & realidade da implementaclo de programas que ‘contam com agentes cus interesses e cncepetes si diferentes ‘Assim, mais que ura fese (téenics abediente) que sucede & formas lacto (politica) de programas, 2 implementagdo poce ser encarada {come um jogo em que uma autocidede central procuraindusir agentes (implerentadores a colccarem em pti objetivo estatégias que Uhe sto ales (timick & Back, 196%), Neseas cunstAncias, pera obter noe “cbediénca” aos objetivos« a0 desentho do programa, a ‘utoridade central deve ser capaz de deservolverumnn berm-sucedida ‘eatrocéga de incentives € por ste que (quale modelo stequado de implementa deve tet lagoos de incentivoemlcias ov explicit, come ur compo nente-chave. Minick & Buckol,1984. p68} ‘Goro conseaiacia, problemas no eetntura de incentives podem ex Pliear grande parte das dficuldades do auteridede cental pare obter sucesio na implementa de seus programas, mesma que tam so Ccumpridos toes es demais requiscoe naressvion Desse medo, ain plementagio &, de ato, ina cadeio de telages ene frrnuladoces © Implementadors, © entre smplernentadores scundos em cifeentes pox sigGesna maquina governamenal st implies que a mai preximidade entre as intengSes do formulae oa ago dos implementadons depen: ‘er do scesso do primeira er obra adie dos agentes implementa ores es objetivo ©& meindologia de opera de um programa"-AFORMULAGAO COMO UM CAMPO DE INCERTEZAS Coro vies, 0 grav de sucesso de ur progreme dapende dirtamente do grau de sucesso na cbtengéo de agfo cooperaiva de eutres atores— gvernamentais ou niko governments, 2 depender éo deseaho do programs —,cujasbediéncia‘nfod um dado autométien Na verdade, a tea de sucesso denende da cooperagio ni apense doe agentes insta: conlmentevinculsdes acs demas nivels de governo, mas de eentenas Ae potencicisbeneficirics eprovacores, ua cemmportamento precisa sor cwordensdo (Sin, 1984). int nko um problema s ser conatatade polo svalisdoy, nas um dad da realidad a ser incorovado &andlse Giontes deste fato, os agentes formuladorese implementedoces x22 rientes« com poder decisériotendem a eceatherextatégins de imple- mentagdo pautadss muito mais por sua potencelacetacfo do.que por sua espera efcincia ou efetividade,Portanto,a reagio eperada dea agentes implementadores tends s ser um elemento decisive as defi! «ho do conteide as paitices piblices Alms dito, palticas no ste formvladas ema condigies de ies I bendade, Dado que a formulagie de urs programa — com seus cbjetivas edesenho —¢ em si mesma um procesto de negecagses eharganhas, seu desenho final nZo sari neccesariamante 9 msis adequade, mas, sm, aguele em tstne do qua fi possivelobter gum grav de acordo ao longo de processo decisdzie. ‘Terapouco os formuladores concebem estatégiae de implementacse Aispondo de complete eperfica informagio acerca da realidede brea ‘qual se pretendefaterferic Na verdade, com quase absolut feqénci, 2 informacdo ¢ impereite, incompleta e até mesmo baseada em ex [ectativas quanto a0 cemportarento futuro das veriavels da waldade, Por estas ranses,desenhos de programas nao sto pegas inlememente cocsas ¢ shustadas. Nests ecunsiancas & posivel que algumas dae cespecificagbes do programa possam operas, no plano local, de mado contrici cos chjetvos do programa Isto significa que a metodologia, propests predua, no plane loca, impleagbescondras as orgialmente prevztt, dado fato de que o desero de programa ¢frrmulado een cone Ais de raosvelincerteza, cen bave not efeitos experados de uma dada estatégia de operayda Mais quest: advesidade de contextns de imple mentacio pode fazer que uma mesma repulamentanio produza Impactns Intararantedvertos 0 diferente unidades da feéeracia™ Em sum, sings que uma sdoqueds eetrtura de incentvos sla vital par 8 implamentagio de programas — e ela 6 tanto mais necessria ‘quanta molar a compeidade doe interesses envovidos — fatores ine ‘ensee&fermulagioimpacam oprdprio davenbo da esratégia dimple mente, por extensia conteido das polices, Mas, uma vex edctads tua determinada estretgis, seus efeitos (reais) coments serio conhe- ‘idoe an serimplemeneada a pelitice,éodea on imitae de informacho e tutonoenia deciséria de que disper es ngbnelas formuladors INGORPORANDO A IMPLEMENTAGKO A AVALIAGAO [No pric real da adminisragio publica, a mplemeniasao de polices ‘pear em tn ardblente earacteraado per continua mutacie, mutacéo cesta qu €interementeabcia¢vantde des implemented. Bm primi lugar os recursc, as prioidades e a sluéncia reason des ‘agentes encantgades da implersentacdo freqientemente mudam (Ross ‘Freeman, 198, p28). Matar quantitatas io anda pare cada pefodo, de acordo com utna previo des reeuscs (fuuramente]disponiveis: ©, ‘com absolute feqiénis, tendénia nto previstas no eempoctamento da, ecommiainflver no moctante de recursos dapontvels singindo a pos Diidace de rainagda das meine preistn Objecvos confines entre st tambéantendam a veer Enfaces diferentes ao longodo ciclo de vida de ‘um programa, expreteado aleragles na gicretria Ge poder no interior ds mSquina pa, Ov sinda, é poestvel que urs fo nove, que pode str ede um escindnlo de nature potca aif uma ateaso Onssperada) em ume vaiivel econdmica extreamente relevant, pique modifias frraae de desemteleo de recurso em prezcs bastante cuts de Jo Mais sie: 6 perfeeamente pessvel que por Aversa ves n80 no momento ds fommlegio aimporténcia elatva das agincias dd fangies diferentes sea alerada ao longo de um curto ce ee, aga, aterando da mado significative (pars mis 94 para a disposigio pars colaborar ne momento em que o programa jocado em pritca (Ross & Freeman, 1693, p28) adequada metodologia de avliagdo nto deve, portanto, concen: fem concluir pelo sucesso ou fracasso de um programs, pos, Pe espero haver demenstrada independenterrenteda"ventade pli Ea, dz sien cu do ineresse dos formaladorcee implementaderes, 9 so entze fornalagio ¢ implernentagbo & visa contingnels da $6 pblica, Com efeite, ums adequada metodologia de avaliacto deve Wesiza, em primeiro lugar, os verses pontos de estrangulamente, es & voatace des implerentadores, que implicaram que as metas ‘hiv nicislmente prevstes no pudessem ser aleangadas. [br dso uma edequads metodologie de avallagso deveria concen- sno oxame dat rzSes pelos guns a distinca entreo:abjetves © Pietodolosia de um programa — tal como prevstes por seus formu =, ber como suz implementacée eetiva, cnr or densa dos ton agents inperaendines © eruncisdo anteriormente, to programs tem dbjetvas e um 9 de implementacSa,quese expressam em ume legislagdo gecal Lima vegulamentacie espesiia. © a implementagio de wm pro- antes mplemencafores. Nesses termes. a8 refréncias (Mitnick & off, 1883), to 6,05 principios que afetivarnente pautam 2 age des sites implementadores,deveriam cera “leislogdo" eas ‘nore de das pela aginciaformuladors ‘Uma primstvaporgunts a ser feisadevera er seo agentes implemen: {adores deftecnhazom o program, Case, por roates da capacade de informacio da agencia foriutadora, ests no venham a conhece efe- tivamente os objetives eas regras de operacdo do programa, eles ten derte a eleger uma cute referencia para airmplementacio~ seus pro- pros cbjesins cu os abjetves dos sakboizers ‘Umes cogunda indagasio passivl de espeito 8 aceite doe objetivo « gts do programa Fode ocorser que, ebora ceriecendo tis objeivos, 5 implemencadores dscordem das priaidades estabeleciéas eeljam ‘suas proprias pricsidades (burscréticas de sua alintela, ou ainda de ‘gropos de interesses) como sua reerénca de stuagio, Finatmenta, ume ceresrs questo diz rapeito 48 oni fatticenae ara implementa de programas, st 4,3 situagéo na qual es implemen- tadores, embora canhecendo © concordando com os abjetivos do pro ‘rama, nd0 porsam, por diversas raades —que poder vaiar desde i padimentes assoiades& capacdace fiscal eadiistrativa das agéncise Implemantsdorss até compromisece« lsidaces de oxcern poitica| realizar os objetives prevstes” Problemas no prevses ro momento da formalagba podem levar ox Uemplementadores a promover adaprages ao desenbo original, tendo ern sta gaantir que of obetios de um dado programs sera vealizadce (Rosi & Freeman, 1993} Tiata-se de uma medida de“adapsagio" para vse bilser a realizacio dea bjatios do programa, que impliea, yer Su8 we, que o mesmo noses implementa de aecxdo com odesenbo prevsio® ‘Ariruvo De concuusAo ‘Alimplementagio de politics supse pelo menos dis tipos de agentes sitoades em pontsedietintos agentes encarregado és formulagie ster ‘mos de operagse de um programa —os qusis ttm autriade pare deft0s objetves e o desenhio de a programa — e agentes encarregadas de ‘evecutt lo, uaduaindo euas concepetes em medidas eonereta de ince ‘venga. Na pric, so estes Gltinos que azom apo, ‘A ncongroénca de cbjetives, inteesses,lealdatese isis de mundo en tue apinciasformuladera © gama diveaa de inpplementadore implica que difcimante ur programa sina plenamente wes diets e que sea Jimplementado interemente de acorda com seu desenbo. Esse fenémens tends a ocsrrer mesmo em petiicas plies cafe implemantagko nto spon a ago integrada de divers nivels de governa, porque asa in congrufocia ¢ deed da complexe mesma de um proceso de im- plamentagi de politeas Por ea Tat, todo modelo de implementaio {eve contemplar a formula de uma adequada esrutura deincentives. [No tras, 08 programas de acio pica sie crevceterenterealizados ‘mediante integrase de vice nels de govern de agentes n3o-gover- amentais Atuslmerte, ros sioes prgrams que ne so implemens dos no contexto de ur sistema de elogges intergovernamentais © 48 pareaas a8 mais diversas com saocedade cil Ter ern mente as conse éncasinatitucionssdesses fatoresé de fundamentalimportBoca para ‘umentar& probabliade de guessso de programa de larga eaala ara oavaliadoy, ¢igualmente fundamental, contuio, ar ern mene que a implementagio modifica 0 desenho ceiginal des polticas, pos esta ‘corre em nn emabiente caracterizado por continua mutacie. Mais que isto, dever levarem canta eos implementadcres & que fazem 2 pollt- a, ea fazer segundo suas propiasfferéocias. Nessas Grcunstncias, cabeinvestiger a autonomis decisiria dos implementadoes, suas condi ‘tes de trabalho e as dsposigtes em relagto& polica seb avalacso. [REFERENCIAS BIBLIOGRAFICAS nea ona sn, MARS, a ‘Segoe ‘ee aaa noc aloe ‘Rigedrcncatndaciands nian (nhc pare! 8s Yara Stn ends teresa i ante sea i dee i ‘eho se Ran tt ey nr ‘Pewee, PUEREnG ots pa cai te scrim eto peer een OH “Erte onan ce eee ty EADS Seng 130 cn ne Po spent es a eee a oe rehearse Soyoe sen soca ton team aoaatc ote ioe haeegnaneen union sey ern mauymeceren te esse coat meee repens Samrat eee Soman zee heuteNoTas 2 Amora wg | fsa neqasinesra jae desnape Ikan or nn crs Duden oma 2 ‘Smet yt or wa Yat Ss Se Toone arene on inate varies stents Sng nous roa tad shes concnn ara tn de sic Deine de gms meres sre wsnd apm nce Ie 2 ne ens eaqacnnetio ay verse acapiedse de > mopman ayn da se Sha amt ee ‘Seung mo Gunatene@e)anchacin ye scks