Scribd Logo
Fazer o upload

Bem-vindo(a) ao Scribd!

  • Avaliação Implantação Broussele

    Enviado por

    Kaline Lemos
    20 visualizações22 páginas
    Livro avaliacao: conceitos e métodos de Brouselle et al

    Título original

    avaliação implantação broussele

    Direitos autorais

    © © All Rights Reserved

    Formatos disponíveis

    PDF ou leia online no Scribd

    Você considera este documento útil?

    Este conteúdo é inapropriado?

    Denunciar este documento
    Livro avaliacao: conceitos e métodos de Brouselle et al

    Direitos autorais:

    © All Rights Reserved
    Baixe no formato PDF ou leia online no Scribd
    Sinalizar o conteúdo como inadequado
    20 visualizações22 páginas

    Avaliação Implantação Broussele

    Enviado por

    Kaline Lemos
    Livro avaliacao: conceitos e métodos de Brouselle et al

    Direitos autorais:

    © All Rights Reserved
    Baixe no formato PDF ou leia online no Scribd
    Sinalizar o conteúdo como inadequado
    de 22
    10 A Analise da Implantagao Francois Champagne, Astrid Brousselle, Zulmira Hartz André Picrre Contandriopaulos e Jean-Louis Denis A anilise da implantagio consiste em estular as relages entre una inter vengdo e set contexto durante sua implementagio. Tem por objetivo apreciar o mod como, em «am contexte particular, ima intervengae provoes mudangas. A mudangaé uma nogio muito ampla, quese aplica a tim amplo leque de inrervencdes. Sua complexidade, seu mérito, sua eficicia potencial ea faciidade dle sua implantagio wariany. Una visto geral do estado da arte leva a acreditar que pelo menos a metade das tentativas de instauragio de mudangas nao sie adequadas ou nto produsem os resultados esperados, “Algumas mudangas nas empress sto verdadeiras sucesson, Outras so. verdadeitos fracassos, Na ialoria dos casos, estamos entre os dois, com uma tendéncia muito nitida a0 fracasso” (Korter, 1995: 59). As mudangas, nas onganizacdes, paresem intrinseca-e inexoravelmente trabalhosas, complicadas e inmprevisiveis. Elas desafiam tanto os modelos tesricas como os thodismos que se sucedem no campo da administiagio (Nadler & Nadlet, 1998), Ocorre, frequentemente, gue mudangas sejam decididas mas ounea implantadas, ow aincla que sejam menos importantes do «ue © previsto, ou'mal implantadas Aanilise de implantagio rem por objetivo delimitar melhor os fatores que facilitam ou comprometem # implantagao de uma intervencio, Por Que e Como: os limites do modelo da ‘eaixa-preta’ Nos anos 1960-1970, 0 campo da avaliagio passa por uma expansio ime Portante gragas A implementayao dos grandes programas sociais nos Estados Unidos. Durante esse periodo, qualificado de experimenting society (Rossi Se Wright, 1984), a avaliagao tem por objetivo, fundamentalmente, conhecer os efeitos das intervengies (outcome evaluation model, Mark, 1986): No inicio, a pesquisa avaliativatinha como objeto essencialmente a ave Tiago dos efeitos nitides especificos dos programas. Por conseguinte, 0 principal problema no momento dese definir um desenho de pesquisa era especificar ax condigdes apropriadas, mantendo-e igus todos 0s «demais elementos, para se obterestimativas vilidas dos efeitos. © ensaio randomizdo tornowse, asim, o paradigna dominante em pesquisa awvalativa. (Rossi & Wright, 1984: 34) A avaliagio dos efeitos ou do impacto das intervengdes se apoia no mo- delo da “caixa-preta”. A intervencio ¢ tratada como tuma variivel dicotdmica = atuséncia ou presenea da interweneio (Cronbach et al., 1980; McLaughlin, 1985; Mark, 1987) ~ e como uma entidade relativamente homogénea (Rossi ‘Wright, 1984; MeLaughlin, 1985) cujas fronteiras, contetido eas diferentes ‘componentes sio definidos com facilidade. Segundo esse modelo, a interven so € concebida independentemente de seu contexto. Dito de outra forma, a avaliagao dos efeitos no se interessa pelos processos que permitem aos efeitos se manifestarem. Podemos representar a avaliagio como se segue. Figura 1 ~ Avaliagao dos efeitos eerie. Felts obsorvados: Aiforenga entre aque corte com a intervene ro que ocorreria som ela Ivarivelindependente) —_vardveis dependentes) Embora seja frequentemente utilizada, a anilise dos efeitos tem diversos limites. Assim, ela obriga muitas vezes a se definit os objetivos de um programa ou de uma intervengio de modo demasiadamente estreito, e nit leva-em con hain gn sideracio os diferentes meios de implantacdo nem as modificagdes realizadlas no decorrer de sua implementagao, Tor conseyuinte, a adogao de-tal modelo tende a limitar a utilidade das conclusées extraidas cas pesquisas avaliativas (Deutscher, 1976; Cronbach, 1983; McLaughlin, 1985; Patton, 1986) e a mitir rapidamente tum julgamento negativo sobre reformas sociais um tanto complexas (Weiss, 1972a; Rossi & Wright, 1984; MeLaughlin, 1985). Mark Insiste na necessidade de se levar em conta a influéncia do contexto: Em situagoies reais, em que a quantidade de servigos que os clientes re: cxbem varia, assim como a natireza do tratamento, que pode variar de um lugar para outro e mesmo de umn gestor de programa para, outro, ‘em que o progrima é provavelmente tm amalgnma de vitios scFvigos & componentes que podem, cacla um dele, ter efeitos diferentes, modelo Aicordmico da ‘caixa-preta’ ¢ completamente inaclequade. (Mark, 1987. 2) A Analise da Implantacao no Campo da Avaliagao Porimplanracto, entendese a implementagio concreta de uma intervengio €m tum contexto preciso que pode ser descrito com base em suas dimensoes simbolicas, organizacionais ¢ fisicas (Tornatasky & Johnson, 1982; Patton, 1986). © processo de implantagio acontece em seguida A decisdo de intervit (Downs & Mohr, 1976; Scheirer, 1981), Por outro lado, a anilise da implantagao ndo ¢ objeto de uma definiglo consensual. No inicio, ela era asimilada a avaliago das diferengas (discrepancy valuation) (Provus, 1971). Procuravase saber até onde um programa poderia seafastar de sua “forma ideal” permanecendo uma wariante aceitivel da forma Original sem se tornar um novo programa (Patton, 1997). £ surpreendente ver quanto os objetivos da avaliacio da implaneagao variam de um autor para ‘outro, eque existe uma variedade muito grande de subtipos identificiveis, de stinados como “waliagdo dos processos" ou “avaliagio da implantagio" (Chen, 2005; Brousselle, 2004). A avaliagio dos processos pode ser vista, de-acordo com alguns autores, como uma etapa que tem por objetivo realizar um estudo deimpaeto, mas pode também ser considerada como uma avaliaglo completa, Mary Ann Scheirer fala de avaliagao dos processos (process evaluation), Se- azundo ela, savaliagio des processosresponde a estas tts perguntas principals * Que tipo de conformagao deve ter o programa? (especificar os métodos e os componentes) at edit + Odque ¢ fornecido, afinal de contas? (mérodos para medira implantagio do programa); * Por que ha diferencas entre © programa inicial e aquele que ¢ realmente implancado? (avalingao da influéncin das variagées de implantagao) (Scheiter, 1994: 40), Rossi, Freeman ¢ Lipsey (2004a) definem, por sua ver, a avaliacio dos pro- -cessos ou anilise da implantacio com base na defini¢ao de Scheirer. Embora utilizem indiferentemente as duas expressdes, esses autores distinguem esse tipo de avaliacao da “andlise de impacto”. Weiss, por sua vezafirma que trés situagSes requerem uma analise dos processes: A primeira se produt quando as questdeschave dizem respeito aos Drocessos: os promotores da avaliagio querem saber 0 que acontece A segunda acontece quando as questoeschave conceenem aos resultados © ¢ preciso certficarse de que os efeitos sXo realmente da intervengio (..)-A terceira sobrevém quando.o avaliador procura associat resultados com elementos especificos do processo. (Weiss, 1998a: 9) Para Rossi (Ross, Freeman & Lipsey, 2004), a analise da implantagao & ‘um componente do monitoramento do programa, ao passo que para Weiss (1998a) a principal diferenca reside nos objetivos da avaliagio: apresentat prestagio de contas is autoridades de alto escalfo ou aos financiadores (moni- toramento de programa), ou antes compreender o que acontece concretamente fem campo e encontrar os meios de melhorar o programa (avaliagio dos pro- cessos). Segundo Patton (1997), a analise da implantagio tem como objetivo essencialmente saber o que acontece em relagaio ao programa implantado, Essa andlisé'é complementar & analise dos efeitos, no sentido de que ela permite, primeito, certificarse de que o programa foi bem implantado, mas também, em segundo lugar, oferecer informagies sobre as caracteristicas do programa realmente implantado, Patton (1997) enuimera cinco dimensées da avaliagio da implantagio: a avaliagio do esforgo; monitoramento; a avaliagaio dos componentes; a especificagio do tratamento e a analise dos processos. ‘A posigio de Chen (2005) é ainda diferente. Ele distingue varios tipos de anillise, segundo a etapa de implantacio da intervengiio (recente ou mais antiga). As estratégias sao modificadas para desempenhae diferentes papeis conforme a etapa de implantagio da intervene eas necessidades dos adminis- tradores, A teoria de programa ocupa um lugar preponderante nesse modelo. ee ee ae neta ilies nmin Nal Sieantiieeen niet ctainctistiniiin ‘hadioe i nplige« 21 Love (2004) ¢ o autor que, provavelmente, apresentou a definigho mais abrangence da avaliagio da implantagao. Segundo ele, existem dois tipos de avaliaglo: a andlise dos efeitos e a andlise da implantagto. O objetivo desta Ultima ¢ responder a quatro grandes categorias de perguntas ‘ iutweseucaears eae inca a ‘+ Segundo as outras experléncias ou programas, quals $80 6s trunfos do programa 25 dficuldades a serem evadas? Ba 2. Panglaientoe cancepcto do programa : + oma teria do programa foi conebida para ating os objetivo? 3 ‘+ Quals 80 0s elementos necessirios para tomar ateorlaeficaz? +0 contexto de implantacSo favorece a implementasdo do programa planejado? _ como? -spectos da concepgdo do programa deveriam ser modificdos Fase obterem os resultados esperados neste contexta especfico de impiantagdo? © 3. Operactonalizagso. * | +O programa tinge clenteoaia? pote eam ou delxam o prowrama? Porque? aaa conform previsdes? ih ‘+0 programa produz os efeitos esperados? % +0 programa coresponde aos padres de qualidade? ++ programa produ resuitads a curto prazo para os clientes? 4. Apertegoamente do programa #0 programa atinge os objetivas de implantag3o e soli aha | + O3clientesrecebem os beneficios esperados? +0 programa produz resultados no prevstos? ‘+ Eventos internos ou externos afetam 0 programa, seus funcionétis, seus clientes? 222 aassagio * Que stores deveriam se methorados? ‘+ Osmelos inplementados para melhoar 6 programa funciona? _* Quais soos obstculos 8 Implantagso? . + Quals stlo as diferencas entre os diversos lugares de impiantacdo?. forsas eas er Essas perguntas remetem a virios tipos de analise, como a anilise lsgica, 4 analise estratégica © a apreciagio normativa, que j4 foram apresentadas, Alguns autores, entre os quais Love (2004), defendem uma concepee muito ampla da anélise da implantagio, enquanto outros optaram por uma definigao mais especifica, A.avaliagao da implantagio comporta antes de tudo uma parte explicativa importante, visto que sett objetivo € compreender © desenrolar de uma in- tetvencio. A explicagao pode ser sincrdnica (Champagne & Denis, 1992) aut dindmica (Brousselle, 2004; Brousselle & Champagne, 2004). A explicagio sincrOnica tem, geralmente, como objeto a intervencio em um determinado momento (ot. em varios momentos) e como objetivo conhecer as varidveis ‘cuja influénein ¢ significativa para explicar ou um nivel de desenvolvimento: do projeto, ou as condigies de producto dos efeitos. A explicagio sineronica abre, necessariamente, janelas de analise em momentos precisos no tempo. Quanto a explicagtio dindmica, ela tem por objetivo especial a evolugio da intertengao, Dito de outra forma, ela procura compreencier o desenrolar dos acontecimentos que cercam a implantagio da intervencao ¢ identificar as variiveis significativas que marcam sta evolu Quando se Deve Realizar uma Anilise da Implantagao? ‘A andlise da implantagie aumenta o potencial de generalizagio (validade externa) das pesquisas avaliativas (Toratzsky & Johnson, 1982; Shortell, 1983; Patton, 1986), A validade externa de uma pesquisa se apoia em trés Principios. Em primeiro lugar, no prinefpio de similitude, ou na eapacidade de generalizar resultados para um universo empirico similar; em seguida, no prinefpio de robuster, segundo o qual » potencial de generalizagio de um Ads dapat «223 estudo aumenta se houver replicagii dos efeitos em contextos diversificados; «6 finalmente, no prineipio de explicagio, que ressalta os ganhos de validadle ‘externa que resultam de uma compreensio dos fatores de produgio ¢ de ini bigto dos efeitos (longamente elaborado por Cronbach, 1983). O prineipio de explicagto enfatiza os fundamentos tesricos da generalizagio (Campbell, 1986). Para aumentar a validade externa de uma avaliagio, é necessério, pots, explicitar os processos causais da intervengio (Mark, 1986, 1987) Epertinente eferuar uima andlise de implantagto em duas situagies, Primet- 10, quando os efeitos da introdugao de uma intervenio io no nulos e pouco robustos, iso &, sensiveis is variagies contextusis, Se, a0 contritio, os efeitos slo robustos ou constantes em diferentes meios, entio nio ha nedessidade de se fazer uma analise da implantagio, Segundo, quando. uma intervengio nova é implementada, a andlise cle implantagio permitir identificar melhor 1 dinamica de implantagio ¢ identificar os fatores explicativos criticos. Tipologia da Andlise da Implantagao ‘A Figura 2 decompde a anilise da implantagio em quatro tipos bem diseintos Figura 2 - Tipologia da anilise da implantagdo LunaTes 20 MooELo 0A ‘eamnacneta 2. muaiagoytransformagio da __C0-a¢80docontexto.na interveneae Seterminagie da forma do Irnervercto 2, Vaiagdes no integralidede da» ———exsicasso Intorvoncio Impacta Covaeto na produ 3. Voriagdescontentuais Gan aicne As anslises de tipos a e Ib visam a compreender as vatiagSes na forma da intervencao, A anélise de tipo 1a & de natureza processuals procura explicar 0 processo de transformagao da intervengao, identificar as relagbes causais que cocasionam a transformagio da forma, da naturesa ¢ da envergadura da inter ‘venga depois de sua implantagio em um dererminado contexto. A anilise de 224 Amen : tipo Ib visa a explicar a diferenga entre a intervengao tal como foi planejada € aquela realmente implantada. As anilises de tipos 2 e 3 visam, por sua vee, ‘vexplicar os efeitos observados apes a introducio de uma intervengio. Devese observar que essa tipologia ¢ essencialmente analitica, Dito de ‘outra forma, ela procura explicar ~e nao apenas descrever ~ as variagdes na implementagio ¢ nos efeitos, ao contriio da avaliagio do esforgo-e do mont toramento em Patton (1986), Tipo la: analise da transformagao da intervencio ‘Aaniilise da transformagio de uma interver a explicara maneita como, no decorter do tempo, a intervencio se adapta a set contexto, como ela muda de forma, de envergadura e por weres de natureza, A anilise des processos procura explica os sucessos, of fracassos ¢ as smudangas do programa. Em condigGes reais, em campo, individuios € circunstincias nao previstas moldam os programas e mexlificam os planos iniciais de um modo que raramente ¢ andding (..) A andlise dos provestos se intetessa niio apenas pelas atividacles formais e pelos resultados previstos, mas também pelas atividades informais e pelas consequéncias nio previstas, no conjunto do contexto de implantagke e desenvolvimento do programa, Finalmente, a anilise dos processos szetalmente leva em eonta percepgdes que as pessoas préximas do pro- arama tém de sua evolugd. Tanto aqueles que dele pasticipam como aqueles que 0 veer de fora podem expressar toda uma variedacle de ppontos de vista sobre o programs (... Essas informacdes sio frequente- ‘mente muito precisa, pois revelam como pessoas diferentes percebern € vivem os processos do programa. (Patton, 1997; 206) ME i etn pment Essa forma de avaliagiv baseia-se em uma concepsao dinamiea da inter: venglo. Em outros termos, considerase que a intervengio adota caracteres particulares, uma vee implantada, © que ela se transforma, no plano organi- zacional, em fungto das caracteristicas do contexto (Figura 3). Acontece até mesmo de essas mudangas velarem as distingSes entre as caracteristicas puta ‘mente contextuais de uma intervengio e sua definigao empirica, O eapitulo 3, sobre'a modelizagio, demonstra que & preciso, em primeiro lugar, definir uma intervenio antes de poder analistta, e que uma mesma intervencto pode ser interpretada e representada diferentemente seyundo a etapa em ue se encontra (concepgdo, implantaglo ou rotinisagao). Ora, se a intervengio se constrai lentamente e de modo adaprativo, a partir de que momento por Ai dtp 225, demos considerar que ela esti implantada e operacional? Por outro lado, nfo devemos esquecer que 0 contexto cle implantigio & 0 lugar de eneonteo dle interesses e de jogos politicos de diferentes atores (Crosier & Friedberg, 1977), ‘mesmo que, idealmente, a implantagio devesse ser um exercicio racional ¢ planejaco, Uma vez implantada, uma intervengio se torna, pois, muito ligada ‘seu contexto, como um tipo de produto tinico que nao faz mais do que se inspirar em um modelo uniforme. Figura 3 - Anilise da transformagio repo © contexto no apenas modifica uma intervengio como tambem con: tribui diretamente para o processo de implantagio (barreiras& implancagio ou fatores facilitadores). A fronteira entre uma intervengdo ¢ seu contexto &, por vezes, extremamente ténne, Por exemplo, quando uma mudanga acontece gragas a presenca de uum lider Carismatico, devemos considerar que ‘ste € parte integrante da intervengio, ot que antes uma variivel contex: tual, visto que constitu um componente maior da mudanga (Champagne, 2002)? A undlise de tipo Ia visa a compreender como o contexto de uma intervengao a molda ‘Tipo Ib: analise dos determinantes contextuais do grau de implementacao da intervencio Esse tipo de aniilise ajuda a compreender as variagdes observadas no graus de implementagao de uma intervengio ou no nivel de integralidade de sua implantagio (Yeaton & Seachrest, 1985; Rossi, 1978). Diversos autores (Hall & Loucks, 1977; Leithwood & Montgomery, 1980} Yin, 1981b; Scheirer & Rezmovic, 1983; Rezmovic, 1984; Scheirer, 1987) fornecem ama lista das etapas necessirias para se obter uma medida adequada do grau de implementagio deuma intervengio Por exemplo, seguro Leithwood e Montgomery (1980), as etapas necessirias sio as seguintes: Avauaglo uma descriplo.a priori dos componentes da intervenglo, isto €,a teortado Programa (Scheirer, 1987); tum conhecimento das priticas necesirias implementa da intervengog tna descrigio das préticas hableuais nas Areas teoricamente atingidas pela intervengio; uma andlise da variagdo na implementagio, e iso-em fungi das carnere Fisticas contextuais, © arau de implementacio de uma intervengdo representa aia variével

    Você também pode gostar