SILVA e SILVA, M.O. de. Avaliao de Polticas e Programas Sociais: aspectos conceituais e metodolgicos.

In: Avaliao de Polticas e Programas Sociais: teoria e prtica. SILVA e SILVA. So Paulo: Veras Editora, 2001. P. 37- 93. INTRODUO O texto aborda os aspectos conceituais e metodolgicos de avaliao de polticas e programas sociais, situando-a no mbito da pesquisa avaliativa. (...) momento do processo de formao e implementao das polticas pblicas de corte social. [37] Para iniciar a discusso a autora apresenta no que consiste as polticas pblicas, todo o seu processo de desenvolvimento, os sujeitos envolvidos nesse processo, bem como, as diferentes concepes dos referidos sujeitos e no que estas implicam no decorrer do referido processo. Toda poltica pblica uma forma de regulao ou interveno na sociedade. Articula diferentes sujeitos, que apresentam interesses e expectativas diversa. Constitui um conjunto de aes ou omisses do Estado decorrente de decises, constituda por jogo de interesses, tendo como limites e condicionamentos os processos econmicos, polticos e sociais. [37] ...toda poltica pblica um mecanismo de mudana social, orientada para promover o bem-estar de segmentos sociais, principalmente os mais destitudos, devendo ser um mecanismo de distribuio de renda e equidade social. Vista como mecanismo que contm contradies, contrape-se percepo da poltica pblica ou de uma interveno estatal subordinada to somente lgica da

acumulao capitalista. [38]

SILVA e SILA afirma que o processo das polticas pblicas se constitui um conjunto de momentos classificados como: no lineares, articulados e interdependentes que tem na implementao a configurao dos objetivos,metas e resultados que se pretende alcanar. As polticas so transformadas em programas quando as condies iniciais so criadas, mas sua materializao s ocorre com a implementao, constituindo-se a fase mais abrangente e talvez mais complexa do processo das polticas pblicas, de modo que as dificuldades conceituais e empricas impedem uma definio e distino da implantao da prpria poltica. [39] ...a implementao concebida como continuao da poltica, de modo que o sucesso ou fracasso de um condiciona o outro. [40] O que a poltica faz modelar a implementao, definindo a arena na qual o processo ocorre, a identidade e o papel dos principais sujeitos, o alcance de possveis instrumentos desenhados para a ao, bem como os critrios para alocao de recursos. [40] ... a implementao parte da poltica, de modo que a teoria da poltica formulada tendo em vista sua execuo e, como tal, ir sempre desenvolver e reformular a poltica, o que tambm coloca a implementao como avaliao (MOJANE & WILDAVISKY, 1984). [40] Assim, o processo das polticas pblicas assumido, nos seus diferentes momentos, por uma diversidade de sujeitos que entram, saem ou permanecem no processo sendo estes orientados por

diferentes nacionalidades e movidos por diferentes interesses, fazendo do desenvolvimento das polticas pblicas um processo contraditrio e no linear. [40-41]

AVALIAO DE POLTICAS E PROGRAMAS SOCIAIS ENQUANTO MOMENTO DO PROCESSO DAS POLTICAS PBLICAS HISTRICO, CONCEPES E ESPECIFICIDADES Avaliao de polticas e programas sociais um campo de estudo da pesquisa social em desenvolvimento, verificando-se sua expanso a partir dos anos 60 nos Estados Unidos, no mbito dos programas de combate a pobreza. [44] Nesse ponto do texto, a autora evidencia o longo caminho percorrido atravs de quatro geraes no que diz respeito expanso da avaliao de polticas e programas sociais nos Estados Unidos, ligados inicialmente, a um modelo comportamental e neutralista; o seu declnio nos anos 80 e a sua retomada na dcada de 90 at chegar em como se deu sua expanso no Brasil. ... retomado o interesse pela pesquisa avaliativa, agora a partir de abordagens compreensivas que se prope a articular o mtodo quantitativo com o qualitativo, merecendo grande ateno as variveis contextuais desconsideradas pelos modelos comportamental, neutralista, quantitativista... [45-46] No Brasil, a expanso das avaliaes de polticas e programas sociais registrada a partir dos nos 80, quando os movimentos sociais passam a demandar polticas sociais universalizadas, como um direito a cidadania. [46]

Todavia, no Brasil, a prtica da avaliao de polticas e programas sociais ainda muito restrita e desenvolvida mais como um mero controle de gastos do que para realimentar os programas em desenvolvimento, servindo muitas vezes para punir e desenvolver uma cultura do medo. [46] Considerada numa perspectiva de cidadania, a avaliao pode se constituir em instrumento eficaz para controle social das polticas sociais. [47] ... um possvel instrumento que pode ser utilizado por segmentos sociais organizados para fortalecimento da presso social sobre o estado no sentido de conquista de direitos sociais. Haja vista as informaes de que a avaliao pode gerar e publicar sobre polticas e programas sociais. [47-48] ... etimologicamente, o termo avaliao significa valor, esforo de apreciar efeitos reais, determinando o que bom ou ruim. Trata-se, necessariamente, de um julgamento valorativo, portanto, no um ato neutro nem exterior s relaes de poder, mas um ato eminentemente poltico que integra o contexto de um programa pblico, exigindo postura de objetividade e de independncia, sendo, por natureza interdisciplinar. [48] No campo profissional, as avaliaes so deliberadas, sistemticas e complexas, orientando-se pelo mtodo cientfico e apresentando um carter pblico. Incluem, necessariamente, uma dimenso que tcnico-metodolgica; e outra, que poltica; ambas, tambm necessariamente, articuladas. Trata-se da pesquisa avaliativa, de carter aplicado, que se utiliza de mtodos e tcnicas da pesquisa social. [48]

Avaliao ento entendida como 'uma forma de pesquisa social aplicada, sistemtica, planejada e dirigida; destinada a identificar, obter e proporcionar de maneira vlida e confivel dados e informaes suficientes e relevante para apoiar um programa (tanto na fase de diagnstico, programao ou execuo), ou de um conjunto de atividades especficas que se realizam, foram realizadas ou se realizaro, com propsito de produzir efeitos e resultados concretos; comprovando a extenso e o grau em que se deram essas conquistas, de forma tal que sirva de base ou de guia para uma tomada de decises nacional e inteligente entre cursos de ao ou para solucionar problemas e promover o conhecimento. (AGUILAR E ANDER- EGG, 1994, p. 31) [49]

No presente texto somos inseridos no universo da pesquisa avaliativa, percebendo de forma clara a diferenciao entre os sentidos da avaliao e sua configurao na dimenso profissional. Observa-se ainda todo um esforo em aprofundar esse estudo quando a autora aborda sobre a identidade da avaliao sistemtica. Recusa-se aqui a avaliao como mero propsito de controle, de fiscalizao de amedrontamento e destaca-se o compromisso com valores ticos e com a no neutralidade, o que reafirma a perspectiva de mudana da poltica, com alterao imediata dos programas sociais na direo desejada, tendo como referncia as demandas sociais. [51-52] Quando se trata do questionamento Como Avaliar? SILVA e SILVA refere-se ao tipo de avaliao e mtodo informando da grande variedade dos tipos de avaliao, bem como seus princpios, condicionando a seleo do tipo de avaliao e do mtodo ao objeto e

aos objetivos da avaliao, vinculando a avaliao de polticas e programas sociais pesquisa avaliativa. Nesse esforo de explicar as especificidades e concepes da pesquisa avaliativa, esta considerada como ato tcnico e poltico, instituda por procedimentos capazes de captar o projeto de sociedade de referncia da poltica e programa avaliado, moldado nas correlaes referenciada de foras que expressam as demandas sociais, e por objetivos, finalidades, compromissos

desdobramentos num 'movimento que transcende s concluses e se materializa nas suas aplicaes'. (PRESTES, 1999. p. 45) [52-53] Tem por base uma metodologia que no se reduz a procedimentos, mas envolve concepo terica da prpria avaliao e de seu objeto, e como pressuposto o entendimento de que mtodo no se separa dos procedimentos... (SAUL, 19999) [53]

TIPOS DE AVALIAO ... a avaliao apresenta uma variada tipologia, conforme os critrios que se seguem. [54] Neste momento, a autora cita tericos de referncia e aponta os tipos de avaliao em funo do momento de realizao dos objetivos, conforme critrio de tempo, em funo de quem realiza a avaliao, a procedncia dos avaliadores, da escala ou dimenso dos programas, em funo dos destinatrios, do contedo ou objeto da avaliao e conforme seu mrito, razes ou justificativas da prpria avaliao. ASPECTOS METODOLGICOS

No que se refere produo do conhecimento social, a autora v a necessidade inicial de conceituar uma linha metodolgica a ser seguida ao se tratar de avaliao de polticas e programas sociais, para que aps, possa-se percorrer o caminho a ser construdo nesse processo. Trata-se da concepo de metodologia, no entendida como um conjunto de procedimentos e tcnicos, mas constituindo, um corpo terico de explicao da prpria avaliao e de seu objeto; da compreenso de mtodos como todo raciocnio empregado para aceitar ou rechaar um fato como verdadeiro e tcnica concebida como instrumento utilizado para coletar dados ou para analis-los. [64] 1. Processo e sujeitos sociais ... considerada enquanto um processo cientfico de produo de conhecimento para realimentar as polticas e programas sociais, a avaliao tem seu prprio processo, e como tal, um processo constante e contnuo, expresso por diversas operaes, mas que so interrelacionadas, interdependentes e, s vezes, concomitantes. [6465] Atividades preliminares ou preparatrias avaliao que consistem em definir aspectos essenciais a permitir a continuidade do processo, destacando-se a negociao entre as partes que encomendam e a equipe que desenvolver a avaliao, representando um esforo de compatibilizao e interesses e competncias. [65] Elaborao do plano da pesquisa de avaliao que se refere definio prvia dos passos para orientar o estudo avaliativo, envolvendo: () definio de um marco terico de referncia,

(...)definio do universo do programa a ser considerado na avaliao, () delimitao do objeto da avaliao, () definio de objetivos e metas, () seleo da estratgia metodolgica para desenvolvimento da avaliao, () definio da amostragem, () definio do plano de anlise das informaes levantadas no estudo, () determinao das formas e dos passos a serem seguidos no processamento das informaes... [66-67] Implementao da avaliao ou trabalho de campo () momento muito peculiar a cada experincia, dependendo, por exemplo, do porte do programa, do tamanho da equipe e da dimenso do estudo avaliativo que se pretende desenvolver. [67-68] Processamento, anlise e sntese dos dados e informaes. Trata-se do momento de elaborao de dados e informaes, que so ordenadas, classificadas e agrupados, tendo como referncia o objeto e os objetivos da avaliao. () processar e sistematizar os dados e informaes para permitir analis-los e elaborar concluses. [68] Elaborao e discusso do relatrio. O relatrio de um estudo avaliativo deve conter a sntese dos resultados da avaliao, concluses e recomendaes elaboradas pela equipe tcnica da avaliao... [69] Aplicao dos resultados da avaliao aquidestacada como ponto central da avaliao considerando o carter de investigao social aplicada... [70] 2. Mtodos, modelos e tcnicas A avaliao de polticas e programas sociais se utiliza dos mtodos e tcnicas prprios da pesquisa social () consideram-se essencial, ()

trs aspectos bsicos: a) identificao de problemas e controvrsias apontadas nesse campo de conhecimento; b) os modelos utilizados na avaliao das polticas; c) programas sociais, os mtodos e as tcnicas usuais. [72] Com relao aos problemas e controvrsias, a autora aponta algumas questes metodolgicas com base nos autores CHAMBERS, WEDEL, RODWELL (1992), os quais confrontam os paradigmas quantitativo x qualitativo evidenciando as caractersticas de cada um e que a aproximao de ambos devem se submeter a alguns critrios cientficos, dando a idia de dicotomia entre um paradigma e outro. Contudo, SILVA e SILVA, busca o entendimento de que as duas abordagens podem caminhar juntas na avaliao, desde que cuidadosamente. ... o que deve haver na pesquisa social e, em particular na pesquisa avaliativa, uma articulao da dimenso quantitativa com a dimenso qualitativa na perspectiva de que a realidade social tambm se expressa por quantidades, devendo seus significados serem interpretados numa perspectiva qualitativa. [74-75] Mesmo considerada a possibilidade de uso articulado da

metodologia quantitativa com a qualitativa, alguns fenmenos sociais devem ser analisados e interpretados com o uso de informaes de natureza de fato qualitativa. [76] Ainda com relao aos problemas e controvrsias, so colocadas questes referentes implementao do prprio programa e questes diretamente relacionadas avaliao. Um aspecto central que se coloca na implementao a relao entre causalidades e intervenes, na medida em que os programas

sociais enfatizam variveis causais abertas a manipulao, fazendo com que as variveis consideradas causais apresentem poder relativo de produzir diferena (mudanas). [76] problemas e controvrsias diretamente relacionados com a avaliao () a posio subalterna ocupada pela pesquisa avaliativa, devido a forma tambm subordinada como se constitui a poltica social no Brasil em relao poltica econmica; a consequncia falta de legitimidade da avaliao; o no envolvimento na avaliao de todos os sujeitos na avaliao; a resistncia natural avaliao no sistema de gesto de polticas pblicas... [77] No texto, fala-se do mtodo e modelos na avaliao de polticas e programas sociais atravs da superao do mtodo quantitativo. ... se vem firmando o reconhecimento de que a metodologia de avaliao deve ser aberta, visto que um nico mtodo considerado insuficiente para dar conta da complexidades da realidade social. [77] ... so apontados os modelos de avaliao mais recorrentes na literatura. Trata-se de monitoramento; da avaliao poltica da poltica; da avaliao de processos e da avaliao de resultados/ impactos. [78-79] O monitoramento, embora se relacione com a avaliao uma atividade gerencial que visa o controle de entrega de insumos de acordo com as metas e manuteno de calendrio de trabalho. [79] A avaliao poltica da poltica volta-se para emitir julgamento em relao poltica ou programao em si; implicando em atribuir valor aos resultados alcanados, ao aparato institucional onde o programa

implementado

aos

atos

ou

mecanismos

utilizados

para

modificao da realidade social sob interveno. Para tal, requer definio de critrios e envolve princpios polticos fundamentais sobre concepo referente ao bem-estar humano, destacando os princpios de igualdade e democracia e a concepo de cidadania (FIGUEIREDO & FIGUEIREDO, 1986) [80] A avaliao de processos o modelo de avaliao de polticas e programas sociais que se volta, sobretudo, para aferir a eficcia do programa. () se preocupa, especificamente, em identificar a relao entre metas atingidas x metas propostas, e com a adequao entre meios utilizados na implementao e os objetivos originais. [82] Tratando especificamente da avaliao de impactos, tem-se como foco central as mudanas quantitativas e qualitativas decorrentes de determinadas aes governamentais (poltica/ programa) sobre as condies de vida de uma populao, tendo portanto, como critrio a efetividade. [85] os modelos de avaliao de processo e de impactos podem, na prtica da pesquisa avaliativa, ser utilizados de modo articulado, gerando o que a literatura denomina de avaliao compreensiva que combina anlise de processo e de impactos em decorrncia da implementao de um determinado programa. Estabelece ainda relaes de processo e dos impactos com os objetivos previamente definidos, procurando tambm identificar as causas que interferiram na implementao, buscando compreender a conexo entre insumos e mudanas. Isto , est acontecendo o qu e por qu. Objetiva entender os efeitos efetivos produtivos pela implantao de um programa, mas que avaliar a relao metas propostas e metas alcanadas. (BROWNE e WILDAVISKY, 1993) [88]

Ao se referir aos mtodos e tcnicas usuais na avaliao de polticas e programas sociais a autora preocupa-se em remeter-se literatura especfica sobre a pesquisa social com base nos modelos citados acima. ... o produto da avaliao no um julgamento dos resultados de um programa, mas a indicao de elementos para a formulao de novas intervenes. () A utilizao desses modelos exige a superao de posturas metodolgicas rgidas, centradas num nico mtodo ou numa nica tcnica. [89] Ademais, h que se considerar que os instrumentos e as tcnicas usuais na avaliao de polticas e programas sociais no so, em si, neutros, posturas por serem referenciados definidas teoricamente, dos determinando orientando, metodolgicas avaliadores,

portanto a intencionalidade que move a prtica da avaliao. [89-90]