Você está na página 1de 15

Monitoramento e Avaliação em Serviço Social

Autoria: Paulo Sergio Matoso

Tema 04
Questões Metodológicas no Processo de Implementação da Avaliação e
Impactos em Programas Sociais
Tema 04
Questões Metodológicas no Processo de Implementação da Avaliação e Impactos em Programas Sociais
Autoria: Paulo Sergio Matoso
Como citar esse documento:
MATOSO, Paulo Sergio. Monitoramento e Avaliação em Serviço Social: Questões Metodológicas no Processo de Implementação da Avaliação e
Impactos em Programas Sociais. Caderno de Atividades. Anhanguera Publicações: Valinhos, 2014.

Índice

CONVITEÀLEITURA PORDENTRODOTEMA
Pág. 3 Pág. 4

ACOMPANHENAWEB
Pág. 6 Pág. 8

Pág. 11 Pág. 12

Pág. 12 Pág. 13

© 2014 Anhanguera Educacional. Proibida a reprodução final ou parcial por qualquer meio de impressão, em forma idêntica, resumida ou modificada em língua
portuguesa ou qualquer outro idioma.
CONVITEÀLEITURA
Este Caderno de Atividades foi elaborado com base no livro Avaliação de Políticas Sociais: uma questão em debate,
da autora Elizabeth Melo Rico (org.), Editora Cortez, 2009.

Conteúdo

Nesta aula, você estudará:

• As questões metodológicas no processo de implementação da avaliação e os impactos em programas sociais.

• Sobre o que é o processo de implementação e suas variações existentes.

• As reflexões em relação à avaliação de processos e de impactos em programas sociais.

Habilidades

Ao final, você deverá ser capaz de responder as seguintes questões:

• Quais são as questões metodológicas no processo de implementação da avaliação e os impactos em programas


sociais?

• O que é o processo de implementação de programas sociais?

• Quais as variações existentes no processo de implementação de programas sociais?

• Quais são as reflexões em relação à avaliação de processos em programas sociais?

• Quais as reflexões em relação à avaliação de impactos em programas sociais?

3
PORDENTRODOTEMA
Questões Metodológicas no Processo de Implementação da Avaliação e Impactos em Pro-
gramas Sociais
No tema anterior você aprendeu sobre as preocupações dos últimos 50 anos em relação ao sistema educacional,
além de perceber os desafios colocados para a construção do Sistema Nacional de Avaliação da Educação Básica,
o SAEB e sobre suas bases. Aprendeu também que os princípios e diretrizes do SAEB correspondem aos próprios
desafios do sistema, que são: visibilidade social, responsabilidade compartilhada, legitimidade, continuidade, qualidade,
equidade e eficiência.

Neste tema você vai estudar, com base no Livro-Texto, as questões metodológicas no processo de implementação da
avaliação e impactos em programas sociais. Neste estudo há dois novos conceitos: avaliação de impacto e avaliação
de processo. De acordo com Perez (2009, p. 65) avaliação de impacto “diz respeito aos efeitos do programa sobre a
população alvo”, e avaliação processual “representa chances à monitoração dos processos responsáveis pela produção
do efeito esperado”.

O desenvolvimento dessas pesquisas de avaliação tem início na década de 1950 nos EUA, mas sua expansão se deu
apenas na década de 1960. Esse desenvolvimento trouxe dois elementos para o estudo: o entendimento sobre o que é o
processo de implementação e suas variações existentes por meio, segundo Perez (2009, p. 67), “do tempo, das políticas
e das unidades de governo”.

Inicialmente a ideia de implementação era pautada, como diz o autor, no “cumpra-se”, depois foi incorporada à dimensão
temporal. O estudo vai mostrar como há variação dependendo do tipo da política, de seus formatos, e vai apontar ainda
se a tomada de decisão está com apenas uma autoridade ou não. Segundo Perez (2009), nos EUA foi feito por um grupo
de especialistas um estudo sobre as características básicas de implementações por um longo período e o resultado foi
o seguinte: de 1970 a 1975, as pesquisas de avaliação eram realizadas para identificar os obstáculos à implementação;
de 1975 a 1980, o foco eram os atores envolvidos e o processo de descentralização; de 1980 a 1985, foi dado enfoque
crítico aos trabalhos, revelando novas possibilidades.

Em relação à metodologia foram dados dois enfoques: um da área da fenomenologia e o outro da positivista. A
fenomenologia contribuiu com as questões mais relativas, e o positivismo trouxe para a pesquisa as questões mais
objetivas.

4
PORDENTRODOTEMA
Mesmo diante de tantos estudos e aprofundamentos, segundo o autor, na pesquisa referida foram percebidos muitos
problemas: pluralismo teórico, pesquisas muito restritas e ausência de conhecimento acumulado. No Brasil, o processo
ainda é inicial e a metodologia utilizada é complexa do ponto de vista analítico e metodológico (PEREZ, 2009).

Em relação à avaliação de processos e impactos em programas sociais, Lobo (2009) pondera sobre algumas questões
metodológicas e ressalta a importância do acesso garantido à informação, numa relação entre acompanhamento e
avaliação, possibilitando estratégias que condizem com os objetivos.

Outra questão relevante está relacionada às diferentes metodologias que tratam do impacto e dos processos no
desenvolvimento de programas. Os impactos percebidos são aqueles oriundos de uma intervenção do governo sobre
o programa, pois determinadas ações são realizadas em um longo espaço de tempo, e o processo de intervenção
governamental é realizado em curto prazo (LOBO, 2009).

Esses complicadores numa avaliação de impacto podem ser percebidos, segundo Lobo (2009, p. 80), como a “capacidade
explicativa de um único tipo de intervenção”, e, no caso de processos, “a avaliação se estrutura de forma que privilegie
análises qualitativas”. Nesse contexto, definir os atores é de suma importância, pois estes são os interessados nos
programas sociais.

Outra questão que deve ser levada em conta são as variações em situação pontuais, de determinado programa, ou
seja, as questões relacionadas à territorialidade, à localização, à institucionalidade, às questões políticas do ambiente,
aos resultados e aos processos. Ou seja, toda metodologia de avaliação tem que ter abertura para as mais variadas
participações. De acordo com Lobo (2009, p. 82), “desenvolver estratégias que visualizem exclusivamente um só
desenho ou uma só técnica de coleta de informações” é uma atitude extremamente desacreditada do ponto de vista de
sua eficácia. É necessária a interação entre elementos qualitativos e quantitativos nas propostas apresentadas.

Outro problema comum enfrentado são as generalizações que ocorrem na maioria das vezes por avaliações fragmentadas,
que não contribuem para a garantia das informações levantadas. Isso não tem nenhuma relação com as avaliações
nacionais, nas quais há o compromisso com um mínimo de informações. Mas há que se observar também que é
necessário um mínimo de informações localizadas no sentido de aprofundar e qualificar a avaliação dos programas
sociais. Há aqui um compromisso de mensuração dos problemas de ordem institucional que vão, de certa forma, afetar a
implementação de determinados programas. Segundo Lobo (2009, p. 82) isso é uma questão de extrema importância, já
que “a descontinuidade político-administrativa, traço histórico característico da nossa administração pública, é um deles”.
E o desafio é de que forma garantir uma avaliação de programa social que não esteja “contaminada” com impressões
pessoais sobre o gestor antecessor? Numa transição, o que fez com que houvesse manipulação nos resultados avaliados
de determinado programa social? Essas questões precisam ser consideradas do ponto de vista metodológico.

5
PORDENTRODOTEMA
Outro fator institucional pode ser percebido em relação ao “acentuado descaso com a capacidade institucional de agentes
executores” (LOBO, 2009, p. 82). Ou seja, há a informação de que os executores regionais e locais não estão preparados
para executar determinada ação, mas o que ocorre é que a legislação é rígida demais, e isso deve ser considerado pelas
análises uma vez que poderá afetar os resultados.

Segundo a autora, outro fator que pode causar perdas profundas na qualidade da avalição é o “atraso, ou mesmo a
inexistência de um monitoramento desenhado e implementado desde o início do programa”. E por fim. Lobo (2009)
salienta que algo que afeta a avaliação e os resultados de um programa é o “perfeccionismo”, inviabilizando e tornando
o processo indesejável.

ACOMPANHENAWEB
Avaliação de políticas públicas: uma revisão teórica de um campo em
construção

• Leia o artigo Avaliação de políticas públicas: uma revisão teórica de um campo em construção,
de Andrei Pittol Trevisan e Hans Michael van Vellen. Esse artigo realiza um resgate teórico da
literatura sobre a área de políticas públicas, especificamente sobre avaliação.
Disponível em: <http://portal.mte.gov.br/data/files/8A7C812D3ADC4216013AFAFEB2752C3D/aval-
ia%C3%A7%C3%A3odepol%C3%ADticasp%C3%BAblicas.pdf>. Acesso em: 24 jun. 2014.

6
ACOMPANHENAWEB
Avaliação Política e avaliação de políticas: um quadro de referência teórica

• Leia o artigo Avaliação Política e avaliação de políticas: um quadro de referência teórica,


de Marcus Faria Figueiredo e Argelina Maria Cheibub Figueiredo. Esse artigo ampliará seus
conhecimentos sobre a revisão sistemática de bibliografia especializada e recente sobre
avaliação de políticas públicas e dos estudos de avaliação de políticas sociais no Brasil.
Disponível em: <https://www.google.com.br/url?sa=t&rct=j&q=&esrc=s&source=web&cd=3&ved=0CEo-
QFjAC&url=http%3A%2F%2Fwww.fjp.mg.gov.br%2Frevista%2Fanaliseeconjuntura%2Finclude%2Fgetdoc.
php%3Fid%3D151%26arti&ei=6k_wUerNLono8QTTmoC4DQ&usg=AFQjCNFKW8fvS_Gf0kienR1pP1_
McAUyMQ&sig2=nIBA4Tjb67J_Qr9q8u4hIw>. Acesso em: 24 jun. 2014.

Assista ao vídeo “Metodologia de avaliação de impactos de projetos de C, T & I”

• O vídeo foi produzido pela FINEP e traz o debate realizado no dia 18 de abril de 2012, com
Sérgio Salles, Professor Titular do Departamento de Política Científica e Tecnológica do Instituto
de Geociências da Unicamp, Coordenador de Avaliação de Programas da FAPESP e Diretor da
Faculdade de Ciências Aplicadas da Unicamp.

• No debate, são apresentados os desafios metodológicos para os processos de avaliação de


impactos de projetos de C, T & I.
Disponível em: <http://www.youtube.com/watch?v=m2VhGQ33BFo> . Acesso em: 24 jun. 2014.

Tempo: 01:22:03

7
AGORAÉASUAVEZ
Instruções:
Agora, chegou a sua vez de exercitar seu aprendizado. A seguir, você encontrará algumas questões de múltipla
escolha e dissertativas. Leia cuidadosamente os enunciados e atente-se para o que está sendo pedido.
Questão 1

Com base no conhecimento prévio sobre o conteúdo abordado e principalmente os materiais disponibilizados para a disciplina
(Livro-Texto, sites, vídeos etc.), considerando também as experiências que você já presenciou a respeito do assunto, conceitue
processo de implementação.

Questão 2

No estudo da avaliação do processo de implementação, quando se fala de efeitos do programa sobre a população alvo, concei-
tua-se que tipo de avaliação?

a) Avaliação de impacto.

b) Avaliação de processo.

c) Avaliação central.

d) Avaliação de conclusão.

e) Avaliação de decisão.

8
AGORAÉASUAVEZ
Questão 3
Segundo Perez (2009), nos EUA, um estudo sobre as características básicas de implementações por um longo período foi feito
por um grupo de especialistas um. Sobre o assunto, indique a seguir as alternativas corretas:

a) ( ) De 1970 a 1975, as pesquisas de avaliação eram realizadas para identificar os obstáculos à implementação.

b) ( ) De 1975 a 1980, o foco eram os atores envolvidos e o processo de descentralização.

c) ( ) De 1980 a 1985, foi dado enfoque crítico aos trabalhos, revelando novas possibilidades.

d) ( ) No último enfoque abordou-se a metodologia aplicada.

e) ( ) Todas as alternativas anteriores estão corretas.

Questão 4

Em relação à avaliação de processos e impactos em programas sociais, dentre outras questões, é correto afirmar que:

a) ( ) é importante que se garanta o acesso à informação numa relação entre acompanhamento e avaliação, possibilitando
estratégias que condizem com os objetivos.

b) ( ) em relação a avaliação de processos e impactos em programas sociais, definir os atores não é de suma importância,
pois estes não estão interessados nos programas sociais.

c) ( ) devem ser levadas em conta as variações em situação pontuais, de determinado programa, ou seja, as questões
relacionadas à territorialidade, à localização, à institucionalidade, às questões políticas do ambiente, aos resultados e aos
processos.

d) ( ) não é necessária a interação entre elementos qualitativos e quantitativos nas propostas apresentadas.

e) ( ) Não se deve considerar importante a ocorrência de variações em situações pontuais, o que possibilitaria estratégias que
condizem com os objetivos.

9
AGORAÉASUAVEZ
Questão 5

“Outro fator _______________________________ pode ser percebido em relação ao ______________________ desca-


so com a capacidade institucional de ______________________________, ou seja, há a informação de que os executores
______________________ e _____________________ não estão preparados para executar determinada ____________, mas o
que ocorre é que a legislação é _______________________ demais, e isso deve ser considerado pelas análises uma vez que po-
derá afetar os resultados.”

Escolha a seguir a alternativa que apresente a sequência de palavras/expressões que completam corretamente as lacunas do pa-
rágrafo anterior.

a) Regionais, locais, rígida, ação, institucional, agentes executores, acentuado.

b) Regionais, locais, ação, rígida, institucional, acentuado, agentes executores.

c) Acentuado, institucional, agentes executores, regionais, locais, ação, rígida.

d) Institucional, acentuado, agentes executores, regionais, locais, ação, rígida.

e) Institucional, agentes executores, acentuado, regionais, locais, ação, rígida.

Questão 6

O que representa a avaliação processual no estudo da avaliação do processo de implementação?

Questão 7

Sobre o estudo dos processos de implementação, quais elementos surgiram para o debate no desenvolvimento das pesquisas
de avaliação, nos anos 1950 e 1960, realizadas pelos EUA?

Questão 8

No estudo feito pelos EUA sobre as características básicas de implementações, em relação à metodologia, quais foram as con-
cepções de escolas de estudo utilizadas no período de 1970 a 1985? Qual a contribuição dessas escolas para o estudo?

10
AGORAÉASUAVEZ
Questão 9

De acordo com Lobo (2009), qual fator pode causar perdas profundas na qualidade da avaliação de programas sociais?

Questão 10

Como é conhecido por Lobo (2009) aquilo que afeta a avaliação e os resultados de um programa?

FINALIZANDO
Neste tema, você aprendeu sobre as questões metodológicas no processo de implementação da avaliação e
os impactos em programas sociais, além de conhecer o conceito do processo de implementação e suas variações
existentes. Para finalizar, você compreendeu as diversas reflexões em relação à avaliação de processos e de impactos
em programas sociais.

11
REFERÊNCIAS
LOBO, Thereza. Avaliação de Processos e Impactos em Programas Sociais: algumas questões para reflexão. In: RICO, Elizabeth
M. (org.). Avaliação de Políticas Sociais: uma questão em debate. 6ª ed. Instituto de Estudos Especiais, São Paulo: Cortez, 2009,
p. 75-84.

PEREZ, José R. R. Avaliação do Processo de Implementação: algumas questões metodológicas, In: RICO, Elizabeth M. (org.).
Avaliação de Políticas Sociais: uma questão em debate. 6ª ed. Instituto de Estudos Especiais, São Paulo: Cortez, 2009, p. 65-74.

RICO, Elizabeth M. (org.). Avaliação de Políticas Sociais: uma questão em debate. 6ª ed. Instituto de Estudos Especiais, São
Paulo: Cortez, 2009.

GLOSSÁRIO
Condiz: no sentido de estar em harmonia.

Crítico: no sentido de estabelecer juízo de valor.

Efeitos: no sentido de resultado de uma ação, consequência.

Incorporado: no sentido de parte, integrado.

Interação: no sentido de ações mútuas entre coisas ou seres.

12
GABARITO
Questão 1

Resposta: De acordo com o autor, implementação diz respeito a todo o processo iniciado com a política, a seus impactos
ou a uma serie de decisões e ações postas pela autoridade gestora da política. Há ainda aqueles que dizem que para
esse processo existem duas fases: formação da política e formulação da política; e outros que delimitam o início da
implementação quando a política é transformada em programas.

Questão 2

Resposta: Alternativa A.

Questão 3

Resposta: Alternativas A, B e C.

Questão 4

Resposta: Alternativas A e C.

Questão 5

Resposta: Alternativa D.

Questão 6

Resposta: A avaliação processual representa chances à monitoração dos processos responsáveis pela produção do
efeito esperado.

Questão 7

Resposta: Esse desenvolvimento trouxe dois elementos para o estudo: o entendimento sobre o que é o processo de
implementação e as variações existentes através do tempo, das políticas e das unidades de governo.

13
Questão 8

Resposta: Em relação à metodologia, foram dados dois enfoques: um da área da fenomenologia e outro da área
positivista. A fenomenologia contribuiu com as questões mais relativas e o positivismo trouxe para a pesquisa as questões
mais objetivas.

Questão 9

Resposta: O atraso e também a inexistência de um monitoramento desenhado e implementado desde o início do


programa podem causar perdas profundas na qualidade da avalição de programas sociais.

Questão 10

Resposta: Trata-se do “perfeccionismo” buscado, mas raramente alcançado, dos protagonistas de tarefas desta natureza.

14

Você também pode gostar