Você está na página 1de 15

Monitoramento e Avaliao em Servio Social

Autoria: Paulo Sergio Matoso

Tema 02
Conceitos e Mtodos Numa Avaliao de Programas Sociais
Tema 02
Conceitos e Mtodos Numa Avaliao de Programas Sociais
Autoria: Paulo Sergio Matoso
Como citar esse documento:
MATOSO, Paulo Sergio. Monitoramento e Avaliao em Servio Social: Conceitos e Mtodos Numa Avaliao de Programas Sociais. Caderno de
Atividades. Anhanguera Publicaes: Valinhos, 2014.

ndice

CONVITELEITURA PORDENTRODOTEMA
Pg. 3 Pg. 4

ACOMPANHENAWEB
Pg. 7 Pg. 8

Pg. 11 Pg. 11

Pg. 12 Pg. 12

2014 Anhanguera Educacional. Proibida a reproduo final ou parcial por qualquer meio de impresso, em forma idntica, resumida ou modificada em lngua
portuguesa ou qualquer outro idioma.
CONVITELEITURA
Este Caderno de Atividades foi elaborado com base no livro Avaliao de Polticas Sociais: uma questo em debate,
da autora Elizabeth Melo Rico (org.), Editora Cortez, 2009.

Contedo

Nesta aula, voc estudar:

Evoluo e tendncias numa avaliao de programas sociais.

Conceitos e mtodos num processo de avaliao de programas sociais.

As dificuldades e tendncias encontradas nas atividades de monitoramento, avaliao formativa e avaliao


somativa, do ponto de vista gerencial.

Habilidades

Ao final, voc dever ser capaz de responder as seguintes questes:

Quais as evolues e tendncias numa avaliao de programas sociais?

Quais os conceitos e metodologias encontrados no processo de avaliao?

O que so pesquisas orientadas para deciso e o que so pesquisas orientadas para concluso?

Qual a diferena entre efetividade e eficcia?

Quais os desafios e as dificuldades no debate sobre as atividades de monitoramento, avaliao formativa e avaliao
somativa, do ponto de vista gerencial?

3
PORDENTRODOTEMA
Conceitos e Mtodos numa Avaliao de Programas Sociais
No tema anterior voc aprendeu sobre o processo de construo histrica da agenda das polticas pblicas, alm de
perceber que realizar um processo de avaliao desafiador tanto para governos como para pesquisadores e centros de
pesquisas. Voc tambm entendeu a avaliao de efetividade como a relao entre a implementao de um programa
e os seus resultados; a eficcia como a relao dos objetivos e instrumentos de um programa e seus resultados; e a
eficincia como o esforo empregado na poltica e seus resultados. Foi possvel ainda entender que haver instituies
independentes no processo de avaliao das polticas pblicas garante resultados com alto ndice de sucesso.

Neste tema voc vai estudar sobre as evolues e tendncias numa avaliao de programas sociais, lembrando que o
assunto no ser aqui esgotado, uma vez que este debate muito amplo. Sugere-se, ento, que, para alm do Livro-
Texto, o(a) aluno(a) que queira aprofundar a questo pesquise outras literaturas disponveis e principalmente realize o
estudo complementar que ser indicado mais frente.

No debate em questo a respeito de conceitos e mtodos numa avaliao de programas sociais, Faria (2009) faz
referncia a processos educacionais. Ainda assim, a autora ajuda a compreender as evolues e tendncias no tema.
Inicia com a afirmao de que avaliao de programas e projetos educacionais e pesquisas educacionais tm afinidades
no que diz respeito a contedo, tcnicas de coleta, anlise dos dados e utilizao dos resultados. Mesmo assim revela
as diferenas entre ambas e separa essas especificidades no que diz respeito a metodologia, objetivo e papel.

Faria (2009, p. 42) destaca que, na avaliao de programas e projetos educacionais, o processo metodolgico : uma
atividade que obtm, combina e compara dados de desempenho com um conjunto de metas escalonadas, que sua
finalidade responde a questes sobre a eficcia/efetividade dos programas e, nesse sentido, sua tarefa julgar e
informar. A autora finaliza esta diferenciao entre avaliao e pesquisa afirmando que, enquanto papel, a primeira
detecta eventuais falhas e afere os mritos dos programas durante sua elaborao. Aqui se faz uma ressalva:
tarefa deste procedimento de avaliao, quando detectadas falhas no processo e no intuito de permitir a correo ou
confirmao de rumos, realizar atividades formativas.

4
PORDENTRODOTEMA
De acordo Faria (2009, p. 43), no final da dcada de 1960, a literatura ofereceu dois conceitos que diferenciavam as
pesquisas orientadas: um para deciso e outro para a concluso. O conceito de pesquisa orientada para a deciso
refere-se s pesquisas que oferecem subsdios para os formuladores e implementadores de polticas e programas e o
conceito de pesquisa orientada para a concluso refere-se quelas que surgem no interesse terico dos pesquisadores
e tm por finalidade primordial submeter prova hipteses explicativas de determinados fenmenos.

Para entender melhor como se d o conceito na prtica, a autora utiliza como exemplo uma experincia com um
programa de merenda escolar do ncleo escolar. Os dados coletados so de ordem de complementao alimentar,
desempenho do aluno, crescimento e sade. Nesse caso, em uma simples confirmao de impacto sobre a composio
e o valor nutritivo de alimentos, utilizada a avaliao orientada de concluso, e para definir e traar rumos no sentido
de ampliao do programa, procedimentos para implementao etc., utilizada a avaliao orientada de deciso.

No processo metodolgico de uma avaliao educacional aparecem dois novos conceitos: avaliao somativa e avaliao
formativa. Do ponto de vista de Faria (2009, p. 44), avaliao somativa uma atividade que produz e compara dados
de desempenho com um conjunto de objetivos hierarquizados, justifica e valida instrumentos e metas, atribuindo valores
ao programa para alcan-las, ao passo que a avaliao formativa busca o aprimoramento do programa durante o
processo de sua elaborao podendo ser usada para testar, rever e redefinir o programa global ou ainda muitos de
seus componentes, tais como contedos, metodologias, treinamento e desempenho das equipes, caracterizao do
pblico-alvo, configurao dos materiais adotados e o tempo ideal para sua implementao.

O que foi dito at aqui pode ser resumido em quatro discursos: o primeiro a autora chama de ex-ante, referente ao
diagnstico das necessidades que vo nortear a formulao e o desenvolvimento do programa, trazendo objetivo,
caracterstica dos usurios e suas necessidades. O segundo discurso o acompanhamento e o monitoramento das
atividades, avaliando a eficincia do programa, havendo, nesse processo de monitoramento, a possibilidade de correo
da ao, com intuito de buscar solues alternativas na correo dos rumos e na requalificao da equipe envolvida no
programa. O terceiro discurso compreende avaliao formativa, avaliao de processo ou de eficcia e tem por objetivo
fazer as coisas certas, acompanhar o desempenho do programa e, se necessrio, aprimor-lo. Nesse momento
importante avaliar o que essencial para o resultado do programa; caso haja alterao no foco, preciso que a ao seja
redirecionada para outro fim. O quarto argumento, denominado ex-post pela autora, envolve estudos comparativos entre
programas rivais, subsidia a deciso e avalia, principalmente, a maior ou menor efetividade de diferentes tratamentos
oferecidos ao grupo-alvo (FARIA, 2009, p. 45), discurso tambm conhecido como avaliao somativa.

5
PORDENTRODOTEMA
Faria (2009, pg. 45) lembra ainda que, em muitas literaturas de avaliao, os termos efetividade e eficcia podem
representar a mesma coisa. De acordo com o estudo que aqui se prope, esses so termos que se diferenciam. Na aula
passada foram conceituados os termos eficcia e efetividade. Entende-se aqui o termo efetividade como a dimenso do
resultado na investigao do alcance das metas, e eficcia como o processo de desenvolvimento e implementao do
programa. Portanto, no exemplo da merenda escolar, a medida do processo (eficcia) relaciona-se com os acertos do
programa em sua fase de elaborao e implementao, ao passo que a medida de resultado (efetividade) relaciona-se
com o alcance das metas.

No debate sobre as atividades de monitoramento, avaliao formativa e avaliao somativa, do ponto de vista gerencial,
as dificuldades e tendncias encontradas so muitas. Um desses elementos haver um distanciamento na elaborao
do programa e sua implementao, alm de raramente as atividades de avaliao formativa serem realizadas. E, mesmo
quando identificado um problema, a informao no serve para o conjunto do programa, e sim para uma questo pontual
apenas.

Na avaliao somativa o processo realizado por equipes externas, orientados para concluso e no para deciso
sobre aprimoramento dos programas. Isso vale tambm para o processo de monitoramento que costuma servir como
uma atividade de avalio apenas.

H problemas, segundo Faria (2009), na rea de especificidade e competncia, ou seja, h vulnerabilidade nas
metodologias utilizadas, principalmente naqueles casos em que no se controlam as variveis antecedentes, processuais
e de resultado que interferem no desempenho. Outra questo que alguns financiadores condicionam o financiamento
utilizao de instrumentos padronizados. H reas em que h poucos dados disponveis e/ou dados disponveis
com periodicidade muito irregular.

6
ACOMPANHENAWEB
Avaliao de programas sociais: abordagens quantitativas e suas limitaes

Leia o artigo Avaliao de programas sociais: abordagens quantitativas e suas limitaes, de


Paulo Cesar Santos Chiechelski. Esse artigo ampliar seus conhecimentos sobre as principais
abordagens quantitativas encontradas na literatura sobre avaliao de programas sociais.
Disponvel em: <http://revistaseletronicas.pucrs.br/ojs/index.php/fass/article/viewFile/1006/786>. Acesso em: 17
jun. 2014.

Formas de Avaliao

Leia o artigo Formas de Avaliao, de Everaldo Cerqueira. O artigo traz informaes importantes
sobre a diferena entre a avaliao formativa e a somativa, o que ampliar seus conhecimentos
sobre o tema.
Disponvel em: <http://www.recantodasletras.com.br/artigos/1121766>. Acesso em: 17 jun. 2014.

Assista ao vdeo Avaliao da Aprendizagem: Formativa ou Somativa?

O vdeo, produzido pela TV UNIVESP, apresenta a avaliao como um diagnstico contnuo


e dinmico e como um instrumento fundamental para repensar e reformular os mtodos, os
procedimentos e as estratgias de ensino.
Disponvel em: <http://www.youtube.com/watch?v=G5VEkMf5DRk> . Acesso em: 17 jun. 2014.

Tempo: 16:17

7
AGORAASUAVEZ
Instrues:
Agora, chegou a sua vez de exercitar seu aprendizado. A seguir, voc encontrar algumas questes de mltipla
escolha e dissertativas. Leia cuidadosamente os enunciados e atente-se para o que est sendo pedido.
Questo 1

Realizar um processo de avaliao desafiador tanto para governos como para pesquisadores e centros de pesquisas. Com base
nos seus conhecimentos prvios, essa reflexo pode ser desmotivadora para um processo de avaliao de programas sociais?

Questo 2

Numa referncia a processos educacionais, a autora expe muitas afinidades entre avaliaes de programas e projetos educa-
cionais e pesquisas educacionais. Portanto, correto afirmar que estas afinidades dizem respeito:

a) Ao campo metodolgico, uma vez que ambas so atividades que obtm, combina e compara dados de desempenho.

b) A contedo, tcnicas de coleta, anlise dos dados e utilizao dos resultados.

c) finalidade, uma vez que ambas respondem a questes sobre a eficcia/efetividade dos programas.

d) Ao papel pois detecta eventuais falhas e afere os mritos dos programas durante sua elaborao.

e) Ao que est exposto em todas as alternativas anteriores.

8
AGORAASUAVEZ
Questo 3
Qual das alternativas seguintes est correta?

a) As pesquisas orientadas para deciso so aquelas que oferecem subsdios para os formuladores e implementadores de
polticas e programas.

b) O chamado ex-ante um diagnstico das necessidades que vo nortear a formulao e o desenvolvimento do programa,
trazendo objetivo, caracterstica dos usurios e suas necessidades.

c) As pesquisas orientadas para a concluso so aquelas que surgem no interesse terico dos pesquisadores e tm por
finalidade primordial submeter prova hipteses explicativas de determinados fenmenos.

d) O argumento denominado ex-post envolve estudos comparativos entre programas rivais, subsidia a deciso e avalia,
principalmente, a maior ou a menor efetividade de diferentes tratamentos oferecidos ao grupo-alvo.

e) Todas as alternativas anteriores esto corretas.

Questo 4

O papel da avaliao de programas e projetos educacionais detectar eventuais falhas e aferir mritos durante sua elaborao,
permitindo a correo ou confirmao de rumos. Nessa dimenso, correto afirmar que sua tarefa:

a) julgar.

b) informar.

c) formativa.

d) escalonar as metas.

e) Nenhuma das respostas anteriores est correta.

9
AGORAASUAVEZ
Questo 5

Na avaliao de programas e projetos educacionais, o processo ____________________________ uma atividade que obtm,
combina e compara _________________________ de desempenho com um conjunto de metas; sua _______________________
responde a __________________________ sobre a eficcia/efetividade dos programas; e, por fim, enquanto __________________,
detecta eventuais falhas e afere os mritos dos programas durante sua elaborao.

Escolha a seguir a alternativa que apresente a sequncia de palavras que completam corretamente as lacunas do pargrafo anterior.

a) Metodolgico, dados, finalidade, papel, questes.

b) Dados, metodolgico, questes, finalidade, papel.

c) Dados, metodolgico, finalidade, questes, papel.

d) Metodolgico, dados, questes, finalidade, papel.

e) Metodolgico, dados, finalidade, questes, papel.

Questo 6

No processo metodolgico de uma avaliao educacional nos apresentada uma proposta de avaliao somativa. Conceitue-a.

Questo 7

Como Faria (2009) define avaliao formativa? Quais so seus componentes?

Questo 8

Faria (2009) lembra que em muitas literaturas de avaliao, os termos efetividade e eficcia podem representar a mesma coisa.
De acordo com o estudo aqui proposto, esses so termos que se diferenciam. Nesse sentido, como esses conceitos podem ser
entendidos?

10
AGORAASUAVEZ
Questo 9

De acordo com o texto, como Faria (2009) exemplifica os conceitos de eficcia e efetividade na avaliao do programa de me-
renda escola?

Questo 10

Em relao especificidade e competncia da rea de avaliao, Faria (2009) apresenta alguns problemas. Quais so?

FINALIZANDO
Neste tema, voc aprendeu que a avaliao parte fundamental no processo de formulao e implementao dos
programas sociais, alm dos conceitos, dos mtodos, da evoluo e das tendncias em uma avaliao de programas
sociais. Viu ainda as dificuldades e os problemas encontrados nas atividades de monitoramento, avaliao formativa e
somativa; e pde ainda compreender a conceituao de efetividade e eficcia com exemplos. Enfim, aprendeu que h
pesquisas orientadas para tomada de deciso e pesquisas orientadas para concluso.

REFERNCIAS
FARIA, Regina M. Avaliao de Programas Sociais: Evolues e Tendncias. In: RICO, Elizabeth M. (org.). Avaliao de Polticas
Sociais: uma questo em debate. 6 ed. Instituto de Estudos Especiais, So Paulo: Cortez, 2009, p. 41-49.

RICO, Elizabeth M. (org.). Avaliao de Polticas Sociais: uma questo em debate. 6 ed. Instituto de Estudos Especiais, So
Paulo: Cortez, 2009.

11
GLOSSRIO
Argumento: uma ou mais sentenas declarativas.

Escalonada: organizar em grupos.

Evoluo: tornar-se melhor em algo que faz.

Meta: objetivo almejado que pode ser mensurado e definido.

Variveis: valores que assumem determinadas caractersticas dentro de uma pesquisa.

GABARITO
Questo 1

Resposta: O contexto desafiador, mas em nenhum momento pode ser considerado um desmobilizador de avaliao.
H uma inovao em conceitos e mtodos de avaliao em detrimento de um modelo tradicional que no incorpora a
totalidade, os fluxos, entre tomada de deciso, implementao, execuo, resultados e impactos produzidos. E isso,
sim, tem que ser impulsionado.

Questo 2

Resposta: Alternativa B.

Questo 3

Resposta: Alternativa E.
Neste exerccio todas as informaes esto corretas.

12
Questo 4

Resposta: Alternativa C.

Questo 5

Resposta: Alternativa E.
Pargrafo completo:
Na avaliao de programas e projetos educacionais, o processo metodolgico uma atividade que obtm, combina
e compara dados de desempenho com um conjunto de metas; sua finalidade responde a questes sobre a eficcia/
efetividade dos programas; e, por fim, enquanto papel, detecta eventuais falhas e afere os mritos dos programas
durante sua elaborao.

Questo 6

Resposta: uma atividade que produz e compara dados de desempenho com um conjunto de objetivos hierarquizados,
alm de justificar e validar instrumentos e metas, atribuindo valores ao programa para alcan-las.

Questo 7

Resposta: A avaliao formativa, no entender da autora, busca o aprimoramento do programa durante o processo de sua
elaborao, podendo ser usada para testar, rever e redefinir o programa global ou ainda muitos de seus componentes, tais
como contedos, metodologias, treinamento e desempenho das equipes, caracterizao do pblico-alvo, configurao
dos materiais adotados e o tempo ideal para sua implementao.

Questo 8

Resposta: Entende-se aqui o termo efetividade como a dimenso do resultado, na investigao do alcance das metas;
e o termo eficcia como o processo de desenvolvimento e implementao do programa.

Questo 9

Resposta: No exemplo da merenda escolar, a medida do processo (eficcia) relaciona-se com os acertos do programa
em sua fase de elaborao e implementao, ao passo que a medida de resultado (efetividade) relaciona-se com o
alcance das metas.

13
Questo 10

Resposta: H problemas, na rea de especificidade e competncia, ou seja, h vulnerabilidade nas metodologias


utilizadas, principalmente naqueles casos em que no se controlam as variveis antecedentes, processuais e de resultado
que interferem no desempenho. Outra questo que alguns financiadores condicionam o financiamento utilizao de
instrumentos padronizados. H reas em que h poucos dados disponveis e/ou dados disponveis com periodicidade
muito irregular.

14