Escolar Documentos
Profissional Documentos
Cultura Documentos
2003
O presente texto faz parte de um conjunto de três documentos que explora o tema da
avaliação de políticas públicas do Brasil, tendo como referência a experiência de avaliação
do ProInfo – Programa Nacional de Informática na Educação do Ministério da Educação
(MEC) do Brasil. O primeiro documento (este) define conceitos básicos de avaliação e
analisa a experiência brasileira de avaliação “ex post” de programas e projetos. O segundo
documento (de responsabilidade de Waldyr Viegas) expõe os procedimentos metodológicos
e o processo de execução da avaliação do ProInfo e o terceiro (escrito por Gileno Marcelino)
apresenta os resultados e conclusões básicas dos estudos.
Este documento se divide em duas partes. Na primeira parte são apresentados alguns
conceitos básicos de avaliação “ex post” e apresentadas as características do ProInfo –
programa do governo brasileiro que busca introduzir na escola fundamental e no ensino
médio as modernas tecnologias da informática e da comunicação e cujos resultados se vem
tentando avaliar, á luz desses conceitos. Na segunda parte é feita uma sumária revisão da
experiência brasileira de avaliação “ex post”, no contexto do sistema de planejamento do
país e da sua prática de implementação do programas e projetos sociais.
PRIMEIRA PARTE:
CONCEITOS BÁSICOS DE AVALIAÇÃO
E SUA APLICAÇÃO AO PROINFO
1. Antecedentes
1
O Resumo deste texto foi incluído ao seu final.
2
O Programa foi criado pela Portaria no. 522 de 9 de abril de 1997
3
Essa palavra tem sido utilizada para designar a reunião das tecnologias de informática e telecomunicações Esse conjunto
de técnicas é também referido, freqüentemente, como Tecnologias de Informação, Educação e Comunicação (ou IECTs –
Information, Education and Communication Technologies) ou ainda TIC – Tecnologia de Informação e Comunicação
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
Essa avaliação pode abarcar os mais variados aspectos do projeto ou programa, que
vão de sua concepção original e do seu planejamento ao seu processo de implementação e
à aferição dos seus efeitos e resultados de curto, médio e longo prazo. Quando todos esses
aspectos são considerados de forma integrada diz-se que a avaliação é compreensiva ou
abrangente,
4
Ver MEC/SEED/UnB, ProInfo: Perspectivas e Desafios, Relatório de Avaliação, Universidade de Brasília, 2003
5
Em inglês, os termos mais usados são os verbos “evaluate”, “assess”, “appraise” e “judge” e os substantivos correlatos –
“evaluation”, “assessment”, “appraisal” e “judgment”.
6
Alguns autores fazem um distinção entre pesquisa de avaliação (“evaluation research”) e avaliação de programas
(“program evaluation”). A primeira seria de natureza predominantemente acadêmica, caracterizada pela aplicação de
métodos científicos mais rigorosos com objetivo de desenvolver ou testar teorias e hipóteses. A segunda seria de natureza
mais empírica, limitando-se à simples prática de avaliação, a partir de teorias e métodos conhecidos, sem maiores
pretensões inovadoras. Uma seria assemelhada à chamada pesquisa básica; outra, à pesquisa aplicada
7
Rossi, Peter, Freeman, Howard e Lipsey, Mark, in Evaluation: a systematic approach, 6ª ed. Sage Publications,
Thousand Oaks, California, 1999, p.2
2
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
O objeto da avaliação, pode ser identificado a partir da lista dos 5 Ps: 1) produto, 2)
pessoal, 3) performance ou desempenho, 4) projeto ou proposta , 5) programa (ou plano) e
6) política.
8
In Evaluation, 2nd. edition, Prentice-Hall, New Jersey, 1998, p. 4. Itálicos no original
9
Cf. Holanda, Nilson, Monitoramento e Avaliação: Conceitos Básicos, Universidade de Brasília, 2002
10
Cf. Wren, Daniel A ., The Evolution of Management Thought, 2nd edition, p.17. John Wiley and Sons, New York,
1979
3
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
3. O modelo de avaliação
11
Rossi, Peter, Freeman, Howard e Lipsey, Mark, op. cit. p. 2
12
In The ABCs of Evaluation, Jossey-Bass Publishers, San Francisco, 2000, p. 71
13
In Evaluator´s Handbook, Sage Publications, 1987, Newbury Park, p. 10
14
In Program Evaluation, Alternative Approaches and Practical Guidelines, Addison Wesley Longman, New York,
1997, p.78
4
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
O modelo utilizado para avaliação do ProInfo foi aquele voltados para os objetivos. Por
isso a equipe de avaliação tentou resgatar a teoria subjacente ao programa, a partir dos seus
objetivos e da lógica interna que define as inter-relações entre os diferentes fatores que
podem ser considerados essenciais para a realização desses objetivos.
15
Excluindo o modelo voltado para a utilização (“utilization focused”) associado à contribuição de Michael Patton em seu
livro Utilization Focused Evaluation, Newbbury Park, CA, Sage Publications, 1986, por considerarmos que isso se
confunde com os modelos 1 e 2 ou ainda porque a utilidade da avaliação é um requisito comum a qualquer enfoque
avaliativo.
5
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
FIGURA 1
PROINFO: TEORIA SUBJACENTE
E INDICAÇÕES PARA AVALIAÇÃO
UNIDADES DE Referências para
Critérios AVALIAÇÃO a avaliação
1 NTE
Qualidade do
planejamento inicial
2 ESCOLA
EFICIÊNCIA
Intensidade de uso
SUSTENTABILID
ADE
6
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
16
Eric Rusten, Learnlink, AED – Academy for Educational Development, Computers in School, p. 6
17
Cfr. Rusten, op. cit., p. 8/9
7
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
A Figura 2 busca tornar mais objetiva a imagem dos efeitos e impactos que se poderia
esperar do Programa
MELHORIA DO
ENSINO OBJETIVO FINAL
APRENDIZADO
Questionamento,
criticidade
MEIOS DE VERIFICAÇÃO
8
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
4. Estudos de Casos
a) consideradas as clássicas questões de o que, quem, por que, como, quando e quanto,
o estudo de caso é mais apropriado para responder perguntas por que ? e como ? e
b) nos estudos de casos são tratadas questões contemporâneas e não há controle sobre
os eventos. Assim ele se diferencia da história (que trata de fenômenos passados), do
experimento (quando há controle sobre os eventos) e do “survey” (que raramente
pode levar em conta o contexto)
9
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
experimental, mas dela se diferencia porque mais indicado para a análise de situações em
que a complexidade dos fenômenos e de suas relações causais dificilmente pode ser
captada por uma pesquisa experimental 19.
Para definir a natureza e os objetivos dos estudos de casos, precisamos adotar uma
estratégia de aproximações sucessivas que leva em conta, primeiro, o quadro de referência
(“theoretical framework”) teórico ou conceptual da pesquisa, depois o enunciado do
problema central (“problem statement”) a ser investigado e, finalmente, o objetivo específico,
exato ou preciso do estudo, em termos de suas questões prioritárias, como sugerido na
Figura 3.
FIGURA 3
ETAPAS PARA DEFINIÇÃO DOS OBJETIVOS DOS ESTUDOS DE CASOS
QUADRO DE REFERÊNCIA
ENUNCIADO DO
PROBLEMA CENTRAL
OBJETIVO DO ESTUDO
Questões
prioritárias
19
10
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
No que diz respeito à sua base filosófica, os estudos de casos de educação, segundo
Carr e Kemmis20, podem seguir três orientações:
11
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
Para atingir esse objetivo de qualidade três aspectos são cruciais, na opinião de
Amagi: 1) a competência, qualificação e desempenho dos professores, 2) o nível e a
natureza dos programas e métodos de ensino e 3) a gestão da escola23. Poderíamos incluir
ainda um quarto aspecto ou elemento: 4) a infra-estrutura física e tecnológica posta à
disposição da escola.
Com esse objetivo, ela deve prover adequado domínio de conteúdos escolares
(conceitos, procedimentos, valores) e harmoniosa integração das varias dimensões da
cultura moderna (ciência, técnica, linguagem, estética e ética). Nesse sentido muitos
aspectos precisam ser considerados – infra-estrutura, organização, gestão, capacitação de
professores etc. - mas o eixo central da avaliação é o currículo e os processos de ensino e
aprendizagem. Como diz Libâneo, “o centro de referência dos critérios e estratégias de
qualidade é o que os estudantes aprendem, como aprendem e em que grau são capazes de
pensar e atuar com o que aprendem” [grifo no original] 26
22
UNESCO, op. cit. p. 89
23
Amagi, Isao, Melhorar a Qualidade do Ensino Escolar, in Unesco, op. cit. p. 218
24
Libâneo, José Carlos, Organização e Gestão da Escola – Teoria e Prática, 4ª edição, Editora Alternativa, Goiânia,
2001, p.54.
25
Idem, ibidem, p. 54
26
Op. Cit. p. 57
12
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
que seria o de avaliar se, como e por que o ProInfo contribui ou poderia contribuir para a
consecução de uma educação de qualidade. E desse objetivo foram derivadas as duas
QUESTÕES PRIORITÁRIAS a serem respondidas pelos estudos de casos:
SEGUNDA PARTE:
A EXPERIÊNCIA BRASILEIRA DE AVALIAÇÃO
13
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
14
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
Para cada projeto foi designado um gerente que, juntamente o com seu executor,
tinha à sua disposição um poderoso instrumento de gestão, sob a forma de um sistema
informatizado de informações que torna possível:
29
Termo utilizado em administração de projetos para caracterizar quando é alcançado um “marco” importante – tanto do
ponto de vista quantitativo como qualitativo – de sua execução, como seria, por exemplo, o fechamento das comportas de
uma barragem.
15
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
Em 2003 estava sendo elaborado o novo Plano Plurianual (PPA) para o período
2004-2007 . A proposta do governo era implementar as seguintes “estratégias de longo
prazo: inclusão social e desconcentração da renda com crescimento do produto e do
emprego; crescimento ambientalmente sustentável, redutor das disparidades regionais,
dinamizado pelo mercado de consumo de massa, por investimentos e pela elevação da
produtividade; e redução da vulnerabilidade externa por meio da expansão de atividades
competitivas que viabilizem esse crescimento sustentado. As políticas e programas que
darão substância a essa estratégia estavam sendo desdobradas em cinco dimensões:
social, econômica, regional, ambiental e democrática” 30
6. Planejamento regional
Uma área que tem sido submetida a constantes avaliações no Brasil é a relacionada
com o desenvolvimento regional, em função de um complexo e poderoso sistema de
incentivos fiscais, criado, nos anos 60, para promover o desenvolvimento das regiões mais
atrasadas do país. A partir dessas avaliações, profundas reformas foram introduzidas nesse
sistema, em 1976 e 198631. Muitos projetos de desenvolvimento regional ou sub-regional
foram também objeto de avaliações “ad hoc”32, elaboradas por institutos de pesquisa do
governo ou contratadas com Universidades e consultores independentes33.
30
Ministério do Planejamento, Orçamento e Gestão, Plano Brasil de Todos, site do MPO, julho de 2002
31
A crise fiscal dos anos 80 levou ao progressivo esvaziamento desse sistema, culminando com a extinção da principal
agência regional – a Sudene – no primeiro ano do segundo mandato do Presidente Fernando Henrique. No dia 27 de julho
de 2003, o Presidente Lula apresentou em Fortaleza o projeto de recriação da Sudene, com uma nova estrutura.
32
Expressão latina muita usada tanto no Brasil como nos Estados Unidos. Significa “com esse fim” ou “para esse fim
específico”, como no caso de uma Comissão “ad hoc” criada para investigar ou analisar um determinado problema. No
caso a avaliação “ad hoc” corresponde àquela que não é permanente, mas realizada com um objetivo definido e, portanto,
limitada na sua duração e nos seus propósitos.
33
Como exemplos podem ser citados os trabalhos realizados pela Universidade de São Paulo/FIPE sobre os Programas de
Desenvolvimento do Centro-Oeste (POLOCENTRO), do Noroeste (POLONOROESTE), da Região Geoconômica de
Brasília (PERGEB) e do Grande Carajás. Ver Claudio Afonso Vieira, Análise do Programa de Desenvolvimento do
Noroeste do Brasil: POLONOROESTE, São Paulo, FIPE,1984 e Análise dos Impactos do Programa Grande Carajás,
São Paulo, FIPE, 1985; Cornélia Nogueira Porto, Análise dos Impactos dos Programas Especiais: POLOCENTRO, São
Paulo, FIPE, 1984 e Análise dos Impactos dos Programas Especiais: PERGEB, São Paulo, FIPE, 1984
16
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
7. Programação setorial
34
O acervo de estudos e pesquisas realizadas e publicadas pelo IPEA, ao longo dos últimos 30 anos, é extremamente vasto e
rico. À guisa de exemplos, referimos a seguir alguns trabalhos mais recentes: André Cesar Médice, Perfil da Saúde no
Brasil, abril 1997, Maria Elizabeth Barros et alii., Política de Saúde no Brasil; Diagnóstico e Perspectivas, IPEA,
fevereiro 1996; Guilherme Delgado, Previdência Rural: Relatório de Avaliação Sócioeconômica - Projeto IPEA/MPAS,
maio, 1997; Francisco Eduardo Barreto de Oliveira et alii. Reforma da Previdência, IPEA, agosto, 1997; Guilherme
Delgado, Estoques Governamentais de Alimentos e Preços Públicos (Relatório de Avaliação do Sistema), IPEA,
Dezembro, 1995; Eduardo Augusto Guimarães, A Experiência Recente da Política Industrial no Brasil: uma avaliação,
IPEA, abril, 1997. Vem também o conjunto de 8 estudos do PMSS (Projeto de Modernização do Setor de Saneamento)
publicados em 1995 pelo IPEA e Secretaria de Desenvolvimento Urbano/MPO
35
Ver Alencar Soares de FREITAS e Pedro Ribeiro SOARES (organizadores), Aspectos Ambientais de Projetos Co-
financiados pelo Banco Mundial, Lições para o Futuro, Série IPEA, no. 143, Brasília, 1994
36
MEC/CAPES, Portaria nº 013, de 01 de abril de 2002.
17
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
até então;
b) o da Avaliação da Educação Superior (Graduação), organizado em um
complexo sistema que é integrado pelo Exame Nacional de Cursos
(Provão), pelo Censo da Educação Superior, pela Avaliação das Condições
de Ensino e pela Avaliação Institucional. O Exame Nacional de Cursos
(ENC-Provão) é um exame aplicado aos formandos com o objetivo de
avaliar os cursos de graduação da Educação Superior, no que tange aos
resultados do processo de ensino-aprendizagem. Foi aplicado pela primeira
vez em 1996. No corrente ano (2003), deverão participar do Exame mais de
470 mil formandos de 6,5 mil cursos de 26 áreas profissionais. A Avaliação
das Condições de Ensino é feita por uma Comissão externa de Professores
que verifica, in loco, a situação dos cursos de graduação, levando em conta
três grandes dimensões: a qualificação do corpo docente, a organização
didático-pedagógica e as instalações físicas, com ênfase na biblioteca. A
avaliação institucional segue um processo muito semelhante para subsidiar
as decisões do Ministérios nos processos de credenciamento e
recredenciamento de Instituições de Educação Superior (IES)37;
c) o da avaliação do Ensino Médio, com a realização do Exame Nacional do
Ensino Médio – Enem, processo implantado em 1998 que tem por objetivo
verificar o nível de conhecimentos adquiridos pelos alunos que estão
concluindo ou que já terminaram o ensino médio. O Exame avalia as
competências e habilidades desenvolvidas em 11 anos de escolarização
básica. Desde o seu primeiro ano de realização do Exame, diversas
Instituições de Ensino Superior vem utilizando os seus resultados como
instrumento para ingresso na Universidade, em substituição ao tradicional
“vestibular”.
8. Conclusão
37
Ver INEP/DAES – Departamento de Estatísticas e Avaliação da Educação Superior, Manual de Avaliação
Institucional, Centros Universitários, setembro de 2002
18
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
“uma política social deve ser sempre avaliada por sua capacidade de reduzir a
pobreza, e não pelo volume de recursos que consome ou mesmo pelo volume de
benefícios que distribui. A efetividade de uma política social é dada pela sua
capacidade de transformar o quadro de pobreza de um país. Essa efetividade
depende de três fatores, quais sejam, seus graus de (i) eficiência, (ii) eficácia e (iii)
focalização.....para que uma política social seja efetiva em reduzir a pobreza, é
necessário (i) que os recursos disponíveis sejam eficientemente traduzidos em bens e
serviços; (ii) que estes bens e serviços sejam eficazes em transformar as condições
de vida das famílias mais pobres; e (iii) que os segmentos pobres da população
tenham total prioridade no atendimento (boa focalização)”.
BIBLIOGRAFIA
19
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
(mimeo), Brasília.
Bulmettis, John e Dutwin, Phyllis, 2000, The ABCs of Evaluation, Jossey-Bass Publishers,
San Francisco.
Carr, W. and Kemmis, S. 1986, Becoming Critical:Education, Knowledge and Action
Research, Falmer Press, London.
Freitas, Alencar Soares de e Soares, Pedro Ribeiro (organizadores, 1994, Aspectos
Ambientais de Projetos Co-financiados pelo Banco Mundial, Lições para o Futuro,
IPEA, Série IPEA, no. 143, Brasília.
Herman, Joan L., Morris, Lynn Lyons, Fitz-Gibbon, Carol Taylor, 1987, Evaluator´s
Handbook, Sage Publications, Newbury Park, CA.
Holanda, Nilson, set/2001, Um Modelo de Avaliação para o ProInfo, UnB, Brasília
mimeo); 2002, Monitoramento e Avaliação: Conceitos Básicos (mimeo), UnB,
Brasília, 2003, Planejamento e Avaliação, UnB, Brasília (mimeo); outubro de 1999,
IPEA/BID, Projeto de Fortalecimento da Função Avaliação na América Latina, Relatório
sobre a Experiência Brasileira e o Caso do “Brasil em Ação” (mimeo) , Brasília
Imagi, Isao, 2001, Melhorar a Qualidade do Ensino Escolar, in Delors, Jacques,
Coordenador, Educação – Um Tesouro a Descobrir, Unesco/MEC, Cortez Editora, 6ª
edição, São Paulo,
Jóia, Luiz Antonio, 2001 “Uso do capital intelectual para avaliação de projetos de tecnologia
educacional: o caso ProInfo”, in Revista de Administração Pública, Rio de Janeiro,
março-abril,/dezembro de 2001
Libâneo, José Carlos, 2001, Organização e Gestão da Escola – Teoria e Prática, 4ª
edição, Editora Alternativa, Goiânia.
Merriam, Sharan, 1998, Qualitative Research and Case Study Applications in Education,
Jossey-Bass Publishers, San Francisco,
Patton, Michael 1986, Utilization Focused Evaluation, Sage Publications, Newbbury Park,
CA.
Rossi, Peter, Freeman, Howard e Lipsey, Mark, 1999, Evaluation: a systematic approach,
6ª ed. Sage Publications, Thousand Oaks, California,
Rusten, Eric , Learnlink, AED – Academy for Educational Development, Computers in
School,
Unesco/Mec, 2001, Educação – Um Tesouro a Descobrir, Cortez Editora, 6ª edição, São
Paulo,
Viegas, Waldyr, 2001 Estudo de Caso, Plano Logístico de Execução (mimeo), Brasília.
Weiss, Carol, 1998, Evaluation, 2nd. edition, Prentice-Hall, New Jersey.
Worthen, Blaine R., Sanders, James R., Fitzpatrick, Jody L., 1997, Program Evaluation,
Alternative Approaches and Practical Guidelines, Addison Wesley Longman, New
York,.
Wren, Daniel A ., 1979, The Evolution of Management Thought, 2nd edition, John Wiley
and Sons, New York,
Venezky, Richard L. e Davis, Cassandra, March,. 2002, Quo Vademus ? The
Transformation of Schooling in a Networked World. OECD/CERI
YIN, Robert R, 1994, Case Study Research – Designs and Methods, 2nd. Edition, Sage
Publications, Thousand Oaks
20
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
RESENHA BIOGRÁFICA
LISTA DE FIGURAS
21