MESTRADO ADMINISTRAO ESCOLAR DISCIPLINA : AVALIAO EM EDUCAO DOCENTE : VALTER LEMOS

FOUNDATIONAL MODELS FOR 21STCENTURY PROGRAM EVALUATION

DANIEL L. STUFFLEBEAM

TRABALHO REALIZADO POR: CARLOS GUERREIRO HELGA VITRIA MANUEL

2011/2012

Foundation Models for 21st Century Program Evaluation/ Modelos Fundadores para Programas de Avaliao para o sc. XXI
Parlett and Hamilton;Weiss (1972) Einsner; Glass (1975) House(1980) Schwandt (1984) Smith,N.L(1987) Introduo da avaliao em organizaes sociais de educao

1970

1942/1950
Expanso e evoluo nacional e internacional de prticas de avaliao Tyler (1942)

1960/65 U.S Tenta equilibrar a

sociedade atravs da implementao de programas de avaliao. Campbell and Stanley;Cronbach(1963) Stufflebeam (1966) Scriven; Stake; Schuman(1967) Alkin;Guba; Provus;

1990
Adotadas em vrias organizaes com o objectivo de assegurar qualidade, competio e igualdade no trabalho. Rossi and Freeman (1993) Cook and Leviton (1991) Wholey, Hatry and Newcomer (1995) Whorten and Sanders (1997)

2010

Abordagens de Avaliao
O termo Modelo de Avaliao redutor das suas abordagens sobre avaliao. A maioria das abordagens um conjunto de modelos de vrios autores.

Necessidade de estudar abordagens alternativas em avaliao

As prticas e abordagens de avaliao pretendem assegurar: Profissionalizao Avano cientfico

Natureza do programa de avaliao

Pessoal Acadmico Profissional Material Institucional

Definio de programa de avaliao

Estudo destinado e conduzido para distinguir/atribuir mrito e valor.

2 Pseudoavaliaes

22 Abordagens de avaliao (35 anos)

15 Mtodos e orientaes

3 Metodologias de avano e prestao de contas

3 Agenda Social

1- Public Relations-Inspired Studies

Inteno de usar dados para tornar as avaliaes efetivas e sensatas. Marketing, propaganda,informao comercial. Mtodos de recolha de informao: (Inapropriado) uso das normas das tabelas; Baseado em testemunhas; Reporta tendncias; Centra-se apenas em aspetos positivos.

Estes mtodos duvidosos no avaliam os pontos fracos, podem levar desmotivao do avaliador que tenta relatar e conduzir avaliaes vlidas. Os avaliadores tm de ser cautelosos sobre o modo como conduzem as atividades das relaes pblicas. Os avaliadores devem explicar s audincias como fazem as avaliaes honestas e como usam as descobertas provenientes dos estudos/avaliaes.

2- Politically Controlled Studies

a) Negarem as informaes/descobertas resultantes da avaliao e se expressarem legitimidade e direitos legais para ver as descobertas;

Os estudos polticos so considerados ilcitos se:

b) Se no houver concordncia com as descobertas de avaliao; c) Se houver preconceito sobre qualquer parte das descobertas da avaliao.

No legtimo para um cliente ver os estudos e depois durante a avaliao conduzir o processo de forma a manipular o percurso da avaliao criando as descobertas que pretende.
Existe um contrato entre o avaliador e o avaliado. Avano desta abordagem inclui um implcito e explcito acordo pelo cliente face ao programa e aos objetivos para se ganharem jornadas polticas. Esta abordagem requer apurar informao. O cliente poder realizar informao seletiva para criar um quadro errado de mrito e excelncia distorcendo-a, violando o direito da lei (direito de saber).

Secure assistance/Assistncia segura

Acquiring/Aquisio

Maintaining/Manuteno
Prope-se um estudo Increase influence/Influncia crescente

Power/Poder
Money/Dinheiro/Financiamento

Qual a verdade? Qual a melhor maneira de o saber? (particular ou poltica)

Questes de estudo
Qual a informao importante num potencial conflito?

Quais os dados vantajosos no confronto?

Questes /MtodosOrientados de abordagens de avaliao (quasiavaliao)

Questes e mtodos do programa de abordagens de avaliao Estabelecer questes que podem ou no ser suficientes para um programa de mrito e excelncia;

Visar mtodos preferenciais.

O ponto de partida so objetivos operacionais, medidas-padro, anlise de custos do procedimento, utilizao de sistema de informao. Utilizam mtodos quantitativos e mtodos qualitativos.

3- Objectives-Based Studies
Os objetivos operacionais so relacionados, analisados com informao pertinente e como cada um foi atingido.
Os testes com critrios de referncia so revelantes nesta abordagem de avaliao. aplicada em projetos com objetivos fceis de clarificar, claros e vlidos. criticado pela informao ser uma pequena parte do que importante na avaliao de um programa. A informao oferecida pouca para construir uma avaliao vivel para observar o mrito e a excelncia. Os estudos no abordam os efeitos positivos e negativos e se os objetivos so ou no credveis.

4- Accountability, particularly payment by Results Studies

Crescimento pela pouca significncia dos estudos e avaliaes no sistema de ensino. Planning and Budgeting Systems (PPBS); Program
(Planeamento de Programas e Sistemas de Finaciamento) Management by objectives (MBO); (Gesto por objetivos) Zero Based Budgeting Systems; (Sistemas de Finaciamento de Base Zero) Implica bases de dados /processos; Visitas ao local; Relaes de informao.

Accountability

Aplica-se a organizaes profissionais encarregados de anlises, mandatos pblicos, servios pblicos e implementao de programas de fundos.
Comparao, competitividade no saudvel. Os polticos tentaram implementar accountability antes de estabelecer as instrues necessrias, scoring, assessorias sem as terem testado, planeado e validado Pode gerar mau ensino, presso negativa e levar ao abandono da accountability.

Desvantagens

5- Objective Testing Programs

1930 - a educao americana foi inundada por testes de escolha mltipla. Usados para avaliar a qualidade de projetos especiais, para referir que altos resultados referem sucesso/esforo e que baixos resultados referem pouco esforo. Testes-padro comparam a performance individual dos estudantes e grupos de estudantes ou diagnosticam falhas relacionadas com os objetivos. O sistema bsico consiste em selecionar, administrar, interpretar e fazer relatrios dos testes.

Segundo Lindquist (1951) Os resultados devero ser interpretados luz de outra informao como as caractersticas dos estudantes, participao e outras medidas importantes.
uma avaliao que no engloba comportamentos;
No tem ateno escrita; Desvantagens So pobres aproximaes do que ensinado;

No medem conhecimentos dos bons e maus alunos.

6- Outcomes Evaluation As Value-Added Assesment

Estudar um objeto atravs de indicadores-padro com comportamentos de sistema de avaliao analisando-os comparativamente com a poltica, prestao de contas e propostas de avano.

Coleciona dados dos estudantes/ avaliados, analisa e compara com:

rea curricular Professores Escola Escolas mdias Resultados da escola Distritos reas Tamanho

Esta avaliao est direcionada para polticas; prestao de contas feedback no desenvolvimento de programas.
Sistematizao e instutucionalizao de bases de dados que sero usadas e mais tarde tero informao til que ser anexada.
aproveitado para fazer polticas pois usada para apurar causas e reponsabilidades dos sucessos e falhas, recaindo sobre professores e escolas. Podero aparecer fatores causais que no responsabilizam diretamente ou indiretamente professores dos diferentes nveis ou alunos.

Vantagens

Desvantagens

7- Performance Testing
Performance Medidas autnticas Questes escritas ou orais Apresentaes musicais ou psicomotoras Portflio

Fases: 1. Selecionar o dispositivo de avaliao; 2. Construir perguntas de avaliao; 3. Determinar intervalos de valor; 4. Determinar estados de performance padro; 5. Treinar; 6. Calibrar resultados; 7. Validar medidas; 8. Administrar; 9. Contar; 10.Interpretar; 11.Revelar resultados.

Os alunos podem:

Ler Escrever Analizar Trabalhar em grupos Solucionar situaes ...

Vantagens

Valoriza o uso da escrita, experincias cientfica e outras habilidades de vida.

Desvantagens

Moroso; economicamente dispendioso; dificuldades de estabelecer valores-padro. Muito abrangente, o inverso de abordagens mais redutoras/estreitas.

8- Experimental Studies
Questes e mtodos que fornecem informao restrita e direta.
Determina relaes causais(causa/efeito) entre variveis dependentes e independentes. Quais so os efeitos de uma ou mais variveis de um sistema?
Vantagens Resultados objetivos Estabelece relaes entre variveis Benefcios na medicina e agricultura Pode funcionar como agente de mudana

Desvantagens

Experimentaes com pessoas e grupos podem ser eticamente mal interpretadas

9 -Management Information Systems

Administradores devem definir - direo, controlo e reportar o seus programas s esferas de responsabilidade. As atividades do programa esto a ser implementadas de acordo com o oramento e com os resultadosAnlise de sistemas esperados?
MIS Program evaluation and tecnhical rewiew critical path method. Program planing and budget systems. (Avaliao do programa e reviso tecnolgica, mtodo de percurso crtico; planeamento do programa e sistemas de financiamento)

Analisa operaes; staff, organizao do programa, disponibiliza informaes em cima da hora, acordos, problemas, publicidades. Presta ateno aos mtodos especficos (manufatura).

Vantagens

Permite informao que pode ser utilizada, monitorizada, controlada e revelada em sistemas complexos.

Desvantagens

Muitos programas no so mensurveis.

10 -Benefit-Cost Analysis Approach

Vrios procedimentos quantitativos usados para compreender os custos de um programa e decidir quais os investimentos tendo em conta os objetivos e benefcios sociais.

Determina custos de acordo com:

Custo- benefcio; Ratio custo/benefcio Determina a produtividade de programas em termos econmicos.

Examina a relao entre o investimento e os impactos negativos e positivos no desenvolvimento do programa.

Apresenta concluses sobre o estudo.

O propsito o conhecimento claro dos objetivos, recursos a investir, como foram investidos e com que efeito.

Valores humanos como a criatividade e auto aprendizagem so difceis de estimar.

Desvantagens Os programas das autoridades no permitem a anlise das suas contas por avaliadores externos

11- Clarification Hearing

O Jri pode recolher testemunhos e documentos e outras formas de evidncia. O jri dever ser uma pessoa representativa do programa. Pode ser elaborada uma compilao de vdeo com os testemunhos e revelar informaes que permitem conhecer o processo.
Este programa pode ser julgado como um sucesso ou uma falha?
Qual a melhor alternativa para cumprir objetivos?

Questes como:

Pode ser uma abordagem baseada em descries.

Desvantagens

Muitas das vezes so apresentados argumentos em proveito de uma causa.

Esta abordagem aplica-se a poucos casos.

12- Case Study Evaluation

A verdadeira essncia desta abordagem delinear e iluminar programas no necessariamente para gerar desenvolvimento ou distinguir mrito e excelncia.
Conceito do programa? Tempo de desenvolvimento? O que produziu? Falhas e aspetos negativos? Efeitos positivos? Como foi valorizado o programa? Custos? Razes de sucesso e insucesso?

Questes

Requer o controlo das investigaes e objeto de avaliao e observa o decorrer do programa.

Conceito do programa? Tempo de desenvolvimento? O que produziu? Falhas e aspetos negativos? Efeitos positivos? Como foi valorizado o programa? Custos? Razes de sucesso e insucesso?

Perspetivas

Questes

Mtodos

Informao

13 - Criticism and Connoisseurship

Exemplo Provadores de vinho

Que mrito ou (de)mrito tem o programa em relao a outros do mesmo gnero?

Esta abordagem requer tcnicos/avaliadores extremamente especializados, requer que as audincias estejam preparadas para receber a avaliao do avaliador. Requer desenvolvimento em reas especficas. Poder ser interpretada como susceptvel (arte, moda).

14- Program Theory- Based Evaluation

Pretende atribuir avano. Analisa o campo terico (teoria sobre o programa).
Afere Variveis dependente e independentes Indicadores Questes Elementos necessrios

Para avaliar o programa, remete-o para uma teoria, compara-o com a teoria; Sugere medidas de avano,melhorias e modificaes; Depende de validaes tericas apropriadas a rigorosos testes das hipteses.

Vantagens

Em casos em que a teoria realmente a mais prxima/atual e fivel, pode ajudar a estruturar e a guiar a avaliao e interpretar as informaes recolhidas

Desvantagens

Existem reas da educao que ainda no tem suporte tcnico

15 - Mix-Methods Studies

Usa mtodos quantitativos e qualitativos(estatstica

Etnografia Anlise de documentos Narrativas Casos particulares Entrevistas Modelos Teorias
Testes de norma e referncia Testes significativos para o efeito Escalas Estatsticas

Mtodos qualitativos e questes

Mtodos quantitativos

Vantagens

Combina mtodos quantitativos com mtodos quantitativos.

Desvantagens

A diversidade de mtodos e o rigor na aplicao pode invalidar/tirar rigor avaliao

16 Decision/AccountabilityOriented Studies
O programa de Proactivo, para ajudar o prprio programa avaliao deve ser Retroativo, para julgar o mrito e o valor

Enfse- no mrito e valor democracia, direitos humanos Ajudar a tomar decises num registo de accountability. Objetivo: providenciar o conhecimento, para que se tome decises de forma correta e econmica. Mtodos utilizados: estudo-caso; estudos experimentais

Cronbach (1963) os educadores deviam passar a focalizar-se mais nos programas do que nos objetivos (base para o conceito de avaliao formativa e sumativa).

Stuffebeam as avaliaes devem providenciar sempre informaes e ser definidas e elaboradas de forma a ajudar o grupo alvo, sempre em estreita relao com os stakeholders.

Vantagens

Todos os intervenientes fazem parte do projeto, so eles que definem as necessidades do grupo-alvo. Utiliza mtodos quantitativos e qualitativos. Deve ser feita numa base democrtica de uma sociedade livre.

Desvantagens

A relao entre avaliador e stakeholders pode tornar-se muito prxima, principalmente em situaes muito politizadas. Dando assim uma maior importncia avaliao formativa. Tem a conotao de apenas servir os topos.

17- Consumer- Oriented Studies

Principal questo qual dos seguintes programas a melhor escolha tendo em conta o custo, as necessidades do grupo consumidor, os valores da sociedade e quais os resultados positivos e negativos?

O avaliador visto como substituto iluminado do consumidor. Sendo os consumidores quem deve avaliar o programa em causa.

A base da avaliao o bem-estar do consumidor.

Ajuda todos a tomar decises corretas atravs da comparao dos diferentes gneros de produtos, d as melhores respostas. Observa todos os nveis de funcionamento: Custo, qualidade e comparao com outros produtos.

Este estudo deriva da sociedade, dos participantes e principalmente do quadro de referencias do avaliador.
Meta avaliao O avaliador deve avaliar os programas de avaliao.

Scriven (1974) lista de pontos chaves da avaliao Pontuao Graduao Ranking distribuio sntese final Desenvolve os conceitos de avaliao formativa e sumativa, dando maior enfse sumativa, para julgar o mrito e o valor. O avaliador entra depois da avaliao formativa, depois de recolher uma vasta informao, s assim possvel uma avaliao sumativa.

Qualidades

Protege os consumidores dos maus programas Independente Contribui para melhorar as necessidades dos consumidores

Defeitos

Pode ser demasiado independente Aplicada muito cedo pode intimidar e cortar a criatividade. Aplicada tarde demais pode ter dificuldades em obter o valor base do programa Depende muito da competncia, independncia e bulletproof do avaliador.

18 Accreditation/Certification Approach
Acreditar ou certificar determinada instituio ou pessoa para determinada funo Questo: As instituies/pessoal tm os requisitos mnimos para as suas funes e como podem melhorar as suas prestaes?

Mtodo : Um grupo de especialistas visita as instituies, verifica um relatrio interno e recolhe outras informaes.
Utilizado em grupos de profissionais em que os seus membros podem pr em risco a sociedade. tem um grande interesse do pblico e pode melhorar as capacidades e prticas de determinado grupo.

Qualidades

Permite julgamentos informados em relao qualidade das organizaes e qualificao do pessoal Dar mais importncia aos mecanismos e inputs do que aos resultados. Relatrios internos podem levar Corrupo

Defeitos

A Acreditao e a Certificao deve ser feita atravs de Meta-avaliaes externas.

19 Client Centered Studies (or Responsive Evaluation)

Principio Todos tm direito a educao, servios e oportunidades. Informao poder (dar informao aos menos favorecidos) Estas abordagens so orientadas tendo em conta as perspetivas dos stakeholders assim como de especialistas em caracterizao, investigao. Analisa os programas tendo como base uma orientao construtivista e o uso de mtodos qualitativos. Reflete o Ps- modernismo Positivo Interveno democrtica dos stakeholders Negativo -A forte carga de misso social pode levar a uma avaliao incorreta, uma pseudoavaliao. Os stakeholders podem ter poder a mais, beneficiando individualmente.

Centrada no cliente, porque o avaliador deve trabalhar com o apoio dos diferentes clientes. Estes devem contribuir para o conhecimento e melhoramento do programa. de Scriven (consumer-oriented) porque inclui a autonomia local e ajuda os envolvidos no processo a melhorar, atravs da avaliao. Prefere uma avaliao mais subjetiva (as concluses dependem de quem as analisa)

Relativistic School of Evaluation Examinar o programa na totalidade, numa abordagem pluralista, flexvel, interativa, holstica, subjetiva, construtivista e orientada para servir.
Formalizao de prticas informais e intuitivas.

Funo: Selecionar opinies e julgamentos dos stakeholders e especialistas. Independentemente dos resultados, o avaliador elabora um relatrio que pode dificultar as decises. Avaliador confiante, responsvel e competente cliente receptivo, paciente e tolerante para com a complexidade da avaliao.

Condio principal

Desenvolver uma relao com o avaliador

Qualidades

Utilizar as descobertas para melhorar a sua compreenso, deciso e ao. O avaliador olha profundamente para os interesses dos stakeholders e procura a informao til para eles.

Defeitos

A no credibilidade externa, pelo facto das pessoas interessadas terem muito controlo sobre a avaliao do seu trabalho. Os avaliadores podem perder a independncia por trabalharem muito prximos dos stakeholders.
Problemas entre staskeholders. Vrias interpretaes dos resultados pode ser contraproducentes.

20 Constructivist Evaluation
Instrumentos Humanos Avaliador e stakeholders so o centro do processo. Avaliador

Deve ser tico e respeitador de todos os Participantes, em especial dos sem direitos civis.
Deve ajudar os stakeholders a consciencializar-se da necessidade de melhorar o mundo. Deve respeitar a livre vontade dos participantes. Deve ter como finalidade o melhoramento da sociedade. Deve informar regularmente de tudo, mas sem concluses definitivas. Deve incentivar na procura de mais informao. No deve definir limites ao que investiga, pois tudo o que investiga serve para a procura de melhores respostas.

Cuba e Lincoln (1985, 1989) A Avaliao a abordagem dos avaliadores, a sua interao com os stakeholders e tambm a sua histria pessoal. Avaliao construtivista Nunca termina, pois impossvel chegar a respostas definitivas e estanques. Principal fundamento: Perceber a variedade de construes que surgem entre os stakeholders. As questes so criadas em interao entre avaliadores com os stakeholders. Mas estas nunca so fixas, vo sendo adaptadas s novas situaes.

Revela todo o processo ea s suas descobertas.

Valorizao por parte das pessoas, porque participaram e foram consultadas. Envolve todos os stakeholders.

Vantagens

Baixa as expectativas dos clientes em relao a causa-efeito. No promete respostas finais, mas abre caminhos para que todos trabalhem no mesmo sentido

Problemas de tempo Exige a participao de todos durante todo o processo. Utpico Stakeholders muito diferentes, com opinies divergentes. O avaliador pode no ter as informaes todas, porque os stakeholders podem no querer revelar tudo ou esto mal informados.

Desvantagens

Stakeholders que no concordam com o Construtivismo e preferem dados com significado estatstico.
O fracasso e o sucesso partilhado por todos.

21 Deliverance Democratic Evaluation

House and Howe Princpio democrtico Os avaliadores devem aplicar estes princpios, influenciando as instituies sociais atravs da emisso de revindicaes confiantes e vlidas. Participao democrtica Participao de forma igualitria de todos os stskeholders em todo o processo. No tolera quem tem mais poder. Dilogo para autenticar os inputs dos stakeholders O processo inicia-se com as descobertas iniciais, adquiridas atravs do dialogo. Todos contribuem atravs da discusso e do debate. Estado final de culminao O avaliador discute todos os inputs finais, podendo discordar dos stakeholders. Apresenta uma avaliao de mrito e valor, mesmo indo contra alguns dos stakeholders.

3 dimenses

Mtodo Pode incluir debates, discusses com os stakeholders; panormicas

House e howe - 10 questes Quem tem os interesses representados? Os maiores stakeholders esto representados? Existem excludos? Esto os verdadeiros poderes em equilbrio? H processos para manter o equilbrio? Como que as pessoas participam na avaliao? A sua participao autntica? Existe interao? Existem deliberaes reflexivas? As deliberao so muito extensveis e considerveis ?

Vantagens

Tentativa da avaliao ser justa Participao democrtica ao longo de todo o processo Incorpora os pontos de vista de todas as partes interessadas Dilogo Permite anular inputs que considere incorretos ou antiticos O avaliador apresenta uma concluso, assegurando o fim do processo

Desvantagem

Pode no ser possvel aplic-la na totalidade, ser irrealista.

22- Utilization Focused Evaluation

Patton O processo avaliativo tem que ter sempre um impacto.

Se o processo for totalmente funcional no existe a necessidade de um relatrio formal imprimido.

Abordagem que valoriza a avaliao em si.

Mtodo O avaliador , atravs da observao, identifica as diferentes perspetivas e interesses a serem estudados. A partir da escolhe um grupo representativo de stakeholders.

Este grupo de stakeholders que explica a necessidade da avaliao, como as descobertas iro ser aplicadas, como o processo deve ser conduzido e que tipo de relatrio apresentado. Recolher informao, sempre focalizada nas questes importantes. Utilizar tcnicas respeitadas pelos stakeholders, facilitadoras do estudo para todos os envolvidos. Dinmica conceptual entre avaliador e avaliados.

Defeitos:

A rotatividade dos utilizadores.

Possvel corrupo de stakeholders, pois tm controlo a mais desde as questes ao mtodo utilizado e informao obtida. Stakeholders com conflitos de interesse podem influenciar a avaliao. O avaliador tm que ser muito competente, trabalhar de modo flexvel sem perder os princpios ticos . Ter grande capacidade de negociao. A Falta de avaliadores treinados e experientes.

9 principais abordagens de Avaliao

Abordagem Mrito total Utilidade Viabilidade Correo Preciso Mdia Improvement/accontabili ty Decision/ Accontability Comsumer Orientacion Acreditation Social mission/ Advocacy Utilizacion- focused Client centered Democratic Deliberative Construtivist Question/Methods Case study Outcomes Monotiring/Value-added MB MB B MB MB B MB MB B MB MB B E MB B MB MB B

MB
MB MB MB

E
E E MB

MB
MB MB B

MB
MB MB MB

MB
MB MB MB

MB
MB MB MB

MB MB

MB MB

MB MB

MB MB

MB MB

MB B