Contributo Dos Modelos de Kirkpatrick e de Stufflebeam1

30 de Abril e 1 e 2 de Maio de 2009
X Congresso

73 - O CONTRIBUTO DOS MODELOS DE KIRKPATRICK E DE

STUFFLEBEAM PARA O DESENVOLVIMENTO DE UMA
ESTRATÉGIA AVALIATIVA DO PROCESSO FORMATIVO
Carlos Manuel Folgado Barreira [1]

[1] Professor da Faculdade de Psicologia e de Ciências da Educação da Universidade de
Coimbra - cabarreira@fpce.uc.pt
Secção: Avaliação Educacional
Resumo
Os modelos de Kirkpatrick e de Stufflebeam são diferentes, mas complementares, e

constituem, conjuntamente com a noção de referencial de Figari, uma estratégia
avaliativa abrangente do processo formativo, que contempla as seguintes fases:
Preparar a intervenção avaliativa; elaborar e testar instrumentos para recolha de
dados; realizar a estratégia de avaliação; tratar e analisar os dados e apresentar os
resultados da avaliação.
Abstract
The Kirkpatrick model and Stufflebeam are different, but complementary, and
together they form, with the notion of referencial of Figari, an evaluation strategy
comprehensive of the training process, which includes the following phases:
preparing the speech evaluation, develop and test instruments for data collection,
carry out the strategy of evaluation process, analyze data and present the results of
the evaluation.
1
Em: Investigar, Avaliar, Descentralizar – Actas do X Congresso da SPCE (CdRom). Pasta
5_Coms_AT1. Mesa 8 – Comunicação nº 73. Organização de: Ferreira, Henrique; Sofia Bergano,
Graça Santos e Carla Lima. Bragança: SPCE e ESE/IPB
X Congresso

1. Introdução
Este artigo tem por objectivo apresentar uma estratégia avaliativa, que integra dois
dos modelos que mais têm contribuído para a avaliação da formação, sendo considerado
actualmente um pertinente campo de investigação.
A maioria dos processos de inovação e mudança pedagógica envolvem a formação
de professores, sendo este um factor fundamental de sucesso das organizações
educativas. A expansão generalizada da formação contínua de professores a que temos
assistido há duas décadas está relacionada com o facto de que esta irá melhorar o
desempenho profissional dos professores e, em consequência, contribuir para melhorar
os resultados das unidades de gestão.
Neste sentido, a avaliação da formação tem vindo a ganhar importância,
intensificando-se a pressão para demonstrar de que forma os processos formativos
contribuem para o desenvolvimento docente e das organizações escolares. Todavia a
avaliação da formação tem sido uma prática pouco habitual no sistema educativo,
tendo-se limitado a analisar algumas variáveis de entrada (características dos formandos
e formadores) e alguns efeitos nos formandos ao finalizar o programa a partir de
respostas a questionários. É preciso juntar outras investigações directas e sistemáticas
para indagar os verdadeiros efeitos da formação nos contextos de trabalho. Para além de
se averiguar em que medida os professores estão satisfeitos e atingiram os objectivos da
formação, importa também verificar se as aprendizagens adquiridas resultam em
melhorias efectivas no desempenho profissional dos docentes e nos resultados das
organizações. Isto é, importa analisar em que medida se verificou transferência das
aprendizagens para o local de trabalho.
Segundo Ryan e Crowell (1982, citados por Garcia, 1999) existem vários níveis de
avaliação que devem ser considerados nas acções de formação: as percepções dos
professores sobre o que aprenderam; o conhecimento do professor necessário para
aplicar uma nova competência; a capacidade do professor para aplicar uma estratégia; a
conduta dos alunos (capacidade do professor para mudar o comportamento dos alunos,
para os motivar); rendimento dos alunos (aquisição de conhecimentos, competências ou
valores através da utilização de estratégias).
2. O Conceito de Avaliação da Formação

Neste sentido, é importante reflectir sobre o conceito de avaliação. De acordo com
Barbier (1990) o acto de avaliação é um processo de transformação de representações,
tendo como ponto de partida a “representação factual” de um objecto e como ponto de
chegada a “representação normalizada” desse mesmo objecto.
Segundo Figari (1996), a avaliação, com vista à emissão de juízos, põe em confronto
duas ordens de dados: o referido e o referente. O referido é constatável ou apreensível
através do referente. É o conjunto de elementos observáveis considerados
representativos do objecto. O referente é um modelo que estipula o desejado, o
esperado, o ideal, desempenhando um papel instrumental na produção de um juízo de
valor a partir da definição dos critérios de avaliação que orientam a leitura do objecto a
avaliar.
Critério é uma formulação que serve para discriminar, para distinguir os êxitos dos
fracassos, ou para emitir um juízo de valor de forma a medir a qualidade de uma
2
X Congresso

avaliação. Os critérios têm como características a abstracção, a discriminação e a
operacionalização através de indicadores. Um indicador é uma característica
quantitativa ou qualitativa que dá informação sobre o estado e as mudanças de grandeza
de um dado objecto. Derivado do termo referente, Figari (1996) desenvolve o conceito
de referencial que confere especificidade ao processo de avaliação. Assim, para a
construção do referencial avaliativo deve considerar-se as seguintes etapas: a elucidação
do pedido (qual a origem?; qual é o contexto e as finalidades da avaliação?); o objecto a
avaliar (o quê avaliar?; que dimensões do objecto vão ser avaliadas?); os referentes (que
aspectos representativos do objecto a avaliar vão ser escolhidos para proceder ao
julgamento?); os indicadores (que características observáveis são escolhidas para
verificar o grau de alcance do critério?); os momentos e as fontes de informação
(quando recolher os dados? e que instrumento(s) construir?); a interpretação dos
resultados (que cruzamento de dados efectuar? e que significados atribuir aos
resultados?) e a divulgação dos resultados (o que dizer aos diferentes actores da
avaliação? como explorar os dados?).
Numa abordagem mais holística podemos referir que “A avaliação é um processo
sistemático de obter informação objectiva e útil para apoiar um juízo de valor sobre a
planificação, o desenvolvimento e os resultados da formação com o fim de servir de
base para a tomada de decisões pertinentes e para promover o conhecimento e
compreensão das razões dos êxitos e fracassos da formação” (Cabrera, 2003, 17).
Defender um conceito de avaliação como este significa aceitar que a actividade
avaliativa deve responder aos seguintes princípios de actuação: ser um processo
sistemático e não improvisado; assegurar a objectividade e utilidade da informação que
se recolhe; emitir um juízo de valor ou de mérito; integrar-se activamente em todas as
fases do processo de formação; ser um instrumento útil e ajudar na compreensão dos
fenómenos formativos, das variáveis associadas aos êxitos e aos fracassos (Cabrera,
2003).
3. Os Modelos de Avaliação
Os modelos de avaliação da formação aqui adoptados foram desenvolvidos há várias
décadas por Donald Kirkpatrick e Daniel Stufflebeam e, em nosso entender, permitem
uma abordagem holística da avaliação em contextos formativos. Enquanto o modelo de
KirkPatrick está centrado nos resultados e benefícios da formação, o modelo de
Stufflebeam está centrado nas tomadas de decisão do processo formativo (Barreira,
2001).
3.1. O Modelo de Donald Kirkpatrick

O modelo multinível de KirKpatrick et al., (2006), também denominado modelo
hierárquico de resultados da formação, visa medir a qualidade de uma intervenção
formativa a partir da análise de quatro níveis de avaliação: reacções, aprendizagens,
comportamentos e resultados. O primeiro nível diz respeito à opinião dos formandos
sobre determinados aspectos da formação. O segundo nível refere-se às aprendizagens
desenvolvidas por parte dos formandos. O terceiro nível de avaliação dá ênfase ao
comportamento dos formandos, isto é, à transferência para o contexto de trabalho das
3
X Congresso

aprendizagens adquiridas na formação. O quarto nível considera os resultados da
formação ao nível da mudança de indicadores de eficácia da organização.
O modelo hierárquico de resultados da formação tem os seguintes pressupostos: cada
nível é importante e tem impacto no nível seguinte; conforme se avança nos níveis, o
processo torna-se mais complexo e nenhum dos níveis deve ser ignorado, por considerar
o nível seguinte mais importante.
O nível 1, normalmente denominado avaliação do grau de satisfação dos formandos,
é uma das formas mais utilizadas na avaliação das acções de formação. Isto porque se
torna mais fácil, rápida e económica. Os resultados negativos neste tipo de avaliação
podem significar dificuldades de aprendizagem no curso.
Este nível tem por objectivos recolher as reacções, as opiniões dos formandos sobre
algumas dimensões da formação, detectar disfuncionalidades no sistema de formação e
regular as práticas formativas, tendo em conta as necessidades do público alvo.
Este nível de avaliação pode ser desenvolvido de forma contínua. Para isso, os
formandos deverão ser avaliados de acordo com vários critérios: a forma como
participam na acção, o desempenho nas actividades propostas, a forma como utilizam os
recursos disponibilizados, a capacidade de interacção com o grupo de formação.
Embora este nível se reporte fundamentalmente à avaliação do grau de satisfação dos
formandos relativamente às acções de formação, não se deve restringir a esta dimensão
avaliativa. Neste sentido, Kirkpatrick et al., (2006) considera diferentes tipos de
reacção: as reacções afectivas, de satisfação, as reacções instrumentais, de utilidade e as
reacções de dificuldade, da aprendizagem.
Na avaliação do 1º nível são utilizadas as seguintes técnicas: os inquéritos por
questionário sobre o grau de satisfação dos participantes no final da acção, a realização
de focus group, o inquérito por entrevista, os registo de comentários em fóruns de
discussão, a realização de observações de comportamentos dos participantes. As
técnicas que têm sido mais utilizadas são os inquéritos de satisfação por questionário,
normalmente passados aos participantes no final de uma acção de formação, com as
seguintes dimensões de análise; expectativas iniciais, objectivos de aprendizagem,
desempenho do formador, conteúdos programáticos, estratégicas pedagógicas, suportes
de apoio utilizados na formação, documentação de apoio à formação, apoio logístico e
espaços/instalações. Com base nestas dimensões são definidos critérios que, por sua
vez, são operacionalizados em indicadores.
O nível 2 - avaliação das aprendizagens - responde fundamentalmente à questão; os
formandos aprenderam com base nos objectivos do curso?, e tem como objectivos
principais verificar se os formandos estão a adquirir as aprendizagens pretendidas,
proporcionar ao formando um feedback sobre o modo como está a evoluir na auto-
aprendizagem orientada e permitir a reformulação da acção, corrigindo eventuais
fragilidades com vista à melhoria constante dos formandos.
Diz assim respeito à aquisição, aumento ou melhoria dos conhecimentos e
competências e, também à mudança de atitudes dos formandos, resultantes da formação
(Caetano & Velada, 2007).
Este nível pode concretizar-se através de uma abordagem mais completa. Para isso
deve contemplar a recolha de dados antes, durante e após a formação e incluir a
4
X Congresso

demonstração prática de aptidões e competências apreendidas e não apenas o
aprofundamento de conhecimentos.
As técnicas mais utilizadas neste nível de avaliação são os testes escritos (de
entrada/de progresso/finais) e orais, o role playing (simulação/dramatização sobre
situações), a elaboração de projectos, os jogos pedagógicos para a resolução se
situações/problemas, os estudos de caso (análise de situações e construção de planos), a
aplicação de instrumentos de auto-avaliação, a realização de observações, o registo e
análise de incidentes críticos, a elaboração de portefólios de competências e de mapas
conceptuais.
O nível 3 – avaliação de comportamentos - permite responder a duas questões
centrais em qualquer processo formativo: o que mudou ao nível dos comportamentos
dos indivíduos? e em que medida as alterações nos comportamentos contribuíram para
alcançar os objectivos individuais de desempenho? Enquanto a resposta à primeira
questão exige sinalizar com rigor antes da formação que comportamentos se pretendem
alterar, na resposta à segunda é crucial determinar quais os indicadores para avaliar o
impacto da formação nos desempenhos dos formandos.
O objectivo principal deste nível de avaliação é averiguar em que medida os
formandos transferem para o contexto de trabalho as aprendizagens adquiridas
(conhecimentos, competências e atitudes), o que requer desenvolver planos que
permitam a comparação do comportamento antes e depois da formação, podendo esta
ser realizada através de auto-relatos, observações de superiores hierárquicos e de pares.
As técnicas mais utilizadas para avaliar a transferência das aprendizagens são a
entrevista de chegada (quando o formando termina a formação), a aplicação de
questionários para avaliar a transferência e resultados no desempenho individual, como
por exemplo o LTSI - Learning Transfer System Inventory (www.edholton.com), a
construção de um plano de intervenção específico, as observações no posto de trabalho,
a análise de performance (através de avaliação inter-pares), o registo de análise de
incidentes críticos (análise comparativa) e a auto-avaliação.
A transferência das competências adquiridas durante a formação para os contextos
educativos é um processo complexo porque nele interagem um conjunto de variáveis
que devem ser tomadas em consideração para que este se torne viável.
Do modelo de análise da transferência da formação, baseado em Baldwin & Ford
(1988), Donovan, Hanning & Crowe (2001), Holton (1996), citados por Caetano &
Velada (2007), fazem parte três dimensões fundamentais: características dos formandos
(motivação, experiência profissional, prontidão para mudar, atitude face à formação,
auto-eficácia); design da formação (características do projecto de mudança, modelos
pedagógicos, conteúdos, conhecimento e oportunidade para transferir) e contexto
organizacional (valores e cultura, política de recursos humanos, apoio e suporte,
consequências da transferência).
A dimensão características dos formandos integra a capacidade cognitiva (tempo,
energia, disponibilidade mental no trabalho para transferir), a experiência profissional
(nível de proficiência atingido, cargo ocupado e antiguidade na organização), os
factores de personalidade (satisfação com o trabalho, crenças de auto-eficácia, atitude
face à mudança) e as variáveis motivacionais (motivação para aprender e motivação
para transferir).
5
X Congresso

A concepção/design da formação visa garantir o ajustamento dos conteúdos
(relevância e aprofundamento) às exigências do trabalho dos formandos, assegurar que
os modelos e práticas pedagógicas permitem aos formandos aprender o que se pretende
que aprendam e incluir conhecimentos sobre o modo de transferir as aprendizagens para
o local de trabalho.
O contexto organizacional deverá permitir, por um lado, promover a aprendizagem
contínua dos trabalhadores com vista a obter comportamentos pós-formativos e, por
outro, propiciar um clima facilitador de transferência concretizado pela frequência de
feedback sobre o desempenho, pelo apoio dos pares e da hierarquia e pela percepção das
consequências positivas da utilização das aprendizagens no desempenho profissional.
A análise das características dos formandos, da concepção da formação e do contexto
organizacional, e as suas respectivas variáveis, é fundamental para compreender a
complexidade do processo de transferência de aprendizagens.
O nível 4 - avaliação de resultados - tem como objectivos avaliar o impacto da
formação em termos de resultados na actividade da organização e avaliar a variação de
indicadores concretos previamente estabelecidos que resultaram da análise de
necessidades feita previamente ao desenvolvimento do processo formativo.
São exemplos de indicadores de eficácia, no âmbito da avaliação dos resultados da
formação contínua de professores, mais reuniões de trabalho em equipa docente,
melhoria nas práticas pedagógicas e de avaliação, menor número de reclamações por
parte dos pais relativamente às avaliações dos alunos, melhoria no sucesso escolar dos
alunos, aumento da procura da escola por parte dos pais e alunos.
Este nível de avaliação concretiza-se, tal como o nível 3, no local de trabalho e tem
por objectivo apurar a influência da aprendizagem na valorização humana e técnico-
profissional dos formandos e no desenvolvimento da organização.
As técnicas mais utilizadas são a análise dos resultados de intervenção específicos, a
análise de painel de indicadores de performance, a aplicação da fórmula ROI (Return of
Investment) e a análise custo-benefício (CB).
Os objectivos do cálculo do ROI são os seguintes: conhecer se a implementação de
uma acção é rentável para a organização do ponto de vista financeiro e identificar as
vantagens e os inconvenientes de uma dada acção formativa.
Não se pode confundir o cálculo do ROI com a análise custo/benefício. Esta
relaciona os benefícios brutos da formação com os custos do programa, enquanto o ROI
estabelece uma relação entre os benefícios líquidos da formação e os custos do
programa. Podemos dar o seguinte exemplo para clarificar os cálculos do ROI e do
custo/benefício Se os custos de um dado programa de formação são 20.000 euros
(custos podem ser relativos a viagens, à realização da formação, à preparação
material...) e os benefícios são de 100.000 euros (os benefícios podem ser relativos ao
aumento da produtividade, à redução do absentismo, às melhorias no trabalho, à
inovação e criatividade e à realização pessoal e profissional). O cálculo do CB é então
igual a 100.000/20.000 = 5, ao passo que o ROI é igual a 80.000/20.000 x 100% =
400%. Na análise do custo/benefício obtêm-se benefícios brutos, enquanto do ROI
resultam benefícios líquidos (IQF, 2006).
Os objectos de avaliação considerados no modelo de Kirkpatrick et al., (2006) são
vários e integram as necessidades de formação, a satisfação dos formandos, o
6
X Congresso

desempenho dos formadores, a adequação dos programas aos formandos, a aplicação
das competências adquiridas no contexto de trabalho, os efeitos inesperados da
formação e o impacto nos resultados da instituição, embora não lhes seja dada a mesma
ênfase no processo formativo.
Segundo a American Society for Training and Development (2002), citado por IQF
(2006), nas acções formativas: 78% das organizações avaliam o nível 1, satisfação dos
formandos; somente 32% avaliam o nível 2, aprendizagens; 9% o nível 3,
comportamentos e 6% o nível 4, resultados. Assim, os níveis mais interessantes e
pertinentes, que devem ser considerados em qualquer acção de formação, porque se
referem à transferência das aprendizagens para os contextos de trabalho, são os menos
utilizados.
De acordo com Caetano & Velada (2007), a simplicidade da taxonomia referente ao
modelo hierárquico de Kirkpatrick, a sua fácil compreensão e o facto da mesma oferecer
um sólido ponto de partida, têm feito deste o modelo mais citado em artigos publicados
no âmbito da avaliação da formação. “De facto, num estudo em que se analisaram 57
artigos publicados entre 1959 e 1996, os quais discutiam ou mencionavam modelos de
avaliação da formação, verificou-se que 44 deles incluíam o modelo de Kirkpatrick, ou
sozinho ou em comparação com outro modelo, sendo que apenas os 13 restantes artigos
discutiam um modelo que não o de Kirkpatrick” (Caetano & Velada, op. cit., 23).
3.2. O Modelo CIPP de Daniel Stufflebeam

Se no modelo de Kirkpatrick a ênfase é dada aos resultados da formação, no Modelo
CIPP, de Stufflebeam (1980, 2000), a intenção da avaliação é servir de guia à tomada de
decisões. O processo de decisão não acaba num dado momento é cumulativo e orientado
por reajustamentos constantes, acompanhando todo o processo formativo, rumo ao seu
aperfeiçoamento a partir da análise de necessidades feita em contexto educativo.
No modelo CIPP, a avaliação de uma acção de formação pressupõe quatro operações
fundamentais que implicam, correlativamente, o mesmo número de tomadas de decisão
(Roegiers, 1997). A 1ª operação refere-se à avaliação de contexto, isto é, à análise da
adequação entre os objectivos previstos e as necessidades identificadas, tendo como
finalidade a tomada de decisões de planificação. A 2ª operação diz respeito à avaliação
dos “inputs”, ou seja, à análise da adequação das estratégias previstas aos objectivos da
acção de formação, com base na qual são tomadas decisões de estruturação. A 3ª
operação relaciona-se com a avaliação do processo, isto é, com a análise da adequação
das estratégias realmente implementadas às estratégias previstas, sendo tomadas
decisões de aplicação. Por fim, a 4ª operação refere-se à avaliação do produto, ou seja, à
análise da adequação dos resultados obtidos aos objectivos da acção ou dos resultados
esperados, o que permite tomar decisões de revisão (Machado, 2007).
A avaliação de contexto incide sobre as necessidades de formação, as características
dos participantes da formação, os problemas que originaram as necessidades
identificadas, a coerência entre necessidades sinalizadas e os objectivos de
aprendizagem propostos. A avaliação do contexto pretende assim compreender as
razões que justificam a intervenção formativa, a distância entre as competências reais
dos formandos e as desejadas, o tipo de saber a desenvolver na formação e o que se
deseja modificar com a intervenção.
7
X Congresso

As questões centrais que permitem conduzir a avaliação de contexto são as seguintes:
Que objectivos se pretendem alcançar ao realizar o diagnóstico de necessidades?; Que
tipo de informação se obtém quando se efectua o diagnóstico?; De quem se obtém essa
informação e com que métodos?; Quanto tempo é necessário?; Como se processam os
dados?.
A avaliação de inputs incide sobre a (in)suficiência de recursos materiais e humanos,
as medidas alternativas à formação, a capacidade de resposta do sistema de formação, a
sinalização de eventuais entraves à formação e a adequação da proposta formativa
(objectivos, conteúdos programáticos e estratégias de intervenção).
Por isso, para avaliar convenientemente os “inputs” é necessário responder às
seguintes questões: Quais os critérios para seleccionar os formandos e os formadores?;
Os formadores têm provas dadas na área de formação?; Quais são as expectativas dos
formandos?; Qual o conhecimento, os interesses, as atitudes e as preocupações dos
formandos?; Que proposta formativa deve ser adoptada?.
Por sua vez a avaliação do processo incide na implementação das intervenções
formativas focalizada na observação de processos de ensino-aprendizagem, na conduta
do formador e dos formandos, na relação entre formador e formandos, na interacção dos
formandos com os materiais pedagógicos e na sinalização de eventuais aspectos a
melhorar.
A avaliação do processo é orientada pelas seguintes questões: Como está a decorrer a
formação?; Os conteúdos planificados estão a ser desenvolvidos?; O formador
demonstra conhecimento e competência?; Os formandos tiveram oportunidade de
praticar e fazer simulações?; Houve um equilíbrio entre as componentes teóricas e
práticas?; Qual foi o ambiente durante a formação?; Os conteúdos têm aplicabilidade
nos contextos de trabalho?.
Por fim, a avaliação dos produtos incide sobre os resultados da formação face aos
objectivos pré-definidos e às necessidades dos actores nos contextos educativos. A
avaliação dos outcomes visa aferir os resultados da formação em termos das
competências desenvolvidas e da sua aplicação nos contextos de trabalho: que
mudanças ocorreram após a realização da formação?
Neste sentido, as questões para avaliar o produto são orientadas fundamentalmente
para verificar as mudanças em consequência da proposta formativa. Qual o grau de
satisfação dos participantes em relação à formação desenvolvida?; Que conhecimentos,
competências e atitudes os formandos possuem que antes não possuíam?; Que
repercussões teve a formação no contexto de trabalho (melhor desenvolvimento das
tarefas, maior motivação e satisfação)?; Que repercussões teve na instituição (coesão,
organização, participação, trabalho em equipa, resolução de conflitos)?.
O modelo CIPP tem tido, ao longo das últimas décadas, um impacto significativo na
avaliação de programas de formação, principalmente na formação contínua. Segundo
Roegiers (1997) o modelo CIPP teve sucesso na avaliação da formação devido à
associação entre a avaliação e a tomada de decisão, à superação da avaliação reduzida
aos produtos e à ênfase dada ao contexto. Alem disso, o modelo de Stufflebeam remete
para a dimensão pragmática e instrumental da avaliação: para que é que serve?, realça a
temporalidade que é inerente ao processo de avaliação de uma acção (antes, durante e
depois) e destaca as diversas funções da avaliação orientar e adaptar (antes), regular e
aperfeiçoar (durante) e verificar e certificar (depois). Trata-se por isso de um modelo
8
X Congresso

holístico, que procura assumir um carácter “global” e “macroscópio” (De Ketele, 1986),
tendo em conta a complexidade de informações e decisões que devem ser consideradas
ao longo do processo da formação.
4. Uma Estratégia Avaliativa para o Processo Formativo

A estratégia avaliativa do processo formativo, aqui desenvolvida, que contempla as
seguintes fases: preparar a intervenção avaliativa; elaborar e testar instrumentos para
recolha de dados; realizar a estratégia de avaliação; tratar e analisar os dados e
apresentar os resultados da avaliação (IQF, 2006), integra os modelos de Kirkpatrick e
de Stufflebeam e a noção de referencial de Figari.
Na primeira fase - preparação e intervenção avaliativa - existem dois processos que
devem ser desenvolvidos: conhecer o contexto de partida da formação e Planear as
intervenções avaliativas, que correspondem às modalidades de avaliação de contexto e
de input do modelo CIPP de Stufflebeam. O conhecimento do contexto implica
compreender as razões que deram origem à formação, analisar a proposta de formação,
compreender as características dos destinatários da formação e sinalizar as
características da organização de acolhimento. Para a construção de um plano de
avaliação devemos orientar-nos pelas seguintes questões: Quais os objectivos da
avaliação pretendida?; Quais as questões avaliativas a efectuar?; Em que momentos
deverão ser desenvolvidas as intervenções avaliativas?; Quem são os actores da
avaliação?; Qual o quadro de referência avaliativo ?; Que métodos de avaliação são os
mais adequados?; Como serão apresentados os resultados?
Na fase II – elaboração e testagem de instrumentos para recolha de dados – é
fundamental construir instrumentos válidos e fidedignos para aplicar nas actividades de
avaliação guiados por algumas questões: Que tipo de informação deverá ser recolhida?;
Que procedimentos utilizar na recolha de informação?; Que quantidade de informação é
preciso recolher?; Que instrumentos serão seleccionados?; Como recolher informação
ao mais baixo custo?, sendo esta também considerada uma fase importante na
construção do referencial avaliativo (Figari, 1996).
Na fase III – implementação da estratégia avaliativa - é imprescindível realizar
intervenções avaliativas antes da formação (avaliação ex-ante), durante a formação
(avaliação on-going) e após a formação (avaliação ex-post), como preconiza
Stufflebeam (2000) no modelo CIPP.
Na realização de uma avaliação ex-ante é importante decidir qual a abordagem de
avaliação diagnóstica mais adequada para o contexto em análise, reanalisar resultados
de diagnósticos de necessidades já realizados, informar os vários actores dos objectivos
da avaliação e definir os resultados a alcançar para serem comparados com resultados
intermédios e finais da formação.
Na avaliação on-going deverão ser preparadas e realizadas as avaliações das reacções
e das aprendizagens, que correspondem aos níveis 1 e 2 do modelo de Kirkpatrick.
Deste modo, é crucial verificar se são contempladas na avaliação as dimensões críticas
da formação, os saberes e competências a desenvolver, considerar a diversidade de
técnicas disponíveis, preparar os formandos para participarem na avaliação e realizar as
intervenções antes, durante e no final da formação.
9
X Congresso

Nas avaliações ex-post deverão ser preparadas e realizadas as avaliações que
correspondem aos níveis 3 (transferência de competências adquiridas na formação para
o contexto de trabalho) e 4 (mudança de indicadores da organização) do modelo
hierárquico de resultados de Kirkpatrick.
Na preparação e aplicação de uma avaliação de 3º nível é importante sinalizar os
factores que podem inibir ou facilitar o processo de transferência, mobilizar os actores
para a realização de actividades que potenciam a transferência, seleccionar as técnicas
de avaliação a aplicar, elaborar um plano de acção com base numa entrevista de
“chegada”, disponibilizar ao ex-formando um instrumento para autoavaliação,
acompanhar os progressos e fazer uma reunião para os poder avaliar.
No que concerne à preparação de uma avaliação de 4º nível é importante generalizar
as mais valias da formação no contexto da organização, definindo estratégias de acção e
mobilizando os actores a implicar na execução das estratégias pré-definidas. Na
avaliação de impactes da formação na organização devemos ter presente as razões
fundamentais que conduziram à formação, analisar os indicadores susceptíveis de
sofrerem impacte na sequência da formação, sinalizar outras medidas que possam ter
impactes nos mesmos indicadores e estimar os benefícios da formação (valor
acrescentado percepcionado pelos vários actores directos ou indirectos da formação).
Como podemos constatar a avaliação percorre todo o processo formativo, desde a
concepção ao impacto passando pela implementação. Supõe portanto a necessidade de
recolher informação, fazer juízos de valor e tomar decisões em diferentes momentos,
procedendo a avaliações diagnósticas, formativas e sumativas como propõe Stufflebeam
(2000). Trata-se de uma reflexão crítica sobre todos os momentos e factores que
intervêm no processo formativo, com vista à tomada de decisões adequadas ao seu
aperfeiçoamento.
Na fase IV deve-se tratar os dados recolhidos, analisá-los, produzir os conteúdos do
relatório e elaborar recomendações.
No tratamento dos dados é importante decidir que tipo de dados tratar e como tratar,
codificar e validar os dados seleccionados para respectivo tratamento, verificar se a
amostra de respondentes é representativa e se os métodos de recolha de dados foram
adequados.
Na análise dos dados, após tratamento, deve-se verificar se as questões avaliativas
pré-estabelecidas foram respondidas, aferir sobre o tipo de análise mais adequada,
verificar se da análise efectuada resulta informação relevante para a tomada de decisão e
verificar se a informação produzida é suficientemente credível.
Na produção do relatório deve-se discutir com os actores a sua natureza e os
conteúdos a desenvolver, destacar as mensagens mais importantes do processo de
avaliação, apresentar vários cenários para propostas de melhoria de práticas, utilizar
uma linguagem acessível e optar por uma estrutura adequada.
A elaboração de recomendações deve ser feita com base nas informações produzidas,
considerar os custos associados e a capacidade de decisão dos actores para as pôr em
prática e sinalizar os resultados a alcançar com a sua concretização.
Por último, a fase V – apresentação dos resultados da avaliação – tem por objectivos
definir uma estratégia para apresentar os resultados da avaliação e elaborar planos de
acção. Para atingir o primeiro objectivo é importante decidir a quem, como, quando,
10
X Congresso

quem e onde devem ser apresentados os resultados, ter presente as várias possibilidades
para os levar a efeito e recolher informação sobre a satisfação relativa à forma como
foram apresentados.
Para elaborar planos de acção é necessário implementar as seguintes estratégias:
sinalizar previamente recomendações de melhoria a implementar, sinalizar acções e os
actores que vão implementar as medidas propostas, identificar os resultados que se
espera alcançar e desenvolver o calendário mais adequado à produção dos resultados.
A estratégia avaliativa aqui adoptada é concretizada através de um conjunto de fases,
processos e instrumentos, de forma a que a avaliação possa acompanhar todo o processo
formativo através de três momentos cruciais: antes da formação (fases I e II); durante a
formação (fases III e IV) e após formação (fase V).
11
X Congresso

5. Referencias Bibliográficas
Barbier, J-M. (1990). A avaliação em formação. Porto: Edições Afrontamento.

Barreira, C. (2001). Avaliação das aprendizagens em contexto escolar. Estudo das
atitudes dos docentes face ao modelo de avaliação do ensino básico.
Dissertação de Doutoramento (documento policopiado). Universidade de
Coimbra. Faculdade de Psicologia e de Ciências da Educação.
Cabrera, F. (2003). Evaluación de la formación. Madrid: Editorial Síntesis.
Caetano, A. & Velada, R. (2007). O problema da transferência na formação
profissional. In A. Caetano (cood.), Avaliação da formação – Estudos em
organizações portuguesas (pp. 19-37). Lisboa: Livros Horizonte.
De Ketele, J. -M. (1986). L'évaluation: approche descriptive ou prescriptive? Bruxelles:
De Boeck Université.
Figari, G. (1996). Avaliar: Que referencial?. Porto: Porto Editora.
Garcia, C. (1999). Formação de professores – Para uma mudança educativa. Porto:
Porto Editora.
Instituto para a Qualidade da Formação (2006). Guia para a avaliação da formação.
Lisboa: Inofor.
Kirkpatrick, D. & Kirkpatrick, J. (2006). Evaluating training programas – The four
levels (3ª ed.). San Francisco: Berrett-Koehler Publishers.
Machado, E. (2007). Avaliação e participação. Um estudo sobre o papel dos actores na
avaliação da formação contínua. Dissertação de doutoramento (documento
policopiado). Universidade do Minho: Instituto de Educação e Psicologia.
Roegiers, X. (1997). Analyser une action d’education ou de formation. Bruxelles:
DeBoeck Université.
Stufflebeam, D. L. et al. (1980). L' évaluation en éducation et la prise de décision.
Ottawa: Les Éditions NHP.
Stufflebeam, D. L. (2000). The CIPP model for evaluation. In Daniel Stufflebeam,
George Madaus e Thomas Kellaghan (Eds.), Evaluation Models. Viewpoints
on educational and human services evaluation (pp. 279-317). Massachusets:
Kluver Academic Publishers.
12

Contributo Dos Modelos de Kirkpatrick e de Stufflebeam1

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Contributo Dos Modelos de Kirkpatrick e de Stufflebeam1

Enviado por

Direitos autorais:

Formatos disponíveis

30 de Abril e 1 e 2 de Maio de 2009

73 - O CONTRIBUTO DOS MODELOS DE KIRKPATRICK E DE

Carlos Manuel Folgado Barreira [1]

Secção: Avaliação Educacional

Os modelos de Kirkpatrick e de Stufflebeam são diferentes, mas complementares, e

2. O Conceito de Avaliação da Formação

3.1. O Modelo de Donald Kirkpatrick

3.2. O Modelo CIPP de Daniel Stufflebeam

4. Uma Estratégia Avaliativa para o Processo Formativo

Barbier, J-M. (1990). A avaliação em formação. Porto: Edições Afrontamento.

Você também pode gostar