FORMULANDO O

DESENHO DE AVALIAÇÕES
Pesquisa no mundo real – David E. Gray

OBJETIVOS

Depois de ler este capítulo, você será capaz de:

• Descrever os propósitos das avaliações.
• Distinguir as diferentes escolas de avaliação.
• Identificar fontes adequadas de coleta de dados.
• Desenhar ferramentas válidas e confiáveis de avaliação.
• Produzir relatórios de avaliação compreensíveis e informativos.

www.grupoa.com.br
Pesquisa no mundo real – David E. Gray

O FOCO DA AVALIAÇÃO: KIRKPATRICK

Os quatro níveis de Kirkpatrick:

• Nível 1, Reação: avaliar as reações de trainees ao programa (geralmente
usando um questionário).
• Nível 2, Aprendizagem: medir o conhecimento, as habilidades e as
atitudes que resultam do programa e que foram especificados como
objetivos do treinamento.
• Nível 3, Comportamento: medir aspectos de melhor desempenho
profissional que estejam relacionados aos objetivos do treinamento.
• Nível, 4 Resultados: relacionar os resultados do treinamento a objetivos
organizacionais e outros critérios de eficácia.

www.grupoa.com.br
Pesquisa no mundo real – David E. Gray

O FOCO DA AVALIAÇÃO:
ANÁLISE CUSTO-BENEFÍCIO

Menor necessidade Aumento de

de supervisão resultados

Benefícios
tangíveis/mensuráveis

Menor Maior
probabilidade de flexibilidade e
Menor inovação
doença/ausência
probabilidade de
refazer os
trabalhos

www.grupoa.com.br
Pesquisa no mundo real – David E. Gray

O FOCO DA AVALIAÇÃO:
ANÁLISE DE IMPACTO
• Cada participante deve anotar três resultados que considera mais
importantes .
• Em um quadro, eles são reorganizados em grupos ou temas.
• Cada grupo recebe um título, e os envolvidos devem atribuir 10 pontos
aos grupos, para que se chegue a uma classificação.
• Feito isso, discutem‑se os fatores que
facilitam e prejudicam, para criar uma
análise de campo de força.
• Por fim, os envolvidos discutem como
os propósitos do programa podem
ser avaliados.

www.grupoa.com.br
Pesquisa no mundo real – David E. Gray

O FOCO DA AVALIAÇÃO:
ANÁLISE DE CAMPO DE FORÇA

www.grupoa.com.br
Pesquisa no mundo real – David E. Gray

TIPOS DE AVALIAÇÃO (EXEMPLOS)

Foco ou tipo de avaliação Perguntas fundamentais ou abordagem

Foco comparativo Qual é a classificação ou a comparação entre

dois ou mais programas em termos de
indicadores específicos, resultados, critérios?

Foco descritivo O que acontece no programa? O que se pode

observar?

Foco no cumprimento das As regras e as regulamentações são

regras seguidas?
Avaliação de necessidades Do que os clientes precisam e como essas
necessidades podem ser atendidas?

www.grupoa.com.br
Pesquisa no mundo real – David E. Gray

ESCOLAS DE AVALIAÇÃO

www.grupoa.com.br
Pesquisa no mundo real – David E. Gray
ESCOLAS DE AVALIAÇÃO: EXPERIMENTAL
Abordagem
Procura demonstrar que qualquer
mudança no comportamento ou
resultado pode ser atribuída à
intervenção.
Há uma ênfase na medição
quantitativa e no uso de grupos
experimentais e de controle.
Limitações potenciais
Demonstrando que as mudanças são
devidas à variável independente (a
intervenção) e não a variáveis
intervenientes.
Para a aplicação de técnicas
estatísticas, as amostras devem ser
suficientemente grandes.
Problemas em atingir equivalência
entre os grupos experimental e de
controle.
www.grupoa.com.br
Pesquisa no mundo real – David E. Gray

ESCOLAS DE AVALIAÇÃO: SISTEMAS

Determinar os requisitos da avaliação

Especificar os objetivos da avaliação

Planejar a avaliação
Identificar fontes de informação

Preparar um calendário de avaliação com

envolvimento dos interessados

Preparar e fazer testes‑pilotos do(s) instrumento(s)

Coletar e interpretar dados Administrar instrumento(s)

Coletar e registrar dados

Preparar recomendações e
Formular recomendações
planos de ações

Elaborar um plano de ações corretivas

Elaborar um relatório
www.grupoa.com.br
Pesquisa no mundo real – David E. Gray

ESCOLAS DE AVALIAÇÃO: ELUCIDATIVA

• Busca as visões dos participantes.

• Reconhece que há “perpectivas múltiplas”.
• Desenvolve uma consciência comunitária,
frequentemente usando métodos.
• (Mas os patrocinadores querem
frequentemente medições sobre
resultados exatos.)

www.grupoa.com.br
Pesquisa no mundo real – David E. Gray

ESCOLAS DE AVALIAÇÃO:
INTERVENCIONISTA E PESQUISA‑AÇÃO
• Íntima colaboração com a equipe e os participantes de programa.
• Concordância sobre finalidades dos dados a serem coletados.
• Compromisso com obter um impacto direto sobre um programa e os
envolvidos nele.

www.grupoa.com.br
Pesquisa no mundo real – David E. Gray

FONTES DE COLETA DE DADOS

• Informantes:
– Representantes do processo/tutores/facilitadores.
– Gestores e patrocinadores.
– Controles (não recebem a intervenção).
– Interessados (p.ex., gerentes de alto nível).
• Observações (aberta/oculta, participante/não participante).
• Registros (planos de projetos, e-mails, anotações em papel).

www.grupoa.com.br
Pesquisa no mundo real – David E. Gray

FERRAMENTAS DE COLETA DE DADOS

• Planos de questionários e entrevistas.

• Testes diagnósticos.
• Grade de repertório.
• Incidentes fundamentais.
• Cadernos de aprendizagem.

www.grupoa.com.br
Pesquisa no mundo real – David E. Gray

QUESTÕES DE QUALIDADE: VALIDADE

• Um alto nível de validade de face é importante para os patrocinadores do

programa.
• Necessidade de ir além de questões do tipo “felicidade” para medir o
impacto.
• A validade aumenta com a observação oculta ou de longo período dos
participantes do programa.

www.grupoa.com.br
Pesquisa no mundo real – David E. Gray

QUESTÕES DE QUALIDADE: CONFIABILIDADE

• Dar os dados a outro formador ou avaliador para ver se ele chega a

conclusões semelhantes (confiabilidade interavaliadores).
• Buscar múltiplas perspectivas (p.ex., patrocinadores, participantes,
envolvidos).

www.grupoa.com.br
Pesquisa no mundo real – David E. Gray

QUESTÕES DE QUALIDADE: OBJETIVIDADE

Os resultados da avaliação têm que ser comparados com algo diferente para
que tenham qualquer sentido, como:
•Resultados de programas semelhantes.
•Resultados do mesmo programa aplicado em uma ocasião anterior.
•Resultados de programas‑modelo no mesmo campo.
•Objetivos declarados do programa.
•Padrões externos desenvolvidos por organismos profissionais.

www.grupoa.com.br
Pesquisa no mundo real – David E. Gray

MELHORANDO O RELATÓRIO DE AVALIAÇÃO

• Envolva patrocinadores na formulação de objetivos e no desenho da

avaliação, para conquistar seu interesse e seu comprometimento.
• Obtenha comprometimento de interessados influentes antes da avaliação,
de que haverá ações com base nos resultados.
• Pense em estabelecer um grupo de coordenação para monitorar e ajudar o
projeto de avaliação e faça com que interessados influentes participem do
grupo para aumentar sua credibilidade.
• Mantenha os patrocinadores informados dos resultados (principalmente
dos inesperados) a medida que ocorram.

www.grupoa.com.br
Pesquisa no mundo real – David E. Gray

RESUMO

• A avaliação envolve a coleta sistemática de dados sobre as características

de um programa, produto, política ou serviço.
• Assim como a maioria das abordagens à pesquisa, a avaliação envolve
diferentes escolas ou perspectivas, da experimental e quase‑experimental,
com ênfase na medição de resultados e dados quantificáveis, às
perspectivas elucidativas com foco nos processos e nas múltiplas
perspectivas dos participantes.
• As ferramentas de coleta de dados incluem questionários, testes de
diagnóstico, cadernos de aprendizagem e documentação de incidentes
fundamentais.

www.grupoa.com.br
Pesquisa no mundo real – David E. Gray

RESUMO

• Os princípios de validade, confiabilidade e objetividade se aplicam tanto

à avaliação quanto a muitos outros aspectos da pesquisa.
• O impacto da avaliação é aumentado se os interessados forem mantidos
informados dos resultados à medida que surjam.
• A avaliação que não considerar questões éticas muitas vezes estará
fadada ao fracasso. As abordagens éticas incluem um foco nas
necessidades individuais das pessoas, em vez dos objetivos de
organizações, no foco em um propósito transparente da avaliação àqueles
que estão sendo avaliados e em incentivar a participação no processo de
avaliação.

www.grupoa.com.br