Você está na página 1de 97

DEVOLUTIVA E

UTILIZAO DOS
RESULTADOS DO

SAEPE 2015

Organizao da Oficina
1 MOMENTO:
Avaliao Externa em Larga Escala e
Caractersticas escolares associadas ao
desempenho;
2 MOMENTO:
Apresentao dos resultados gerais;
3 MOMENTO
Como utilizar os resultados: elaborando
planos de ao;
SAEPE 2015

Objetivos 3 MOMENTO
Possibilitar, aos participantes:
a compreenso dos resultados da avaliao;
a observao dos resultados que servem
como orientao na elaborao dos cursos
de formao para os professores;
um possvel trabalho de formao nas
escolas.

SAEPE 2015

Etapas do Sistema de Avaliao


em Larga Escala

Para compreender o SAEPE, seus limites e


possibilidades, e utilizar, de maneira eficaz, os
resultados produzidos pela avaliao,
importante conhecer e entender as etapas que
constituem todo o processo de avaliao
educacional em larga escala.

SAEPE 2015

Etapas do Sistema de Avaliao


em Larga Escala

Determinao
da populao
a ser avaliada

Anlise dos resultados:


TCT e TRI
Produo dos resultados
Construo e
interpretao das Escalas
de Proficincia
Divulgao dos resultados

Elaborao da
Matriz de
Referncia
Construo de itens
Pr-testagem dos
itens
Anlise estatstica e
pedaggica dos
itens

4
SAEPE 2015

Montagem dos
cadernos de testes
(BIB)
Elaborao dos testes
Elaborao dos
questionrios
contextuais

Aplicao dos
instrumentos
Processamento
e constituio
da base de
dados da
avaliao

Quais os instrumentos
utilizados?
Matriz de Referncia
Itens
Escala de Proficincia
Padres de Desempenho
Nveis de Desempenho

SAEPE 2015

Atividade
Como esses instrumentos esto relacionados?
Pensem, para isso, nas diferentes etapas e disciplinas
avaliadas.
Matriz de Referncia
Itens
Escala de Proficincia
Padres de Desempenho
Nveis de Desempenho
Alguns instrumentos esto mais prximos do contexto
da escola: quais seriam? Busquem exemplificar.
Em grupo, com at 5 pessoas, elaborem um texto
apresentando essa relao.
SAEPE 2015

Instrumentos
Matriz de Referncia
Itens
Escala de Proficincia
Padres de Desempenho
Nveis de Desempenho

SAEPE 2015

Matriz de Referncia
formada por um conjunto de habilidades que
tem como fonte as Orientaes Curriculares da
rede e d origem aos itens que compem os
testes das avaliaes em larga escala.
Pode ser compreendida como um recorte do
currculo e, por isso, no deve ser confundida
com o mesmo.

SAEPE 2015

Matriz de Referncia

SAEPE 2015

Matriz de Referncia

TPICO: agrupamento de
um conjunto de
habilidades indicadas
pelos descritores, que
possuem afinidade entre si

SAEPE 2015

Matriz de Referncia

DESCRITORES:
detalhamento das
habilidades

SAEPE 2015

Itens
Matriz de Referncia
Itens
Escala de Proficincia
Padres de Desempenho
Nveis de Desempenho

SAEPE 2015

Itens

uma questo do teste.


Avalia uma nica habilidade, portanto o item
unidimensional.

SAEPE 2015

Itens

SAEPE 2015

Itens
Enunciado: estmulo para
que o aluno mobilize recursos
cognitivos, visando solucionar
o problema apresentado

SAEPE 2015

Itens

Suporte: texto, imagem e/ou


outros recursos que servem
de base para a resoluo do
item

SAEPE 2015

Itens

Comando: texto relacionado


habilidade que se deseja
avaliar, delimitando com
clareza a tarefa a ser realizada

SAEPE 2015

Itens

Distratores: alternativas
incorretas, mas plausveis
devem referir-se a raciocnios
SAEPE 2015
possveis

Itens

Gabarito: alternativa
correta

SAEPE 2015

Escala de Proficincia
Matriz de Referncia
Itens
Escala de Proficincia
Padres de Desempenho
Nveis de Desempenho

SAEPE 2015

Escala de Proficincia
DOMNIOS

SAEPE 2015

Escala de Proficincia
COMPETNCIA
S

SAEPE 2015

Escala de Proficincia
INTERVALOS

SAEPE 2015

Padres de Desempenho
Matriz de Referncia
Itens
Escala de Proficincia
Padres de Desempenho
Nveis de Desempenho

SAEPE 2015

Padres de Desempenho
Constituem uma caracterizao de
competncias e habilidades desenvolvidas pelos
estudantes de determinada etapa de
escolaridade, em uma disciplina/rea do
conhecimento especfica.
So agrupamentos a partir da proficincia
obtida nas avaliaes em larga escala por meio
da Teoria de Resposta ao Item (TRI).
So intervalos maiores de Nveis de
Desempenho.

SAEPE 2015

Padres de Desempenho

SAEPE 2015

Padres de Desempenho
ALUNOS: Demonstram um desenvolvimento ainda
incipiente das principais habilidades associadas
etapa de escolaridade, de acordo com a Matriz de
Referncia. Nos testes, tendem a acertar apenas
aqueles itens que avaliam as habilidades
consideradas basilares, respondidos corretamente
pela maior parte dos alunos e, portanto, com
maior percentual de acertos.

SAEPE 2015

Padres de Desempenho
ALUNOS: Ainda no demonstram o desenvolvimento
considerado apropriado das habilidades bsicas
avaliadas pela Matriz de Referncia, para a etapa de
escolaridade em que se encontram. Contudo,
respondem a itens com menor percentual de acerto e
que avaliam habilidades mais complexas, quando
comparados com o verificado no padro anterior.

SAEPE 2015

Padres de Desempenho
ALUNOS: Demonstram o desenvolvimento das
habilidades bsicas e essenciais para a etapa de
escolaridade avaliada, baseadas na Matriz de
Referncia. Demonstram atender s condies
mnimas para que avancem em seu processo de
escolarizao, ao responder aos itens que exigem
maior domnio quantitativo e qualitativo de
competncias, em consonncia com o seu perodo
escolar.

SAEPE 2015

Padres de Desempenho
ALUNOS: Demonstram ir alm do que considerado
bsico para a sua etapa escolar. Costumam responder
corretamente, com base na Matriz de Referncia, a um
maior quantitativo de itens, englobando aqueles que
avaliam as habilidades consideradas mais complexas
e, portanto, com menor percentual de acertos, o que
sugere a sistematizao do processo de aprendizagem
de forma consolidada para aquela etapa de
escolaridade.

SAEPE 2015

Padres de Desempenho

SAEPE 2015

Nveis de Desempenho
Matriz de Referncia
Itens
Escala de Proficincia
Padres de Desempenho
Nveis de Desempenho

SAEPE 2015

Nveis de Desempenho

Como vimos, os Padres de Desempenho so


intervalos maiores de Nveis de Desempenho.
A descrio das habilidades, por Nveis de
Desempenho, prov mais detalhamento para a
interpretao pedaggica dos resultados.

SAEPE 2015

Nveis de Desempenho
5 ano EF
LP

SAEPE 2015

Nveis de Desempenho
5 ano EF
LP
Elementar I

NVEIS DE
DESEMPENHO

SAEPE 2015

Nveis de Desempenho
5 ano EF
LP
Elementar I

PADRO DE
DESEMPENHO

SAEPE 2015

Nveis de Desempenho
Entenda a
diferena:
EXEMPLO 5
ANO DO
ENSINO
FUNDAMENTA
L LNGUA
PORTUGUESA
PADRO DE
DESEMPENHO

SAEPE 2015

Nveis de Desempenho
EXEMPLO 5 ANO DO ENSINO
FUNDAMENTAL LNGUA PORTUGUESA
NVEIS DE DESEMPENHO

SAEPE 2015

Metodologia da Avaliao

A compreenso e a interpretao dos resultados


da avaliao educacional externa em larga
escala requer o entendimento das informaes
coletadas pelo instrumento.

SAEPE 2015

Metodologia da Avaliao

Atualmente, h duas formas de produzir a


medida de desempenho de alunos submetidos
aos testes.
Voc sabe quais so elas?

SAEPE 2015

Metodologia da Avaliao

SAEPE 2015

Atividade
Reservamos esse momento para uma atividade em
grupo.
1. Formem grupos de at 5 pessoas.
2. Levantem as principais dvidas, tendo como referncia
a seguinte questo:

. Por que utilizar a TCT e a TRI nos


sistemas de avaliao?
3. Selecionem uma das dvidas apresentadas e redijam
fichas com os questionamentos.
. Aps a redao, entreguem as fichas para os
organizadores. Faremos uma discusso para responder s
dvidas.
SAEPE 2015

Metodologia da Avaliao
Os resultados analisados a partir da TCT so
calculados de uma forma muito prxima s
avaliaes realizadas pelo professor em sala de
aula.
Consistem, basicamente, no percentual de
acertos em relao ao total de itens do teste,
apresentando, tambm, o percentual de acerto
para cada descritor avaliado.

SAEPE 2015

Metodologia da Avaliao
A TRI, por sua vez, permite produo de uma
medida mais robusta do desempenho dos
alunos, porque leva em considerao um
conjunto de modelos estatsticos capazes de
determinar um valor/peso diferenciado para
cada item que o aluno respondeu no teste de
proficincia e, com isso, estimar o que o aluno
capaz de fazer, tendo em vista os itens
respondidos corretamente.

SAEPE 2015

Metodologia da Avaliao

SAEPE 2015

Metodologia da Avaliao
A TRI nos permite:
Comparar os resultados, com outras
avaliaes, inclusive.
Avaliar com alto grau de preciso a
proficincia de alunos em diversas reas do
conhecimento sem submet-los a longos
testes.
Comparar os resultados entre diferentes
etapas de escolaridade.

SAEPE 2015

Metodologia da Avaliao

SAEPE 2015

Metodologia da Avaliao
Como isso funciona?

A proficincia estimada considerando o


padro de respostas dos alunos, de acordo
com o grau de dificuldade e com os demais
parmetros dos itens.

SAEPE 2015

Metodologia da Avaliao

SAEPE 2015

Divulgao
A apropriao dos resultados requer
conhecimento sobre os canais de divulgao

Voc sabe onde


esto/so divulgados os
resultados do SAEPE?

SAEPE 2015

Atividade

Na escola, qual o material seria importante e


necessrio para gestores e para professores
receberem?
Em grupo, com at 5 pessoas, faam
apontamentos...

...vamos buscar respond-los durante a apresentao


do material!
SAEPE 2015

Divulgao dos resultados

PARA A ESCOLA

SAEPE 2015

Divulgao
Atualmente, a Secretaria em parceria com o
CAEd divulga informaes para a interpretao
dos resultados na Revista da Gesto e na
Revista Pedaggica, da Coleo SAEPE, presente
no site.

www.saepe.caedufjf.
net
SAEPE 2015

Divulgao
REVISTA DA GESTO
Direcionada equipe gestora
da escola.
Apresenta artigos e estudo
de caso relacionados
gesto escolar.
Informa o resultado da
escola em todas as
disciplinas e etapas de
escolaridade avaliadas.

SAEPE 2015

Divulgao
REVISTA PEDAGGICA
Direcionadas aos professores
da disciplina/etapa de
escolaridade e equipe
pedaggica da escola.
Apresentam informaes
pedaggicas, estudos de caso
relacionados prtica
pedaggica dos educadores e
textos que tratam de temas
da rea avaliada.
Veiculam o resultado da
escola: os volumes so
divididos por disciplina/etapa
SAEPE 2015
de escolaridade avaliada.

Divulgao
Os resultados, de cada escola, tambm podem
ser acessados pelo mesmo endereo.

www.saepe.caedufjf.
net

SAEPE 2015

Divulgao
Os Resultados por Escola (TRI) e os Resultados
por Aluno (TCT) esto disponveis no site.

SAEPE 2015

Divulgao
Para acess-los, clique em Resultados.

Resultados

SAEPE 2015

Divulgao
Componentes do Resultado
por Escola (TRI)

SAEPE 2015

Divulgao
Componentes do Resultado
por Escola (TRI)

SAEPE 2015

Divulgao
Proficincia Mdia

Resultado - Escola

SAEPE 2015

Divulgao
Participao

Resultado - Escola

SAEPE 2015

Divulgao
Evoluo do Percentual de
Estudantes por Padro de
Desempenho

Resultado - Escola

SAEPE 2015

Divulgao
Resultados por Aluno (TCT)
Acesso por senha.
Cada unidade escolar visualiza
apenas o prprio resultado!

SAEPE 2015

Divulgao

SAEPE 2015

Divulgao
Descritores avaliados, nmero de acertos e
nmero de itens apresentados no teste de
cada estudante

SAEPE 2015

Percentual Mdio de Acertos,


Categoria de Desempenho,
Proficincia e Padro de
Desempenho

Divulgao
ATENO, no painel de Resultados por Aluno
(TCT), entenda:

SAEPE 2015

Atividade

Agora, para a equipe tcnica, qual seria o


material importante e necessrio de
receber?
Em grupo faam apontamentos...

...vamos buscar respond-los durante a


apresentao do material!
SAEPE 2015

Divulgao dos resultados

PARA A EQUIPE TCNICA

SAEPE 2015

Divulgao
Dados em formato Excel tambm esto/so
divulgados equipe da Secretaria.
Com as informaes, pode-se fazer anlises
diversas.

SAEPE 2015

Divulgao
Planilha de Resultados TRI

Resultado - TRI

SAEPE 2015

Divulgao
Planilha de Resultados TRI

Em cada aba, os nveis de resultados de


cada componente curricular

SAEPE 2015

Divulgao
Planilha de Resultados TRI

PROFICINCIA

SAEPE 2015

Divulgao
Planilha de Resultados TRI

SAEPE 2015

%
ESTUDANTES
POR PADRO

Divulgao
Planilha de Resultados TRI

PARTICIPAO

SAEPE 2015

Divulgao
Planilhas de Resultados TCT

Resultado - TCT

SAEPE 2015

Divulgao
Planilhas de Resultados TCT

Em cada planilha, dados de cada


componente curricular, com filtros de
Rede e Etapa.

SAEPE 2015

Divulgao
Planilhas de Resultados TCT

REDE

SAEPE 2015

Divulgao
Planilhas de Resultados TCT

ETAPA

SAEPE 2015

Divulgao
Planilhas de Resultados TCT

% DE ACERTO POR DESCRITOR e %


TOTAL DE ACERTO, em relao etapa

SAEPE 2015

Apropriao
Anlise de Resultados por Escola (TRI)

SAEPE 2015

Apropriao
1 PASSO:
O objetivo desse primeiro passo contribuir
com um levantamento das informaes
produzidas sobre uma escola ou um conjunto
delas. Trata-se de uma caracterizao da
escola com base nos resultados da avaliao
nas ultimas edies do SAEPE.

SAEPE 2015

Apropriao

Sabemos que existem


diferentes
causas/razes. Pontue
aquelas que
voc/professor/ gestor
poder utilizar para
realizar intervenes!

SAEPE 2015

Apropriao
2 PASSO:
Aps o primeiro passo, cujo objetivo foi
caracterizar a(s) escola(s), tendo em vista os
resultados alcanados na avaliao, hora
de compreender as possveis razes que a
levaram a escola a alcanar tais resultados.
preciso fazer algumas reflexes sobre o
desempenho da escola. Para tanto, deve-se
reunir e discutir, coletivamente, sobre os
resultados em cada etapa e disciplinas
avaliadas no SAEPE.
SAEPE 2015

Apropriao
A Proficincia Mdia est crescendo, diminuindo
ou se manteve estvel ao longo das edies do
SAEPE? Essa anlise se refere qualidade da
educao.
Essa mdia condizente com os resultados de
desempenho nas avaliaes internas?
Como so as taxas de aprovao nessa etapa
de escolaridade?
H muitos alunos nos Padres mais baixos?
Quantos? Essa tarefa refere-se anlise da
equidade na educao.
Todos os alunos participaram da avaliao
SAEPE 2015
externa? Quais foram os que no fizeram? os

Apropriao
A escola consegue identificar quem so os alunos que
esto nesses Padres mais baixos?
So os mesmos alunos que apresentam dificuldades de
aprendizagem na escola? Cada professor consegue
identificar quem so esses alunos, nas suas turmas? Eles
apresentam dificuldades de aprendizagem em sala de
aula?
Esses alunos foram aprovados para a etapa de
escolaridade seguinte quela em que ele foi avaliado pela
avaliao externa?
Considerando o nmero de alunos que se encontram nos
Padres mais baixos, procure identificar, de acordo com
cada padro, quais habilidades esses alunos
desenvolveram.
De acordo com a etapa
de escolaridade
em que eles se
SAEPE
2015
encontram, quais habilidades eles j deveriam ter

Apropriao
3 PASSO:
Por fim, hora de planejar o futuro. De posse
de todas as informaes sobre a escola na
avaliao do SAEPE, nas ltimas edies,
sugerimos um roteiro de planejamento que
poder ajud-lo na elaborao e organizao
de estratgias para que a, escola como um
todo, e cada aluno, em particular, possam
apresentar melhor desempenho nas
prximas edies do SAEPE.

SAEPE 2015

Apropriao
Como elaborar e organizar estratgias?
Na escola, o PPP deve ser o instrumento a
ser consultado. Quais as informaes que
podem orientar na elaborao e organizao
de estratgias?
Metas: no podem ser ideais se no forem
executveis. No podem, tambm, ser de
fcil alcance, subestimando o trabalho da
equipe tcnica, gestora ou pedaggica.

SAEPE 2015

Apropriao

SAEPE 2015

Apropriao
Anlise dos Resultados por Aluno (TCT)

SAEPE 2015

Apropriao
Aps caracterizarmos a escola 1 PASSO ,
compreendermos quais so as possveis causas
do desempenho da escola 2 PASSO , e
analisarmos os Resultados por Escola (TRI) 3
PASSO, associamos as informaes dos
Resultados por Aluno (TCT).
So informaes sobre o percentual de acerto
para cada descritor apresentado no teste. Essas
informaes so divulgadas por aluno, turma,
escola e para a rede em geral. O foco de anlise
devem ser, sobretudo, os resultados de cada
aluno, cada turma e de sua escola, em particular.
SAEPE 2015

Apropriao
Como elaborar e organizar estratgias?
Vamos retomar as orientaes curriculares,
observando quais so os contedos
relacionados s habilidades os estudantes
apresentam maiores dificuldades.
Metas: no podem ideais se no forem
executveis. No podem, tambm, ser de
fcil alcance, subestimando o trabalho da
equipe tcnica, gestora ou pedaggica.

SAEPE 2015

Apropriao
Sobre o desempenho de cada turma:
Qual foi o percentual de acerto, de cada turma, em cada
descritor avaliado?
Como est o desempenho de cada turma em relao s
demais turmas da escola? Olhe para cada turma,
individualmente, e depois compare o seu desempenho com
o das demais.
Quais foram os descritores que apresentaram menor
percentual de acerto, em cada turma?
Procure relacionar as habilidades avaliadas por esses
descritores aos contedos trabalhados em sala de aula.
Trata-se de habilidades que j deveriam ter sido
desenvolvidas em etapas anteriores quela avaliada?
Esses descritores, com menor percentual de acerto, esto
relacionados a uma mesma competncia?
Na avaliao interna, os alunos apresentam dificuldades nos
SAEPE
2015
contedos relacionados
a esses
descritores?

Apropriao
Sobre o desempenho de cada aluno:
Observe os descritores que cada aluno errou.
Os alunos que erraram mais itens em relao aos
descritores apresentados so os mesmos que
apresentam dificuldades de aprendizagem em sala de
aula?
Nas avaliaes internas, esses alunos demonstram
dificuldades nos contedos relacionados a esses
descritores?
Faa a mesma reflexo levando em considerao os
descritores que foram mais acertados.

SAEPE 2015

Reflexes

SAEPE 2015

Contato

capsaepe@caed.ufjf
.br
SAEPE 2015