Você está na página 1de 30

As provas nacionais: leituras de resultados e processo de classificao

Conselho de Escolas

27 de julho 2012

1. Notas prvias leitura de resultados


As funes das provas de avaliao externa realizadas em P t Portugal: l
Certificao Seriao (provas especficas do 11. ou 12. anos)

Ao de regulao na implementao do currculo


A li d d Avaliao do desempenho d sistema educativo h do i t d ti

Os resultados das provas nacionais como ferramentas de regulao na implementao do currculo


Importncia da qualidade dos resultados diferenciao dos
nveis de desagregao nvel global, por domnio/tema, por grupos/subgrupos, por item, por regio (NUT III)

Informao acessvel e dedicada aos diversos interlocutores


pblico em geral, escolas, professores, pais p g , ,p ,p

Informao de acesso livre resultados globais, relatrios nacionais e d acesso restrito relatrios tcnicos ( i i de t it l i i (por i item,
por turma, por escola, por aluno)

Interpretar e usar os resultados das provas nacionais


para apoio no di i diagnstico d prticas d sucesso ou i de i de de menor sucesso na promoo da aprendizagem dos alunos como auxiliares na definio de estratgias para superar as f ilid d id tifi d fragilidades identificadas
Relatrios tcnicos resultados de cada escola e de cada disciplina (prova) por item Relatrios nacionais Resultados nacionais por disciplina e por item 3. ciclo e ES

NOVO - 2012

Resultados por item

Regulao na implementao do currculo

Provas P finais e exames finais nacionais

Resultados globais e por escola

Avaliao do desempenho do sistema educativo

Assegurar uma valorizao equilibrada do papel dos exames na vida escolar


A avaliao externa tem um peso de 30% na avaliao global no final de cada ciclo Os exames podem gerar efeitos negativos na qualidade da aprendizagem e nas prticas profissionais do docentes Os exames, em sentido oposto, constituem uma importante mais-valia para motivar a aprendizagem e elevar padres d i li i di l d de exigncia na gesto do currculo

A eterna questo da interpretao dos resultados dos exames nacionais


As provas nacionais so pblicas sujeitas a uma variao interanual de resultados que depende pelo menos de duas depende, menos, variveis o instrumento de avaliao e as caratersticas dos alunos Em boa verdade, medir o desempenho dos alunos ao longo tempo, tempo de forma fivel implica usar o mesmo instrumento fivel, de medida provas no-pblicas O modelo de conceo de provas em vigor no GAVE visa minimizar o impacto do carcter pblico das provas nos resultados
7

A comparabilidade e a estabilidade dos resultados


Em regra, as p g , provas so reconhecidas como bem elaboradas quando a variao interanual dos resultados nula ou quase nula Avalia-se a qualidade das provas em funo dos resultados, p grupos de acordo com expetativas de diferentes g p de interesse, e no em funo das suas caratersticas tcnicas:
adequao ao programa e s informaes publicadas no incio de cada ano letivo; adequao da extenso; diferenciao da tipologia de itens e das operaes mentais que os diferentes itens mobilizam; q p , qualidade qualidade dos materiais de suporte dos itens, q grfica, etc.
8

A comparabilidade e a estabilidade dos resultados


O valor da estabilidade dos resultados como critrio para p avaliar a fiabilidade dos instrumentos de avaliao publicados assenta em premissas pobres e redutoras 1. os alunos no podem progredir ou regredir ao nvel q p da qualidade dos seus conhecimentos e capacidades 2. as provas no podem alterar a sua estrutura no sentido de sinalizar reas frgeis de aprendizagem previamente diagnosticadas 3. 3 As provas tornam-se instrumentos de avaliao tornam se excessivamente previsveis condicionando, por esta , que geram ao longo do g via, a fiabilidade dos resultados q g tempo

2. Os resultados das provas nacionais


A comparabilidade interanual d resultados, 2001-2006 bld d l dos l d

Variaointeranualmdiadosresultados Variao interanual mdia dos resultados (valoresemmdulo pontos),20012006


15

10

5 200102 200203 200304 200405 200506

10

A comparabilidade interanual dos resultados, 2006-2012

11

A comparabilidade interanual dos resultados por disciplina, 2009-2012

GeografiaA DesenhoA EconomiaA Economia A Biol.Geol. MatemticaA HistriaA MACS Portugus g Geom.Desc.A Fis.Quim.A 0 5

Variaointeranual mdiados resultadospordisciplina (valoresempontos mdulo) 20092012

10

15

20

12

A evoluo dos resultados exemplos: factores condicionantes da estabilidade dos resultados


Resultados dos alunos internos - 1. Fase, 2006-2012 (valores em pontos)

150 140 130 120 110 100 90 80 70 2007 2008 2009 2010

Portugus MatemticaA

2011

2012

13

O exemplo da evoluo dos resultados da prova de Portugus (639)


Mdia Nac cional - aluno os interno (pontos) os

A anlise d li dos resultados por item ou por grupo ou subgrupo a nica que permite uma interpretao fivel do comportamento dos examinandos

2007 GR I-A Pessoa (H); GR I-B Cames 2008 GR I-A Cames; GR I-B Cames 2009 GR I-A Monteiro; GR I-B Pessoa (O)

2010 GR I-A Cames; GR I-B Saramago 2011 GR I-A Pessoa (H); GR I-B Pessoa (H) 14

Anos

A diferena entre o resultado previsto e o observado


2010 1. fase 1 Grupo II Item 8 - C t = 15 pontos It Cotao t Pontuao mdia = 10,43 2011 1. fase 1 Grupo II Itens 2.1, 2 2 e 2 3 C t = 15 p. It 2 1 2.2 2.3 Cotao Pontuao mdia = 5,19
Item 2.1 - Cotao = 5 pontos

pontuao mdia = 2,78


Item 2.2 - Cotao = 5 pontos

pontuao mdia = 0,59


Item 2.3 - Cotao = 5 pontos

pontuao mdia = 1 82 di 1,82

15

O exemplo da evoluo dos resultados da prova de Matemtica A (635)

MatemticaA Oefeitodeumadesregulaoforada
150 140 130 120 110 100 90 80 70 2007 2008 2009 2010 2011 2012

Desregulaoforadadosresultados Ajustamentosaovalorde referncia

16

A comparao dos resultados de 2011 e de 2012: as leituras mediticas vs uma leitura tcnica

Alunos externos, 2011 e 2012 (%) , ( )


45

2012 2011

40

35

30

25

A variao do peso relativo dos alunos externos na composio do resultado g global de 2011 e de 2012 inviabiliza qualquer comparao dos resultados totais, com um mnimo de , rigor tcnico.

20 Portugus Biologiae Geologia MatemticaA FsicaeQumica A

17

A comparao dos resultados de 2011 e de 2012: as leituras mediticas e uma leitura tcnica
Resultados 2012 - alunos externos, internos e total (valores em pontos)
110 100 90 80 70
20

Externos Total Internos


10

Variao dos resultados dos alunos internos, 2011-2012 (valores em pontos)

10

60

Portugus

Biolog giaeGeologia

40 Portugus Biologiae Geologia l MatemticaA FsicaeQumica A

Fsica aeQumicaA

M MatemticaA

50

30

18

A evoluo dos resultados no 3. ciclo do Ensino Bsico


Resultados - 1 Chamada 2010-2012 1. Chamada,

Evoluo daclassificaomdia(%) Totaldealunos


60

LnguaPortuguesa
55

Matemtica

50

45

Previso GAVE do resultado para 2012: 45 a 49%

40 2010 2011 2012

19

A relao CIF e CPF nos exames do 9. ano 2012


Relao entre a classificao interna (CIF) e a classificao da prova final (CPF), em funo da mdia global. Lngua Portuguesa (LP) e Matemtica (Mat) - 9. ano, 2011-2012
70 65 60 55 50 45 40 35 30 LPmdiaglobal LP %CPF=>CIF Matmdiaglobal Mat%CPF=>CIF

LPmdiaglobal LP %CPF=>CIF Mat mdiaglobal Matmdia global Mat%CPF=>CIF

Em 2012, com mdias globais iguais nas duas disciplinas (54%), verifica-se verifica se que em LP 57% dos alunos tm uma CPF igual ou superior CIF, enquanto em Matemtica se regista um valor de 67%. 6 %.
20

A comparao dos resultados de 2011 e de 2012 Matemtica

Percentagem de alunos por nvel - Matemtica 9 ano 9. ano, 2011-2012


1 2 3 4 5 0 10 20 30 40

2012 2011
50

21

2008 vs 2012
Resultados muito similares (54% e 53%, respetivamente) conseguidos com produtos vistos pelos parceiros como muito diferentes

2008
A prova est de acordo com as orientaes curriculares (). Porm, os itens que avaliam o raciocnio e a resoluo de problemas ( ) so, na sua maioria, d nvel elementar. ( ) D bl () i i de l l t () De uma forma geral, a prova menos exigente do que as dos anos anteriores , existindo diversos itens que podem ser resolvidos por alunos de outros ciclos de escolaridade ().

2012
A Associao de Professores de Matemtica considera que a prova adequada ao nvel de escolaridade dos alunos e ao tempo estipulado, valorizando claramente objetivos e contedos do 3. ciclo, tal como se pretende. () A prova contempla, de uma forma equilibrada, as competncias d conceitos e procedimentos, raciocnio e t i de it di t i i resoluo de problemas. A linguagem utilizada ao longo do exame acessvel e adequada aos alunos e as imagens so claras e exemplificam bem as situaes descritas.

Em 2007, a mdia global tinha sido 35%!

22

2008
() nossa opinio que o nvel geral da prova demasiado elementar. () Esta crtica estende-se a todas as perguntas. () No seu conjunto, o nvel desta prova certamente um dos mais elementares se no o mais elementar produzidos nos ltimos anos nas provas nacionais d matemtica. ( ) S verdade que i i de t ti () Se d d muitos alunos e alguns pais podem ficar satisfeitos com o facto, os custos futuros podem ser muito graves.

2012
A prova cobre corretamente os diversos contedos programticos do 3. ciclo, est bem construda e tem uma extenso adequada ao tempo d resoluo previsto. () a Sociedade de l d d Portuguesa de Matemtica congratula-se pelo facto de, pela primeira vez, o enunciado no apresentar itens demasiado palavrosos, com contextualizaes abusivas ou f l t t li b i falsas aplicaes li ao mundo real. Uma anlise item a item mostra que o grau de complexidade do presente exame ligeiramente superior ao d prova realizada em li i i da li d 2011. () Em resumo, a Sociedade Portuguesa de Matemtica considera esta prova adequada nas suas vrias vertentes, esperando uma continuidade, no prximo ano letivo, dos progressos que tm vindo a ser feitos.

Em 2011 a mdia global tinha 2011, sido 44%!

23

A evoluo dos resultados no 1. e 2. ciclos do Ensino Bsico


Resultados, Resultados 2007-2012 (valores em percentagem)
Lngua Portuguesa - 1. ciclo g g Lngua Portuguesa - 2. ciclo Matemtica - 1. ciclo 95 90 85 80 75 70 65 60 55 2007 2008 2009 2010 2011 2012 Matemtica - 2. ciclo

Evoluo da taxa de sucesso (Nveis A B e C) / A, / (Nveis 5, 4 e 3 - Provas finais 2. ciclo 2012) (%)

24

A evoluo dos resultados no 1. ciclo do Ensino Bsico


Mdia global das Provas de Aferio 2008-2012 (valores em percentagem) Aferio,

25

A evoluo dos resultados no 2. ciclo do Ensino Bsico


Mdia global das Provas de Aferio e das Provas Finais de ciclo, 2008-2012 ciclo (valores em percentagem)
Evoluo da classificao mdia (%) - 2 ciclo 2. Provas de Aferio 2008-2011 Prova Finais 2012
70 65 60 55 50 2008 2009 2010 2011 2012

Lngua Portuguesa Matemtica

26

A evoluo dos resultados: consideraes finais

Atualmente, Atualmente podem registar-se variaes interanuais que se situam registar se fora do intervalo previsto e que se explicam por: p p g imperativos de ordem curricular/programtica; ajustamentos da estrutura das provas decorrentes da colaborao com o Conselho Consultivo; reajustamentos de resultados anteriores considerados desadequados Uma anlise diacrnica dos resultados por item, na generalidade p , g qualidade do das disciplinas, confirma uma efetiva estagnao da q desempenho dos alunos

27

3. Formao de professores classificadores


Formao desenvolvida em 2012:
Formao de supervisores do 1. e do 2. ciclos em Lngua Portuguesa e em Matemtica 4 turmas, 99 formandos Bolsa de Professores Classificadores (BPC) de provas do ES. Reforo do 1. ano de formao 8 discipinas, 20 turmas, 306 formandos BPC de provas do ES. Formao do 2. ano 15 discipinas, 287 turmas, 5624 formandos

28

Balano da Formao no mbito da BPC


Processo avaliado pelos formadores e pelos classificadores como muito positivo Necessidade de continuar a assegurar reforo do nmero de professores para garantir a reduo do racio provas/classificador M lh Melhorar a articulao d b ti l das bases d d d GAVE (BPC)/JNE de dados (ENEB e ENES) para garantir mais qualidade na seleo dos professores chamados para classificar e uma mais equilibrada distribuio de provas

29

4. Ano letivo 2012-2013


Prova final de Lngua Portuguesa e de Matemtica no 4. ano, aplicada em duas fases Alargamento da BPC a professores classificadores das provas finais do 9. ano Reforo da BPC do ensino secundrio g Reformulao da metodologia de seleo de novos professores classificadores e do modelo de formao

30