Você está na página 1de 274

BRASIL NO PISA 2015 | ANLISES E REFLEXES SOBRE O DESEMPENHO DOS ESTUDANTES BRASILEIROS

Anlises e reflexes

estudantes brasileiros
sobre o desempenho dos
Brasil no PISA 2015
Brasil no PISA 2015
Anlises e reflexes sobre o desempenho
dos estudantes brasileiros

Braslia, novembro de 2016


Ministro da Educao
Jos Mendona Bezerra Filho

Secretria-Executiva
Maria Helena Guimares de Castro

Presidente do INEP
Maria Ins Fini

Diretora de Avaliao da Educao Bsica


Luana Bergmann Soares

Equipe PISA
Aline Mara Fernandes (National Project Manager e coordenao da rea de leitura)
Denise Reis Costa (National Data Manager e Thomas J. Alexander Fellow)
Lenice Medeiros (Coordenao da rea de cincias)
Marina Barbosa (Coordenao da rea de matemtica)

Colaboradores:
Francesco Avvisati, Organizao para a Cooperao e Desenvolvimento Econmico (EDU/OCDE)
Marcel de Toledo Vieira, Universidade Federal de Juiz de Fora (UFJF)
Heloisa Mara Mendes, Universidade Federal de Uberlndia (UFU)
Vania Lcia Rodrigues Dutra, Universidade do Estado do Rio de Janeiro (UERJ)
Claudio Maroja, Secretaria Municipal de Educao de So Paulo
Glnon Dutra, Universidade Federal do Recncavo da Bahia (UFRB)
Francislei da Silva Rezende, Secretaria Estadual de Educao de Minas Gerais
Tnia Schmitt Universidade de Braslia (UnB)
rica Marlcia Leite Pagani, Centro Federal de Educao Tecnolgica de Minas Gerais (CEFET/MG)

FUNDAO SANTILLANA
Diretoria
Andr Luiz de Figueiredo Lzaro
Luciano Monteiro
Karyne Arruda de Alencar Castro

PRODUO EDITORIAL
Coordenao e edio
Ana Luisa Astiz | AA Studio

Reviso
Mrcia Menin e Juliana Caldas | AA Studio

Capa
Paula Astiz

Editorao Eletrnica e Grficos


Laura Lotufo | Paula Astiz Design

Dados Internacionais de Catalogao na Publicao (CIP)


(Cmara Brasileira do Livro, SP, Brasil)

Brasil no PISA 2015 : anlises e reflexes sobre o desempenho dos


estudantes brasileiros / OCDE-Organizao para a Cooperao e
Desenvolvimento Econmico. So Paulo : Fundao Santillana, 2016.

Vrios colaboradores.
Bibliografia.

1. Avaliao educacional 2. Avaliao educacional Brasil 3.


Desempenho escolar 4. Educao Brasil 5. Estudantes Desempenho
Avaliao 6. PISA I. OCDE-Organizao para a Cooperao e
Desenvolvimento Econmico.

16-08988 CDD-371.26

ndices para catlogo sistemtico:


1. PISA : Programa Internacional de Avaliao de Estudantes :
Brasil : Avaliao educacional : Educao 371.26

Este relatrio contou com o apoio do programa de bolsas Thomas J. Alexander Fellowship, vinculado Diretoria de Educao da OCDE.
As opinies expressas e os argumentos aqui empregados no refletem necessariamente as opinies oficiais dos pases membros da OCDE.
sumrio

Sumrio

Apresentao........................................................................................................................................................ 15

Captulo 1 Introduo................................................................................................................................... 17
1.1 PISA: o que ?.................................................................................................................................................... 18
1.2 Quais so as principais caractersticas do PISA 2015?....................................................................................... 19
1.3 O PISA dialoga com o SAEB?............................................................................................................................. 23
1.4 Quais so os objetivos e a organizao do relatrio?......................................................................................... 23

Captulo 2 A participao do Brasil no PISA 2015.................................................................................... 25


2.1 Aspectos gerais.................................................................................................................................................. 26
2.2 Quais so os antecedentes e as caractersticas da amostra do PISA no Brasil?................................................... 26
2.3 Quem so e onde esto os estudantes brasileiros elegveis do PISA 2015?......................................................... 29

Captulo 3 A avaliao de cincias no PISA 2015...................................................................................... 35


3.1 Aspectos gerais.................................................................................................................................................. 36
3.2 Como o letramento cientfico definido no PISA?............................................................................................. 36
3.3 Como o letramento cientfico foi avaliado no PISA 2015?................................................................................. 37
3.4 Qual foi a estrutura da avaliao do letramento cientfico no PISA 2015?......................................................... 45
3.5 Como o letramento cientfico reportado no PISA?.......................................................................................... 47
3.6 Quais foram os pontos fortes e fracos dos estudantes brasileiros em cincias no PISA 2015?............................ 50
3.7 Quais foram os resultados dos estudantes brasileiros em cincias no PISA 2015?............................................. 80

Captulo 4 A avaliao de leitura no PISA 2015........................................................................................ 91


4.1 Aspectos gerais.................................................................................................................................................. 92
4.2 Como o letramento em leitura definido no PISA?........................................................................................... 92
4.3 Como o letramento em leitura foi avaliado no PISA 2015?................................................................................ 94
4.4 Qual foi a estrutura da avaliao do letramento em leitura no PISA 2015?....................................................... 99
4.5 Como o letramento em leitura reportado no PISA?....................................................................................... 100
4.6 Quais foram os pontos fortes e fracos dos estudantes brasileiros em leitura no PISA 2015?............................ 102
4.7 Quais foram os resultados dos estudantes brasileiros em leitura no PISA 2015?.............................................. 127

Captulo 5 A avaliao de matemtica no PISA 2015.............................................................................. 137


5.1 Aspectos gerais................................................................................................................................................ 138
5.2 Como o letramento matemtico definido no PISA?....................................................................................... 138
5.3 Como o letramento matemtico foi avaliado no PISA 2015?........................................................................... 139
5.4 Qual foi a estrutura da avaliao do letramento matemtico no PISA 2015?................................................... 149
5.5 Como o letramento matemtico reportado no PISA?.................................................................................... 151
5.6 Quais foram os pontos fortes e fracos dos estudantes brasileiros em matemtica no PISA 2015?.................... 152
5.7 Quais foram os resultados dos estudantes brasileiros em matemtica no PISA 2015?...................................... 167

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 3
sumrio

Captulo 6 Interesse, motivao, crenas e outras percepes dos estudantes


em seu aprendizado................................................................................................................... 177
6.1 Aspectos gerais................................................................................................................................................ 178
6.2 Interesse e motivao dos estudantes............................................................................................................... 180
6.3 Atitudes quanto ao aprendizado...................................................................................................................... 186
6.4 Crenas dos estudantes.................................................................................................................................... 190
6.5 Suporte e outras percepes............................................................................................................................ 196

Captulo 7 O ambiente escolar e as condies de aprendizagem.................................................... 205


7.1 Aspectos gerais................................................................................................................................................ 206
7.2 Absentesmo, defasagem e repetncia.............................................................................................................. 208
7.3 Disciplina e outros fatores............................................................................................................................... 212
7.4 Condies escolares......................................................................................................................................... 217

Captulo 8 Equidade nas oportunidades de aprendizagem.............................................................. 233


8.1 Aspectos gerais................................................................................................................................................ 234
8.2 Nvel educacional dos pais............................................................................................................................... 234
8.3 Nvel ocupacional dos pais.............................................................................................................................. 236
8.4 Bens domsticos, recursos educacionais e recursos culturais presentes no lar................................................. 237
8.5 ndice de status econmico, social e cultural................................................................................................... 239
8.6 Relao entre o ESCS e o desempenho em cincias no PISA 2015................................................................... 243

Captulo 9 O PISA dialoga com o SAEB?..................................................................................................... 251


9.1 Aspectos gerais................................................................................................................................................ 252
9.2 O que o SAEB?.............................................................................................................................................. 252
9.3 H diferenas entre a avaliao em leitura no PISA e no SAEB?...................................................................... 253
9.4 H diferenas entre a avaliao em matemtica no PISA e no SAEB?.............................................................. 255
9.5 H diferenas entre a avaliao em cincias no PISA e a proposta de matriz do SAEB em cincias?............... 260
9.6 Pode haver divergncias entre os resultados do PISA e os do SAEB?................................................................ 262

Consideraes finais....................................................................................................................................... 267

Referncias bibliogrficas............................................................................................................................. 271

4 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
sumrio

Figuras
Figura 1.1 Avaliaes da Educao Bsica coordenadas pelo INEP/DAEB............................................................ 18
Figura 1.2 Instrumentos avaliados no Brasil com destaque para a rea foco de cada edio............................... 19
Figura 1.3 Caractersticas da avaliao PISA 2015............................................................................................ 21
Abreviao dos pases e unidades da Federao comparadas neste relatrio............................................................. 24

Figura 2.1 Definio internacional dos estudantes elegveis ao PISA................................................................... 26


Figura 2.2 Data de aplicao e definio da populao de referncia do PISA no Brasil..................................... 27
Figura 2.3 Percentual de estudantes brasileiros por ano escolar nas trs ltimas edies do PISA....................... 27
Figura 2.4 Percentual de estudantes brasileiros elegveis e taxa de cobertura da populao
de 15 anos em cinco edies do PISA................................................................................................. 28
Figura 2.5 Total de estudantes e escolas no planejamento amostral PISA 2015................................................. 30
Figura 2.6 Quantitativo de escolas, professores e estudantes da populao e da amostra inicial PISA 2015..... 30
Figura 2.7 Quantitativo de escolas selecionadas, mas no participantes PISA 2015.......................................... 31
Figura 2.8 Quantitativo de escolas, professores e estudantes da amostra efetiva e ponderados
e taxas de resposta por unidade da Federao PISA 2015................................................................ 32
Figura 2.9 Quantitativo de estudantes ponderados por unidade da Federao,
gnero e ano escolar PISA 2015....................................................................................................... 33
Figura 2.10 Quantitativo e percentual de escolas e estudantes da amostra
e o ponderado por dependncia administrativa, localizao e rea PISA 2015................................ 34

Figura 3.1 A definio de letramento cientfico PISA 2015............................................................................... 37


Figura 3.2 As inter-relaes entre as dimenses do letramento cientfico PISA 2015........................................ 37
Figura 3.3a As competncias do PISA 2015 Explicar fenmenos cientificamente............................................ 38
Figura 3.3b As competncias do PISA 2015 Avaliar e planejar experimentos cientficos................................. 39
Figura 3.3c As competncias do PISA 2015 Interpretar dados e evidncias cientificamente........................... 40
Figura 3.4 O conhecimento no PISA 2015 Os sistemas do conhecimento de contedo.................................... 40
Figura 3.5 O conhecimento procedimental PISA 2015...................................................................................... 41
Figura 3.6 O conhecimento epistemolgico PISA 2015.................................................................................... 42
Figura 3.7 Os contextos para o letramento cientfico PISA 2015...................................................................... 42
Figura 3.8 As reas para a avaliao de atitudes e interesse em cincias PISA 2015......................................... 43
Figura 3.9 Categorias que descrevem os itens formulados para a avaliao em cincias PISA 2015................. 45
Figura 3.10 Distribuio dos itens no instrumento cognitivo de letramento cientfico,
segundo as dimenses do construto e o formato PISA 2015............................................................. 46
Figura 3.11 Distribuio dos itens no instrumento cognitivo de letramento cientfico,
segundo a demanda cognitiva requerida PISA 2015......................................................................... 47
Figura 3.12 Relao entre as questes e o desempenho dos estudantes em uma escala de proficincia................ 48
Figura 3.13 Descrio resumida e percentual de estudantes nos sete nveis de proficincia
em cincias PISA 2015..................................................................................................................... 49
Figura 3.14 ndice de dificuldade (Delta) dos 183 itens de cincias para os estudantes brasileiros
PISA 2015......................................................................................................................................... 51
Figura 3.15 ndices de dificuldade (percentual de acerto e Delta) dos 181 itens comuns de cincias
por pas e unidade da Federao PISA 2015..................................................................................... 52
Figura 3.16 Dificuldade dos itens de cincias segundo competncia por pas e unidade da Federao
PISA 2015......................................................................................................................................... 53
Figura 3.17 Dificuldade dos itens de cincias segundo conhecimento por pas e unidade da Federao
PISA 2015......................................................................................................................................... 54

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 5
sumrio

Figura 3.18 Dificuldade dos itens de cincias segundo sistemas por pas e unidade da Federao
PISA 2015......................................................................................................................................... 55
Figura 3.19 Dificuldade dos itens de cincias segundo contexto por pas e unidade da Federao
PISA 2015......................................................................................................................................... 55
Figura 3.20 Dificuldade dos itens de cincias segundo tipo de item por pas e unidade da Federao
PISA 2015......................................................................................................................................... 56
Figura 3.21 Dificuldade dos itens de cincias segundo a demanda cognitiva por pas
e unidade da Federao PISA 2015.................................................................................................. 57
Demanda cognitiva baixa Unidade 601 Fazenda sustentvel de peixes................................................................ 58
Figura 3.22 Anlise comparada dos Deltas dos pases latino-americanos, item S601Q02,
cincias PISA 2015........................................................................................................................... 59
Figura 3.23 Anlise comparada dos Deltas dos pases com desempenho prximo
ou superior ao da OCDE, item S601Q02, cincias PISA 2015.......................................................... 59
Demanda cognitiva mdia Unidade 656 Migrao de aves.................................................................................. 60
Figura 3.24 Anlise comparada dos Deltas dos pases latino-americanos, item S656Q01,
cincias PISA 2015........................................................................................................................... 60
Figura 3.25 Anlise comparada dos Deltas dos pases com desempenho prximo
ou superior ao da OCDE, item S656Q01, cincias PISA 2015.......................................................... 60
Demanda cognitiva alta Unidade 656 Migrao de aves...................................................................................... 61
Figura 3.26 Anlise comparada dos Deltas dos pases latino-americanos,
item S656Q02, cincias PISA 2015.................................................................................................. 62
Figura 3.27 Anlise comparada dos Deltas dos pases com desempenho prximo
ou superior ao da OCDE, item S656Q02, cincias PISA 2015.......................................................... 62
Figura 3.28 Mdia dos percentuais de casos omitidos em cincias por pas e unidade da Federao
PISA 2015......................................................................................................................................... 63
Figura 3.29 Percentuais de casos omitidos por item de cincias, Brasil PISA 2015............................................. 63
Figura 3.30 Distribuio dos 20 itens com maior percentual de omisso,
por competncia e tipo de conhecimento, cincias PISA 2015........................................................ 64
Unidade S601 Fazenda sustentvel de peixes.......................................................................................................... 65
Figura 3.31 Anlise comparada dos Deltas dos pases latino-americanos,
item S601Q01, cincias PISA 2015.................................................................................................. 66
Figura 3.32 Anlise comparada dos Deltas dos pases com desempenho prximo
ou superior ao da OCDE, item S601Q01, cincias PISA 2015.......................................................... 66
Figura 3.33 Anlise comparada dos Deltas dos pases latino-americanos,
pontos fortes, cincias PISA 2015..................................................................................................... 67
Figura 3.34 Anlise comparada dos Deltas dos pases com desempenho prximo
ou superior ao da OCDE, pontos fortes, cincias PISA 2015............................................................ 67
Figura 3.35 Distribuio dos 39 itens por competncia e tipo de conhecimento,
anlise dos pontos fortes, cincias PISA 2015.................................................................................. 68
Unidade 637 Investigao da encosta do declive.................................................................................................... 69
Figura 3.36 Anlise comparada dos Deltas dos pases latino-americanos,
item S637Q05, cincias PISA 2015.................................................................................................. 70
Figura 3.37 Anlise comparada dos Deltas dos pases com desempenho prximo
ou superior ao da OCDE, item S637Q05, cincias PISA 2015.......................................................... 70
Unidade 601 Fazenda sustentvel de peixes............................................................................................................ 71
Figura 3.38 Anlise comparada dos Deltas dos pases latino-americanos,
item S601Q04, cincias PISA 2015.................................................................................................. 71
Figura 3.39 Anlise comparada dos Deltas dos pases com desempenho prximo
ou superior ao da OCDE, item S601Q04, cincias PISA 2015.......................................................... 71

6 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
sumrio

Figura 3.40 Anlise comparada dos Deltas dos pases latino-americanos, pontos fracos,
cincias PISA 2015........................................................................................................................... 72
Figura 3.41 Anlise comparada dos Deltas dos pases com desempenho prximo
ou superior ao da OCDE, pontos fracos, cincias PISA 2015........................................................... 72
Figura 3.42 Distribuio dos 40 itens por competncia e tipo de conhecimento,
anlise dos pontos fracos, cincias PISA 2015.................................................................................. 73
Unidade 637 Investigao da encosta do declive.................................................................................................... 74
Figura 3.43 Anlise comparada dos Deltas dos pases latino-americanos,
item S637Q01, cincias PISA 2015.................................................................................................. 74
Figura 3.44 Anlise comparada dos Deltas dos pases com desempenho prximo
ou superior ao da OCDE, item S637Q01, cincias PISA 2015.......................................................... 75
Unidade 641 Meteoroides e crateras....................................................................................................................... 76
Figura 3.45 Anlise comparada dos Deltas dos pases latino-americanos,
item S641Q01, cincias PISA 2015.................................................................................................. 76
Figura 3.46 Anlise comparada dos Deltas dos pases com desempenho prximo
ou superior ao da OCDE, item S641Q01, cincias PISA 2015.......................................................... 76
Unidade 641 Meteoroides e crateras....................................................................................................................... 77
Figura 3.47 Anlise comparada dos Deltas dos pases latino-americanos,
item S641Q02, cincias PISA 2015.................................................................................................. 77
Figura 3.48 Anlise comparada dos Deltas dos pases com desempenho prximo
ou superior ao da OCDE, item S641Q02, cincias PISA 2015.......................................................... 77
Unidade 641 Meteoroides e crateras....................................................................................................................... 78
Figura 3.49 Anlise comparada dos Deltas dos pases latino-americanos,
item S641Q03, cincias PISA 2015.................................................................................................. 79
Figura 3.50 Anlise comparada dos Deltas dos pases com desempenho prximo
ou superior ao da OCDE, item S641Q03, cincias PISA 2015.......................................................... 79
Figura 3.51 Anlise comparada dos Deltas dos pases latino-americanos,
item S641Q04, cincias PISA 2015.................................................................................................. 79
Figura 3.52 Anlise comparada dos Deltas dos pases com desempenho prximo
ou superior ao da OCDE, item S641Q04, cincias PISA 2015.......................................................... 79
Figura 3.53 Mdias, intervalos de confiana e percentis das proficincias dos pases selecionados, cincias
PISA 2015......................................................................................................................................... 81
Figura 3.54 Mdias e medidas de erro-padro por edio dos pases selecionados, cincias PISA 2006-2015.... 81
Figura 3.55 Intervalos de confiana da diferena das mdias dos pases,
cincias PISA 2015 e ciclos anteriores.............................................................................................. 82
Figura 3.56 Distribuio dos escores mdios segundo os percentis, cincias PISA 2012 e 2015......................... 83
Figura 3.57 Percentual de estudantes por nvel de proficincia, pases selecionados,
cincias PISA 2015........................................................................................................................... 83
Figura 3.58 Percentual de estudantes por nvel de proficincia, pases selecionados,
cincias PISA 2006-2015.................................................................................................................. 84
Figura 3.59 Escores mdios estimados por gnero dos pases selecionados, cincias PISA 2015......................... 85
Figura 3.60 Mdias, intervalos de confiana e percentis dos escores por dependncia administrativa,
cincias PISA 2015........................................................................................................................... 85
Figura 3.61 Mdias, intervalos de confiana e percentis dos escores por localizao, cincias PISA 2015......... 86
Figura 3.62 Mdias, intervalos de confiana e percentis dos escores por rea, cincias PISA 2015.................... 86
Figura 3.63 Mdias, intervalos de confiana e percentis dos escores por unidade da Federao,
cincias PISA 2015........................................................................................................................... 87
Figura 3.64 Intervalos de confiana das diferenas dos escores mdios das unidades da Federao
com relao ao desempenho do Brasil, cincias PISA 2015............................................................. 88

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 7
sumrio

Figura 3.65 Desempenho das unidades da Federao menor, igual ou maior que o do Brasil,
cincias PISA 2015........................................................................................................................... 88
Figura 3.66 Percentual de estudantes por nvel de proficincia e unidade da Federao, cincias PISA 2015..... 89
Figura 3.67 Escores mdios estimados por gnero e unidade da Federao, cincias PISA 2015........................ 89

Figura 4.1 A definio de letramento em leitura PISA 2015.............................................................................. 92


Figura 4.2 Distribuio dos itens de leitura por dimenso da matriz e formato de resposta PISA 2015............ 99
Figura 4.3 Descrio e percentual de estudantes nos sete nveis de proficincia em leitura PISA 2015.......... 101
Figura 4.4 ndice de dificuldade (Delta) dos 87 itens de leitura para os estudantes brasileiros PISA 2015...... 104
Figura 4.5 ndices de dificuldade (percentual de acerto e Delta) dos 70 itens comuns de leitura
por pas e unidade da Federao PISA 2015................................................................................... 105
Figura 4.6 Dificuldade dos itens de leitura segundo situao por pas e unidade da Federao PISA 2015..... 106
Figura 4.7 Distribuio dos itens de leitura de acordo com a situao PISA 2015.......................................... 108
Figura 4.8 Dificuldade dos itens de leitura segundo formato de texto por pas e unidade da Federao
PISA 2015....................................................................................................................................... 108
Figura 4.9 Dificuldade dos itens de leitura segundo aspecto por pas e unidade da Federao PISA 2015...... 110
Figura 4.10 Dificuldade dos itens de leitura segundo tipo de item por pas e unidade da Federao
PISA 2015....................................................................................................................................... 111
Figura 4.11 Mdia dos percentuais de casos omissos em leitura por pas e unidade da Federao
PISA 2015....................................................................................................................................... 112
Figura 4.12 Percentuais de casos omissos por item de leitura, Brasil PISA 2015............................................... 113
Figura 4.13 Distribuio dos 13 itens de leitura com maior percentual de omisso PISA 2015......................... 113
Exemplo 1: unidade Emprego................................................................................................................................... 114
Exemplo 2 : unidade Polo Sul................................................................................................................................... 114
Exemplo 3: unidade Idiomas do mundo................................................................................................................... 115
Exemplo 4: unidade O futuro das crianas............................................................................................................... 115
Exemplo 5: unidade Intercmbio............................................................................................................................. 116
Exemplo 6: unidade Sono......................................................................................................................................... 116
Figura 4.14 Anlise comparada dos Deltas dos pases latino-americanos, pontos fortes, leitura
PISA 2009-2015............................................................................................................................. 117
Figura 4.15 Anlise comparada dos Deltas dos pases com desempenho prximo
ou superior ao da OCDE, pontos fortes, leitura PISA 2015............................................................ 118
Figura 4.16 Distribuio dos 19 itens por formato de texto e aspecto, pontos fortes, leitura PISA 2015.......... 119
Item R417Q03 Balo de ar quente........................................................................................................................ 119
Figura 4.17 Anlise comparada dos Deltas dos pases latino-americanos, item R417Q03,
leitura PISA 2009............................................................................................................................ 119
Item R429Q09 Anncio sobre doao de sangue.................................................................................................. 121
Figura 4.18 Anlise comparada dos Deltas dos pases latino-americanos, item R429Q09,
leitura PISA 2009............................................................................................................................ 121
Figura 4.19 Anlise comparada dos Deltas dos pases latino-americanos, pontos fracos, leitura
PISA 2009-2015............................................................................................................................. 122
Figura 4.20 Anlise comparada dos Deltas dos pases com desempenho prximo
ou superior ao da OCDE, pontos fracos, leitura PISA 2009-2015................................................... 123
Figura 4.21 Distribuio dos 16 itens por formato de texto e aspecto, pontos fracos, leitura PISA 2015.......... 124
Item R417Q08 Balo de ar quente........................................................................................................................ 125
Figura 4.22 Anlise comparada dos Deltas dos pases latino-americanos, item R417Q08,
leitura PISA 2009............................................................................................................................ 125

8 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
sumrio

Item R433Q05 O avarento ................................................................................................................................... 126


Figura 4.23 Anlise comparada dos Deltas dos pases latino-americanos, item R433Q05,
leitura PISA 2009............................................................................................................................ 126
Figura 4.24 Mdias, intervalos de confiana e percentis dos escores dos pases selecionados,
leitura PISA 2015............................................................................................................................ 128
Figura 4.25 Mdias e medidas de erro-padro dos pases selecionados por edio,
leitura PISA 2000-2015.................................................................................................................. 128
Figura 4.26 Intervalos de confiana da diferena das mdias dos pases, leitura PISA 2015
e ciclos anteriores............................................................................................................................. 129
Figura 4.27 Distribuio dos escores mdios segundo os percentis, leitura PISA 2012 e 2015.......................... 130
Figura 4.28 Percentual de estudantes por nvel dos pases selecionados, leitura PISA 2015.............................. 130
Figura 4.29 Escores mdios estimados por gnero dos pases selecionados, leitura PISA 2015......................... 131
Figura 4.30 Mdias, intervalos de confiana e percentis dos escores por dependncia administrativa,
leitura PISA 2015............................................................................................................................ 131
Figura 4.31 Mdias, intervalos de confiana e percentis dos escores por localizao, leitura PISA 2015.......... 132
Figura 4.32 Mdias, intervalos de confiana e percentis dos escores por rea, leitura PISA 2015..................... 132
Figura 4.33 Mdias, intervalos de confiana e percentis dos escores por unidade da Federao,
leitura PISA 2015............................................................................................................................ 133
Figura 4.34 Intervalos de confiana das diferenas dos escores mdios das unidades da Federao
com relao ao desempenho do Brasil, leitura PISA 2015.............................................................. 134
Figura 4.35 Desempenho das unidades da Federao menor, igual ou maior que o do Brasil,
leitura PISA 2015............................................................................................................................ 134
Figura 4.36 Percentual de estudantes por nvel de proficincia e unidade da Federao, leitura PISA 2015..... 135
Figura 4.37 Escores mdios estimados por gnero e unidade da Federao, leitura PISA 2015......................... 135

Figura 5.1 A definio de letramento matemtico PISA 2015......................................................................... 138


Figura 5.2 Modelo de letramento matemtico na prtica................................................................................... 140
Figura 5.3 Os processos matemticos Formulando situaes matematicamente............................................. 141
Figura 5.4 Os processos matemticos Empregando conceitos, fatos, procedimentos
e raciocnios matemticos................................................................................................................. 142
Figura 5.5 Os processos matemticos Interpretando, aplicando e avaliando resultados matemticos............. 142
Figura 5.6 Relao entre processos matemticos (na coluna) e habilidades matemticas fundamentais
(na linha)........................................................................................................................................... 144
Figura 5.7 Exemplos de tpicos de contedo includos no PISA 2015................................................................ 147
Figura 5.8 Distribuio dos itens de matemtica por dimenso da matriz e formato de resposta
PISA 2015....................................................................................................................................... 150
Figura 5.9 Descrio e percentual de estudantes nos seis nveis de proficincia em matemtica
PISA 2015....................................................................................................................................... 151
Figura 5.10 ndce de dificuldade (Delta) dos 69 itens de matemtica para os estudantes brasileiros
PISA 2015....................................................................................................................................... 154
Figura 5.11 ndces de dificuldade (percentual de acerto e Delta) dos 56 itens comuns de matemtica
por pas e unidade da Federao PISA 2015................................................................................... 155
Figura 5.12 Dificuldade dos itens de matemtica segundo contedo por pas e unidade da Federao
PISA 2015....................................................................................................................................... 156
Figura 5.13 Dificuldade dos itens de matemtica segundo contexto por pas e unidade da Federao
PISA 2015....................................................................................................................................... 157
Figura 5.14 Dificuldade dos itens de matemtica segundo processo por pas e unidade da Federao
PISA 2015....................................................................................................................................... 158

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 9
sumrio

Figura 5.15 Dificuldade dos itens de matemtica segundo tipo de item por pas e unidade da Federao
PISA 2015....................................................................................................................................... 159
Figura 5.16 Mdia dos percentuais de casos omissos em matemtica por pas e unidade da Federao
PISA 2015....................................................................................................................................... 159
Figura 5.17 Percentuais de casos omissos por item de matemtica, Brasil PISA 2015....................................... 160
Figura 5.18 Distribuio dos 10 itens com maior percentual de omisso por contedo e processo,
matemtica PISA 2015................................................................................................................... 161
Figura 5.19 Anlise comparada dos Deltas dos pases latino-americanos, pontos fortes, matemtica PISA
2012 e 2015...................................................................................................................................... 162
Figura 5.20 Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
pontos fortes, matemtica PISA 2012 e 2015................................................................................. 163
Figura 5.21 Distribuio dos 11 itens por contedo e processo, anlise dos pontos fortes, matemtica
PISA 2012 e 2015.............................................................................................................................. 164
Item M985Q02 Qual carro?.................................................................................................................................. 164
Figura 5.22 Anlise comparada dos Deltas dos pases latino-americanos, item M985Q02,
matemtica PISA 2012................................................................................................................... 165
Figura 5.23 Anlise comparada dos Deltas dos pases latino-americanos, pontos fracos,
matemtica PISA 2012 e 2015....................................................................................................... 165
Figura 5.24 Anlise comparada dos Deltas dos pases com desempenho prximo
ou superior ao da OCDE, pontos fracos, matemtica PISA 2012 e 2015........................................ 166
Figura 5.25 Distribuio dos 13 itens por contedo e processo, pontos fracos,
matemtica PISA 2012 e 2015....................................................................................................... 167
Figura 5.26 Mdias, intervalos de confiana e percentis das proficincias dos pases selecionados,
matemtica PISA 2015................................................................................................................... 169
Figura 5.27 Mdias e medidas de erro-padro dos pases selecionados, matemtica PISA 2003-2015.............. 169
Figura 5.28 Intervalos de confianas da diferena das mdias dos pases,
matemtica PISA 2015 e ciclos anteriores...................................................................................... 170
Figura 5.29 Distribuio dos escores mdios, matemtica PISA 2012 e 2015................................................... 171
Figura 5.30 Percentual de estudantes por nvel de proficincia dos pases selecionados,
matemtica PISA 2015................................................................................................................... 171
Figura 5.31 Escores mdios estimados por gnero dos pases selecionados, matemtica PISA 2015................. 172
Figura 5.32 Mdias, intervalos de confiana e percentis dos escores por dependncia administrativa,
matemtica PISA 2015................................................................................................................... 172
Figura 5.33 Mdias, intervalos de confiana e percentis dos escores por localizao,
matemtica PISA 2015................................................................................................................... 173
Figura 5.34 Mdias, intervalos de confiana e percentis dos escores por rea, matemtica PISA 2015............. 173
Figura 5.35 Mdias, intervalos de confiana e percentis dos escores por unidade da Federao, matemtica
PISA 2015....................................................................................................................................... 174
Figura 5.36 Intervalos de confiana das diferenas dos escores mdios das unidades da Federao
com relao ao desempenho do Brasil, matemtica PISA 2015...................................................... 175
Figura 5.37 Desempenho das unidades da Federao menor, igual ou maior que o do Brasil,
matemtica PISA 2015................................................................................................................... 175
Figura 5.38 Percentual de estudantes por nvel de proficincia e unidade da Federao,
matemtica PISA 2015................................................................................................................... 176
Figura 5.39 Escores mdios estimados por gnero e unidade da Federao, matemtica PISA 2015................. 176

Figura 6.1 Aspectos de avaliao do contexto explorados no captulo PISA 2015........................................... 178
Figura 6.2 Percentual de estudantes que responderam Concordo ou Concordo plenamente
s questes sobre satisfao em cincias por pas e unidade da Federao PISA 2015................... 181

10 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
sumrio

Figura 6.3 Correlao entre o ndice de satisfao em cincias e desempenho mdio em cincias
por pas (A) e unidade da Federao (B) PISA 2015....................................................................... 182
Figura 6.4 Percentual de estudantes que responderam Eu me interesso ou Eu me interesso muito s
questes sobre o interesse em aprender cincias por pas e unidade da Federao PISA 2015...... 182
Figura 6.5 Correlao entre o ndice de interesse em cincias e o desempenho mdio em cincias
por pas (A) e unidade da Federao (B) PISA 2015....................................................................... 183
Figura 6.6 Percentual de estudantes que responderam Concordoou Concordo plenamente
s questes sobre a motivao instrumental por pas e unidade da Federao PISA 2015.............. 184
Figura 6.7 Correlao entre o ndice de motivao instrumental e o desempenho em cincias
por pas (A) e unidade da Federao (B) PISA 2015....................................................................... 184
Figura 6.8 Percentual de estudantes que responderam Concordoou Concordo plenamente
s questes sobre a motivao para o sucesso por pas e unidade da Federao PISA 2015........... 185
Figura 6.9 Correlao entre o ndice de motivao para o sucesso e desempenho mdio em cincias
por pas (A) e unidade da Federao (B) PISA 2015....................................................................... 186
Figura 6.10 Percentual de estudantes que responderam Regularmente ou Com muita frequncia
s questes sobre atividades em cincias por pas e unidade da Federao PISA 2015.................. 187
Figura 6.11 Correlao entre o ndice de atividades em cincias e o desempenho mdio em cincias
por pas (A) e unidade da Federao (B) PISA 2015 ...................................................................... 188
Figura 6.12 Correlao entre o ndice do tempo dedicado, em mdia, por semana ao estudo
de cincias, leitura e matemtica e o desempenho mdio em cincias por pas (A1-A3)
e unidade da Federao (B1-B3) PISA 2015................................................................................... 189
Figura 6.13 Correlao entre o ndice do tempo total dedicado ao estudo fora da escola e
o desempenho em cincias por pas (A) e unidade da Federao (B) PISA 2015............................ 190
Figura 6.14 Percentual de estudantes que responderam Eu conseguiria realizar facilmente ou
Eu conseguiria realizar com um pouco de esforo s questes sobre a autoeficcia
em cincias por pas e unidade da Federao PISA 2015............................................................... 191
Figura 6.15 Correlao entre o ndice de autoeficcia em cincias e o desempenho mdio em cincias
por pas (A) e unidade da Federao (B) PISA 2015....................................................................... 192
Figura 6.16 Percentual de estudantes que responderam Concordo ou Concordo plenamente
s questes sobre crenas epistemolgicas em cincias por pas e unidade da Federao
PISA 2015....................................................................................................................................... 192
Figura 6.17 Correlao entre o ndice de crenas epistemolgicas em cincias e o desempenho mdio
em cincias por pas (A) e unidade da Federao (B) PISA 2015.................................................... 193
Figura 6.18 Percentual de estudantes que responderam Estou familiarizado com o assunto e seria capaz
de explicar perfeitamente ou Sei alguma coisa sobre isso e poderia explicar em termos
gerais s questes sobre a percepo dos temas ambientais em cincias por pas e unidade
da Federao PISA 2015................................................................................................................. 194
Figura 6.19 Correlao entre o ndice de percepo ambiental e o desempenho mdio em cincias
por pas (A) e unidade da Federao (B) PISA 2015....................................................................... 194
Figura 6.20 Percentual de estudantes que responderam Melhorar s questes sobre otimismo ambiental
por pas e unidade da Federao PISA 2015................................................................................... 195
Figura 6.21 Correlao entre o ndice de otimismo ambiental e o desempenho mdio em cincias
por pas (A) e unidade da Federao (B) PISA 2015....................................................................... 196
Figura 6.22 Percentual de estudantes que responderam Em todas as aulas ou Na maioria das aulas
s questes sobre suporte do professor nas aulas de cincias por pas e unidade
da Federao PISA 2015................................................................................................................. 197
Figura 6.23 Correlao entre o ndice de suporte do professor nas aulas de cincias
e o desempenho mdio em cincias por pas (A) e unidade da Federao (B) PISA 2015............... 197
Figura 6.24 Percentual de estudantes que responderam Em todas as aulas ou em quase todas
ou Na maioria das aulas s questes sobre o retorno percebido nas aulas de cincias
por pas e unidade da Federao PISA 2015................................................................................... 198

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 11
sumrio

Figura 6.25 Correlao entre o ndice de percepo do retorno nas aulas de cincias
e desempenho mdio em cincias por pas (A) e unidade da Federao (B) PISA 2015.................. 199
Figura 6.26 Percentual de estudantes que responderam Em todas as aulas ou em quase todas
ou Na maioria das aulas s questes sobre adaptao da instruo nas aulas de cincias
por pas e unidade da Federao PISA 2015................................................................................... 199
Figura 6.27 Correlao entre o ndice de adaptao da instruo e o desempenho mdio em cincias
por pas (A) e unidade da Federao (B) PISA 2015....................................................................... 200
Figura 6.28 Percentual de estudantes que responderam Concordo plenamente ou Concordo
s questes sobre suporte dos pais por pas e unidade da Federao PISA 2015............................ 201
Figura 6.29 Correlao entre o ndice de suporte dos pais e o desempenho mdio em cincias
por pas (A) e unidade da Federao (B) PISA 2015....................................................................... 202
Figura 6.30 Percentual de estudantes que responderam Concordo plenamente ou Concordo
s questes sobre sensao de pertencimento escola por pas e unidade da Federao
PISA 2015....................................................................................................................................... 202
Figura 6.31 Correlao entre o ndice de pertencimento escola e o desempenho mdio em cincias
por pas (A) e unidade da Federao (B) PISA 2015....................................................................... 203
Figura 6.32 Percentual de estudantes que responderam Concordo plenamente ou Concordo
s questes sobre ansiedade na realizao de testes por pas e unidade da Federao
PISA 2015....................................................................................................................................... 204
Figura 6.33 Correlao entre o ndice de ansiedade na realizao de testes e o desempenho mdio
em cincias por pas (A) e unidade da Federao (B) PISA 2015.................................................... 204

Figura 7.1 Aspectos de avaliao do contexto explorados neste captulo PISA 2015...................................... 206
Figura 7.2 Percentual de estudantes que responderam Uma ou duas vezes, Trs ou quatro vezes,
Cinco ou mais vezes s questes sobre o absentesmo por pas e unidade da Federao
PISA 2015....................................................................................................................................... 208
Figura 7.3 Percentual de estudantes brasileiros que responderam Uma ou duas vezes,
Trs ou quatro vezes e Cinco ou mais vezes s questes sobre o absentesmo por tipo de
escola PISA 2015............................................................................................................................ 209
Figura 7.4 ndice de defasagem idade-srie por pas e unidade da Federao PISA 2015................................ 210
Figura 7.5 ndice de defasagem idade-srie dos estudantes brasileiros por tipo de escola PISA 2015............. 211
Figura 7.6 ndice de repetncia por pas e unidade da Federao PISA 2015.................................................. 211
Figura 7.7 ndice de repetncia por tipo de escola PISA 2015........................................................................ 212
Figura 7.8 Percentual de estudantes que responderam Em todas as aulas ou Na maioria das aulas s
questes sobre a disciplina nas aulas de cincias por pas e unidade da Federao PISA 2015...... 213
Figura7.9 Percentual de estudantes brasileiros que responderam Em todas as aulas ou Na maioria das
aulas s questes sobre a disciplina nas aulas de cincias por tipo de escola PISA 2015.............. 214
Figura 7.10 Percentual de estudantes cujos diretores reportaram Muito ou At certo ponto s questes
sobre o clima escolar entre os estudantes por pas e unidade da Federao PISA 2015................. 214
Figura 7.11 Percentual de estudantes cujos diretores reportaram Muito ou At certo ponto
s questes sobre o clima escolar entre alunos por tipo de escola PISA 2015................................ 215
Figura 7.12 Percentual de estudantes cujos diretores reportaram Muito ou At certo ponto s questes
sobre o clima escolar entre professores por pas e unidade da Federao PISA 2015..................... 216
Figura 7.13 Percentual de estudantes brasileiros cujos diretores reportaram Muito ou At certo ponto
s questes sobre a clima escolar entre professores por tipo de escola PISA 2015......................... 216
Figura 7.14 Tamanho mdio da escola por pas e unidade da Federao PISA 2015......................................... 217
Figura 7.15 Tamanho mdio das escolas brasileiras por tipo de escola PISA 2015............................................ 218
Figura 7.16 Percentual de estudantes por tamanho mdio da turma por pas e unidade da Federao
PISA 2015....................................................................................................................................... 218

12 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
sumrio

Figura 7.17 Percentual de estudantes brasileiros por tamanho mdio da turma por tipo de escola
PISA 2015....................................................................................................................................... 219
Figura 7.18 Razo estudantes/professor por pas e unidade da Federao PISA 2015....................................... 219
Figura 7.19 Razo estudantes/professor por tipo de escola, Brasil PISA 2015................................................... 220
Figura 7.20 Percentual de estudantes cujos diretores reportaram Muito ou At certo ponto s questes
sobre a falta de recursos educacionais por pas e unidade da Federao PISA 2015...................... 221
Figura 7.21 Percentual de estudantes cujos diretores reportaram Muito ou At certo ponto
s questes sobre a falta de recursos educacionais por tipo de escola PISA 2015.......................... 221
Figura 7.22 Percentual de estudantes cujos diretores reportaram Muito ou At certo ponto
s questes sobre a falta de pessoal por pas e unidade da Federao PISA 2015........................... 222
Figura 7.23 Percentual de estudantes cujos diretores reportaram Muito ou At certo ponto
s questes sobre a falta de pessoal por tipo de escola PISA 2015................................................. 223
Figura 7.24 Percentual de estudantes cujos diretores reportaram Sim s questes sobre os recursos
de cincias por pas e unidade da Federao PISA 2015................................................................ 224
Figura 7.25 Percentual de estudantes cujos diretores reportaram Sim s questes sobre os recursos
de cincias por tipo de escola PISA 2015....................................................................................... 225
Figura 7.26 Percentual de estudantes cujos diretores reportaram Sim s questes sobre atividades
extracurriculares por pas e unidade da Federao PISA 2015....................................................... 225
Figura 7.27 Percentual de estudantes cujos diretores reportaram Sim s questes sobre atividades
extracurriculares por tipo de escola PISA 2015.............................................................................. 226
Figura 7.28 Proporo de computadores disponveis por pas e unidade da Federao PISA 2015................... 226
Figura 7.29 Proporo de computadores disponveis por tipo de escola PISA 2015.......................................... 227
Figura 7.30 Percentual de estudantes que reportaram Sim s questes sobre recursos tecnolgicos
por pas e unidade da Federao PISA 2015................................................................................... 228
Figura 7.31 Percentual de estudantes que reportaram Sim s questes sobre recursos tecnolgicos
por tipo de escola PISA 2015......................................................................................................... 229
Figura 7.32 Percentual de estudantes que reportaram Todo dia, Quase todo dia, Uma ou duas vezes
na semana, Uma ou duas vezes no ms s questes sobre o uso da tecnologia na escola
por pas e unidade da Federao PISA 2015................................................................................... 230
Figura 7.33 Percentual de estudantes brasileiros que reportaram Todo dia, Quase todo dia,
Uma ou duas vezes na semana, Uma ou duas vezes no ms s questes sobre
o uso da tecnologia por tipo de escola PISA 2015.......................................................................... 231

Figura 8.1 ndice do nvel educacional dos pais (PARED) por pas e unidade da Federao PISA 2015........... 235
Figura 8.2 ndice do nvel educacional dos pais (PARED) dos estudantes brasileiros por tipo de escola
PISA 2015....................................................................................................................................... 235
Figura 8.3 ndice do nvel ocupacional dos pais (HISEI) por pas e unidade da Federao PISA 2015............. 236
Figura 8.4 ndice do nvel ocupacional dos pais (HISEI) dos estudantes brasileiros por tipo de escola
PISA 2015....................................................................................................................................... 237
Figura 8.5 ndice de bens domsticos, recursos educacionais e culturais presentes no lar (HOMEPOS)
por pas e unidade da Federao PISA 2015................................................................................... 238
Figura 8.6 ndice de bens domsticos, recursos educacionais e culturais presentes no lar (HOMEPOS)
dos estudantes brasileiros por tipo de escola PISA 2015................................................................ 238
Figura 8.7 ndice ESCS, intervalos de confiana, percentual representado e percentis dos escores
dos pases selecionados PISA 2015................................................................................................. 240
Figura 8.8 ndice ESCS, intervalos de confiana, percentual representado e percentis dos escores
por dependncia administrativa, Brasil PISA 2015......................................................................... 241
Figura 8.9 ndice ESCS, intervalos de confiana, percentual representado e percentis dos escores
por localizao, Brasil PISA 2015................................................................................................... 241

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 13
sumrio

Figura 8.10 ndice ESCS, intervalos de confiana, percentual representado e percentis dos escores
por rea da escola, Brasil PISA 2015.............................................................................................. 242
Figura 8.11 ndice ESCS, intervalos de confiana, percentual representado e percentis dos escores
por unidade da Federao, Brasil PISA 2015.................................................................................. 243
Figura8.12 Gradiente socioeconmico para os estudantes brasileiros PISA 2015............................................ 244
Figura 8.13 Relao entre o ESCS e o desempenho em cincias para os pases selecionados PISA 2015........... 245
Figura 8.14 Gradientes socioeconmicos para os pases selecionados PISA 2015............................................. 246
Figura 8.15 Relao entre o ESCS e o desempenho em cincias por tipo de escola, Brasil PISA 2015.............. 246
Figura 8.16 Gradientes socioeconmicos por tipo de escola, Brasil PISA 2015................................................. 247
Figura 8.17 Relao entre o ESCS e o desempenho em cincias por unidade da Federao PISA 2015............. 248
Figura 8.18 Gradientes socioeconmicos por regio, Brasil PISA 2015............................................................. 249

Figura 9.1 Comparativo entre os marcos referenciais em leitura PISA 2015 e SAEB-Prova Brasil.................... 253
Figura 9.2 Comparativo entre os temas em matemtica PISA 2015 e SAEB-Prova Brasil................................. 257
Figura 9.3 Comparativo entre os contedos em matemtica PISA 2015 e SAEB-Prova Brasil.......................... 258
Figura 9.4 Estrutura da Matriz de Referncia proposta no SAEB-Prova Brasil 2013 para a avaliao
em cincias da natureza 9 ano do Ensino Fundamental................................................................ 260
Figura 9.5 Comparativo entre os marcos referenciais PISA 2015 e SAEB-Prova Brasil 2013............................ 261
Figura 9.6 Algumas diferenas metodolgicas entre as avaliaes PISA 2015 e SAEB 2015............................ 264
Figura 9.7 Anlise da correlao de Spearman dos resultados por unidade da Federao
PISA 2015 e SAEB-Aneb 2015........................................................................................................ 265

14 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
apresentao

Apresentao

O documento Brasil no PISA 2015 Anlises e reflexes sobre o desempenho dos estudantes brasileiros uma colet-
nea de informaes sobre o desempenho dos jovens de 15 anos na sexta edio do PISA Programa Internacional de
Avaliao de Estudantes , cujo foco foi cincias.

Os dados foram analisados de modo a facilitar o acesso e a compreenso dos principais resultados da avaliao por
parte de gestores, professores, pesquisadores, bem como de todos os interessados nos rumos da educao nacional.

Destaca-se que uma das inovaes deste relatrio consistiu nas anlises dos fatores que melhor contextualizam os resul-
tados do pas, como o interesse, a motivao e as crenas dos estudantes em seu aprendizado. Alm disso, so discutidos
alguns ndices sobre o ambiente escolar e as condies de aprendizagem no Brasil, e indicadores sobre equidade nas
oportunidades de aprendizagem. Analisa-se, ainda, algumas similaridades e diferenas entre o PISA e o SAEB.

Agradecemos, por fim, a todas aquelas entidades que de uma maneira ou de outra contriburam para a plena execuo
desse programa.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 15
1

Introduo

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 17
1
introduo

O que importante os cidados saberem e serem capazes de fazer? Em resposta a essa questo e necessidade de
desenvolver evidncias comparada entre pases com base no desempenho dos estudantes, a Organizao para a Coo-
perao e Desenvolvimento Econmico (OCDE) lanou o Programa Internacional de Avaliao de Estudantes (PISA) em
1997. O PISA avalia o que alunos de 15 anos, no final da educao obrigatria, adquiriram em relao a conhecimentos
e habilidades essenciais para a completa participao na sociedade moderna.

A avaliao, trienal, foca trs reas cognitivas cincias, leitura e matemtica , alm da contextualizao dos resulta-
dos por meio de questionrios aplicados aos estudantes, diretores de escolas, professores e pais. Em 2015, foi analisado
tambm o domnio sobre resoluo colaborativa de problemas. O PISA no apenas estabelece o que os alunos podem
reproduzir de conhecimento, mas tambm examina quo bem eles podem extrapolar o que tm apreendido e aplicar o
conhecimento em situaes no familiares, ambos no contexto escolar ou no. Essa perspectiva reflete o fato de econo-
mias modernas valorizarem indivduos no pelo que sabem, mas pelo que podem fazer com o que sabem (OCDE, 2016).

A cada ciclo do PISA, os questionrios contextuais e um nmero de itens de cada rea avaliada so disponibilizados pela
OCDE para que educadores e pesquisadores compreendam melhor como os instrumentos foram construdos. Pela combinao
da apresentao do delineamento da amostra do Brasil, dos marcos referenciais, dos itens e dos questionrios oferecidos e
uma anlise exploratria do desempenho dos estudantes brasileiros nos itens, este relatrio visa fornecer a gestores, profes-
sores e sociedade uma ferramenta que contribua para o entendimento mais aprofundado sobre o PISA no contexto do Brasil.

Mais e mais gestores esto utilizando os resultados de estudos como o PISA para tomar decises sobre a educao por
exemplo, o Plano Nacional de Educao (PNE) estabelece uma meta de melhoria do desempenho dos alunos da Educao
Bsica nas avaliaes da aprendizagem no PISA, tomado como instrumento externo de referncia, internacionalmente
reconhecido (Brasil, Lei n 13.005, de 25 de junho de 2014). Dessa maneira, importante que atores do contexto esco-
lar, especialistas e a sociedade em geral entendam a avaliao e o que sustenta seus objetivos, de modo a pensar como
podero fazer a diferena nos resultados dos estudantes brasileiros. A proposta deste relatrio fornecer subsdios para
esse entendimento e incentivar a discusso sobre os resultados do Brasil no PISA 2015.

1.1 pisa: o que ?


O PISA faz parte de um conjunto de avaliaes e exames nacionais e internacionais coordenados pela Diretoria de
Avaliao da Educao Bsica (DAEB), do Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (INEP).
Atualmente, estudantes brasileiros participam de avaliaes nacionais, dos estudos regionais coordenados pelo Labora-
trio Latino-Americano de Avaliao da Qualidade da Educao (LLECE) e do PISA, coordenado pela OCDE (Figura 1.1).

Figura 1.1
Avaliaes da Educao Bsica coordenadas pelo INEP/DAEB

Nacionais:
Avaliao da Alfabetizao Infantil (Provinha Brasil)
Sistema de Avaliao da Educao Bsica (SAEB):
Avaliao Nacional da Educao Bsica (ANEB)
Avaliao Nacional do Rendimento Escolar (Anresc/Prova Brasil)
Avaliao Nacional de Alfabetizao (ANA)

Internacionais:
Estudos regionais comparados LLECE
PISA
Fonte: INEP.

Diferentemente das demais avaliaes, o estudo proposto pelo PISA permite ao Brasil aferir conhecimentos e habilidades
dos estudantes de 15 anos em leitura, matemtica e cincias, contrastando com resultados do desempenho de alunos
dos pases membros da OCDE, alm de 35 pases/economias parceiras.

18 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
1
introduo

O PISA um programa contnuo que, sob uma viso de longo prazo, tem por objetivo o desenvolvimento de um corpo
de informaes para o monitoramento de conhecimentos e habilidades dos estudantes em vrios pases, bem como em
diferentes subgrupos demogrficos de cada pas (OCDE, 2016). A Figura 1.2 apresenta os instrumentos utilizados no
Brasil desde sua primeira edio, com destaque para a rea-chave de cada ciclo.

Figura 1.2
Instrumentos avaliados no Brasil com destaque para a rea foco de cada edio
PISA 2000 2003 2006 2009 2012 2015
Leitura Leitura Leitura Leitura Leitura Leitura
Matemtica Matemtica Matemtica Matemtica Matemtica Matemtica
Testes

Cincias Cincias Cincias Cincias Cincias Cincias


Resoluo colaborativa
de problemas
Letramento financeiro
Estudante Geral Estudante Geral Estudante Geral Estudante Geral Estudante Geral Estudante Geral
Questionrios

Escola Escola Escola Escola Escola Escola


Estudante Familiaridade
com tecnologia
Professor
Fonte: OCDE, INEP.

Em suma, os instrumentos do PISA fornecem trs principais tipos de resultados (OCDE, 2016):

Indicadores que fornecem um perfil bsico de conhecimento e habilidades dos estudantes.


Indicadores derivados de questionrios que mostram como tais habilidades so relacionadas a variveis demogrficas,
sociais, econmicas e educacionais.
Indicadores de tendncias que acompanham o desempenho dos estudantes e monitoram os sistemas educacionais
ao longo do tempo.

Em cada ciclo, uma das reas cognitivas o foco principal da avaliao, com a maior parte dos itens centrada nessa
rea (aproximadamente dois teros do total do tempo do teste) e os demais voltados para as outras duas reas embora
ainda possam fornecer elementos suficientes para comparaes entre os anos. Em 2015, por exemplo, o foco do PISA
foi cincias. Com esse esquema alternativo de avaliao das reas do conhecimento, apresentam-se, a cada nove anos,
uma anlise aprofundada do desempenho dos estudantes na rea foco e, a cada ciclo, uma anlise das tendncias nas
reas de menor domnio (OCDE, 2016).

Por meio de questionrios distribudos aos estudantes, pais, diretores de escolas e professores, o PISA tambm coleta
informaes sobre o histrico familiar dos alunos, suas oportunidades e seus ambientes de aprendizagem. Os questio-
nrios contextuais gerais dos estudantes e da escola so obrigatrios a todos os pases participantes. Alm destes, quatro
diferentes tipos de questionrios foram disponibilizados como opo no PISA 2015: questionrio sobre familiaridade com
tecnologias da informao para os estudantes, questionrio sobre a carreira educacional dos estudantes, questionrio
para os pais e questionrio para os professores.

1.2 Quais so as principais caractersticas do PISA 2015?


O PISA tornou-se uma importante referncia de avaliao educacional em larga escala no contexto mundial. Desde sua
primeira edio, em 2000, o nmero de pases e economias participantes tem aumentado a cada ciclo. Em 2015, 70
pases participaram do PISA, sendo 35 deles membros da OCDE e 35 pases/economias parceiras.

A populao-alvo do PISA formada por estudantes com idade entre 15 anos e 2 meses e 16 anos e 3 meses no mo-
mento da aplicao do teste, matriculados em uma instituio educacional. Em muitos pases, em geral, 150 escolas e
45 estudantes de cada uma so selecionados aleatoriamente para participar da avaliao. Em alguns, incluindo o Brasil,
uma amostra maior de escolas e estudantes foi delineada em 2015. No caso do Brasil, uma amostra ampliada fornece

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 19
1
introduo

informaes mais precisas sobre cada unidade da Federao. A amostra brasileira para o PISA 2015 consistiu de 841
escolas, 23.141 estudantes e 8.287 professores.

Em 2015, no Brasil, pela primeira vez os testes e os questionrios contextuais do PISA foram aplicados integralmente
por computador, por meio de uma plataforma de aplicao off-line desenvolvida pelo consrcio internacional do PISA
e compatvel com computador de mesa (desktop) e porttil (notebook).

Os estudantes tiveram duas horas para responder a questes de cincias, leitura, matemtica e resoluo colaborativa de
problemas. A avaliao eletrnica trouxe benefcios especialmente para a avaliao de cincias e resoluo colaborativa
de problemas, reas que contaram com itens novos, criados para a aplicao com suporte tecnolgico.

Em 2015, para as avaliaes de leitura e matemtica, houve a transposio dos itens aplicados em papel em ciclos ante-
riores do PISA para a plataforma computadorizada. Em 2018, novos itens de leitura sero desenvolvidos exclusivamente
para a aplicao em computador, considerando habilidades de leitura no mundo digital.

De acordo com o consrcio internacional, a plaforma computadorizada forneceu informaes de alta qualidade, im-
possveis de coletar na aplicao de provas em papel, tais como detalhamento do tempo gasto pelo estudante em cada
questo ou em cada domnio avaliado, tipo e nmero de interaes e sequncias de aes realizadas (OCDE, 2016).

Os alunos tambm responderam a um questionrio contextual (35 minutos), seguido de outro sobre familiaridade com
tecnologias da informao (10 minutos). O questionrio contextual representa uma oportunidade de investigar fatores
que possam influenciar o desempenho dos estudantes e, consequentemente, contextualizar os resultados obtidos nas
avaliaes. Respostas a um conjunto-chave de questes sobre o histrico familiar (incluindo nvel socioeconmico)
foram coletadas em cada avaliao, alm de questes especficas em 2015, sobre o engajamento dos estudantes em
cincias, estratgias de aprendizado e aspectos sobre a instruo. O questionrio sobre familiaridade com tecnologias da
informao, por sua vez, buscou levantar dados sobre o uso de tecnologias digitais pelos estudantes em suas atividades
na escola e fora dela.

Informaes sobre o ambiente escolar foram obtidas no questionrio da escola. Diretores (ou outra pessoa designada
por eles) responderam, em at 45 minutos, a um conjunto de questes online relacionadas a informaes descritivas
sobre a escola e prticas institucionais

Em 2015, pela primeira vez foram coletados dados sobre os professores no PISA. At 10 professores de cincias e 15
de outras disciplinas foram selecionados em cada escola participante. Eles responderam a questes sobre qualificao
e desenvolvimento profissional, prticas de ensino, ambiente para aprendizagem, liderana e gerenciamento escolar.

A Figura 1.3 sintetiza as principais caractersticas do PISA 2015.

Vale destacar que, como os dados dos testes de resoluo colaborativa de problemas e letramento financeiro estavam
embargados pela OCDE no momento da confeco deste relatrio, o presente documento visa a apresentao dos
resultados dos testes cognitivos de cincias, leitura e matemtica, alm de alguns ndices extrados das respostas aos
questionrios contextuais.

20 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
1
introduo

Figura 1.3
Caractersticas da avaliao PISA 2015
Internacional Brasil
Participantes Em 2015, fizeram parte do PISA os 35 pases da OCDE: As 27 unidades da Federao
Alemanha, Austrlia, ustria, Blgica, Canad, Chile, participaram do PISA 2015.
Coreia do Sul, Dinamarca, Eslovquia, Eslovnia, Espanha,
Estados Unidos, Estnia, Finlndia, Frana, Grcia,
Holanda, Hungria, Irlanda, Islndia, Israel, Itlia, Japo,
Letnia, Luxemburgo, Mxico, Noruega, Nova Zelndia,
Polnia, Portugal, Reino Unido, Repblica Tcheca, Sucia,
Sua e Turquia.
Alm disso, 35 pases/economias parceiras, incluindo o
Brasil, participaram. So eles: Albnia, Arglia, Argentina,
Bulgria, Catar, Cazaquisto, Cingapura, Colmbia,
Costa Rica, Crocia, Emirados rabes Unidos, Gergia,
Hong Kong, Indonsia, Jordnia, Kosovo, Lbano,
Litunia, Macau, Macednia, Malsia, Malta, Moldvia,
Montenegro, Peru, Repblica Dominicana, Romnia,
Rssia, Tailndia, Taipei, Trinidad e Tobago, Tunsia,
Uruguai e Vietn.
Para essa anlise excluiu-se a municipalidade de Beijing
e as provncias de Jiangsu e Guangdong da China, cujos
resultados sero reportados conjuntamente a Shangai
no relatrio internacional.
Nmero de estudantes Entre 5.000 e 10.000 por pas/economia parceira, com 23.141 estudantes participaram da
participantes algumas excees, como Brasil, Itlia e Espanha, que avaliao, para produzir resultados mais
contam com uma amostra maior de escolas e estudantes confiveis por unidade da Federao.
para produzir resultados mais confiveis para grupos da
populao especficos.
reas avaliadas Domnio principal: cincias As mesmas
Domniosecundrio: leitura e matemtica
Tipo de aplicao Papel e computador. Pela primeira vez, a aplicao
15 pases/economias fizeram a prova em papel (Albnia, do PISA no Brasil foi totalmente
Arglia, Argentina, Cazaquisto, Gergia, Indonsia, computadorizada.
Jordnia, Kosovo, Lbano, Macednia, Malta, Moldvia,
Romnia, Trinidad e Tobago e Vietn); os outros 55
fizeram a prova computadorizada.

Lngua em que o teste 52 lnguas, excetuando nessa anlise as variantes de cada Lngua portuguesa
foi administrado uma. A lngua portuguesa, por exemplo, foi a lngua
de teste para Brasil, Portugal e Macau no PISA 2015.
Contudo, sabe-se que h diferenas expressivas entre
vocbulos e termos com relao a esses trs pases.
Avaliao Avaliao de cincias, leitura, matemtica e resoluo A mesma
colaborativa de problemas 2 horas
Questionrio contextual para os estudantes
35 minutos
Questionrio contextual da escola para os diretores
45 minutos
Opes internacionais Questionrio
opcional sobre familiaridade com Questionrio opcional sobre
tecnologias da informao para os estudantes familiaridade com tecnologias da
10 minutos informao para os estudantes
Questionrio
opcional sobre a carreira educacional dos 10 minutos
estudantes 10 minutos Questionrio opcional para os
Questionrio opcional para os pais 30 minutos professores 30 minutos
Questionrio opcional para os professores Avaliao de letramento financeiro
30 minutos 60 minutos
Avaliao de letramento financeiro 60 minutos

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 21
1
introduo

Figura 1.3 (continuao)


Caractersticas da avaliao do PISA 2015
Internacional Brasil
Codificao das respostas Aproximadamente um tero dos itens de cada um dos Vinte codificadores de cincias,
dos itens abertos domnios de cincias, leitura e matemtica requeriam uma doze de leitura, seis de matemtica
resposta aberta, as quais necessitaram de codificao por e seis de letramento financeiro
especialistas. Guias padronizados de codificao foram foram selecionados, com base em
desenvolvidos pelo consrcio internacional do PISA e critrios estabelecidos pelo consrcio
revisados pelos centros nacionais dos pases participantes. internacional e pelo INEP. Todos tinham
Os guias foram originalmente elaborados em ingls e formao na rea, experincia mnima
francs e traduzidos pelos pases onde outras lnguas so de dois anos no Ensino Mdio e
faladas, sob superviso do consrcio. Os codificadores experincia em correo de provas de
foram selecionados por pas, conforme o perfil exigido concurso ou avaliao em larga escala.
por rea de conhecimento. Treinamento internacional Os treinamentos foram conduzidos
foi fornecido pelo consrcio a representantes dos pases pela equipe pedaggica do INEP,
participantes, os quais, por sua vez, treinaram as equipes depois de passar por treinamento
nacionais. Durante o processo de codificao, estudos de internacional. A equipe pedaggica
confiabilidade foram conduzidos diariamente por meio tambm acompanhou o processo
de sistema padronizado desenvolvido pelo consrcio, durante aproximadamente 20 dias de
de modo a assegurar que os codificadores aplicassem trabalho de codificao, contribuindo
consistentemente os mesmos critrios de codificao das na soluo de dvidas e discrepncias.
respostas em todos os pases. A logstica de codificao foi fornecida
pelo consrcio e apoiada pela equipe da
empresa aplicadora no Brasil.

Instituies que Um conjunto de instituies internacionais trabalha, em O INEP o responsvel por todo o
coordenaram, produziram conjunto com a OCDE, para a execuo do PISA. Em planejamento e execuo e, em 2015,
e/ou aplicaram os 2015, destacaram-se: contou com a empresa Consulplan,
instrumentos Educational Testing Service ETS (Estados Unidos) contratada por licitao para a aplicao
http://www.ets.org do teste.
Lder do consrcio internacional, responsvel pela
superviso geral do projeto, desenvolvimento da
plataforma computadorizada de aplicao dos testes,
anlise e delineamento psicomtrico dos testes.
Pearson (Reino Unido) http://www.pearson.com
Responsvel pelo desenvolvimento das matrizes de
referncias.
Westat (Estados Unidos) http://www.westat.com
Responsvel pelo planejamento, delineamento e controle
das amostras dos pases participantes.
Linguistic Quality Control cApStAn (Blgica) http://
www.capstan.be
Responsvel pelo controle de qualidade das tradues
dos materiais de prova, guias de correo, formulrios e
manuais de aplicao nas mais de 40 lnguas associadas
avaliao.
Deutsches Institut fr Internationale Pdagogische
Forschung DIPF (Alemanha) http://www.dipf.de/de/
willkommenimdipf
Responsvel pelo desenvolvimento dos questionrios.

Fonte: OCDE, INEP.

22 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
1
introduo

1.3 O PISA dialoga com o SAEB?


Alm de abordar o panorama da educao brasileira sob o foco do PISA, este relatrio descreve as principais diferenas
metodolgicas e estruturantes entre esse programa e o Sistema de Avaliao da Educao Bsica (SAEB). Prope uma
reflexo sobre as semelhanas e diferenas entre seus marcos referenciais e apresenta, ainda, um estudo da correlao
entre os resultados recentes das duas avaliaes. Entender as particularidades de cada uma delas, seus fundamentos,
mtodos e resultados fundamental para melhor uso das informaes pelos atores educacionais, bem como pelos ges-
tores e pesquisadores da rea.

1.4 Quais so os objetivos e a organizao do relatrio?


Este relatrio fornece os resultados iniciais do PISA 2015 para o Brasil e suas unidades da Federao. Apresenta resultados
nacionais e regionais em cincias, leitura e matemtica, expe dados sobre o contexto nacional, que complementam as
informaes presentes no relatrio internacional do PISA 2015, e compara resultados com outros pases participantes e
entre as 27 unidades da Federao.

O Captulo 2 traz informaes sobre a participao do Brasil na avaliao e definies sobre a amostra de escolas, estu-
dantes e professores. Os Captulos 3, 4 e 5, por sua vez, so dedicados s reas avaliadas cincias, leitura e matemtica,
respectivamente. Neles, apresentam-se os marcos referenciais, a descrio de como cada domnio avaliado e como os
resultados so reportados; discutem-se, tambm, os pontos fortes e fracos dos estudantes brasileiros e apresentam-se os
resultados do PISA 2015 para cada rea. O Captulo 6 destinado apresentao de fatores de contexto associados ao
interesse, motivao e crenas dos jovens brasileiros de 15 anos no PISA 2015. O Captulo 7 fornece informaes sobre
o ambiente escolar e as condies de aprendizagem no Brasil, e o 8, indicadores sobre equidade nas oportunidades de
aprendizagem. O Captulo 9 analisa algumas similaridades e diferenas do PISA e do SAEB sero discutidas. Por fim,
em Consideraes finais h algumas anlises sobre o Brasil no PISA 2015.

Nota sobre as comparaes estatsticas

Neste relatrio, comparam-se os resultados do Brasil com os de pases da Amrica Latina que tiveram resultados vlidos
no PISA 2015 (Colmbia, Costa Rica, Chile, Mxico, Peru, Uruguai e Repblica Dominicana), com os de trs pases
que se destacam por apresentar resultados prximos mdia dos membros da OCDE (Estados Unidos, Espanha e
Portugal) e com os de trs pases com resultados superiores mdia dos da OCDE (Canad, Coreia do Sul e Finlndia).

Esses resultados so computados com base em uma amostra aleatria de estudantes de cada pas. Em consequncia,
no se pode afirmar que a mdia amostral tem o mesmo valor da mdia de toda a populao de estudantes de 15 anos.
Adicionalmente, um grau de incerteza est associado ao clculo/medio das proficincias considerando as respostas
dos alunos aos itens do teste. No PISA, adota-se uma medida estatstica chamada erro-padro para definir o grau
de incerteza associado ao erro de amostragem e ao erro de medida. O erro-padro pode ser usado para construir um
intervalo de confiana, que possibilita realizar inferncias estatsticas sobre mdias e propores populacionais de
maneira que estas reflitam as incertezas relacionadas s estimativas amostrais. Um intervalo de 95% de confiana
utilizado neste relatrio e representa uma variao, para mais ou menos, de aproximadamente dois erros-padro em
torno da mdia amostral. Com esse intervalo de confiana, pode-se inferir que a mdia e o percentual da populao
se encontram dentro do intervalo de confiana em 95 de 100 repeties dessa mesma medio, utilizando diversas
amostras selecionadas aleatoriamente na mesma populao.

Quando se comparam as proficincias entre pases, unidades da Federao ou subgrupos da populao (dependncia
administrativa, por exemplo), deve-se levar em considerao a medida de erro de cada mdia a fim de determinar
se elas so verdadeiramente distintas entre si. As medidas de erro-padro e os intervalos de confiana podem ser
utilizados como base para realizar testes estatsticos comparados. Tais testes podem identificar, com probabilidade
conhecida, se diferenas reais so suscetveis de observar nas populaes comparadas.

Por exemplo, quando uma diferena observada significativa no nvel de 0,05, isso implica que h uma probabili-
dade menor que 0,05 de que a diferena observada possa ser devida ao processo amostral ou ao erro de medio.
Quando se comparam pases e unidades da Federao, extensivo o uso de tais testes estatsticos para reduzir as

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 23
1
introduo

chances de que diferenas decorrentes de erros de amostragem ou de medio possam ser interpretadas como reais.
Se h a interseo dos intervalos de confiana, as diferenas so definidas como estatisticamente no significativas.

Este relatrio apresenta dois tipos de intervalos de confiana. O primeiro o intervalo de confiana das mdias. Para
cada pas, unidade da Federao ou subgrupo da populao, h um grfico da distribuio das proficincias tal como
exemplificado abaixo. Nele indicam-se os percentis das proficincias (P10, P25, P75 e P90) para o grupo analisado,
alm do intervalo de confiana da mdia do grupo (LI: limite inferior do intervalo e LS: limite superior).

Mdia brasil

P10 P95

P25 P75
LI LS

Quando se comparam os resultados ao longo do tempo, utiliza-se outro intervalo de confiana: o das diferenas entre
as mdias, como ilustrado a seguir. No PISA, ao avaliar dois ciclos diversos, necessrio agregar s medidas de erro
os erros de ligao (linking errors) para contabilizar o fato de que diferentes coortes de estudantes foram testadas ao
longo dos ciclos da avaliao com instrumentos tambm variveis no tempo (OCDE, 2016). O valor de referncia
dessa anlise y = 0 (a mdia do ciclo anterior igual mdia do PISA 2015). Intervalos de confiana que cruzam
esse valor indicam que o desempenho mdio do pas em determinado ano no estatisticamente distinto do desem-
penho no PISA 2015.

LS

Mdia Ciclo Anterior Mdia 2015

LI

Alm da anlise temporal, os intervalos de confiana de diferenas das mdias servem para comparar o desempenho
mdio dos estudantes de cada unidade da Federao com o resultado nacional. Aqui o valor de referncia tambm
y = 0, indicando que a mdia da unidade da Federao no estatisticamente distinta da mdia do Brasil.

Abreviaes dos pases e unidades da Federao comparadas neste relatrio

BRA Brasil AC Acre PB Paraba


CAN Canad AL Alagoas PE Pernambuco
CHL Chile AM Amazonas PI Piau
COL Colmbia AP Amap PR Paran
CRI Costa Rica BA Bahia RJ Rio de Janeiro
DOM Repblica Dominicana CE Cear RN Rio Grande do Norte
ESP Espanha DF Distrito Federal RO Rondnia
FIN Finlndia ES Esprito Santo RR Roraima
KOR Coreia do Sul GO Gois RS Rio Grande do Sul
MEX Mxico MA Maranho SC Santa Catarina
PER Peru MG Minas Gerais SE Sergipe
PRT Portugal MS Mato Grosso do Sul SP So Paulo
URY Uruguai MT Mato Grosso TO Tocantins
USA Estados Unidos PA Par

24 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
2

A participao do
Brasil no PISA 2015

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 25
2
A participao do Brasil no PISA 2015

2.1 Aspectos gerais


O PISA reconhecido por ser uma avaliao amostral externa de larga escala que permite obter informaes acuradas
sobre os sistemas educacionais dos pases/economias participantes. Para cumprir tal propsito, a preciso dos resultados
da avaliao depende da qualidade da informao populacional em que a amostra se baseia, bem como da definio
dos procedimentos de amostragem.

O objetivo deste captulo fornecer informaes sobre as caractersticas da amostra brasileira ao longo das seis edies do
programa j realizadas (Seo 2.2) e apresentar onde esto e quem so os estudantes elegveis do PISA 2015 (Seo 2.3).

Dada a complexidade da avaliao, a OCDE, em conjunto com a Westat, empresa do consrcio internacional responsvel
pelo planejamento, delineamento e controle das amostras dos pases participantes, estabelece critrios padronizados e
rgidos sobre a cobertura da populao-alvo, taxa de resposta e procedimentos para a seleo das amostras nacionais.
O Brasil tem obtido xito no cumprimento desses critrios desde sua primeira participao na avaliao. Em 2015, no
foi diferente. Contando com uma amostra de 841 escolas e 23.141 estudantes avaliados, o PISA permite a produo de
resultados confiveis por unidade da Federao, alm de gerar um conjunto de dados importantes para a discusso da
educao do Brasil no contexto internacional.

2.2 Quais so os antecedentes e as caractersticas da amostra do PISA


no Brasil?
Basicamente, h trs elementos importantes na caracterizao de uma amostra: a definio da populao-alvo, o sistema
de referncia a ser utilizado e a definio do plano amostral. Esta e a prxima seo tm por finalidade descrever cada
um desses elementos sob a perspectiva da participao do Brasil nos ciclos avaliativos do PISA.

Populao de referncia
Com o objetivo de comparar diferentes sistemas educacionais, o universo de estudantes participantes do PISA se carac-
teriza por ser uma coorte de idade aplicada uniformemente a todos os pases participantes. A definio de idade surgiu
em comum acordo entre a OCDE e os pases participantes para a efetivao da primeira avaliao, em 2000. Pela faci-
lidade de implementao e pela constatao de que 15 anos a idade mdia em que os jovens, na maioria dos pases
da OCDE, esto prximos do trmino da educao compulsria, decidiu-se que a populao a ser pesquisada em abril
de 2000 seria a de estudantes nascidos em 1984 (OCDE, 2015).

A Figura 2.1 apresenta a definio completa da populao elegvel no PISA. Em nome da clareza, adota-se neste relatrio
a expresso estudantes elegveis de 15 anos em referncia ao grupo de estudantes definido.

Figura 2.1
Definio internacional dos estudantes elegveis ao PISA

Estudantes entre 15 anos e 3 meses (completos) e 16 anos e 2 meses


(completos) no incio do perodo de aplicao da avaliao, matricu-
lados em instituies educacionais localizadas no pas participante,
a partir da 7 srie/7 ano.

O Brasil o nico pas sul-americano que participou de todas as edies do PISA desde sua primeira aplicao. No pas,
a primeira edio ocorreu em outubro de 2000. Como destacado por Klein (2014), a estabilidade das datas de aplicao
da avaliao importante para melhor comparabilidade dos resultados e um fiel diagnstico da composio do alunado
entre as sries avaliadas no PISA. Graas parceria com os estados, desde 2009 o Brasil tem conseguido aplicar o PISA
no mesmo ms, como apresentado na Figura 2.2.

26 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
2
A participao do Brasil no PISA 2015

Figura 2.2
Data de aplicao e definio da populao de referncia do PISA no Brasil
Ms e ano de aplicao Estudantes elegveis
Nascidos em 1 de julho de 1984 a 30 de junho de 1985 cursando a partir da 7 srie/8 ano
Outubro de 2000
do Ensino Fundamental
Nascidos em 1 de maio de 1987 a 30 de abril de 1988 cursando a partir da 7 srie/8 ano
Agosto de 2003
do Ensino Fundamental
Nascidos em 1 de maio de 1990 a 30 de abril de 1991 cursando a partir da 7 srie/8 ano
Agosto de 2006
do Ensino Fundamental
Nascidos em 1 de janeiro de 1993 a 31 de dezembro de 1993 cursando a partir
Maio de 2009
da 7 srie/8 ano do Ensino Fundamental
Nascidos em 1 de janeiro de 1996 a 31 de dezembro de 1996 cursando a partir
Maio de 2012
da 7 srie/8 ano do Ensino Fundamental
Nascidos em 1 de janeiro de 1999 a 31 de dezembro de 1999 cursando a partir
Maio de 2015
do 7 ano do Ensino Fundamental de nove anos de durao
Fonte: OCDE, INEP.

Ao longo desses 15 anos desde a primeira aplicao no Brasil, o pas tem aumentado significativamente a qualidade no
desenvolvimento de estatsticas oficiais em educao. At 2006, por exemplo, a unidade bsica da coleta de dados do
Censo Escolar era a escola. Com a adoo do Educacenso (Portaria MEC n 316, de 4 de abril de 2007), que estabelece
como unidades de investigao, alm da escola, o aluno e o professor, passaram a ser utilizadas informaes mais pre-
cisas sobre os estudantes elegveis de 15 anos para o PISA.

Com a ampliao do Ensino Fundamental para nove anos de durao (Lei n 11.274, de 6 de fevereiro de 2006), todos
os estudantes elegveis a partir do 7 ano foram includos no PISA 2015. A Figura 2.3 apresenta o percentual de alunos
representados na amostra dos ltimos trs ciclos da avaliao. Essa transio do sistema de oito para nove anos do Ensino
Fundamental incluiu o perodo de trs ciclos do PISA; contudo, no se observam diferenas expressivas na distribuio
de estudantes nesses ciclos mesmo com a incluso do 7 ano na amostra de 2015.

Figura 2.3
Percentual de estudantes brasileiros por ano escolar nas trs ltimas edies do PISA

7 8 9 10 11 12
2009 6,8% 18,0% 37,5% 35,7% 2,1%
2012 6,9% 13,5% 34,9% 42,0% 2,6%
2015 3,5% 6,4% 12,5% 35,9% 39,2% 2,5%
Fonte: OCDE, INEP.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 27
2
A participao do Brasil no PISA 2015

A Figura 2.4 indica o percentual de matrculas de jovens de 15 anos nas sries de estudo e a taxa de cobertura (nmero
de estudantes representado na avaliao dividido pelo nmero total estimado de brasileiros com 15 anos) em cada edio
do PISA. Por meio dessa anlise, verifica-se um aumento de jovens de 15 anos matriculados nas sries elegveis e maior
cobertura da avaliao no pas. Enquanto, em 2003, um total de 2.359.854 jovens de 15 anos estavam matriculados a partir
da 7 srie/8 ano do Ensino Fundamental, em 2015, mais de 2,8 milhes cursavam as sries elegveis para a avaliao.

Apesar do avano, os nmeros tambm refletem que o trabalho educacional de incluso de jovens de 15 anos no sistema
escolar ainda um desafio ao pas. Com base nos dados de 2015, em torno de 17% deles estavam fora da escola ou
matriculados no 6 ano ou em sries inferiores. Devido a esse quantitativo e s excluses e perdas amostrais, a cobertura
do PISA 2015 correspondeu a 71% do total de jovens brasileiros de 15 anos.

Em comum acordo com o consrcio internacional e por dificuldades logsticas de aplicao da avaliao ou pelo fato
de certos grupos populacionais no terem necessariamente a lngua portuguesa como lngua de instruo, nenhum ciclo
avaliativo do PISA no pas contemplou estudantes elegveis de escolas indgenas, de escolas rurais da regio Norte ou
de escolas internacionais. Pelos mesmos motivos, alunos de escolas situadas em assentamentos rurais, comunidades
quilombolas ou unidades de conservao sustentvel tambm no fizeram parte do estudo do PISA 2015.

Figura 2.4
Percentual de estudantes brasileiros elegveis e taxa de cobertura
da populao de 15 anos em cinco edies do PISA

Estudantes elegveis Cobertura do PISA


90%

80%

70%

60%

50%

40%

30%

20%

10%

0%
2003 2006 2009 2012 2015
Nota:
1. Taxa de cobertura: nmero de estudantes representado na avaliao divido pelo nmero total estimado de brasileiros com 15 anos.
Fonte: OCDE, INEP.

Sistema de referncia
No PISA, cada pas participante responsvel por fornecer ao consrcio internacional um sistema de referncia (tambm
conhecido como cadastro). Salvo em casos particulares, as unidades desse sistema devem ser as escolas. Essas mesmas
unidades so utilizadas no pr-teste, bem como na aplicao principal (OCDE, 2015).

No Brasil, o sistema de referncia do PISA o Censo Escolar. Uma lista de escolas com possveis estudantes elegveis
encaminhada ao consrcio internacional a cada edio para a seleo da amostra. Para o PISA 2015, utilizou-se o
Censo Escolar 2013.

28 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
2
A participao do Brasil no PISA 2015

Plano amostral
Alm da delimitao da populao de referncia e da anlise dos sistemas de referncia dos pases participantes, o plano
amostral do PISA definido pela OCDE de modo a permitir a comparabilidade dos resultados entre pases.

Pesquisas em educao, sobretudo as internacionais, raramente selecionam estudantes por um esquema de amostragem
aleatria simples. Em vez disso, o plano amostral adotado tem como base, em uma primeira etapa, a seleo de escolas
e, dentro de cada escola selecionada, turmas ou estudantes so amostrados aleatoriamente. Esse plano de amostragem
normalmente referido como amostragem por conglomerado em duas etapas. Tal como realizado na maioria dos pases
participantes, a amostra do PISA 2015 para o Brasil baseou-se em um delineamento amostral estratificado e conglome-
rado em duas etapas.

A primeira etapa consistiu na seleo amostral de escolas com possveis estudantes elegveis. Para tanto, consideraram-se
variveis de estratificao (explcita e implcita) para a seleo da amostra brasileira. Como estratos explcitos, adotaram-
se as unidades da Federao e tipo de escola (escola com ou sem Ensino Mdio), varivel recomendada pelo consrcio
internacional para a aplicao dos questionrios dos professores. Como estratos implcitos, definiram-se a dependncia
administrativa (federal, estadual, municipal e privada), quintis do ndice de Desenvolvimento Humano Municipal, a
localizao (urbana/rural), a rea (capital/interior) e os nveis de ensino oferecidos (escolas de Ensino Fundamental, de
Ensino Mdio, de Ensino Fundamental e Ensino Mdio, de Ensino Mdio Profissionalizante).

No PISA, um nmero mnimo de 150 escolas requerido para cada pas participante. O Brasil, por sua vez, conta,
desde 2006, com uma amostra maior para obter resultados mais confiveis por unidade da Federao, com nveis de
preciso aceitveis. Com o cadastro encaminhado ao consrcio internacional, determinou-se um quantitativo de 964
escolas para a amostra brasileira no PISA 2015, com especial destaque para Minas Gerais e So Paulo, devido a sua
maior concentrao populacional de estudantes de 15 anos.

Aps a definio do tamanho da amostra, as escolas nos estratos explcitos foram ordenadas pelos estratos implcitos e
aleatoriamente selecionadas pelo consrcio internacional, com probabilidade proporcional ao tamanho (tendo como
medida de tamanho o nmero estimado de estudantes elegveis). Com base nesse delineamento, os estratos para os quais
possvel produzir estimativas com preciso garantida so os explcitos, embora neles se adote uma alocao proporcional
da amostra. Os estratos implcitos so utilizados com o objetivo de aumentar a eficincia do desenho amostral por meio
de uma ordenao do cadastro pelas variveis de estratificao implcita e posterior aplicao do mtodo de amostragem
aleatria sistemtica com probabilidade proporcional ao tamanho das escolas (denominado PPS systematic sampling).

Enquanto nos ciclos anteriores a segunda etapa consistia na seleo de estudantes dentro das escolas selecionadas, no
PISA 2015, alm desta, uma amostra de professores caracteriza o segundo estgio do plano amostral. Para aplicao
eletrnica da avaliao, selecionou-se um nmero maior de estudantes por escola, passando de 35 no PISA 2012 para
42 em 2015.

A seleo de escolas foi conduzida da seguinte maneira: para as escolas selecionadas que no possuam Ensino Mdio,
obteve-se uma amostra de at 42 estudantes; para as escolas com Ensino Mdio, uma amostra de at 42 estudantes,
uma de at 10 professores de cincias e outra de at 15 professores de outras disciplinas. Em ambos os casos, a listagem
de todos os estudantes elegveis de 15 anos, bem como a de todos os professores que lecionavam no Ensino Mdio
(quando era o caso), foi fornecida pelas escolas selecionadas. A amostra de estudantes e a de professores foram aleat-
rias, com igual probabilidade de seleo, e realizadas por meio do software Keyquest, cedido ao INEP pelo consrcio
internacional e monitorado por este em toda a fase de seleo amostral. Se em determinada escola o quantitativo de
estudantes elegveis e/ou professores era menor que o nmero estabelecido, todos os estudantes e/ou professores foram
considerados na avaliao.

2.3 Quem so e onde esto os estudantes brasileiros elegveis do PISA 2015?


O planejamento amostral do PISA 2015 iniciou-se em 2013. Em deciso conjunta com a equipe de amostragem do
consrcio internacional, a populao-alvo definida e a populao desejada foram estabelecidas conforme apresentado
na Figura 2.5 e discutido em seguida.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 29
2
A participao do Brasil no PISA 2015

Figura 2.5
Total de estudantes e escolas no planejamento amostral PISA 2015
Populao definida no sistema de referncia
Populao estimada de jovens brasileiros com 15 anos em 2015 3.430.255
Populao brasileira de 15 anos matriculada em instituies de ensino no 6 ano ou em ano inferior 400.438
Populao brasileira de 15 anos matriculada em instituies de ensino a partir do 7 ano (estudantes elegveis) 2.853.388
Nmero de escolas com estudantes elegveis para o PISA 2015 67.768
Excluso
Nmero de escolas excludas devido inacessibilidade geogrfica ou por incompatibilidade entre a lngua de
6.431
instruo e a lngua portuguesa
Nmero esperado de estudantes das instituies excludas 62.763
Populao desejada na avaliao
Nmero de escolas associadas populao desejada (aps excluses) 61.337
Populao estimada de estudantes elegveis para o PISA 2015 (aps excluses) 2.790.625
Fonte: OCDE, INEP.

Para a primeira etapa do delineamento amostral, consolidou-se um sistema de referncia de escolas com possveis es-
tudantes elegveis para a aplicao da avaliao. Segundo a projeo populacional de 2013 do Instituto Brasileiro de
Geografia e Estatstica (IBGE), a populao estimada de jovens brasileiros de 15 anos (matriculados ou no em institui-
es de ensino) em 2015 era de 3.430.255. Utilizando o Censo Escolar 2013, estimou-se que em 2015 2.853.388 deles
estariam matriculados a partir do 7 ano (estudantes elegveis para o PISA) em 67.768 escolas.

Sob orientao do consrcio internacional, todos os pases tentam maximizar a cobertura dos estudantes elegveis de
15 anos em sua amostra nacional. De acordo com os padres de amostragem do PISA, permite-se aos pases a excluso
de 5% do total da populao, seja de escolas, seja de estudantes dentro das escolas. Tal como nas edies passadas, no
Brasil optou-se pela no aplicao nas escolas indgenas, nas escolas rurais da regio Norte e nas escolas internacionais.
Alm delas, escolas situadas em assentamentos rurais, comunidades quilombolas e unidades de conservao sustentvel
no fizeram parte da definio do pblico-alvo do PISA 2015. Essas no aplicaes esto dentro da margem prevista
pelo PISA, ou por no terem necessariamente a lngua portuguesa como lngua de instruo (ou lngua-me), ou pela
dificuldade logstica de aplicao, totalizando 6.431 escolas excludas e um percentual estimado de 2,2% em relao
populao de estudantes elegveis com base no Censo Escolar 2013.

Aps o processo de excluso de escolas, encaminhou-se ao consrcio naciomal uma base de 61.337 escolas com um
total estimado de 2.790.625 estudantes elegveis. Dentre elas, 964 foram selecionadas na amostra do PISA 2015. A Figura
2.6 apresenta a distribuio de escolas, professores e estudantes da populao desejada, bem como os dados da amostra
inicial do PISA 2015 por unidade da Federao.

Figura 2.6
Quantitativo de escolas, professores e estudantes da populao e da amostra inicial PISA 2015
Universo Amostra inicial
UF Professores1 Professores1
Escolas Estudantes2 Escolas Estudantes2
Cincias Outras Cincias Outras
AC 162 555 3.049 11.323 31 191 403 1.162
AL 940 1.675 8.184 45.159 34 109 291 1.197
AM 721 2.551 13.344 51.904 28 159 330 1.006
AP 139 468 3.036 10.192 29 187 390 1.142
BA 4.664 12.289 41.231 186.210 35 150 309 1.164
CE 4.072 6.899 24.203 134.001 39 167 308 1.076
DF 448 1.644 9.976 40.374 28 198 345 1.148
ES 1.129 3.025 16.794 50.173 34 174 356 1.081
GO 2.021 5.496 22.750 90.069 31 172 381 1.101
MA 4.144 5.977 19.867 101.161 43 158 289 1.178
MG 5.813 17.285 92.262 293.416 39 200 465 1.327
MS 806 2.260 12.576 35.094 34 162 353 1.091

30 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
2
A participao do Brasil no PISA 2015

Figura 2.6 (continuao)


Quantitativo de escolas, professores e estudantes da populao e da amostra inicial PISA 2015
Universo Amostra inicial
UF Professores1 Professores1
Escolas Estudantes2 Escolas Estudantes2
Cincias Outras Cincias Outras
MT 1.135 3.154 13.657 46.451 37 199 409 1.187
PA 1.584 5.027 20.938 87.301 30 175 321 1.095
PB 1.460 3.352 15.047 50.958 35 150 323 1.126
PE 2.734 7.426 29.827 123.727 33 170 360 1.124
PI 2.002 3.927 15.117 45.339 43 147 323 1.104
PR 2.703 10.685 65.478 156.899 32 183 418 1.176
RJ 4.700 14.960 77.611 221.757 33 185 360 1.125
RN 1.267 2.357 10.002 42.971 36 123 309 1.090
RO 351 1.226 6.266 21.891 29 165 372 1.003
RR 100 435 2.134 6.952 29 187 390 1.065
RS 4.686 8.315 47.494 140.283 41 164 346 1.118
SC 2.271 5.083 28.364 94.304 37 164 390 1.079
SE 799 1.375 7.592 28.516 36 127 290 1.112
SP 9.969 36.736 217.699 651.677 75 446 983 2.800
TO 517 1.235 5.637 22.523 33 140 354 1.016
Brasil 61.337 165.417 830.135 2.790.625 964 4.752 10.168 31.893
Notas:
1. Nmero estimado de professores que poderiam ministrar aulas no Ensino Mdio em 2015.
2. Nmero estimado de estudantes elegveis em 2015 com base no Censo Escolar 2013.
Fonte: OCDE, INEP.

Como nem todos os estudantes elegveis das escolas selecionadas participam da avaliao, entre fevereiro e abril de
2015, as escolas selecionadas repassaram ao INEP a listagem de todos os estudantes e professores (do Ensino Mdio)
elegveis para a segunda etapa do delineamento amostral. Na coleta dessas informaes, 127 escolas foram excludas
do estudo pelos motivos apontados na Figura 2.7.

Figura 2.7
Quantitativo de escolas selecionadas, mas no participantes PISA 2015
Motivo da no participao Frequncia
Escola com somente um aluno elegvel 7
Escola fechada 20
Escola no elegvel pelo delineamento (por exemplo: localizada em assentamento rural) 2
Escola sem estudantes elegveis 46
Escola com recusa 12
Escola participante, mas nenhum estudante foi avaliado 4
Escola no participante por outras razes (por exemplo: greve, estrutura inadequada para a avaliao computadorizada) 36
Total 127
Fonte: OCDE, INEP.

Um rgido controle de qualidade feito nas amostras encaminhadas pelos pases/economias participantes do PISA com
o objetivo de reduzir os possveis vcios causados por no resposta. No nvel nacional, exige-se uma taxa de resposta
mnima de 85% para as escolas da amostra inicial. Sob padres internacionais, considera-se aceitvel uma taxa de
resposta das escolas da amostra inicial entre 65% e 85%; contudo, uma listagem de escolas substitutas entregue aos
pases para que se possa obter uma taxa de resposta por escola de 85% ou superior.

Escolas que recusaram participao, que estavam em greve ou que no possuam estrutura adequada para a avaliao
computadorizada poderiam ser substitudas segundo os critrios internacionais. Dadas as especificidades da logstica
de aplicao, apenas nove escolas foram efetivamente substitudas no perodo de realizao da avaliao no Brasil, no
prejudicando o nvel da taxa de resposta por escola determinado pela OCDE.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 31
2
A participao do Brasil no PISA 2015

No PISA 2015, tambm se exigiu uma taxa mnima de 80% de participao dos estudantes em cada escola (da amostra
inicial ou da listagem de substituio) no mbito nacional. Alm das 127 escolas excludas, cinco foram retiradas do
estudo por apresentar taxa de resposta dos estudantes inferior a 25%.

A Figura 2.8 apresenta o quantitativo final de escolas, estudantes e professores participantes da amostra efetiva, bem
como as taxas de resposta de escolas e estudantes por unidade da Federao.

Figura 2.8
Quantitativo de escolas, professores e estudantes da amostra efetiva e ponderados
e taxas de resposta por unidade da Federao PISA 2015
Amostra efetiva Taxas de resposta (aps reposio)4
UF Professores1 Estudantes Estudantes Escolas5 Estudantes6
Escolas Geral7
Cincias Outras participantes2
ponderados 3
Sem peso Com peso Sem peso Com peso
AC 29 89 237 914 9.957 96,7% 97,8% 87,7% 88,3% 86,3%
AL 27 62 139 756 41.998 83,9% 85,0% 78,7% 79,4% 67,5%
AP 21 51 124 482 8.515 60,7% 59,5% 66,5% 66,7% 39,7%
AM 25 82 163 816 42.986 100,0% 100,0% 91,8% 92,4% 92,4%
BA 34 77 165 1.018 196.809 100,0% 100,0% 84,7% 85,0% 85,0%
CE 35 148 214 934 126.240 100,0% 100,0% 93,3% 93,6% 93,6%
DF 28 103 152 907 39.567 100,0% 100,0% 84,4% 83,6% 83,6%
ES 31 122 167 911 50.142 96,9% 98,8% 87,4% 88,2% 87,1%
GO 30 64 125 839 87.434 96,8% 96,1% 82,7% 84,2% 80,9%
MA 30 73 85 770 89.261 93,8% 95,0% 87,3% 87,5% 83,2%
MT 30 122 251 754 39.041 87,9% 91,1% 86,1% 85,5% 77,9%
MS 30 92 288 829 29.960 100,0% 100,0% 88,5% 88,6% 88,6%
MG 36 181 369 1.101 245.393 97,3% 96,8% 92,3% 92,6% 89,6%
PA 27 58 105 752 73.553 86,2% 85,0% 83,3% 82,4% 70,1%
PB 32 94 179 749 39.809 90,6% 93,3% 80,5% 79,2% 73,9%
PR 21 41 77 517 141.894 50,0% 51,1% 75,4% 75,6% 38,7%
PE 32 116 263 840 117.491 96,9% 96,3% 82,6% 82,6% 79,6%
PI 32 47 119 713 37.136 75,6% 83,8% 89,7% 90,1% 75,5%
RJ 31 149 253 758 155.113 96,9% 96,4% 90,1% 90,4% 87,1%
RN 33 64 137 848 36.785 100,0% 100,0% 84,9% 85,7% 85,7%
RS 35 121 232 900 127.513 97,2% 99,1% 89,9% 89,7% 88,9%
RO 26 92 266 781 16.939 89,3% 93,8% 86,3% 86,6% 81,3%
RR 26 91 185 801 6.999 89,3% 90,3% 82,4% 83,8% 75,6%
SC 34 105 270 870 92.380 94,1% 95,3% 85,3% 85,4% 81,4%
SP 66 303 586 2.037 531.588 98,5% 99,8% 87,4% 87,9% 87,8%
SE 32 82 163 707 22.637 87,9% 83,8% 82,5% 83,2% 69,7%
TO 28 101 243 837 18.821 100,0% 100,0% 89,2% 89,5% 89,5%
Brasil 841 2.730 5.557 23.141 2.425.961 91,7% 94,1% 85,7% 87,3% 82,1%
Notas:
1. Nmero de professores que ministraram aulas no Ensino Mdio das escolas selecionadas em 2015.
2. Nmero de estudantes que foram amostrados com base na lista encaminhada pelas escolas com pelo menos uma resposta nos testes cognitivos ou que responde-
ram a pelo menos um item do questionrio do estudante do PISA 2015.
3. Correspondncia dos estudantes da amostra na representatividade nacional dos estudantes elegveis do PISA.
4. Percentual de estudantes participantes com relao ao quantitativo esperado de cada estrato.
5. A taxa de resposta das escolas calculada com base no nmero de estudantes elegveis presente no sistema de referncia.
6. A taxa de resposta dos estudantes calculada da seguinte maneira: no numerador esto os estudantes avaliados no PISA 2015 que foram includos nos resultados
menos as escolas com taxa de participao de 25% a 50%; no denominador est o nmero de estudantes amostrados que eram elegveis no PISA 2015.
7. A taxa de resposta geral o produto das taxas de respostas (com peso) das escolas e dos estudantes. Ela indica o percentual da populao de estudantes represen-
tados na amostra do PISA 2015 antes dos ajustes causados por no resposta.
Fonte: OCDE, INEP.

32 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
2
A participao do Brasil no PISA 2015

O quantitativo final de escolas e estudantes avaliados no PISA 2015 foi 841 e 23.141, respectivamente. Tais valores
representam taxas ponderadas de resposta das escolas e estudantes de aproximadamente 94% e 87%, atendendo aos
padres especificados pelo PISA.

Na Figura 2.8, verifica-se que Amap e Paran foram as nicas unidades da Federao que no alcanaram os percentuais
requeridos (mnimo de 80% para os estudantes e de 85% para as escolas). Portanto, deve-se tomar maior cuidado na
anlise dos resultados do PISA 2015 para esses dois estados, em razo da baixa representatividade de seus estudantes
na avaliao.

Perfil dos estudantes brasileiros no PISA 2015


Por ser uma avaliao amostral baseada na idade e no na etapa escolar, verifica-se que os estudantes brasileiros elegveis
para o PISA esto em distintas sries/anos do percurso escolar. Uma vez que o desempenho dos alunos est fortemente
condicionado srie que eles cursam, uma anlise por ano escolar e unidade da Federao apresentada na Figura 2.9.

Figura 2.9
Quantitativo de estudantes ponderados
por unidade da Federao, gnero e ano escolar PISA 2015
Ano escolar
UF Distribuio percentual por gnero e etapa
7 8 9 10 11 12
EF: Menina EF: Menino EM: Menina EM: Menino

Brasil 3,5% 6,4% 12,5% 35,9% 39,2% 2,5% Brasil 10% 13% 42% 36%

AC 1,5% 1,7% 8,0% 39,5% 43,3% 5,9% AC 4% 7% 47% 42%

AL 11,2% 13,7% 17,0% 27,0% 25,3% 5,9% AL 18% 24% 34% 24%

AP 3,9% 9,9% 16,0% 33,2% 35,0% 2,0% AP 11% 19% 42% 28%

AM 0,0% 4,6% 17,7% 41,5% 32,9% 3,3% AM 9% 13% 42% 36%

BA 9,3% 14,6% 20,3% 29,5% 22,6% 3,7% BA 21% 23% 33% 22%

CE 3,6% 7,2% 12,4% 38,3% 34,1% 4,4% CE 10% 13% 41% 36%

DF 3,0% 8,9% 16,4% 39,2% 30,3% 2,2% DF 10% 18% 39% 33%

ES 4,1% 6,4% 11,6% 43,3% 33,5% 1,1% ES 10% 12% 42% 36%

GO 0,8% 4,1% 13,0% 44,4% 34,8% 2,8% GO 7% 11% 44% 38%

MA 5,3% 8,7% 14,5% 34,9% 32,2% 4,4% MA 11% 17% 42% 29%

MT 0,1% 0,2% 6,7% 52,1% 38,6% 2,3% MT 3% 4% 49% 44%

MS
MS 6,2% 6,7% 14,1% 30,4% 37,9% 4,8% 12% 15% 39% 34%

MG 10% 44% 39%


MG 1,6% 4,1% 11,0% 48,1% 34,6% 0,7% 7%

PA 13% 20% 40% 27%


PA 7,1% 8,7% 17,5% 37,7% 27,1% 1,9%
PB 12% 21% 38% 29%
PB 7,5% 10,0% 15,2% 30,7% 30,0% 6,5%
PR 5% 11% 44% 40%
PR 1,8% 5,4% 8,6% 26,9% 51,9% 5,5%
PE 10% 14% 43% 32%
PE 3,1% 6,9% 14,6% 34,8% 35,2% 5,4%
PI 13% 17% 40% 31%
PI 10,2% 8,9% 10,6% 34,8% 32,2% 3,3%
RJ 17% 18% 36% 29%
RJ 4,4% 8,5% 22,5% 43,0% 21,1% 0,4%
RN 15% 21% 36% 28%
RN 6,0% 12,6% 17,6% 37,5% 22,9% 3,4%
RS 12% 12% 44% 32%
RS 4,7% 8,5% 10,2% 32,3% 40,7% 3,6%
RO 15% 19% 37% 29%
RO 4,2% 9,0% 20,8% 37,2% 26,5% 2,2%
RR 7% 15% 43% 35%
RR 2,2% 5,5% 14,3% 45,7% 29,9% 2,4%
SC 7% 9% 42% 42%
SC 1,9% 5,0% 9,3% 25,2% 55,1% 3,4%
SP 4% 5% 46% 45%
SP 0,4% 1,7% 6,5% 32,7% 58,5% 0,2%
SE 17% 22% 35% 25%
SE 12,0% 14,0% 13,3% 31,3% 27,1% 2,3%
TO 10% 14% 42% 33%
TO 3,9% 8,0% 12,2% 37,1% 35,8% 2,9%
Notas:
1. EF: Ensino Fundamental; EM: Ensino Mdio.
2. Devido aos arredondamentos, os totais podero divergir da soma das parcelas.
Fonte: OCDE, INEP.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 33
2
A participao do Brasil no PISA 2015

Aproximadamente 22% dos jovens brasileiros elegveis no PISA estavam ainda no Ensino Fundamental em 2015, 9,5%
deles do sexo feminino e 12,8% do masculino. Bahia a unidade da Federao com maior nmero de estudantes
nessa etapa (44,2%), e Mato Grosso, com menor (7,0%).
O perfil tpico de um estudante brasileiro no PISA 2015 do sexo feminino (51,5%), matriculado no Ensino Mdio
(77,7%) de uma rede de ensino estadual (73,8%) localizada em rea urbana (95,4%) e no interior (76,7%). A Figura 2.10
apresenta o quantitativo de escolas e estudantes representados na amostra de 2015 por essas categorias.

Figura 2.10
Quantitativo e percentual de escolas e estudantes da amostra e o ponderado
por dependncia administrativa, localizao e rea PISA 2015
Amostra efetiva Ponderado1
Variveis Categorias
Escolas Estudantes Estudantes Percentual
Federal 13 442 38.470 1,60%
Dependncia Estadual 569 17.500 1.789.892 73,80%
administrativa Municipal 156 2.280 275.714 11,40%
Privada 103 2.919 321.884 13,30%
Urbana 778 22.201 2.314.532 95,40%
Localizao
Rural2 63 940 111.429 4,60%
Capital 239 6.905 564.153 23,30%
rea
Interior 602 16.236 1.861.808 76,70%
Notas:
1. Correspondncia dos estudantes da amostra na representatividade nacional dos estudantes elegveis do PISA.
2. Escolas rurais do Norte no foram contempladas no delineamento amostral do PISA.
Fonte: OCDE, INEP.

34 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3

A avaliao de cincias
no PISA 2015

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 35
3
a Avaliao de cincias no PISA 2015

3.1 Aspectos gerais


A compreenso de cincia e tecnologia fundamental na formao de um jovem para a vida na sociedade moderna.
Nesse esprito, pela segunda vez, desde a primeira edio, em 2000, o domnio cincias o foco da avaliao do PISA.

Neste captulo, explora-se em detalhe a matriz de referncia de cincias do PISA 2015 com base na traduo dos docu-
mentos oficiais da OCDE. Enquanto nas sees 3.2 e 3.3 discutem-se os aspectos do construto avaliado nesse domnio,
apresentando a definio de letramento cientfico, as competncias, os conhecimentos e os contextos determinados na
matriz de referncia (OCDE, 2016), a Seo 3.4 aborda a composio do teste cognitivo aplicado em 2015, mostrando
a distribuio dos itens nas competncias, conhecimentos, sistemas e formatos de resposta. A Seo 3.5, por sua vez,
trata da escala de proficincia, com a definio dos nveis construdos segundo os testes aplicados.

Alm de fornecer informaes sobre a avaliao de cincias do PISA que possam atender tanto os leitores que j a
conhecem como aqueles que tomam o primeiro contato com ela, este captulo apresenta os resultados de desempenho
dos estudantes brasileiros com foco no nvel de dificuldade dos itens aplicados no teste, indicando os pontos fortes e
fracos dos alunos (Seo 3.6). So oferecidos, ainda, alguns exemplos de itens aplicados em 2015, acompanhados de
comentrios pedaggicos embasados em informaes estatsticas geradas com base no desempenho dos estudantes.

Por fim, na Seo 3.7, apresentam-se os resultados nacionais na escala contnua e interpretada do PISA 2015, contrastan-
do com o desempenho da mesma coorte de estudantes de 15 anos em 13 pases selecionados, bem como o panorama
das 27 unidades da Federao.

3.2 Como o letramento cientfico definido no PISA?


Segundo o PISA, tornar-se letrado cientificamente envolve a ideia de que os propsitos da educao na cincia devem ser
amplos e aplicados; portanto, o conceito de letramento cientfico se refere tanto ao conhecimento da cincia como ao
da tecnologia pautada na cincia. A cincia e a tecnologia diferem em seus propsitos, processos e produtos: enquanto
a tecnologia visa solues timas para problemas humanos, a cincia busca a resposta para questes especficas sobre
o mundo natural. Contudo, ambas esto intimamente relacionadas.

O letramento cientfico requer no apenas o conhecimento de conceitos e teorias da cincia, mas tambm o dos pro-
cedimentos e prticas comuns associados investigao cientfica e de como eles possibilitam o avano da cincia.
Assim, indivduos cientificamente letrados tm o conhecimento das principais concepes e ideias que formam a base
do pensamento cientfico e tecnolgico, de como tal conhecimento obtido e justificado por evidncias ou explicaes
tericas. Portanto, define-se o letramento cientfico em termos da capacidade de uso do conhecimento e da informao
de maneira interativa.

Nos ciclos de 2000 e de 2003 do PISA, o letramento cientfico foi descrito como a capacidade de usar o conhecimento
cientfico para identificar questes e tirar concluses baseadas em evidncias, a fim de compreender e ajudar a tomar
decises sobre o mundo natural e as mudanas feitas a ele por meio da atividade humana (OCDE, 2000, 2003).

Em 2006, primeiro ciclo no qual o domnio cincias foi o foco do estudo, desdobrou-se o termo conhecimento cient-
fico em dois componentes: conhecimento de cincias e conhecimento sobre cincias (OCDE, 2006). Nesse ciclo,
reforou-se o conceito com a adio do conhecimento da relao entre cincia e tecnologia aspecto que havia sido
assumido na descrio de 2003, embora no incorporado explicitamente a ela.

A definio de letramento cientfico praticamente no mudou nos ciclos de 2009 e 2012, mas em 2015, novo ciclo no
qual o domnio cincias aparece no foco do estudo, sofreu algumas alteraes que representam a evoluo das ideias
apresentadas nos ciclos anteriores (Figura 3.1). A principal diferena que a noo de conhecimento sobre cincias
foi explicitada com base em sua diviso em dois componentes: conhecimento procedimental e conhecimento epis-
temolgico.

As competncias e conhecimentos so avaliados em contextos especficos que buscam evidenciar a utilizao bem-suce-
dida das trs competncias requeridas para o letramento cientfico. Alm disso, a perspectiva centrada em competncias
reconhece que h um elemento afetivo para que o estudante as mostre. Esse elemento representado por suas atitudes
ou disposio para a cincia.

36 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

Para o ciclo de 2015, houve tambm uma pequena alterao em relao aos contextos, que passaram de pessoal, social
e global (utilizados nos ciclos de 2006 a 2012) para pessoal, local/nacional e global, com a finalidade de tornar os
ttulos mais coerentes.

Os aspectos atitudinais dos estudantes diante das questes cientficas, no ciclo de 2006, estavam incorporados matriz e
foram medidos por meio do questionrio do estudante e de itens includos no teste cognitivo. Em 2015, tal mensurao
se deu apenas por meio do questionrio do estudante.

Essa viso do letramento cientfico constituiu a base para a avaliao internacional de jovens de 15 anos em 2015 e pode
ser resumida na seguinte pergunta: O que importante que os jovens saibam, valorizem e sejam capazes de realizar
em situaes que envolvem a cincia e tecnologia?.

Figura 3.1
A definio de letramento cientfico PISA 2015

Letramento cientfico a capacidade de se envolver com as questes relacionadas com a cincia e com a ideia da
cincia, como cidado reflexivo. Uma pessoa letrada cientificamente, portanto, est disposta a participar de discusso
fundamentada sobre cincia e tecnologia, o que exige as competncias para:

1. explicar fenmenos cientificamente: reconhecer, oferecer e avaliar explicaes para fenmenos naturais e
tecnolgicos;
2. avaliar e planejar investigaes cientficas: descrever e avaliar investigaes cientficas e propor formas de
abordar questes cientificamente;
3. interpretar dados e evidncias cientificamente: analisar e avaliar os dados, afirmaes e argumentos, tirando
concluses cientficas apropriadas.

Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy.

3.3 Como o letramento cientfico foi avaliado no PISA 2015?


Para fins da avaliao, o letramento cientfico no PISA 2015 caracteriza-se como constitudo de quatro componentes (ou
dimenses) inter-relacionados, conforme mostrado na Figura 3.2.

Figura 3.2
As inter-relaes entre as dimenses do letramento cientfico PISA 2015

Competncias
Exigem que
Contextos Explicar
fenmenos
os indivduos A demonstrao das
cientificamente competncias dependem de
Pessoal demonstrem
Avaliar
e planejar
Local/nacional
experimentos cientficos
Global
Interpretar
dados e
evidncias cientificamente

Atitudes Conhecimentos
Interesse Conceitos/contedos

Valorizaoda (de cincias)


investigao cientfica Procedimentale
Responsabilidade epistemolgico (sobre
ambiental cincias)

Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 37
3
a Avaliao de cincias no PISA 2015

Os componentes (ou dimenses) do construto

As competncias

Explicar fenmenos cientificamente


A competncia para explicar fenmenos cientficos e tecnolgicos depende do conhecimento das ideias explicativas
da cincia (Figura 3.3a). Entretanto, requer mais do que a capacidade de recordar e usar teorias, informaes e fatos
(conhecimento de contedo). Fornecer explicao cientfica tambm exige a compreenso de como esse conhecimento
foi derivado e do nvel de confiana que se pode assegurar a quaisquer afirmaes cientficas. Portanto, necessrio
saber as formas e procedimentos-padro utilizados na investigao cientfica para obter tal conhecimento (conhecimento
procedimental) e compreender seu papel e funo para justificar o conhecimento produzido pela cincia (conhecimento
epistemolgico).

Figura 3.3a
As competncias do PISA 2015 Explicar fenmenos cientificamente

Reconhecer, oferecer e avaliar explicaes para fenmenos naturais e tecnolgicos, demonstrando capacidade de:

lembrar e aplicar conhecimento cientfico apropriado;


identificar, utilizar e gerar modelos explicativos e representaes;
fazer e justificar previses apropriadas;
oferecer hipteses explicativas;
explicar as implicaes potenciais do conhecimento cientfico para a sociedade.

Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy.

Avaliar e planejar investigaes cientficas


O letramento cientfico implica que os sujeitos tenham algum entendimento sobre o objetivo da investigao cient-
fica de gerar conhecimento confivel sobre o mundo natural (Ziman, 1979, apud OCDE, 2016). Os dados coletados
e obtidos por observao e experimentao, seja em laboratrio, seja em campo, propiciam o desenvolvimento de
modelos e hipteses explicativos que permitem fazer previses que podem ser testadas experimentalmente. Novas
ideias so comumente construdas com base em conhecimento prvio. Os prprios cientistas raras vezes trabalham
isolados; ao contrrio, so em geral membros de grupos de pesquisa ou equipes que se dedicam extensa colabora-
o com colegas, tanto nacional como internacionalmente. Novas alegaes de conhecimento so sempre percebidas
como provisrias e podem no ter justificativa quando submetidas reviso por pares crticos mecanismo que a
comunidade cientfica tem estabelecido para assegurar a objetividade do conhecimento cientfico (Longino, 1990,
apud OCDE, 2016). Com isso, os cientistas tm o compromisso de publicar ou relatar suas descobertas e os mtodos
utilizados na obteno das evidncias. Tal ao permite que se realizem estudos empricos para confirmar ou rejeitar
os resultados. Medidas, entretanto, no so absolutamente precisas; todas elas contm algum grau de erro. Grande
parte do trabalho do cientista experimental , portanto, dedicado resoluo de incertezas, repetindo as medies,
coletando amostras maiores, construindo instrumentos mais precisos e usando tcnicas estatsticas para avaliar o grau
de confiana de qualquer resultado.

A cincia tem procedimentos estabelecidos. Por exemplo, o uso de controles base do argumento lgico para estabe-
lecer causa e efeito, permitindo ao cientista justificar que qualquer alterao na percepo de um resultado pode ser
atribuda mudana de uma caracterstica especfica. A no utilizao de tais tcnicas leva a resultados cujos efeitos
so confundidos e podem no ser confiveis. Da mesma forma, estudos duplamente cegos possibilitam aos cientistas
afirmar que os resultados no foram influenciados nem pelos sujeitos do experimento nem pelo experimentador. Al-
guns cientistas, como taxonomistas e eclogos, esto envolvidos no processo de identificao de padres e interaes
no mundo natural em busca de explicaes. Em outros casos, como a evoluo, as placas tectnicas ou as alteraes
climticas, a cincia se fundamenta em argumentos que so uma inferncia da melhor explicao, analisando diversas
hipteses e eliminando aquelas que no se ajustam s evidncias.

38 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

Essa competncia se baseia no conhecimento de contedo, no dos procedimentos comuns usados na cincia (conhe-
cimento procedimental) e no da funo desses procedimentos para justificar quaisquer alegaes desenvolvidas pela
cincia (conhecimento epistemolgico). Os conhecimentos procedimental e epistemolgico servem para avaliar as
investigaes cientficas a fim de decidir se os procedimentos adequados foram seguidos e se as concluses so justifi-
cadas. Alm disso, as pessoas que tm esse conhecimento devem ser capazes de propor, pelo menos em termos gerais,
como uma questo cientfica pode ser investigada de maneira adequada (Figura 3.3b).

Figura 3.3b
As competncias do PISA 2015 Avaliar e planejar experimentos cientficos

Descrever e avaliar investigaes cientficas e propor meios para responder cientificamente a questes, demonstrando
capacidade de:

identificar a questo explorada em dado estudo cientfico;


diferenciar questes possveis de investigar cientificamente;
propor formas de explorar dada questo cientificamente;
avaliar formas de explorar dada questo cientificamente;
descrever e avaliar os vrios caminhos que os cientistas usam para assegurar a confiabilidade dos dados e a obje-
tividade e generalizao das explicaes.

Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy.

Interpretar dados e evidncias cientificamente


A interpretao de dados uma atividade to central para todos os cientistas que alguma compreenso (mesmo que
rudimentar) do processo essencial para o letramento cientfico. Ela comea com a procura de padres, construo
de tabelas simples e visualizaes grficas. Em um nvel mais elevado, exige a utilizao de conjuntos de dados
mais complexos e de ferramentas analticas oferecidas por planilhas e pacotes estatsticos. Seria um erro, no entanto,
conceber essa competncia meramente como uma habilidade. Um corpo substancial de conhecimentos necess-
rio para reconhecer o que constitui uma prova de confiana e validade e saber como apresentar os dados de modo
adequado. Os cientistas fazem escolhas sobre como representar os dados em grficos, tabelas ou, cada vez mais,
simulaes complexas ou visualizaes 3D. Quaisquer relaes ou padres tm, ento, de ser lidos com base no
conhecimento dos padres considerados normais. Tambm se deve levar em conta se a incerteza minimizada por
meio de tcnicas estatsticas padronizadas. Tudo isso se baseia em um corpo de conhecimento procedimental. Assim,
espera-se que o indivduo cientificamente letrado entenda que a incerteza uma caracterstica inerente a todas as
medies e que um dos critrios de confiabilidade de um resultado expresso em funo da probabilidade de que
ele possa ter ocorrido por acaso.

No suficiente, contudo, entender os procedimentos que foram aplicados para obter qualquer conjunto de dados. O
indivduo letrado cientificamente precisa ser capaz de julgar se eles so apropriados e se as alegaes que se seguiram
so justificadas (conhecimento epistemolgico). Por exemplo, muitos conjuntos de dados podem ser interpretados de
vrias maneiras. Argumentao e crtica so, portanto, essenciais para determinar qual a concluso mais adequada.
Quer se trate de novas teorias, quer de novas formas de coleta de dados, quer de novas interpretaes de dados antigos,
a argumentao o meio que os cientistas e tecnlogos usam para defender novas ideias. O desacordo entre os cientistas
normal, no extraordinrio. A escolha da melhor interpretao requer conhecimento de cincias (conhecimento de
contedo) e capacidade crtica. O indivduo cientificamente letrado tem de entender a funo e a finalidade do argu-
mento e da crtica e por que so essenciais para a construo do conhecimento. Alm disso, deve ter a competncia
tanto para construir argumentos que sejam justificados por dados como para identificar eventuais falhas nos argumentos
dos outros (Figura 3.3c).

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 39
3
a Avaliao de cincias no PISA 2015

Figura 3.3c
As competncias do PISA 2015 Interpretar dados e evidncias cientificamente

Analisar e avaliar dados, suposies e argumentos em representaes variadas e tecer concluses cientficas apro-
priadas ao contexto, demonstrando capacidade de:

transformar dados de uma representao para outra;


analisar e interpretar dados e tirar concluses apropriadas;
identificar as premissas, evidncias e argumentos em textos relacionados s cincias;
distinguir entre argumentos, quais so baseados em evidncia cientfica e quais so baseados em outras consideraes;
avaliar argumentos cientficos e evidncias de diferentes fontes (por exemplo: jornais, internet, revistas cientficas).

Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy.

O conhecimento cientfico
As trs competncias requeridas para o letramento cientfico exigem trs formas de conhecimento:

Conhecimento de contedo
Refere-se ao conhecimento dos fatos, conceitos, ideias e teorias sobre o mundo natural estabelecido pela cincia por
exemplo, de que modo os vegetais sintetizam molculas complexas usando luz e dixido de carbono. Para efeitos da
avaliao do PISA, as competncias so testadas usando o conhecimento que se pode esperar de estudantes de 15 anos.
Assim, o conhecimento de contedo foi selecionado com base nos principais campos da fsica, qumica, biologia, cincias
da Terra e do espao (Figura 3.4), de acordo com duas premissas: ter relevncia em situaes da vida real e representar
um conceito ou uma teoria duradoura.

O uso do termo sistemas em vez de cincias nos descritores do conhecimento de contedo tem a inteno de
reforar a ideia da necessidade de compreender que os conceitos das cincias fsicas, da vida, da Terra e do espao,
bem como sua aplicao, so interdependentes ou interdisciplinares. Ademais, assuntos tratados como subsistemas em
determinada escala podem ser considerados sistemas inteiros em escala menor. Por exemplo, o sistema circulatrio
pode ser visto como uma entidade em si ou como um subsistema do corpo humano; uma molcula pode ser estudada
como uma configurao estvel de tomos, mas tambm como um subsistema de uma clula ou de um gs. Assim, a
aplicao de conhecimentos cientficos e a implantao de competncias cientficas requerem a considerao de qual
sistema e quais limites se aplicam em qualquer contexto particular.

Figura 3.4
O conhecimento no PISA 2015 Os sistemas do conhecimento de contedo
Contedo dos sistemas fsicos
Estrutura da matria (modelo de partculas, ligaes)
Propriedades da matria (mudanas de estado, condutividade trmica e eltrica)
Mudanas qumicas da matria (reaes qumicas, transferncia de energia, cidos/bases)
Movimento e foras (velocidade, frico) e ao em distncia (magnetismo, gravitao e foras eletrostticas)
Energia e transformao (conservao, dissipao, reaes qumicas)
Interaes entre energia e matria (ondas sonoras e luminosas, som e ondas ssmicas)
Contedo dos sistemas vivos
Clulas (estrutura e funo, DNA)
Conceito de organismo (unicelular e pluricelular)
Seres humanos (sade, nutrio, subsistemas digestrio, respiratrio, excretor, reprodutivo e suas relaes)
Populaes (espcies, diversidade, variabilidade, evoluo)
Ecossistemas (cadeias e teias alimentares, fluxo de matria e energia)
Biosfera (sustentabilidade)

40 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

Figura 3.4 (continuao)


O conhecimento no PISA 2015 Os sistemas do conhecimento de contedo
Contedo do sistema Terra e espao

Estruturas do sistema Terra (litosfera, hidrosfera, atmosfera)


Energia no sistema Terra (fontes, clima global)
Mudanas no sistema Terra (placas tectnicas, ciclos geoqumicos, foras construtivas e destrutivas)
Histria da Terra (origem e evoluo, fsseis)
Terra no espao (gravidade, Sistema Solar e galxias)
Histria e escala do Universo (ano-luz, teoria do Big Bang)

Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy.

Conhecimento procedimental
Um objetivo fundamental da cincia gerar explicaes sobre o mundo material, e as tentativas de explicaes so, primei-
ro, desenvolvidas para, em seguida, serem testadas por meio de pesquisa emprica. Esta depende de certos conceitos esta-
belecidos, como a noo de variveis dependentes e independentes, o controle de variveis, tipos de medio, formas de
erro, mtodos para a reduo do erro, padres comuns observados e mtodos de apresentao de dados. Esse conhecimento
dos conceitos e procedimentos essencial para a investigao cientfica, pois sustenta a coleta, anlise e interpretao
de dados. Tais ideias formam um corpo de conhecimento procedimental, tambm chamado de conceitos de evidncias
(OCDE 2016, Frameworks). Pode-se definir conhecimento procedimental como o conhecimento dos procedimentos-
padro que os cientistas usam para obter dados confiveis e vlidos. Tal conhecimento necessrio tanto para realizar
investigao cientfica e se envolver em reviso crtica da evidncia como para apoiar alegaes cientficas especficas.
Espera-se, por exemplo, que o estudante saiba que o conhecimento cientfico tem diferentes graus de confiana asso-
ciados e que possa explicar por que h diferena entre a confiana associada s medies da velocidade da luz (feitas
com instrumentos cada vez mais precisos) e aquela relacionada com medidas de populaes de tartarugas marinhas
no litoral do oceano Atlntico e araras-azuis na regio amaznica. Os exemplos listados na Figura 3.5 transmitem as
caractersticas gerais do conhecimento procedimental que podem ser testadas.

Figura 3.5
O conhecimento procedimental PISA 2015

Conceitos de variveis dependentes e independentes


Conceitos de medidas: qualitativas e quantitativas, escalas, variveis contnuas e discretas
Formas de avaliar e minimizar incertezas: repeties, medidas mdias
Mecanismos para gerar replicao
Ferramentas de representao de dados: grficos, tabelas, mapas, histogramas
Controle de variveis: desenho experimental, randomizao
Natureza de desenhos especficos: observao, busca de padres, experimentao
Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy.

Conhecimento epistemolgico
Trata-se de um conhecimento que define as caractersticas essenciais para o processo de construo do conhecimento
cientfico. Pessoas que o tm podem explicar, com exemplos, a distino entre uma teoria cientfica e uma hiptese
ou entre um fato cientfico e uma observao. Sabem que a construo de modelos, sejam eles diretamente represen-
tativos, abstratos ou matemticos, uma caracterstica fundamental da cincia e que tais modelos so semelhantes
aos mapas e no imagens precisas do mundo material. Elas devem, por exemplo, reconhecer que qualquer modelo
de partculas da matria uma representao idealizada da matria e conseguir explicar como o modelo de Bohr
um modelo limitado do que se sabe sobre o tomo e suas partes constituintes. Elas depreendem que a concepo
de teoria usada na cincia no o mesmo que a noo de uma teoria na linguagem cotidiana, em que empre-
gada como sinnimo de palpite ou chute. Assim, considerando que necessrio conhecimento procedimental

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 41
3
a Avaliao de cincias no PISA 2015

para explicar o que se entende por estratgia de controle de variveis, a capacidade de explicar por que o uso dessa
estratgia fundamental para a implantao do conhecimento na cincia traduz o que se define por conhecimento
epistemolgico (Figura 3.6).

Indivduos letrados cientificamente devem compreender, ainda, que os cientistas extraem dados para comprovar as
alegaes ao conhecimento e que o argumento uma caracterstica usual da cincia. Em particular, precisam saber
que alguns argumentos da cincia so hipottico-dedutivos (por exemplo, o argumento de Coprnico para o sistema
heliocntrico), outros, indutivos (como a conservao de energia), e alguns, inferncias para a melhor explicao
(Teoria da Evoluo de Darwin ou argumento de Wegener para continentes em movimento). Tambm entendem o
papel e a importncia da reviso pelos pares como o mecanismo que a comunidade cientfica tem estabelecido para
testar as declaraes de novos conhecimentos. Como tal, o conhecimento epistemolgico fornece uma base racional
para os processos e prticas aos quais os cientistas se dedicam, um conhecimento das estruturas e caractersticas
definidoras que orientam a investigao cientfica e a base para a crena nos postulados que a cincia faz a respeito
do mundo natural.

Figura 3.6
O conhecimento epistemolgico PISA 2015

Os construtos e recursos da cincia:

Natureza das observaes cientficas, fatos, hipteses, modelos e teorias


Propsitos e objetivos das observaes cientficas: produo de explicaes do mundo natural, produo de solu-
es para as necessidades humanas (tecnologia)
Valores da cincia: compromisso, objetividade, eliminao de vis
Natureza do raciocnio cientfico: deduo, induo, inferncia, analogias e uso de modelos

O papel dos construtos e recursos para justificar a produo do conhecimento cientfico:

Como afirmaes cientficas so apoiadas por dados e raciocnio na cincia


Funo das diferentes formas de investigao para produo de conhecimentos
Como as medidas de erro afetam o grau de confiabilidade do conhecimento cientfico
Uso e limites de uso dos modelos fsicos, sistmicos e abstratos
Papel dos pares no estabelecimento de confiabilidade nas comunidades cientficas
Papel do conhecimento cientfico e de outras formas de conhecimento na identificao de questes sociais e
tecnolgicas

Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy.

Contextos
As competncias e conhecimentos so avaliados em contextos especficos, selecionados de acordo com o conhecimento
e compreenso condizentes com a faixa etria dos estudantes, ou seja, 15 anos de idade. Os contextos buscam evidenciar
a utilizao bem-sucedida das trs competncias do letramento cientfico em situaes que refletem contextos pessoais,
locais, nacionais e globais (Figura 3.7). Portanto, os itens no so limitados aos contextos escolares, mas, ao contrrio,
evidenciam situaes relacionadas com o indivduo, famlia e grupos de amigos (pessoais), com a comunidade (local e
nacional) e com a vida em todo o mundo (global).

Figura 3.7
Os contextos para o letramento cientfico PISA 2015
Pessoal Local/nacional Global
Manuteno da sade, Controle de doenas, transmisso, Epidemias, propagao
Sade e doena acidentes, nutrio escolhas alimentares e sade de doenas infecciosas
da comunidade

42 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

Figura 3.7 (continuao)


Os contextos para o letramento cientfico PISA 2015
Pessoal Local/nacional Global
Consumo individual de material Manuteno das populaes Sistemas naturais renovveis
e energia humanas, qualidade de vida, e no renovveis, crescimento
Recursos naturais segurana, produo e distribuio populacional, uso sustentvel
de alimentos, suprimento de energia de espcies

Aes ambientalmente Distribuio da populao, descarte Biodiversidade, sustentabilidade


amigveis, uso e descarte de lixo e impacto ambiental ecolgica, controle da poluio,
Qualidade ambiental
de materiais e dispositivos produo e perda de solo/
biomassa
Avaliao de riscos e Mudanas rpidas (por exemplo: Mudanas climticas, impactos
escolha de estilo de vida terremotos, clima severo), mudanas da comunicao moderna
Riscos lentas e progressivas (por exemplo:
eroso de encostas, sedimentao),
avaliao de riscos
Aspectos cientficos de Novos materiais, dispositivos e Extino de espcies, explorao
Fronteira entre passatempos, tecnologia processos, modificaes genticas, do espao, origem e estrutura
cincia e tecnologia pessoal, msica e atividades tecnologias da sade e dos do Universo
esportivas transportes
Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy.

Atitudes

As atitudes de uma pessoa em relao s cincias desempenham um papel significativo em seu interesse, ateno e
respostas cincia e tecnologia e a outras questes. Um dos objetivos do ensino de cincias desenvolver atitudes
que levem os estudantes a se envolver com questes cientficas. O letramento cientfico inclui certas atitudes, crenas,
orientaes motivacionais, autoeficcia e valores.

No PISA 2015, as atitudes dos estudantes em relao s cincias foram avaliadas em trs reas o interesse em cincia
e tecnologia, a conscincia ambiental e a valorizao da abordagem cientfica na pesquisa (Figura 3.8) consideradas
fundamentais para a construo do letramento cientfico. Essas reas foram selecionadas porque uma atitude positiva
em relao cincia, a preocupao com o meio ambiente e com a sustentabilidade, bem como a disposio de va-
lorizar a abordagem cientfica na pesquisa, so caractersticas de um indivduo cientificamente letrado. Assim, o grau
em que cada estudantes se interessa ou no por cincia e reconhece seu valor e suas implicaes considerado uma
importante medida do resultado da escolaridade obrigatria. Em 2006, em 52 dos pases participantes (incluindo todos
os da OCDE), os alunos com maior interesse geral em cincias tiveram melhor desempenho na avaliao desse domnio
(OCDE, 2007, p. 143).

No PISA 2015, essas atitudes especficas em relao s cincias foram medidas por meio do questionrio do estudante.
A Figura 3.8 fornece os detalhes dos subconstrutos especficos de cada atitude medida.

Figura 3.8
As reas para a avaliao de atitudes e interesse em cincias PISA 2015

Essa uma atitude indicada por:


curiosidade em cincias e assuntos relacionados com a cincias;
desejo de adquirir conhecimentos e habilidades adicionais em cincias, utilizando recursos e mtodos variados;
interesse crescente em cincias, incluindo a considerao de seguir uma carreira cientfica.

Essa dimenso de interesse em cincia ser medida por meio dos seguintes construtos:
Interesse em aprender cincias: uma medida de quanto os alunos se interessam por aprender sobre a fsica, a biologia
humana, a geologia e os processos e produtos da investigao cientfica.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 43
3
a Avaliao de cincias no PISA 2015

Figura 3.8 (continuao)


As reas para a avaliao de atitudes e interesse em cincias PISA 2015

Satisfao com cincias: uma medida de quanto os estudantes gostam de aprender sobre cincias, tanto dentro como
fora da escola.

Futuro orientado para atividades em cincias: uma medida do nvel de desejo dos alunos em seguir carreira cientfica
ou estudar cincias depois da escola.

Motivao instrumental para aprender cincias: uma medida de quanto da motivao dos estudantes para aprender
sobre cincias est extrinsecamente relacionada com as oportunidades de emprego nessa rea.

Valor geral das cincias: uma medida do grau de prestgio que os alunos do a uma gama de diferentes carreiras,
incluindo as cientficas.

Autoeficcia em cincias: uma medida de quo capazes os estudantes se percebem com relao s cincias.

Prestgio ocupacional de carreiras especficas: uma medida do valor que os alunos do para a cincia como ocu-
pao para si.

Uso da tecnologia: uma medida de como os estudantes utilizam as novas tecnologias.

Experincias em cincia fora da escola: uma medida das atividades extracurriculares de cincias com as quais os
alunos se envolvem.

Aspiraes de carreira: uma ampla medida da disposio que os estudantes tm para as carreiras cientficas.

Preparao da escola para a carreira em cincia: uma medida de quo bem os alunos se sentem com relao
educao cientfica formal fornecida por sua escola, ou seja, dos conhecimentos e habilidades recebidos para uma
carreira cientfica.

Informao que os estudantes tm sobre as carreiras em cincias: uma medida de quo bem informados os alunos
se sentem sobre as possveis carreiras cientficas.
Valorizao das abordagens cientficas na pesquisa
Essa uma atitude indicada por:

compromisso com o fato de que a evidncia a base da crena para as explicaes sobre o mundo material;
compromisso com o enfoque na pesquisa cientfica, quando for o caso;
valorizao da crtica como um meio de estabelecer a validade de qualquer ideia.
Conscincia ambiental

Essa uma atitude indicada por:


preocupao com o meio ambiente e a vida sustentvel;
disposio em assumir e promover comportamentos ambientalmente sustentveis.

Esses elementos de conscientizao ambiental so medidos por meio dos seguintes construtos:

Sensibilizao para as questes ambientais: uma medida de como os estudantes so informados sobre as questes
ambientais atuais.

Percepo das questes ambientais: uma medida de quanto os alunos se preocupam com questes ambientais.

Otimismo ambiental: uma medida da crena dos estudantes sobre a contribuio de suas aes ou de outros para a
manuteno e melhoria do ambiente.

Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy.

44 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

3.4 Qual foi a estrutura da avaliao do letramento cientfico


no PISA 2015?
O teste de cincias
As provas do PISA so constitudas de unidades que apresentam um ttulo e o estmulo que abrange um conjunto de
questes (itens) associadas. A avaliao de 2015 foi inteiramente aplicada em computador, e os novos itens de cincias,
construdos no formato eletrnico, possibilitando a elaborao de unidades interativas com estmulos na forma de vdeos
animados e algumas simulaes, alm das unidades-padro (material esttico como textos, figuras, grficos, tabelas etc.).

A fim de criar uma avaliao equilibrada que cobrisse toda a matriz, as tarefas usadas para avaliar o desempenho dos
estudantes foram delineadas com base em duas categorias/dimenses adicionais: formato de resposta e demanda cogni-
tiva, conforme mostrado na Figura 3.9. Competncias cientficas, Tipos de conhecimento e Sistemas de contedo
so categorias de referncia, ou seja, permitem a comparao do desempenho do estudante em subcategorias por meio
do uso de subescalas.

Figura 3.9
Categorias que descrevem os itens formulados para a avaliao em cincias PISA 2015
Outras categorias que asseguram
Categorias de referncia
uma avaliao balanceada
Competncias Tipos de Sistemas de Formatos de Demanda
Contextos
cientficas conhecimento contedo resposta cognitiva

Explicar fenmenos Mltipla escolha


Contedo Sistemas fsicos Baixa Pessoal
cientificamente simples

Avaliar e planejar
Mltipla escolha
experimentos Procedimental1 Sistemas vivos Mdia Local/nacional
complexa
cientficos

Interpretar dados
Sistema
e evidncias Epistemolgico1 Resposta construda Alta Global
Terra e espao
cientificamente

Nota:
1. Embora distintas do ponto de vista terico, as categorias de conhecimento procedimental e epistemolgico formam uma nica categoria de referncia.
Fonte: OCDE (2016b), PISA 2015 Results (Volume I): Excellence and Equity in Education, OCDE Publishing, Paris.

O uso do computador gerou novas possibilidades de respostas, entre elas a seleo de textos em uma lista para completar
uma frase e o movimento de elementos grficos na tela para preencher lacunas ou orden-los. Alm disso, em 2015,
alguns itens demandaram a execuo de tarefas interativas para chegar resposta, como a manipulao de variveis em
uma pesquisa cientfica simulada. Os formatos de resposta s tarefas propostas pelos itens do PISA foram:

Mltipla escolha simples: seleo de uma nica alternativa de quatro dadas; seleo de um elemento dentro de um
grfico ou texto.
Mltipla escolha complexa: sries de perguntas do tipo Sim ou No; seleo de mais de uma opo de uma lista
predefinida (menu suspenso) para completar; movimento de elementos de texto ou grficos na tela (arrastar e colar)
para completar uma tarefa, ordenar ou categorizar; seleo de dados gerados em simulaes.
Respostas construdas ou abertas: itens que solicitam a elaborao de resposta escrita curta (uma frase ou pargrafo)
ou desenho (grfico ou diagrama).

Em 2015, o teste de letramento cientfico teve seis blocos de itens comuns (j aplicados em ciclos anteriores) e seis de
itens novos (construdos para aplicao no ciclo de 2015). A distribuio dos itens segundo o formato e dimenses do
construto pode ser conferida na Figura 3.10. Foram 184 itens, dos quais 85 comuns e 99 novos.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 45
3
a Avaliao de cincias no PISA 2015

Figura 3.10
Distribuio dos itens no instrumento cognitivo de letramento cientfico,
segundo as dimenses do construto e o formato PISA 2015
Dimenso Nmero de itens Formato dos itens
Mltipla escolha Mltipla escolha Resposta
Competncia Comuns Novos Total Total
simples complexa aberta
Explicar fenmenos
41 47 88 30 26 32 88
cientificamente
Avaliar e planejar
16 23 39 8 16 15 39
experimentos cientficos
Interpretar dados
28 29 57 16 24 17 57
e evidncias cientificamente
Total 85 99 184 54 66 64 184
Conhecimento de contedo 51 47 98 33 34 31 98
Sistemas fsicos 20 18 38 16 10 12 38
Sistemas vivos 19 15 34 12 10 12 34
Sistema Terra e espao 12 14 26 5 14 7 26
Conhecimento
24 36 60 21 19 20 60
procedimental
Conhecimento
10 16 26 00 13 13 26
epistemolgico
Total 85 99 184 54 66 64 184
Contexto
Global 16 38 54 54
Local/nacional 59 50 109 109
Pessoal 10 11 21 21
Total 85 99 184 54 66 64 184
Fonte: OCDE, INEP.

Os itens foram tambm classificados em nveis de demanda cognitiva (ou profundidade de conhecimento), que se
refere ao tipo de processo mental necessrio resoluo do item. A demanda cognitiva determina o nvel de dificuldade
de um item, mais do que o formato da resposta e a familiaridade do estudante com o conhecimento cientfico latente.
influenciada por quatro fatores:

O nmero e o grau de complexidade dos elementos do conhecimento.


O nvel de familiaridade do estudante com o conhecimento (de contedo, procedimental e epistemolgico) envolvido.
A operao cognitiva exigida pelo item, como lembrar, analisar e/ou avaliar.
Em que medida a resoluo do item depende de modelos ou abstrao de ideias cientficas.

No PISA 2015, foram determinados trs nveis de demanda cognitiva:

Baixa: itens que exigem procedimentos em uma nica etapa, como recordar um fato, termo, princpio, conceito ou
localizao de uma nica informao em um grfico ou tabela.
Mdia: itens que exigem o uso e aplicao de conhecimento conceitual para descrever ou explicar fenmenos, a
seleo de procedimentos apropriados em duas ou mais etapas, a organizao/exibio de dados ou a interpretao
e uso de um conjunto de dados simples e de grficos.
Alta: itens que exigem a anlise de informao complexa ou de dados, a sntese ou avaliao de evidncias, justifica-
tivas e argumentos com base em vrias fontes ou o planejamento de estratgias para resolver um problema.

Dos 184 itens aplicados no teste de 2015, 56 foram classificados na categoria demanda cognitiva baixa, 113, na de
demanda cognitiva mdia, e 15, na de demanda cognitiva alta (Figura 3.11).

46 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

Figura 3.11
Distribuio dos itens no instrumento cognitivo de letramento cientfico,
segundo a demanda cognitiva requerida PISA 2015
Nmero de itens Formato dos itens
Demanda
Mltipla escolha Mltipla escolha Resposta
cognitiva Comuns Novos Total Total
simples complexa aberta
Baixa 30 26 56 24 22 10 56
Mdia 48 65 113 26 43 44 113
Alta 7 8 15 4 1 10 15
Total 85 99 184 54 66 64 184
Fonte: OCDE, INEP.

3.5 Como o letramento cientfico reportado no PISA?


O PISA 2015 fornece uma escala que se baseia em todas as questes de cincias da avaliao. Tambm apresenta escalas
para as trs competncias cientficas, as trs reas de conhecimento de contedo e as duas categorias de conhecimento
definidas anteriormente. A mtrica para a escala global de cincias toma como referncia a mdia dos pases da OCDE
de 500 pontos e o desvio-padro de 100 pontos, estabelecidos no PISA 2006, quando a escala de cincias foi desen-
volvida pela primeira vez. Os itens comuns a ambos os instrumentos de teste (2006 e 2015) permitem que se faa a
ligao entre as escalas.

Destaca-se, ainda, que o grande diferencial do PISA 2015 em relao s outras edies foi a aplicao da avaliao em
computador. A verso eletrnica em 2015 permitiu expandir o que o teste de cincias pode avaliar, em comparao
com as verses em papel anteriores. Por exemplo, no PISA 2015, foi possvel avaliar pela primeira vez, graas ao uso
de apresentaes interativas, a capacidade dos jovens de 15 anos na realizao de investigao cientfica, pedindo-
lhes que planejassem experimentos (simulados) e interpretassem as evidncias resultantes. Os resultados dessa edio
so diretamente comparveis com os das edies passadas. O quadro a seguir apresenta as justificativas tcnicas que
possibilitam tal comparao.

Os resultados do teste computadorizado de cincias do PISA 2015


podem ser comparados com os resultados das edies anteriores?

O PISA visa medir, em cada ponto no tempo, os conhecimentos e as habilidades necessrios para participar plenamente
da sociedade e da economia. Dado que esses conhecimentos e habilidades evoluem lentamente, a cada nove anos
o PISA revisita as matrizes de referncias e os instrumentos utilizados para medir os domnios de leitura, matemtica
e cincias. Essa reviso peridica dos domnios e instrumentos tambm oferece uma oportunidade para alinhar o
PISA com os novos desenvolvimentos em tcnicas de avaliao e com o mais recente entendimento dos processos
cognitivos subjacentes s proficincia em cada domnio.

A avaliao de 2015 coincidiu com a reviso do marco terico para cincias, sendo que o domnio principal contou
com o desenvolvimento de novos itens para capturar todos os aspectos dessa matriz atualizada. Os itens comuns (itens
de tendncia) utilizados no PISA 2006, 2009 e 2012 tambm foram revisados com base nesse novo delineamento.

Uma das principais diferenas com as avaliaes anteriores do domnio de cincias foi a aplicao dos itens do teste
em computador. A maioria dos pases/economias participantes do PISA 2015, incluindo todos os da OCDE, avaliou
os estudantes na verso eletrnica (ver Captulo 1, Figura 1.3). A fim de comparar os resultados desse teste com os
obtidos pelas coortes de estudantes que fizeram os testes do PISA em papel no passado, era necessrio estabelecer
primeiro a equivalncia dos instrumentos em papel e os baseados em computador (PISA 2015 Results, Volume I).

Os testes em papel e em computador do PISA esto ligados por itens comuns, todos eles desenvolvidos, inicialmente,
para os testes baseados em papel em ciclos anteriores da avaliao. O pr-teste do PISA 2015 analisou a equivalncia
dos itens comuns entre os testes em computador e os baseados em papel. Distinguiram-se dois nveis de equivalncia:
equivalncia escalar (forte) e equivalncia mtrica (fraca) (Davidov, Schmidt and Billet, 2011; Meredith, 1993, apud
OCDE, 2016b). Somente os itens que passaram nos testes de equivalncias foram retidos para o estudo principal de
2015, e, entre eles, a maioria (61 de 85 itens em cincias) atingiu o mais alto nvel de invarincia.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 47
3
a Avaliao de cincias no PISA 2015

possvel a comparao dos escores do PISA 2015 com os dos ciclos passados, bem como a dos escores do PISA em
um pas com os de outro pas, graas ao grande nmero de itens comuns que atingem o mais alto nvel de equivalncia
(invarincia escalar). O Anexo AT do relatrio internacional, Volume I, e o Relatrio Tcnico do PISA 2015 (OCDE,
em desenvolvimento) fornecem detalhes sobre o nmero de itens invariantes escalares e sobre o estudo relativo ao
efeito do computador no contexto do pr-teste do PISA 2015.

A escala de cincias para o PISA 2015 foi dividida em sete nveis de proficincia, seis deles alinhados com os nveis
definidos em 2006 (ordenados do maior, nvel 6, para o menor, nvel 1a, anteriormente designado nvel 1). base da
escala, adicionou-se um novo nvel (1b), contemplando a descrio das tarefas mais fceis da avaliao, para indicar as
habilidades dos estudantes com desempenho abaixo do nvel 1a.

A descrio de cada nvel define os conhecimentos e habilidades necessrios para completar as tarefas e foi feita com
base nas demandas cognitivas exigidas. Os estudantes com proficincia no nvel 1b provavelmente conseguem resolver
as tarefas desse nvel, mas tm baixa probabilidade de completar as dos nveis superiores da escala. O nvel 6 inclui
as tarefas mais desafiadoras em termos de conhecimentos e habilidades. Os estudantes com valores de proficincia
localizados nesse nvel tm alta probabilidade de realizar as tarefas desse e dos outros nveis da escala (Figura 3.12).

Figura 3.12
Relao entre as questes e o desempenho dos estudantes em uma escala de proficincia

Escala de cincias

esperado que o estudante


Estudante A,
A acerte os itens I a V e
com proficincia
Item VI provavelmente o item VI
relativamente alta
tambm.
Itens com dificuldade
relativamente alta
Item V

esperado que o estudante


Estudante B, B acerte os itens I e II e
Item IV com proficincia provavelmente o item III,
Itens com dificuldade moderada mas no os itens V e VI e
moderada provavelmente no o item IV.
Item III

Item II
Itens com dificuldade
relativamente baixa Estudante C, esperado que o estudante
Item I com proficincia C no acerte os itens II a VI e
relativamente que provavelmente tambm
baixa no acerte o item I.

Fonte: OCDE (2016), PISA 2015 Results (Volume I): Excellence and Equity in Education.

A descrio dos nveis da escala de cincias foi atualizada para incluir as novas categorias definidas na matriz de 2015
e os novos itens desenvolvidos para essa edio.

48 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

A Figura 3.13 apresenta as competncias cientficas, conhecimentos e entendimentos exigidos nos nveis da escala de
letramento cientfico do PISA 2015, bem como o percentual de estudantes dos pases da OCDE e do Brasil em cada nvel.

Figura 3.13
Descrio resumida e percentual de estudantes nos sete nveis de proficincia em cincias PISA 2015
Percentual
Escore
Nvel de estudantes Caractersticas das tarefas
mnimo
no nvel
No nvel 6, os estudantes podem recorrer a uma srie de ideias e conceitos cientficos interligados
de fsica, cincias da vida, Terra e espao e usar conhecimentos de contedo, procedimental e
epistemolgico para formular hipteses explicativas para novos fenmenos cientficos, eventos
OCDE: 1,06% e processos ou para fazer suposies. Ao interpretar dados e evidncias, conseguem fazer a dis-
6 708
Brasil: 0,02% criminao entre informao relevante e irrelevante e podem recorrer a conhecimento externo
ao currculo escolar. Podem distinguir argumentos baseados em teorias e evidncia cientfica dos
baseados em outros fatores. Os estudantes do nvel 6 podem avaliar projetos concorrentes de
experimentos complexos, estudos de campo ou simulaes e justificar suas escolhas.
No nvel 5, os estudantes podem usar ideias ou conceitos cientficos abstratos para explicar
fenmenos incomuns e mais complexos, eventos e processos que envolvam relaes causais ml-
tiplas. Eles conseguem aplicar conhecimento epistemolgico mais avanado para avaliar projetos
OCDE: 6,67%
5 633 experimentais alternativos, justificar suas escolhas e usar conhecimento terico para interpretar
Brasil: 0,65%
informaes e fazer suposies. Os estudantes do nvel 5 podem avaliar formas de explorar de-
terminado problema cientificamente e identificar limitaes na interpretao de dados, incluindo
fontes e os efeitos de incerteza dos dados cientficos.
No nvel 4, os estudantes conseguem usar conhecimento de contedo mais complexo e mais
abstrato, proporcionado ou recordado, para construir explicaes de eventos e processos mais com-
plexos ou pouco conhecidos. Podem conduzir experimentos que envolvam duas ou mais variveis
OCDE: 19,01%
4 559 independentes em contextos restritos. Conseguem justificar um projeto experimental recorrendo
Brasil: 4,22%
a elementos de conhecimento procedimental e epistemolgico. Os estudantes do nvel 4 podem
interpretar dados provenientes de um conjunto moderadamente complexo ou de contexto pouco
conhecido, chegar a concluses adequadas que vo alm dos dados e justificar suas escolhas.
No nvel 3, os estudantes podem recorrer a conhecimento de contedo de moderada complexidade
para identificar ou formular explicaes de fenmenos conhecidos. Em situaes mais complexas
OCDE: 27,23% ou menos conhecidas, podem formular explicaes desde que com apoio ou dicas. Podem recor-
3 484
Brasil: 13,15% rer a elementos de conhecimento procedimental e epistemolgico para realizar um experimento
simples em contexto restrito. Os estudantes do nvel 3 conseguem fazer distino entre questes
cientficas e no cientficas e identificar a evidncia que apoia uma afirmao cientfica.
No nvel 2, os estudantes conseguem recorrer a conhecimento cotidiano e a conhecimento proce-
dimental bsico para identificar um explicao cientfica adequada, interpretar dados e identificar a
OCDE: 24,80% questo abordada em um projeto experimental simples. Conseguem usar conhecimento cientfico
2 410
Brasil: 25,36% bsico ou cotidiano para identificar uma concluso vlida em um conjunto simples de dados. Os
estudantes do nvel 2 demonstram ter conhecimento epistemolgico bsico ao conseguir identificar
questes que podem ser investigadas cientificamente.
No nvel 1a, os estudantes conseguem usar conhecimento de contedo e procedimental bsico
ou cotidiano para reconhecer ou identificar explicaes de fenmenos cientficos simples. Com
OCDE: 15,74% apoio, conseguem realizar investigaes cientficas estruturadas com no mximo duas variveis.
1a 335
Brasil: 32,37% Conseguem identificar relaes causais ou correlaes simples e interpretar dados em grficos e
em imagens que exijam baixo nvel de demanda cognitiva. Os estudantes do nvel 1a podem sele-
cionar a melhor explicao cientfica para determinado dado em contextos global, local e pessoal.
No nvel 1b, os estudantes podem usar conhecimento cientfico bsico ou cotidiano para reco-
OCDE: 4,91% nhecer aspectos de fenmenos simples e conhecidos. Conseguem identificar padres simples em
1b 261
Brasil: 19,85% fontes de dados, reconhecer termos cientficos bsicos e seguir instrues explcitas para executar
um procedimento cientfico.
Abaixo OCDE: 0,59%
A OCDE no especifica as habilidades desenvolvidas.
de 1b Brasil: 4,38%
Fonte: OCDE, INEP.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 49
3
a Avaliao de cincias no PISA 2015

3.7 Quais foram os pontos fortes e fracos dos estudantes brasileiros


em cincias no PISA 2015?
Esta seo tem por objetivo apresentar um estudo dos pontos fortes e fracos dos estudantes brasileiros no PISA 2015
com base na deteco de padres de respostas aos itens quando comparados aos de um grupo de pases selecionados.

Como o foco da avaliao do PISA 2015 foi cincias, aplicou-se um quantitativo maior de itens, sendo que, dos 184 itens
avaliados, utilizaram-se neste estudo os 181 comuns aos seguintes pases analisados: Canad, Colmbia, Costa Rica,
Chile, Mxico, Peru, Uruguai, Estados Unidos, Espanha, Portugal, Coreia do Sul, Finlndia e Repblica Dominicana.

O percentual de estudantes que responderam corretamente a cada um desses itens variou consideravelmente. No Brasil, o
percentual de respostas corretas aos 181 itens de cincias foi de 30,6%, em mdia, sendo o Esprito Santo a unidade da
Federao com o maior percentual de acerto (30,5%) e Alagoas com o menor (23,6%). No contexto internacional, a Fin-
lndia apresentou, em geral, o melhor resultado (56,4% de respostas corretas), e a Repblica Dominicana, o pior (19,9%).

Entender as potencialidades e deficincias relativas aos pases avaliados uma das propostas deste estudo. Enquanto
aqui se discute o nvel de dificuldade dos itens conforme a Teoria Clssica dos Testes (Pasquali, 2009), na Seo 3.8, o
foco so os resultados sob a Teoria de Resposta ao Item. Segundo Pasquali,

De um modo geral, a psicometria procura explicar o sentido que tm as respostas dadas pelos sujeitos a uma srie
de tarefas, tipicamente chamadas de itens. A Teoria Clssica dos Testes (TCT) se preocupa em explicar o resultado
final total, isto , a soma das respostas dadas a uma srie de itens, expressa no chamado escore total (T). Por exem-
plo, o T em um teste de 30 itens de aptido seria a soma dos itens corretamente acertados. Se for dado 1 para um
item acertado e 0 para um errado, e o sujeito acertou 20 itens e errou 10, seu escore T seria de 20. A TCT, ento, se
pergunta: o que significa este 20 para o sujeito? A Teoria de Resposta ao Item, por outro lado, no est interessada
no escore total em um teste; ela se interessa especificamente por cada um dos 30 itens e quer saber qual a proba-
bilidade e quais so os fatores que afetam esta probabilidade de cada item individualmente ser acertado ou errado.

Nesta seo, tambm se estudam as propores de respostas omitidas aos itens do PISA 2015 e os nveis de dificuldade
dos itens para todas as unidades da Federao brasileiras e os 13 pases alm do Brasil. Ao longo do texto, so apresen-
tados, ainda, itens pblicos do PISA 2015 com comentrios pedaggicos sobre o desempenho dos estudantes brasileiros
nesses itens.

Como identificar pontos fracos e fortes em cincias?

O nvel de dificuldade aqui considerado o ndice Delta, uma medida transformada do percentual de acerto dos itens
utilizada pelo Educational Testing Service (ETS) (Matsumoto; Van de Vijver, 2010). Optou-se por adotar essa mtrica
porque, ao avaliar diretamente o percentual de acerto de um item, pode-se encontrar uma relao distorcida quando
se observam itens com percentuais de acerto relativamente muito altos ou muito baixos. Por exemplo, uma diferena
de 10% entre percentuais de acerto de 95% e 85% menos notvel do que entre 55% e 45% em outras palavras,
a relao entre o percentual de acerto e o nvel de dificuldade dos itens no linear.

Sendo assim, faz-se necessria a transformao do percentual de respostas corretas em uma mtrica linear. O ndice
Delta, bem como a transformao logit (OCDE, 2013), tem o efeito de esticar percentuais de acerto muito baixos e
muito altos em comparao com o percentual de acerto de 50%. A fim de evitar nmeros negativos, fixou-se a mdia
do ndice Delta em 13 e o desvio-padro em 4 (Matsumoto, 2010). Portanto, um valor de Delta de 13 (referncia)
significa que o percentual de acerto do item de 50%. Em geral, o Delta varia entre 1 e 25; quanto maior o ndice,
mais difcil o item para determinada populao.

A primeira anlise de identificao dos pontos fortes e fracos em cincias exploratria dos itens segundo os ndices
Delta por componente da matriz de referncia de cincias (competncia, conhecimento, sistemas e contexto), por
tipo de item e por demanda cognitiva.

Em seguida, realiza-se um estudo sobre a omisso aos itens do PISA 2015. Entendendo que a omisso pode ser con-
siderada um ponto fraco na avaliao, empreende-se uma anlise geral dos itens com maior percentual de omisso
pelos estudantes brasileiros.

50 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

Por fim, so examinados itens que se destacaram como pontos fortes e fracos dos jovens de 15 anos, levando em conta
a diferena entre o valor mdio do ndice Delta dos pases selecionados e o do Brasil. Tal metodologia se aproxima
anlise de itens conspcuos apresentada no relatrio Lessons from PISA 2012 for the United States (OCDE, 2013).
Aqui os itens foram considerados destaques quando a diferena entre a mdia do nvel de dificuldade dos itens do
Brasil e a dos pases observados era de pelo menos um desvio-padro (para ambos os lados). Uma vez que os itens
com maior omisso foram avaliados anteriormente, eles no entraram nessa anlise.

Na comparao entre os pases latino-americanos, a mdia das diferenas dos ndices Delta foi 0,05, e o desvio-pa-
dro, 0,77, resultando nos pontos de corte -0,71 e 0,82, respectivamente. Logo, os itens com mdia das diferenas
menor que -0,71 foram considerados pontos fortes, e os com mdia maior que 0,82, pontos fracos. Na anlise
comparada dos pases com alto desempenho, por sua vez, a mdia das diferenas foi 2,41, e o desvio-padro, 0,93,
resultando nos pontos de corte 1,49 e 3,34, respectivamente.

Embora se entenda que o desempenho dos jovens de pases da Amrica Latina no alto em comparao com a
mdia dos da OCDE, essa anlise pretende mostrar que h itens do PISA 2015 que se destacam por serem mais fceis
aos estudantes brasileiros do que aos dos sete pases latino-americanos selecionados. O item S643Q05, por exemplo,
apresentou diferena de 2,3 pontos na escala do Delta em relao a esses pases, podendo indicar que o que foi
medido pelo item no PISA 2015 foi mais bem assimilado pelos alunos brasileiros do que pelo mesmo pblico nos
pases vizinhos (ponto forte). J o item S466Q07 registrou diferena de quase 2 pontos, indicando que, em geral, os
jovens desses pases tiveram melhor desempenho do que os do Brasil nessa tarefa especfica (ponto fraco).

certo que, ao comparar o desempenho dos brasileiros com o dos estudantes de pases com alto desempenho no
PISA, o nvel de dificuldade dos itens para o Brasil ser mais elevado. Contudo, a anlise comparada dos itens-desta-
que pretende apontar itens em que o desempenho dos jovens brasileiros no foi muito diferente do dos estudantes de
pases avaliados (pontos fortes) e outros que se mostraram bastante desafiadores para eles (pontos fracos).

3.7.1 A dificuldade dos itens


Como visto antes, a aplicao do PISA 2015 no Brasil foi completamente computadorizada. A Figura 3.14 ilustra o nvel de
dificuldade de todos os itens de cincias aplicados aos estudantes brasileiros. Apenas 15,8% dos itens apresentaram ndice
Delta menor ou igual a 13, ou seja, aproximadamente 3 itens em cada 20 com percentual de acerto igual ou superior a 50%.

Figura 3.14
ndice de dificuldade (Delta) dos 183 itens de cincias para os estudantes brasileiros PISA 2015

24

22

20

18

16

14

12

10

Nota:
1. H 184 itens de cincias no PISA 2015. Pelas anlises psicomtricas realizadas, o item S465Q04 foi excludo do resultado final do Brasil.
Fonte: OCDE, INEP.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 51
3
a Avaliao de cincias no PISA 2015

Para os estudantes brasileiros, metade dos itens na edio de 2015 se concentrou entre os valores 13,85 (percentual de
acerto de 41,6%) e 16,55 (aproximadamente 18,7% de acerto).

A Figura 3.15 mostra a distribuio do ndice Delta segundo o desempenho geral dos jovens brasileiros por unidade
da Federao, bem como o de estudantes de um conjunto de pases (destacados em negrito). Como na montagem dos
testes do PISA nem todos os alunos so submetidos a todos os itens, para comparar os resultados entre os estados e
pases avaliados, a partir de agora sero considerados os 181 itens comuns entre eles. Vale lembrar, ainda, que os itens
foram apresentados aos estudantes dos pases aqui selecionados na forma computadorizada, bem como que a escala do
Delta contnua e, devido prpria natureza da medida, quanto maior o ndice, menor o percentual de estudantes
respondendo corretamente aos itens (apresentado em parnteses).

Verifica-se que, em mdia, o nvel de dificuldade dos 181 itens do PISA 2015 para os jovens brasileiros (15,03) foi maior
que para os de outros pases, exceto os da Repblica Dominicana e do Peru. Em geral, os alunos do Uruguai e do Chile
foram os que obtiveram os maiores percentuais de acerto em comparao com os outros da Amrica Latina, com ndices
Delta de 14,36 e 14,13, respectivamente. Dentre as unidades da Federao brasileiras, os jovens do Esprito Santo e
do Distrito Federal apresentaram as mdias de respostas corretas mais prximas desses dois pases latino-americanos.

Figura 3.15
ndices de dificuldade (percentual de acerto e Delta) dos 181 itens comuns
de cincias por pas e unidade da Federao PISA 2015

Alta dificuldade

Repblica Dominicana (19,9%) 16,38


Alagoas (23,6%)
Amap (24,8%)
Tocantins (25%)
Sergipe (25,2%)
Bahia (25,4%)
Maranho (25,6%)
Rio Grande do Norte (25,8%) 15,59
Paraba (26,8%)
Rondnia (27%)
Pernambuco (27,1%)
Piau (27,2%)
Par (28,5%)
Rio de Janeiro (28,7%) 15,25
Mato Grosso (29,1%)
Roraima (29,1%)
Amazonas (29,3%)
Peru (29,4%)
Acre (29,9%)
Cear (30,1%)
Mato Grosso do Sul (30,2%)
Brasil (30,6%) 15,03
So Paulo (31,7%)
Gois (31,9%)
Mxico (32,3%)
Rio Grande do Sul (32,5%)
Colmbia (32,7%)
Santa Catarina (33,6%) 14,69
Costa Rica (34,1%)
Paran (34,9%)
Minas Gerais (34,9%)
Distrito Federal (35,8%)
Uruguai (36,7%)
Esprito Santo (38,0%)
Chile (38,9%) 14,13
Espanha (48,7%) 13,14
Estados Unidos (48,8%)
Portugal (49,4%) 13,06
Coreia do Sul (52,7%) 12,73
Canad (55,1%)
Finlndia (56,4%) 12,36

Baixa dificuldade

Fonte: OCDE, INEP.

52 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

Considerando os pases aqui avaliados com desempenho prximo ou superior mdia dos membros da OCDE, percebe-
se que h uma diferena maior em relao ao Brasil, sendo seus Deltas significativamente mais baixos e seus percentuais
de respostas corretas mais elevados. A diferena entre os nveis de dificuldade dos itens do PISA 2015 para os estudantes
brasileiros (15,03) e para os da Finlndia (12,36) foi de 2,67 pontos, mais de meio desvio-padro. A Finlndia se localiza
no topo dos valores, tendo, em mdia, 56,3% de respostas corretas, enquanto os pases da Amrica Latina possuem
mdia de aproximadamente 31,8%.

A seguir, analisam-se os ndices de dificuldade Delta segundo as categorias dos diferentes aspectos da matriz de cincias
(competncia, conhecimento, sistemas e contexto), por tipo de item (questo de mltipla escolha ou resposta aberta) e
por demanda cognitiva.

ndice Delta por competncia


Em relao s competncias definidas para avaliar o construto letramento cientfico, os itens da competncia Interpretar
dados e evidncias cientificamente obtiveram o maior percentual de respostas corretas, seguidos dos das competncias
Explicar fenmenos cientificamente e Avaliar e planejar experimentos cientficos. A Figura 3.16 mostra que essa
tendncia foi observada em todos os pases considerados nesta anlise.

Figura 3.16
Dificuldade dos itens de cincias segundo competncia por pas e unidade da Federao PISA 2015

Avaliar e planejar experimentos (n=39) Explicar fenmenos (n=86) Interpretar dados e evidncias (n=56)
19

17

15

13

11

Fonte: OCDE, INEP.

Nos pases em que os valores de Delta esto muito prximos ou abaixo da mdia da escala (13), a diferena entre o
nvel de dificuldade dos itens da competncia Interpretar e o dos da competncia Avaliar foi ao redor de 1 ponto,
refletindo variaes de cerca de 10% no percentual de respostas corretas. Os estudantes da Coreia do Sul, por exemplo,
acertaram, em mdia, 60,0% dos itens da competncia Interpretar e 47,4% da competncia Avaliar, uma reduo
de quase 13%. No Canad, Finlndia e Estados Unidos, essa diferena foi de 8,8%, 10,6% e 8,1%, respectivamente, e,
entre os pases da Amrica Latina, essa diferena foi menor na Repblica Dominicana (6,0%) e maior no Chile (10,6%).

Para os estudantes do Brasil, a mdia do nvel de dificuldade dos itens da competncia Interpretar foi de 14,7 (33,7%
de acerto), seguida das competncias Explicar e Avaliar, com mdias de 15,02 (30,7% de acerto) e 15,53 (26,3%),
respectivamente. Nas unidades da Federao, a maior diferena entre os percentuais de acerto dos itens das competn-
cias Interpretar e Avaliar ocorreu no Esprito Santo e no Paran, ambos com 9,4%, e a menor, na Bahia, com 5,1%.

ndice Delta por conhecimento


A Figura 3.17 mostra o nvel de dificuldade dos itens segundo os tipos de conhecimento. Os itens de conhecimento
epistemolgico (por exemplo: natureza e objetivo das observaes cientficas, raciocnio cientfico: deduo, induo,
inferncia, medidas de erro e grau de confiabilidade do conhecimento cientfico) apresentaram maior mdia de difi-
culdade do que os que abordam os outros dois tipos de conhecimento. J as diferenas de dificuldade entre os itens de
conhecimento procedimental (por exemplo: coleta, anlise e interpretao de dados, conceitos de variveis dependentes

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 53
3
a Avaliao de cincias no PISA 2015

e independentes, formas de avaliar e minimizar incertezas, ferramentas de representao de dados, controle de variveis)
e de contedo (fatos, conceitos, ideias e teorias sobre o mundo natural estabelecido pela cincia) foram menores. Os
itens de conhecimento de contedo tiveram, em geral, os menores valores de Delta, tanto para os pases considerados
neste estudo como para as unidades da Federao brasileiras.

Figura 3.17
Dificuldade dos itens de cincias segundo conhecimento por pas e unidade da Federao PISA 2015

Conceitos/Contedo (n=95) Epistemolgico (n=26) Procedimental (n=60)


19

17

15

13

11

Fonte: OCDE, INEP.

Mesmo para os estudantes dos pases com melhor desempenho no teste, o valor de Delta dos itens de conhecimento
epistemolgico foi superior ao valor de referncia (Delta igual a 13). A diferena entre o percentual de acerto dos itens
desse tipo de conhecimento e o dos de conhecimento procedimental variou de 12,7 na Finlndia a 17,3% na Coreia do
Sul, e entre o dos itens de conhecimento epistemolgico e o dos de contedo, de 10,0% nos Estados Unidos a 13,4%
na Finlndia.

Nos pases da Amrica Latina, observou-se tendncia similar em relao ao tipo de conhecimento. No Chile, o per-
centual de acerto dos itens de conhecimento de contedo e procedimental foi de cerca de 15% superior ao dos de
conhecimento epistemolgico.

No Brasil, os itens de conhecimento de contedo apresentaram a maior mdia de acerto (32,6%), e os de conhecimento
procedimental, mdia de 31,3%. J em relao aos itens de conhecimento epistemolgico, a dificuldade mdia foi de
16,08, com mdia de acerto de 22,1%. Os estudantes do Esprito Santo, de outro lado, tiveram a melhor mdia de acerto
(28,6%) nos itens de conhecimento epistemolgico dentre as unidades da Federao, valor maior que o dos jovens do
Chile, pas latino-americano de melhor desempenho (26,0%).

ndice Delta por sistemas


Os sistemas so subcategorias do conhecimento de contedo. Esses conhecimentos foram selecionados dos principais
campos da fsica e da qumica (por exemplo: estrutura, propriedades e mudanas qumicas da matria, movimento e
foras, energia e transformao, interaes entre energia e matria), biologia (por exemplo: clulas, organismo unice-
lular e pluricelular, seres humanos, espcies, diversidade, variabilidade, evoluo, cadeias e teias alimentares, fluxo
de matria e energia, biosfera) e cincias da Terra e do espao (por exemplo: histria, estruturas, energia e mudanas
do sistema Terra, gravidade, Sistema Solar e galxias, histria e escala do Universo). A Figura 3.18 apresenta o nvel de
dificuldade dos itens nesses sistemas.

54 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

Figura 3.18
Dificuldade dos itens de cincias segundo sistemas por pas e unidade da Federao PISA 2015

Sistema Terra e espao (n=48) Sistemas vivos (n=72) Sistemas fsicos (n=61)
19

17

15

13

11

Fonte: OCDE, INEP.

Nota-se que, independentemente da mdia de desempenho geral do pas, as diferenas de dificuldade dos itens dos trs
sistemas so pequenas. Os itens do sistema Terra e espao apresentaram o ndice de dificuldade Delta menor que o dos
demais sistemas em todos os pases considerados nesta anlise, exceto na Finlndia, onde os itens dos sistemas fsicos
tiveram o valor de Delta ligeiramente maior.

No Brasil, os ndices Delta dos itens dos trs sistemas ficaram prximos de 15, com variaes muito pequenas no percentual
de acerto: 31,5%, 30,0% e 30,6% dos itens do sistema Terra e espao, sistemas vivos e sistemas fsicos, respectivamente.

ndice Delta segundo contexto


Os contextos definidos no PISA 2015 evidenciam situaes relacionadas com o indivduo, famlia e grupos de amigos
(contexto pessoal manuteno da sade, nutrio, consumo individual de material e energia, aes ambientalmente
amigveis), com a comunidade (contexto local/nacional controle e transmisso de doenas, sade da comunidade,
distribuio da populao, novos materiais, dispositivos e processos, modificaes genticas, tecnologias da sade e dos
transportes) e com a vida em todo o mundo (contexto global epidemias, propagao de doenas infecciosas, controle
da poluio, mudanas climticas, impactos da comunicao moderna). A Figura 3.19 apresenta o nvel de dificuldade
dos itens segundo essa categoria.

Figura 3.19
Dificuldade dos itens de cincias segundo contexto por pas e unidade da Federao PISA 2015

Global (n=54) Local/Nacional (n=106) Pessoal (n=21)


19

17

15

13

11

Fonte: OCDE, INEP.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 55
3
a Avaliao de cincias no PISA 2015

Os itens de contexto pessoal apresentaram o menor valor de Delta em todos os pases e unidades da Federao consi-
derados nesta anlise, seguidos dos de contexto local/nacional e global, o qual teve o maior ndice Delta. As diferenas,
entretanto, variaram entre os pases e estados.

Nos trs pases com melhor desempenho no teste (Finlndia, Canad e Coreia do Sul), a diferena na dificuldade dos
itens de contexto pessoal e global foi menor que 0,5 ponto no valor de Delta, refletindo uma diferena no percentual de
acerto inferior a 5%. Os demais pases considerados no apresentaram grandes variaes nessa diferena.

Para os estudantes brasileiros, o ndice de dificuldade dos itens de contexto pessoal foi de 14,67, com 33,8% de acerto.
J os itens de contexto global tiveram Delta de 15,44, com uma reduo de cerca de 7 pontos no percentual de acerto,
que foi de 27,1%. As maiores diferenas ocorreram no Distrito Federal e no estado do Paran, nos quais a queda no per-
centual de acerto devida ao contexto (diferena entre contexto pessoal e global) foi de 8,5 e 9,4 pontos, respectivamente.

ndice Delta por tipo de item


So trs os formatos de resposta s tarefas propostas pelos itens do PISA: mltipla escolha simples, mltipla escolha com-
plexa e respostas construdas ou abertas. A Figura 3.20 apresenta a dificuldade dos itens segundo cada um dos formatos.

Figura 3.20
Dificuldade dos itens de cincias segundo tipo de item por pas e unidade da Federao PISA 2015

Multpla Escolha Complexa (n=65) Resposta Aberta (n=64) Multpla Escolha Simples (n=52)
19

17

15

13

11

Fonte: OCDE, INEP.

Os itens de resposta aberta foram os que apresentaram os maiores valores de Delta, seguidos dos de mltipla escolha
complexa e simples, estes ltimos considerados os mais fceis pelos estudantes de todos os pases analisados. Nos pases
de melhor desempenho global, a diferena entre os valores de Delta dos itens de resposta aberta e dos de mltipla escolha
simples variou de 1,82 no Canad a 2,34 na Coreia do Sul, o que corresponde a uma diferena de 17,7% e 22,9% no
percentual de acerto, respectivamente.

No Brasil, a diferena entre o ndice de dificuldade dos itens de resposta aberta (16,34) e o dos de mltipla escolha
simples (13,71) indica uma diferena de 22,8% no percentual de acerto.

Observa-se, ainda, uma diferena considervel entre os valores de Delta de membros da OCDE e de pases e estados
brasileiros com pior desempenho. Por exemplo, enquanto a Finlndia apresentou ndice de dificuldade de 11,1 para
os itens de mltipla escolha simples, na Repblica Dominicana e em alguns estados brasileiros o Delta ultrapassou os
14,0 pontos.

56 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

ndice Delta por demanda cognitiva


A demanda cognitiva (processo mental necessrio resoluo da tarefa de um item) est fortemente associada dificul-
dade do item, pois influenciada por fatores como a complexidade dos elementos do conhecimento, a familiaridade
do estudante com o conhecimento envolvido, o grau de abstrao e a operao cognitiva exigida. Os trs nveis de
demanda cognitiva do PISA esto definidos na Seo 3.5. A Figura 3.21 mostra o nvel de dificuldade dos itens segundo
a demanda cognitiva.

Figura 3.21
Dificuldade dos itens de cincias segundo a demanda cognitiva por pas e unidade da Federao PISA 2015

Alto (n=15) Mdio (n=113) Baixo (n=53)


19

17

15

13

11

Fonte: OCDE, INEP.

Nota-se que, de fato, os itens de demanda cognitiva alta (exigem a anlise de informao complexa ou de dados, a sntese
ou avaliao de evidncias, justificativas e argumentos com base em vrias fontes ou o planejamento de estratgias para
resolver um problema) apresentaram maior dificuldade para os estudantes de todos os pases e unidades da Federao
analisados. Mesmo nos trs pases com melhor desempenho (Finlndia, Canad e Coreia do Sul), os ndices Delta desses
itens foram superiores ao valor de referncia (13).

Para os estudantes brasileiros, os itens cuja resoluo exigia demanda cognitiva alta tiveram a maior mdia de Delta
(16,03, com percentual de acerto de 22,4%), enquanto nos de demanda cognitiva baixa o nvel de dificuldade foi de
13,95, correspondendo a cerca de 40% de acerto. Em alguns estados, o valor de Delta desse conjunto de itens ultrapassou
os 16 pontos, com percentuais de acerto inferior a 20%.

Apresentam-se, a seguir, exemplos de itens liberados para divulgao que representam os trs nveis de demanda cog-
nitiva (baixa, mdia e alta) que explicitam a relao entre a complexidade dos componentes do item (elementos do
conhecimento, tipo de conhecimento, operao cognitiva exigida, grau de abstrao), a demanda cognitiva e, conse-
quentemente, o grau de dificuldade.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 57
3
a Avaliao de cincias no PISA 2015

Demanda cognitiva baixa


Unidade1 601 Fazenda sustentvel de peixes

Viso geral da unidade: essa unidade abordou desafios da criao sustentvel de peixes com gua do mar. O estmu-
lo inicial incluiu um texto que descrevia o fluxo de gua e nutrientes em um viveiro de criao de linguado. Nessa
unidade, foram liberados trs itens para divulgao, um dos quais apresentado como exemplo de item que exigia
demanda cognitiva baixa (S601Q02).

Nota: este um fac-smile da prova de cincias, extrada do sistema eletrnico do PISA 2015. Serve apenas como
referncia visual. A verso em ingls pode ser visualizada no relatrio internacional (OCDE, 2016).

Item S601Q02

Nota: este um fac-smile da prova de cincias, extrada do sistema eletrnico do PISA 2015. Serve apenas como
referncia visual. A verso em ingls pode ser visualizada no relatrio internacional (OCDE, 2016).

1. As regras do Novo Acordo Ortogrfico da Lngua Portuguesa no foram adotadas nas questes do PISA 2015.

58 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

Formato de resposta Mltipla escolha simples


Competncia Interpretar dados e evidncias cientificamente
Conhecimento Sistema Contedo Sistemas fsicos
Contexto Local/nacional
Demanda cognitiva Baixa

Figura 3.22
Anlise comparada dos Deltas dos pases latino-americanos,
item S601Q02, cincias PISA 2015
Item Brasil Costa Rica Uruguai Chile Mxico Colmbia Peru Repblica Dominicana
S601Q02 13,38 12,32 12,74 12,38 12,28 12,63 13,27 15,07
Fonte: OCDE, INEP.

Figura 3.23
Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
item S601Q02, cincias PISA 2015
Item Brasil Estados Unidos Portugal Coreia do Sul Espanha Canad Finlndia
S601Q02 13,38 11,22 10,47 10,35 10,82 10,16 10,20
Fonte: OCDE, INEP.

Para responder tarefa, os estudantes deveriam selecionar, entre quatro opes, o organismo que contribui para a
reduo dos nutrientes presentes na gua lanada ao mar. Para receber o crdito completo, teriam de assinalar a
opo Gramas de pntano.

A demanda cognitiva foi baixa porque, apesar de exigir que o estudante demonstrasse capacidade de associar a redu-
o de nutrientes ao aumento da populao do organismo responsvel pela absoro deles, a informao necessria
para tal associao estava disponvel no texto que compunha o estmulo do item.

Embora o item apresentasse um diagrama complexo e vrias informaes textuais, a soluo do problema proposto
requeria apenas a interpretao do texto verbal, no sendo necessria a interpretao do diagrama.

Com base na anlise comparada dos Deltas, os estudantes brasileiros apresentaram maior dificuldade na compreenso
desse item do que o mesmo pblico dos pases selecionados, com exceo da Repblica Dominicana.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 59
3
a Avaliao de cincias no PISA 2015

Demanda cognitiva mdia


Unidade 656 Migrao de aves

Viso geral da unidade: essa unidade abordou aspectos da migrao de aves. O estmulo inicial incluiu um texto
verbal que definia migrao e apresentava mecanismos utilizados por cientistas para estudar o fenmeno.

Item S656Q01

Nota: este um fac-smile da prova de cincias, extrada do sistema eletrnico do PISA 2015. Serve apenas como
referncia visual. A verso em ingls pode ser visualizada no relatrio internacional (OCDE, 2016).

Formato de resposta Mltipla escolha simples


Competncia Explicar fenmenos cientificamente
Conhecimento Sistema Contedo Sistemas vivos
Contexto Global
Demanda cognitiva Mdia

Figura 3.24
Anlise comparada dos Deltas dos pases latino-americanos, item S656Q01, cincias PISA 2015
Item Brasil Costa Rica Uruguai Chile Mxico Colmbia Peru Repblica Dominicana
S656Q01 14,23 13,72 13,39 13,11 13,77 13,63 14,32 14,68
Fonte: OCDE, INEP.

Figura 3.25
Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
item S656Q01, cincias PISA 2015
Item Brasil Estados Unidos Portugal Coreia do Sul Espanha Canad Finlndia
S656Q01 14,23 12,06 12,01 12,03 12,14 11,88 11,64
Fonte: OCDE, INEP.

A tarefa constituiu-se de um texto explicativo relacionando aspectos da migrao de aves evoluo desse compor-
tamento. Para responder a essa questo, os estudantes deveriam selecionar, entre quatro opes, aquela que melhor
explicava a evoluo desse comportamento: As aves que migravam individualmente ou em pequenos grupos eram
menos propensas a sobreviver e ter filhotes.

60 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

A demanda cognitiva foi mdia porque exigia a aplicao de um conhecimento conceitual (evoluo) para explicar
um fenmeno (comportamento migratrio de aves). No bastava reconhecer o conceito de evoluo; era necessrio
que o estudante tambm conseguisse identificar a vantagem proporcionada pela migrao em bandos para a espcie.

O percentual de acerto do item dos estudantes brasileiros foi de 38%. A quarta alternativa teve percentual de escolha
alto. Supe-se que a redao da primeira e da quarta alternativas tenha contribudo para essa escolha, uma vez que
a primeira apresentava uma vantagem evolutiva por meio da demonstrao de uma desvantagem (o que acontece
quando as aves no migram em grandes grupos) e a quarta indicava como vantagem algo que, na verdade, uma
desvantagem, pois o maior nmero de aves acirra a disputa por locais para construo dos ninhos.

Com base na anlise comparada dos Deltas, os estudantes brasileiros apresentaram maior dificuldade na compreenso
desse item do que os dos pases selecionados, com exceo da Repblica Dominicana e do Peru.

Demanda cognitiva alta


Unidade 656 Migrao de aves

Viso geral da unidade: essa unidade abordou aspectos da migrao de aves. O estmulo inicial incluiu um texto
verbal que definia migrao e apresentava mecanismos utilizados por cientistas para estudar o fenmeno.

Item S656Q02

Nota: este um fac-smile da prova de cincias, extrada do sistema eletrnico do PISA 2015. Serve apenas como
referncia visual. A verso em ingls pode ser visualizada no relatrio internacional (OCDE, 2016).

Formato de resposta Resposta aberta


Competncia Avaliar e planejar experimentos cientficos
Conhecimento Sistema Procedimental Sistemas vivos
Contexto Global
Demanda cognitiva Alta

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 61
3
a Avaliao de cincias no PISA 2015

Figura 3.26
Anlise comparada dos Deltas dos pases latino-americanos, item S656Q02, cincias PISA 2015
Item Brasil Costa Rica Uruguai Chile Mxico Colmbia Peru Repblica Dominicana
S656Q02 17,84 18,61 17,70 18,85 17,47 19,07 21,00 20,79
Fonte: OCDE, INEP.

Figura 3.27
Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
item S656Q02, cincias PISA 2015
Item Brasil Estados Unidos Portugal Coreia do Sul Espanha Canad Finlndia
S656Q02 17,84 14,09 14,93 15,21 15.27 13,44 13,78
Fonte: OCDE, INEP.

A tarefa constituiu-se de um texto explicativo da metodologia utilizada por cientistas e voluntrios para contagem de
aves avistadas durante processos migratrios a fim de determinar a rota e o fluxo de migrao. Para responder a essa
questo, os estudantes deveriam citar um fator que deixaria imprecisa a contagem de aves migratrias por voluntrios,
justificando sua escolha. Para receber o crdito completo, teriam de identificar pelo menos um fator especfico que
poderia afetar a preciso da contagem dos observadores voluntrios. Por exemplo:

Os observadores podem deixar de contar algumas aves porque elas voam alto.
Se as mesmas aves forem contadas mais de uma vez, isso poder tornar o nmero muito alto.
Para aves em grandes grupos, os voluntrios podem apenas estimar quantas aves h.
Os observadores podem estar errados sobre qual tipo de aves elas so; portanto, os nmeros desse tipo de aves
estaro errados.
As aves migram noite.
Voluntrios no estaro em todos os locais para onde as aves migrarem.
Os observadores podem cometer erros ao contar.
Nuvens e chuva escondem alguns dos pssaros.

A competncia demandava a anlise de informao sobre os mtodos de contagem das aves nas rotas migratrias e a
identificao de possibilidades de falhas na coleta de dados associadas ao trabalho dos observadores voluntrios. O
percentual de acerto do item dos brasileiros foi de 11%. A dificuldade pode ser associada ao alto grau de demanda
cognitiva, que envolvia elaborao de argumentos vlidos que justificassem os erros de contagem pelos voluntrios.

Esse item teve alto percentual de respostas omitidas pelos estudantes brasileiros (28,5%). Em relao anlise dos
Deltas, o Canad apresentou o menor ndice (13,44), e o Peru, o maior (21,00).

3.7.2 A omisso aos itens


No PISA 2015, um item deixado em branco pelos estudantes seguido de outro com resposta vlida foi considerado
como resposta omitida, e esta, tomada como erro. A alta ocorrncia desses casos pode prejudicar uma justa anlise dos
resultados de um pas. A Figura 3.28 apresenta a mdia dos percentuais de respostas omitidas pelos estudantes no teste
de cincias nos pases analisados e nas unidades da Federao brasileiras.

62 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

Figura 3.28
Mdia dos percentuais de casos omitidos em cincias por pas e unidade da Federao PISA 2015

14%

12%

10%

8%

6%

4%

2%

0%

Fonte: OCDE, INEP.

Os Estados Unidos apresentaram a menor mdia de percentual de omisso (1,6%), enquanto na Repblica Dominicana
esse valor foi de 9,8%. Os estudantes do Brasil omitiram a resposta, em mdia, em 7,2% dos itens, segundo maior per-
centual entre os pases analisados neste estudo. Em alguns estados, a mdia ultrapassou 10%. A Figura 3.29 mostra o
percentual de omisso pelos brasileiros em cada um dos itens do teste. Esse percentual variou de 0% a 40%.

Figura 3.29
Percentuais de casos omitidos por item de cincias, Brasil PISA 2015

45%

40%

35%

30%

25%

20%

15%

10%

5%

0%

Fonte: OCDE, INEP.

Realizou-se uma anlise das caractersticas especficas dos 20 itens com percentual de respostas omitidas pelos estudantes
brasileiros superior a 20%. A maior parte (14) pertence competncia Explicar fenmenos cientificamente, seguida
de Avaliar e planejar experimentos cientficos, com quatro itens, e Interpretar dados e evidncias cientificamente,
com dois (Figura 3.30).

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 63
3
a Avaliao de cincias no PISA 2015

Figura 3.30
Distribuio dos 20 itens com maior percentual de omisso,
por competncia e tipo de conhecimento, cincias PISA 2015

Conceitos/contedo Epistemolgico Procedimental

Explicar fenmenos, 14

Avaliar e planejar
experimentos, 3

Avaliar e planejar Interpretar dados e


experimentos, 1 evidncias, 2

Fonte: OCDE, INEP.

Embora a distribuio desses itens por competncia e tipo de conhecimento seja proporcional quantidade de itens
em cada dimenso disponvel no teste, a questo que se coloca relativa aos fatores que levaram omisso de suas
respostas e no da de outros itens nas mesmas dimenses. Assim, comparando itens com caractersticas similares (mesma
competncia, tipo de conhecimento, sistema de contedo, formato de resposta e demanda cognitiva) que tiveram alto
percentual de respostas omitidas com aqueles que no tiveram (mais de 80% de respostas vlidas), verifica-se que, embora
seja difcil traar um padro nico, os fatores so basicamente os mesmos relacionados aos altos ndices de dificuldade.

Por exemplo, um fator fortemente associado ao alto percentual de respostas omitidas foi a necessidade de formulao de
respostas; dos 20 itens, 18 eram de resposta construda (ou aberta). O contexto do item tambm outro fator que parece
contribuir para a taxa de omisso de respostas; dos 20 itens analisados, 85% abordavam contextos de ordem local e global.

Verifica-se, ainda, que, para alm da dificuldade inerente construo de resposta aberta e ao contexto, a presena de
grficos de barras, esquemas complexos e textos com muitas informaes (fatores determinantes do grau de demanda
cognitiva exigida) representam componentes associados taxa de omisso.

Apresenta-se, a seguir, o exemplo de um item liberado para divulgao que teve a segunda maior porcentagem de omisso
para os jovens brasileiros (32%), pontuando algumas caractersticas que podem estar associadas a esse comportamento.
Trata-se de um dos dois itens de mltipla escolha complexa.

64 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

Unidade S601 Fazenda sustentvel de peixes

Viso geral da unidade: essa unidade abordou desafios da criao sustentvel de peixes com gua do mar. O estmulo
inicial incluiu um texto que descrevia o fluxo de gua e nutrientes em um viveiro de criao de linguado.

Nota: este um fac-smile da prova de cincias, extrada do sistema eletrnico do PISA 2015. Serve apenas como
referncia visual. A verso em ingls pode ser visualizada no relatrio internacional (OCDE, 2016).

Item S601Q01

Nota: este um fac-smile da prova de cincias, extrada do sistema eletrnico do PISA 2015. Serve apenas como
referncia visual. A verso em ingls pode ser visualizada no relatrio internacional (OCDE, 2016).

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 65
3
a Avaliao de cincias no PISA 2015

Formato de resposta Mltipla escolha complexa


Competncia Explicar fenmenos cientificamente
Conhecimento Sistema Contedo Sistemas vivos
Contexto Local/nacional Qualidade ambiental
Demanda cognitiva Mdia

Figura 3.31
Anlise comparada dos Deltas dos pases latino-americanos, item S601Q01, cincias PISA 2015
Item Brasil Costa Rica Uruguai Chile Mxico Colmbia Peru Repblica Dominicana
S601Q01 21,56 21,50 20,75 21,46 21,17 22,14 21,67 24,05
Fonte: OCDE, INEP.

Figura 3.32
Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
item S601Q01, cincias PISA 2015
Item Brasil Estados Unidos Portugal Coreia do Sul Espanha Canad Finlndia
S601Q01 21,56 19,21 19,71 18,94 19,66 18,84 18,62
Fonte: OCDE, INEP.

A tarefa do item apresentou um diagrama do projeto experimental de uma fazenda de criao de linguado e des-
crevia os hbitos alimentares dos organismos componentes dos tanques do sistema. Para responder a essa questo,
os estudantes deveriam mover os organismos para os tanques apropriados, considerando as informaes sobre seus
hbitos alimentares e respectivas contribuies na manuteno da sustentabilidade do sistema. Para receber o crdito
completo, os componentes teriam de estar dispostos nos tanques, conforme consta na ilustrao.

A competncia avaliada na questo no se restringiu ao conhecimento do contedo (cadeia alimentar); envolveu


tambm a capacidade de associar esse conhecimento a uma situao hipottica. possvel que a forma de apre-
sentao da tarefa tenha agregado dificuldade, pois mais de 30% dos estudantes brasileiros omitiram a resposta e,
dos que responderam, menos de 2% receberam crdito (Delta igual a 21,56). De fato, a estrutura textual do item era
complexa composta por linguagem verbal e no verbal , com muitas informaes que deveria ser integradas para
a produo da resposta. Embora essas informaes fossem necessrias resoluo da questo, a forma como estavam
dispostas pode ter dificultado o entendimento. O texto verbal descrevia adequadamente o funcionamento do viveiro
e a funo trfica dos organismos componentes dos tanques. Entretanto, sua associao com o diagrama exigia a
decodificao de setas com funes distintas (indicaes do fluxo da gua nos tanques e localizao de elementos
do diagrama) e o entendimento de informaes textuais complementares situadas no prprio diagrama (legenda e
textos explicativos dos componentes).

3.7.3 Anlise de itens-destaque


O estudo a seguir tem por objetivo a identificao de itens-destaque, ou seja, aqueles que se singularizam como indi-
cadores dos pontos fortes e fracos do desempenho dos estudantes brasileiros em cincias no PISA 2015, em comparao
com o dos alunos de pases membros da OCDE e tambm dos de pases da Amrica Latina. Diferentes abordagens
poderiam ser usadas para a identificao desses itens; no entanto, aqui se utiliza a anlise comparada dos ndices Delta.

Pontos fortes
A Figura 3.33 apresenta a anlise comparada dos Deltas dos pases latino-americanos. Nela, 21 itens se destacam como
pontos fortes. Os Deltas assinalados em cinza correspondem aos valores do ndice mais altos que o nvel de dificuldade
dos itens para os estudantes brasileiros.

66 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

Figura 3.33
Anlise comparada dos Deltas dos pases latino-americanos, pontos fortes, cincias PISA 2015
Repblica
Item Brasil Mdia Diferena Costa Rica Uruguai Chile Mxico Colmbia Peru
Dominicana
S643Q05 15,15 17,44 -2,29 18,55 14,70 16,89 16,97 16,48 18,56 19,93
S648Q01 14,82 16,87 -2,05 16,64 16,00 15,39 15,90 16,39 18,37 19,37
S408Q03 16,30 18,19 -1,89 17,85 17,23 17,28 17,22 19,44 18,21 20,09
S458Q01 18,21 20,07 -1,86 21,31 18,56 19,08 20,10 19,20 20,39 21,86
S646Q04 16,56 18,38 -1,82 21,00 17,29 17,36 17,82 16,13 16,44 22,60
S657Q04 15,42 17,16 -1,73 16,23 16,17 15,52 17,71 16,87 18,41 19,18
S478Q03 12,23 13,77 -1,54 14,23 12,86 13,75 13,20 13,09 14,29 14,98
S603Q02 15,92 17,45 -1,53 17,27 16,45 17,03 18,45 17,39 16,96 18,60
S638Q05 14,16 15,60 -1,45 15,04 13,49 13,13 17,71 15,55 15,29 19,00
S637Q051 15,09 16,47 -1,38 16,57 15,46 15,88 15,71 15,98 16,94 18,74
S252Q01 13,55 14,91 -1,36 14,80 13,66 14,20 15,28 15,11 15,04 16,30
S428Q05 15,56 16,84 -1,28 16,04 15,87 15,62 17,87 15,43 16,86 20,18
S646Q05 20,05 21,30 -1,25 21,21 19,02 21,89 20,13 19,97 23,47 23,40
S437Q04 14,40 15,51 -1,11 15,56 14,48 14,02 16,52 15,14 16,11 16,76
S625Q02 13,59 14,65 -1,05 13,94 14,35 13,88 14,01 15,20 15,48 15,65
S605Q04 13,62 14,64 -1,02 14,08 12,61 13,14 14,57 15,25 15,77 17,08
S602Q02 15,31 16,31 -1,00 15,62 15,80 15,81 15,69 16,02 17,43 17,84
S425Q05 11,99 12,85 -0,86 12,90 12,43 12,33 12,50 12,70 13,05 14,06
S634Q03 18,06 18,90 -0,84 17,37 18,80 17,94 19,08 18,79 19,44 20,85
S326Q04 18,02 18,83 -0,81 18,33 17,88 17,89 19,37 19,24 18,66 20,46
S608Q03 15,00 15,75 -0,76 16,40 15,60 15,31 15,58 14,82 16,07 16,48
Nota:
1. Item pblico do PISA 2015.
Fonte: OCDE, INEP.

A Figura 3.34 apresenta a anlise comparada dos Deltas dos pases com desempenho igual ou superior aos da OCDE.
Nela, 17 novos itens se destacam como pontos fortes.

Figura 3.34
Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
pontos fortes, cincias PISA 2015
Estados Coreia
Item Brasil Mdia Diferena Portugal Espanha Canad Finlndia
Unidos do Sul
S643Q052 15,15 15,74 -0,60 16,65 15,47 16,96 14,77 15,51 15,08
S519Q02 13,25 12,94 0,32 12,62 13,05 14,27 12,58 12,78 12,33
S602Q022 15,31 14,96 0,36 15,08 15,24 15,69 14,58 14,79 14,36
S657Q042 15,42 15,01 0,41 14,90 15,52 16,38 14,64 13,84 14,80
S458Q012 18,21 17,61 0,59 18,30 19,76 17,56 17,03 16,53 16,51
S649Q01 16,75 16,14 0,61 15,36 17,47 17,84 15,56 15,72 14,89
S498Q03 14,39 13,77 0,62 13,23 14,23 14,51 13,86 13,42 13,37
S252Q012 13,55 12,89 0,67 14,07 13,09 12,88 12,86 13,45 10,98
S637Q02 17,86 17,15 0,71 16,63 17,67 17,82 18,04 16,63 16,12
S498Q02 14,82 13,88 0,93 14,41 13,51 13,95 13,78 13,65 14,02
S601Q041 14,79 13,84 0,94 14,83 13,48 13,76 13,53 13,93 13,52
S637Q051,2 15,09 14,12 0,97 14,46 14,45 13,98 14,60 13,69 13,56
S478Q032 12,23 11,25 0,98 12,39 10,85 11,18 11,07 11,62 10,39
S425Q052 11,99 10,97 1,02 11,05 10,72 10,26 11,45 10,81 11,55
S657Q02 15,06 14,01 1,05 13,55 14,24 15,19 14,41 13,08 13,58
S421Q02 16,41 15,33 1,08 15,58 16,45 15,38 15,03 14,58 14,97
S437Q03 13,96 12,78 1,18 13,06 13,34 12,76 12,79 13,24 11,49

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 67
3
a Avaliao de cincias no PISA 2015

Figura 3.34 (continuao)


Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
pontos fortes, cincias PISA 2015

Estados Coreia
Item Brasil Mdia Diferena Portugal Espanha Canad Finlndia
Unidos do Sul
S252Q02 12,80 11,59 1,22 11,75 11,51 11,97 12,32 10,86 11,11
S408Q032 16,30 15,02 1,28 14,08 16,40 14,83 15,01 14,37 15,42
S648Q03 13,11 11,81 1,30 11,27 11,87 12,72 11,83 11,44 11,71
S638Q052 14,16 12,83 1,32 13,93 12,27 15,24 11,03 13,00 11,53
S415Q08 13,07 11,74 1,33 12,90 12,16 10,34 11,80 11,97 11,24
S425Q03 15,21 13,88 1,34 14,50 13,94 13,69 14,05 13,67 13,42
S626Q01 12,98 11,61 1,37 11,71 12,05 12,17 12,15 10,82 10,79
S252Q03 13,72 12,32 1,40 12,78 11,78 11,44 12,76 12,42 12,73
S648Q012 14,82 13,39 1,43 13,23 12,81 13,36 14,03 13,14 13,77
S603Q03 12,12 10,66 1,46 10,72 10,91 10,06 11,88 10,33 10,06
S415Q07 11,81 10,33 1,48 10,15 10,47 11,26 9,89 9,84 10,36
Notas:
1. Item pblico do PISA 2015.
2. Item tambm destaque na anlise comparada com os pases da Amrica Latina.
Fonte: OCDE, INEP.

A Figura 3.35 apresenta um resumo da relao entre os 38 itens destacados como pontos fortes por competncia e tipo
de conhecimento.

Figura 3.35
Distribuio dos 38 itens por competncia e tipo de conhecimento,
anlise dos pontos fortes, cincias PISA 2015

Conceitos/contedo Epistemolgico Procedimental

Interpretar dados e
Explicar fenmenos, 20
evidncias, 2

Avaliar e planejar Interpretar dados e


experimentos, 6 evidncias, 1

Avaliar e planejar Interpretar dados e


Explicar fenmenos, 3
experimentos, 3 evidncias, 3

Fonte: OCDE, INEP.

Dos 39 itens que representam os pontos fortes dos estudantes brasileiros, a maior parte pertence competncia Explicar
fenmenos cientificamente (23) e ao tipo de conhecimento de contedo (22). Itens da competncia Interpretar dados
e evidncias cientificamente e que abordam conhecimento epistemolgico correspondem menor parcela. Quanto
ao formato de resposta a esses itens, 15 so de resposta aberta e 23 de mltipla escolha, sendo 12 de mltipla escolha
simples e 11 de complexa. A maioria (22 itens) exige demanda cognitiva mdia, e quatro, alta.

Apresentam-se, a seguir, dois exemplos de itens liberados para divulgao que ilustram os pontos fortes dos estudantes
brasileiros.

68 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

Unidade 637 Investigao da encosta do declive

Viso geral da unidade: essa unidade abordou uma investigao cientfica. O estmulo inicial incluiu um texto que
descrevia a diferena de vegetao em dois ambientes com declividades distintas e propunha um mtodo de investi-
gao para determinar as causas das diferenas observadas. Alm do texto verbal, o estmulo apresentou uma figura
representativa dos declives.

Nota: este um fac-smile da prova de cincias, extrada do sistema eletrnico do PISA 2015. Serve apenas como
referncia visual. A verso em ingls pode ser visualizada no relatrio internacional (OCDE, 2016).

Item S637Q05

Nota: este um fac-smile da prova de cincias, extrada do sistema eletrnico do PISA 2015. Serve apenas como
referncia visual. A verso em ingls pode ser visualizada no relatrio internacional (OCDE, 2016).

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 69
3
a Avaliao de cincias no PISA 2015

Formato de resposta Resposta aberta


Competncia Interpretar dados e evidncias cientificamente
Conhecimento Sistema Epistemolgico Sistema Terra e espao
Contexto Local/nacional Recursos naturais
Demanda cognitiva Alta

Figura 3.36
Anlise comparada dos Deltas dos pases latino-americanos, item S637Q05, cincias PISA 2015
Item Brasil Costa Rica Uruguai Chile Mxico Colmbia Peru Repblica Dominicana
S637Q05 15,09 16,57 15,46 15,88 15,71 15,98 16,94 18,74
Fonte: OCDE, INEP.

Figura 3.37
Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
item S637Q05, cincias PISA 2015
Item Brasil Estados Unidos Portugal Coreia do Sul Espanha Canad Finlndia
S637Q05 15,09 14,46 14,45 13,98 14,60 13,69 13,56
Fonte: OCDE, INEP.

A tarefa constituiu-se de dois textos: um que informava sobre a anlise dos dados coletados nos declives A e B e outro
texto que propunha duas hipteses para justificar a diferena de umidade do solo entre os declives. Para responder
a essa questo, os estudantes deveriam selecionar a hiptese correta e justific-la. Para receber o crdito completo,
teriam de assinalar a opo Estudante 1, apresentar uma explicao que indicasse que havia diferena de radiao
solar entre os dois declives e/ou que a precipitao no mostrava diferena. Por exemplo:

O declive B recebe muito mais radiao solar do que o A, mas a mesma quantidade de chuva.
No h diferena na quantidade de chuva que os dois declives recebem.
H grande diferena na quantidade de radiao solar que os dois declives recebem.

A competncia avaliada na questo demandava dos alunos a capacidade de julgar a validade das hipteses de dois
estudantes com base nos resultados do experimento, demonstrando que entendiam como os erros de medida afetam
o grau de confiana associado a medies cientficas, um dos mais importantes aspectos do conhecimento epistemo-
lgico. Para tanto, deveriam detectar que as variaes da mdia de precipitao nos dois declives no eram suficientes
para explicar a diferena de umidade entre eles, o que no ocorria com a radiao solar.

70 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

Unidade 601 Fazenda sustentvel de peixes

Viso geral da unidade: essa unidade abordou desafios da criao sustentvel de peixes com gua do mar. O estmulo
inicial incluiu um texto que descrevia o fluxo de gua e nutrientes em um viveiro de criao de linguado.

Item S601Q04

Nota: este um fac-smile da prova de cincias, extrada do sistema eletrnico do PISA 2015. Serve apenas como
referncia visual. A verso em ingls pode ser visualizada no relatrio internacional (OCDE, 2016).

Formato de resposta Mltipla escolha simples


Competncia Explicar fenmenos cientificamente
Conhecimento Sistema Contedo Sistemas fsicos
Contexto Local/nacional Qualidade ambiental
Demanda cognitiva Baixa

Figura 3.38
Anlise comparada dos Deltas dos pases latino-americanos, item S601Q04, cincias PISA 2015
Item Brasil Costa Rica Uruguai Chile Mxico Colmbia Peru Repblica Dominicana
S601Q04 14,79 14,19 14,94 15,06 16,31 15,34 15,15 16,60
Fonte: OCDE, INEP.

Figura 3.39
Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
item S601Q04, cincias PISA 2015
Item Brasil Estados Unidos Portugal Coreia do Sul Espanha Canad Finlndia
S601Q04 14,79 14,83 13,48 13,76 13,53 13,93 13,52
Fonte: OCDE, INEP.

O enunciado da tarefa demandava dos estudantes recuperar o conceito de sustentabilidade e reconhec-lo em uma
situao prtica. Para responder a essa questo, eles deveriam selecionar, entre quatro opes, a que correspondia
a uma estratgia adequada para ampliar a sustentabilidade do sistema: Usar resduos produzidos pelos organismos
para gerar combustvel para movimentar as bombas de gua.

A tarefa era composta apenas pelo enunciado e, embora no apresentasse nenhum texto de suporte, as tarefas ante-
riores poderiam contribuir para a compreenso do problema proposto. O percentual de acerto do item foi de 33%.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 71
3
a Avaliao de cincias no PISA 2015

Os percentuais de escolha das outras opes sugerem confuso entre os conceitos de sustentabilidade e produtividade.

Na anlise comparada dos Deltas, o item se destaca por apresentar um nvel de dificuldade para os jovens brasileiros
prximo mdia dos Deltas dos alunos dos pases com desempenho prximo ou superior ao dos da OCDE. Por
exemplo, observou-se maior percentual de acerto desse item pelos estudantes brasileiros (Delta igual a 14,79) do que
pelo mesmo pblico dos Estados Unidos (14,83).

Pontos fracos
A Figura 3.40 apresenta a anlise comparada dos Deltas dos pases latino-americanos. Nela, 20 itens se destacam como
pontos fracos. Os Deltas assinalados em cinza correspondem aos valores do ndice mais altos que o nvel de dificuldade
dos itens para os estudantes brasileiros.

Figura 3.40
Anlise comparada dos Deltas dos pases latino-americanos, pontos fracos, cincias PISA 2015
Repblica
Item Brasil Mdia Diferena Costa Rica Uruguai Chile Mxico Colmbia Peru
Dominicana
S615Q05 18,32 17,47 0,85 17,49 17,23 17,74 17,47 17,20 17,35 17,80
S641Q041 13,52 12,63 0,89 12,31 12,00 11,03 12,58 12,38 12,87 15,27
S648Q05 17,82 16,92 0,91 16,72 15,19 15,64 17,61 16,79 18,09 18,37
S615Q01 12,57 11,63 0,94 11,33 11,09 10,60 11,18 11,60 12,25 13,34
S646Q03 13,91 12,93 0,98 12,55 12,27 11,80 12,94 13,02 12,66 15,24
S620Q01 11,81 10,82 0,99 10,26 10,78 9,69 10,86 10,71 10,71 12,70
S645Q01 15,46 14,45 1,01 14,35 14,41 13,72 14,21 14,12 14,83 15,50
S657Q01 12,91 11,85 1,06 11,07 11,89 10,82 10,95 12,39 12,64 13,20
S438Q02 14,42 13,36 1,06 13,31 13,27 12,48 13,36 13,01 13,20 14,88
S638Q02 12,58 11,52 1,06 10,53 11,40 10,70 11,12 11,78 11,43 13,68
S603Q05 14,77 13,66 1,11 13,54 13,09 12,78 14,32 13,61 14,28 13,99
S641Q01 13,83 12,59 1,24 11,92 11,88 11,30 13,14 12,85 12,61 14,45
S458Q02 15,58 14,23 1,35 14,58 14,02 12,95 14,38 13,90 14,60 15,16
S524Q06 14,36 13,00 1,36 12,36 12,61 13,11 12,75 12,24 12,57 15,34
S521Q06 10,56 9,20 1,37 8,77 8,17 7,66 8,97 9,22 9,60 11,99
S438Q01 12,87 11,49 1,38 11,34 11,55 10,57 10,63 9,81 12,05 14,49
S629Q01 14,42 12,95 1,47 11,98 11,74 11,80 13,11 12,53 14,18 15,30
S641Q02 14,54 13,05 1,49 13,52 11,96 11,95 12,48 13,15 13,26 15,05
S416Q01 17,25 15,74 1,52 15,04 15,20 14,52 15,49 16,65 16,03 17,22
S466Q07 14,53 12,67 1,86 11,13 11,81 13,76 12,10 10,77 13,41 15,71
Nota:
1. Item pblico do PISA 2015.
Fonte: OCDE, INEP.

A Figura 3.41 apresenta a anlise comparada dos Deltas dos pases com desempenho prximo ou superior aos da OCDE.
Nela, 20 novos itens se destacam como pontos fracos.

Figura 3.41
Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
pontos fracos, cincias PISA 2015
Estados Coreia
Item Brasil Mdia Diferena Portugal Espanha Canad Finlndia
Unidos do Sul
S641Q041 13,52 10,17 3,35 10,60 10,49 10,19 10,04 9,79 9,93
S638Q01 15,37 12,02 3,35 12,93 12,74 10,89 13,03 11,94 10,60
S615Q012 12,57 9,19 3,38 9,24 9,94 8,43 9,78 8,79 8,96
S425Q04 18,12 14,73 3,39 16,18 14,27 16,42 13,68 14,52 13,31
S514Q04 15,57 12,14 3,42 13,33 12,25 10,40 12,57 11,99 12,33

72 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

Figura 3.41 (continuao)


Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
pontos fracos, cincias PISA 2015

Estados Coreia
Item Brasil Mdia Diferena Portugal Espanha Canad Finlndia
Unidos do Sul
S641Q02 1
14,54 11,09 3,46 11,03 11,82 11,14 11,48 10,92 10,11
S604Q04 18,51 15,01 3,49 15,10 15,26 15,01 15,75 13,95 15,01
S510Q04 17,61 14,11 3,50 14,13 15,02 14,46 14,50 13,97 12,55
S646Q032 13,91 10,38 3,53 10,91 10,77 10,25 10,50 10,07 9,81
S605Q02 17,88 14,34 3,54 14,94 15,30 13,20 15,13 13,99 13,48
S629Q03 15,36 11,82 3,54 12,80 12,67 10,99 11,59 11,63 11,24
S131Q02 16,20 12,64 3,56 13,19 13,71 11,25 14,05 12,38 11,27
S421Q03 14,67 10,93 3,74 11,31 10,67 11,13 10,27 10,79 11,40
S437Q06 13,72 9,93 3,78 10,67 10,66 9,92 10,93 9,15 8,27
S607Q02 16,02 12,18 3,84 11,43 12,45 11,78 12,70 11,49 13,25
S635Q03 17,20 13,33 3,87 13,24 12,83 13,17 13,85 12,58 14,32
S643Q02 15,76 11,89 3,87 12,48 11,99 11,15 12,92 11,80 11,01
S608Q04 16,48 12,57 3,92 12,85 13,79 12,43 12,74 11,86 11,73
S643Q01 14,17 10,25 3,92 10,31 10,35 9,84 11,34 9,59 10,07
S646Q01 12,72 8,80 3,92 8,58 9,36 8,13 9,86 7,76 9,10
S637Q011 16,40 12,45 3,95 12,30 13,26 11,76 13,13 11,53 12,73
S466Q072 14,53 10,52 4,01 10,36 10,54 11,70 9,58 10,08 10,86
S615Q02 17,30 13,24 4,06 13,11 13,40 12,86 13,99 12,63 13,46
S416Q012 17,25 13,13 4,12 13,47 13,60 12,78 13,76 12,69 12,49
S626Q04 15,94 11,77 4,17 11,93 11,96 12,01 12,22 11,00 11,49
S643Q04 18,84 14,64 4,20 14,60 14,96 14,28 15,57 13,94 14,48
S648Q052 17,82 13,39 4,43 15,32 13,11 12,54 13,65 12,95 12,78
Notas:
1. Item pblico do PISA 2015.
2. Item tambm destaque da anlise comparada com os pases da Amrica Latina.
Fonte: OCDE, INEP.

A Figura 3.42 apresenta um resumo da relao entre os 40 itens destacados como pontos fracos por competncia e tipo
de conhecimento.

Figura 3.42
Distribuio dos 40 itens por competncia e tipo de conhecimento,
anlise dos pontos fracos, cincias PISA 2015

Conceitos/contedo Epistemolgico Procedimental

Interpretar dados e
Explicar fenmenos, 12
evidncias, 5

Avaliar e planejar Interpretar dados e


Explicar fenmenos, 2
experimentos, 4 evidncias, 1

Avaliar e planejar Interpretar dados e


experimentos, 7 evidncias, 9

Fonte: OCDE, INEP.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 73
3
a Avaliao de cincias no PISA 2015

Dos 40 itens que representam os pontos fracos dos estudantes brasileiros, a maior parte (15) pertence competncia
Interpretar dados e evidncias cientificamente e ao tipo de conhecimento procedimental (16). Quanto ao formato de
resposta a esses itens, 16 so de resposta aberta e 16 de mltipla escolha complexa. A maioria (27 itens) exige demanda
cognitiva mdia, e apenas um, alta.

Apresentam-se, a seguir, quatro exemplos de itens liberados para divulgao que ilustram os pontos fracos dos estudantes
brasileiros.

Unidade 637 Investigao da encosta do declive

Viso geral da unidade: essa unidade abordou uma investigao cientfica. O estmulo inicial incluiu um texto que
descrevia a diferena de vegetao em dois ambientes com declividades distintas e propunha um mtodo de investi-
gao para determinar as causas das diferenas observadas. Alm do texto verbal, o estmulo apresentou uma figura
representativa dos declives.

Item S637Q01

Nota: este um fac-smile da prova de cincias, extrada do sistema eletrnico do PISA 2015. Serve apenas como
referncia visual. A verso em ingls pode ser visualizada no relatrio internacional (OCDE, 2016).

Formato de resposta Resposta aberta


Competncia Avaliar e planejar investigaes cientficas
Conhecimento Sistema Epistemolgico Sistema Terra e espao
Contexto Local/nacional Recursos naturais
Demanda cognitiva Mdia

Figura 3.43
Anlise comparada dos Deltas dos pases latino-americanos, item S637Q01, cincias PISA 2015
Item Brasil Costa Rica Uruguai Chile Mxico Colmbia Peru Repblica Dominicana
S637Q01 16,40 15,51 15,01 15,11 16,54 15,67 18,31 18,72
Fonte: OCDE, INEP.

74 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

Figura 3.44
Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
item S637Q01, cincias PISA 2015
Item Brasil Estados Unidos Portugal Coreia do Sul Espanha Canad Finlndia
S637Q01 16,40 12,30 13,26 11,76 13,13 11,53 12,73
Fonte: OCDE, INEP.

A tarefa constituiu-se de um texto explicativo do mtodo utilizado para coleta de dados nos declives A e B. Para
responder a essa questo, os estudantes deveriam justificar o uso de pares de instrumentos de medio instalados
em cada declive. Para receber o crdito completo, teriam de dar uma explicao que identificasse uma vantagem
cientfica do uso de mais de um instrumento de medio em cada declive.

Assim, eles poderiam determinar se uma diferena entre os declives significante.


Aumentar a preciso na medida de cada declive.
Detectar variaes de condies em um declive.
No caso de um dos dois falhar.
Os dados sero mais precisos.
Para aumentar a preciso das medidas de cada declive.
Porque pode haver variaes dentro de um declive.

A competncia demandava a aplicao de conhecimento epistemolgico para explicar a compreenso de mtodos


de coleta de dados para a construo do conhecimento cientfico. Esse item foi destaque na anlise comparada com
os pases com desempenho igual ou superior mdia da OCDE. O percentual de acerto dos alunos brasileiros foi de
20%. fato que os estudantes apresentam maior dificuldade em questes de resposta construda, o que se reflete no
percentual de respostas omitidas para o Brasil de 18%.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 75
3
a Avaliao de cincias no PISA 2015

Unidade 641 Meteoroides e crateras

Viso geral da unidade: essa unidade teve como estmulo inicial um texto que descrevia a entrada de um meteoroide
na atmosfera da Terra e o que ocorreria caso ele atingisse a superfcie. Alm do texto verbal, o estmulo apresentou
uma figura representativa da passagem de um meteoroide pela atmosfera.

Item S641Q01

Nota: este um fac-smile da prova de cincias, extrada do sistema eletrnico do PISA 2015. Serve apenas como
referncia visual. A verso em ingls pode ser visualizada no relatrio internacional (OCDE, 2016).

Formato de resposta Mltipla escolha simples


Competncia Explicar fenmenos cientificamente
Conhecimento Sistema Contedo Sistemas fsicos
Contexto Global Fronteiras

Figura 3.45
Anlise comparada dos Deltas dos pases latino-americanos, item S641Q01, cincias PISA 2015
Item Brasil Costa Rica Uruguai Chile Mxico Colmbia Peru Repblica Dominicana
S641Q01 13,83 11,92 11,88 11,30 13,14 12,85 12,61 14,45
Fonte: OCDE, INEP.

Figura 3.46
Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
item S641Q01, cincias PISA 2015
Item Brasil Estados Unidos Portugal Coreia do Sul Espanha Canad Finlndia
S641Q01 13,83 13,43 10,43 13,72 10,39 12,93 9,78
Fonte: OCDE, INEP.

A tarefa constituiu-se de um enunciado que perguntava a causa da acelerao de um meteoroide em direo Terra.
Para responder a essa questo, os estudantes deveriam selecionar, entre as quatro opes, aquela que explicava essa
acelerao: O meteoroide atrado pela massa da Terra.

76 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

A competncia avaliada demandava a compreenso da interao gravitacional entre a Terra e o meteoroide. Apesar de
o percentual de acerto dos brasileiros ter sido relativamente alto (42%), o item figura como ponto fraco porque alunos
dos demais pases analisados acertaram em percentual maior. Os erros podem ter sido provocados pelo fato de os distra-
tores apresentarem algumas concepes comuns para os estudantes sobre causas de movimento de objetos no espao.

Unidade 641 Meteoroides e crateras

Viso geral da unidade: essa unidade teve como estmulo inicial um texto que descrevia a entrada de um meteoroide
na atmosfera da Terra e o que ocorreria caso ele atingisse a superfcie. Alm do texto verbal, o estmulo apresentou
uma figura representativa da passagem de um meteoroide pela atmosfera.

Item S641Q02

Nota: este um fac-smile da prova de cincias, extrada do sistema eletrnico do PISA 2015. Serve apenas como
referncia visual. A verso em ingls pode ser visualizada no relatrio internacional (OCDE, 2016).

Formato de resposta Mltipla escolha complexa


Competncia Interpretar dados e evidncias cientificamente
Conhecimento Sistema Contedo Sistema Terra e espao
Contexto Global Fronteiras

Figura 3.47
Anlise comparada dos Deltas dos pases latino-americanos, item S641Q02, cincias PISA 2015
Item Brasil Costa Rica Uruguai Chile Mxico Colmbia Peru Repblica Dominicana
S641Q02 14,54 13,52 11,96 11,95 12,48 13,15 13,26 15,05
Fonte: OCDE, INEP.

Figura 3.48
Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
item S641Q02, cincias PISA 2015
Item Brasil Estados Unidos Portugal Coreia do Sul Espanha Canad Finlndia
S641Q02 14,54 11,03 11,82 11,14 11,48 10,92 10,11
Fonte: OCDE, INEP.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 77
3
a Avaliao de cincias no PISA 2015

A tarefa constituiu-se de um enunciado que conduzia os estudantes a relacionar a espessura da atmosfera de um


planeta ao nmero de crateras metericas em sua superfcie. Para responder a essa questo, eles deveriam selecionar,
em um menu suspenso, as alternativas que completavam corretamente a sentena explicativa de tal relao: Quanto
mais espessa a atmosfera de um planeta for, menos crateras sua superfcie ter porque mais meteoroides queimaro
na atmosfera.

A competncia avaliada demandava a compreenso da relao entre a espessura da atmosfera e a probabilidade


de um meteoroide atingir a superfcie de um planeta. O percentual de acerto dos jovens brasileiros foi de 35% e,
da mesma forma que o item anterior, apesar de relativamente alto para o Brasil, configura-se como ponto fraco em
comparao com os demais pases analisados.

Unidade 641 Meteoroides e crateras

Viso geral da unidade: essa unidade teve como estmulo inicial um texto que descrevia a entrada de um meteoroide
na atmosfera da Terra e o que ocorreria caso ele atingisse a superfcie. Alm do texto verbal, o estmulo apresentou
uma figura representativa da passagem de um meteoroide pela atmosfera.

Itens S641Q3 e S641Q4

Nota: este um fac-smile da prova de cincias, extrada do sistema eletrnico do PISA 2015. Serve apenas como
referncia visual. A verso em ingls pode ser visualizada no relatrio internacional (OCDE, 2016).

Essa questo foi dividida em duas partes:

Parte 1: item S641Q3 (os estudantes precisavam ordenar as crateras pelo tamanho).

Formato de resposta Mltipla escolha mltipla complexa


Competncia Interpretar dados e evidncias cientificamente
Conhecimento Sistema Contedo Sistema Terra e espao
Contexto Global Fronteiras

78 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

Figura 3.49
Anlise comparada dos Deltas dos pases latino-americanos, item S641Q03, cincias PISA 2015
Item Brasil Costa Rica Uruguai Chile Mxico Colmbia Peru Repblica Dominicana
S641Q03 9,98 8,77 8,68 8,86 8,97 8,91 9,73 11,95
Fonte: OCDE, INEP.

Figura 3.50
Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
item S641Q03, cincias PISA 2015
Item Brasil Estados Unidos Portugal Coreia do Sul Espanha Canad Finlndia
S641Q03 9,98 7,59 7,54 8,04 7,40 6,82 7,26
Fonte: OCDE, INEP.

Essa primeira parte tratou apenas de uma interpretao bsica dos dados, sendo o item mais fcil de cincias no
PISA 2015. Os alunos brasileiros tiveram um nvel de dificuldade Delta de 9,98, correspondendo a um percentual
de acerto de 78%.

Parte 2: item S641Q4 (os estudantes precisavam ordenar as crateras segundo a antiguidade).

Formato de resposta Mltipla escolha complexa


Competncia Interpretar dados e evidncias cientificamente
Conhecimento Sistema Contedo Sistema Terra e espao
Contexto Global Fronteiras

Figura 3.51
Anlise comparada dos Deltas dos pases latino-americanos, item S641Q04, cincias PISA 2015
Item Brasil Costa Rica Uruguai Chile Mxico Colmbia Peru Repblica Dominicana
S641Q04 13,52 12,31 12,00 11,03 12,58 12,38 12,87 15,27
Fonte: OCDE, INEP.

Figura 3.52
Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
item S641Q04, cincias PISA 2015
Item Brasil Estados Unidos Portugal Coreia do Sul Espanha Canad Finlndia
S641Q04 13,52 10,60 10,49 10,19 10,04 9,79 9,93
Fonte: OCDE, INEP.

A tarefa da parte 2 constituiu-se de um enunciado que conduzia os alunos a relacionar uma imagem de crateras so-
brepostas sequncia de queda dos objetos que as causaram. Para responder a essa questo, eles deveriam classificar,
em ordem crescente de chegada, os meteoroides que formaram as crateras: C, A, B.

A competncia avaliada demandava a associao da sobreposio das bordas das crateras cronologia de impacto
dos meteoroides, da mais antiga para a mais recente. Para isso, os estudantes teriam de se basear na sobreposio
das crateras mostradas na figura e entender que a cratera C se formou primeiro porque a cratera A se sobrepe a ela
e a B est dentro da A. Tambm nesse item, o percentual de acerto dos brasileiros foi relativamente superior mdia
nacional (45%), porm, segundo os critrios adotados, configura-se como item-destaque de ponto fraco pelo baixo
percentual de acerto em comparao com os pases selecionados.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 79
3
a Avaliao de cincias no PISA 2015

3.8 Quais foram os resultados dos estudantes brasileiros em cincias


no PISA 2015?
Nesta seo, apresentam-se os resultados do PISA 2015 na escala interpretada segundo a Teoria de Resposta ao Item
(Pasquali, 2009). Primeiro, compara-se o desempenho dos estudantes brasileiros com o dos alunos dos pases da Amrica
Latina que tiveram resultados vlidos (Colmbia, Costa Rica, Chile, Mxico, Peru, Uruguai e Repblica Dominicana),
com o dos de trs pases que se destacaram por apresentar resultados prximos aos dos membros da OCDE (Estados
Unidos, Espanha e Portugal) e com o dos de trs pases com resultados superiores mdia dos da OCDE (Canad, Coreia
do Sul e Finlndia).

Em seguida, realiza-se, sob essa mesma teoria, a anlise do desempenho dos estudantes por unidade da Federao, tipo
de dependncia e localizao das escolas, configurando, assim, o panorama do Brasil no PISA 2015.

A escala interpretada de cincias do PISA 2015

Aps a aplicao dos testes, o consrcio internacional do PISA realizou vrios estudos sobre a qualidade das bases
de respondentes das amostras nacionais para, assim, iniciar a anlise psicomtrica dos itens e gerar os resultados dos
70 pases/economias participantes do PISA 2015.

A primeira etapa da anlise psicomtrica est associada Teoria Clssica dos Testes (TCT), ilustrada na Seo 3.8.
Nela, avaliam-se os itens pelos nveis de dificuldade (percentual de acerto, ndice Delta), ndices de correlao bis-
serial, entre outros.

A fase seguinte refere-se anlise pelos modelos da Teoria de Resposta ao Item (TRI), bem como aplicao da
metodologia de valores plausveis para a estimativa dos escores relacionados escala de cincias. por meio dessa
teoria que se torna possvel comparar as respostas dos diferentes estudantes a diversos itens e em vrios ciclos de
avaliao do PISA.

A construo de uma escala contnua de proficincia em cincias permite associar o desempenho dos estudantes a
um ponto especfico da escala em que sua proficincia foi estimada (valores mais elevados na escala indicam maior
proficincia). A mtrica para a escala global de cincia baseia-se na mdia dos pases da OCDE de 500 pontos e no
desvio-padro de 100 pontos, definidos no PISA 2006, quando a escala de cincias foi desenvolvida pela primeira
vez. Os itens comuns a ambos os instrumentos de teste (2006 e 2015) permitem que faa a ligao entre as escalas.
Mais detalhes sobre esse procedimento podero ser encontrados no Relatrio Tcnico do PISA 2015 (OCDE, em
desenvolvimento).

Para ajudar a interpretao dos resultados advindos desse tipo de modelagem, a escala do PISA dividida em nveis
de proficincias interpretadas. Na edio de 2015, a dificuldade das tarefas associadas aos itens de cincias foi re-
presentada por sete nveis de proficincia, seis deles alinhados com os nveis descritos no PISA 2006 (do nvel 1a,
antes designado nvel 1, ao nvel 6) e um novo, o 1b. O nvel 1b baseia-se nas tarefas mais fceis da avaliao e, para
indicar o conhecimento e habilidades de alguns estudantes que tiveram desempenho inferior a esse nvel, tambm
se incluiu em 2015 o nvel abaixo de 1b.

Para a OCDE, o percentual de estudantes em cada pas/economia que atingem cada nvel de proficincia indica quo
bem os pases conseguem fomentar a excelncia em seus sistemas educativos. Atingir pelo menos o nvel 2 particu-
larmente importante, segundo a OCDE, uma vez que ele considerado o nvel bsico de proficincia que se espera
de todos os jovens, a fim de tirar proveito de novas oportunidades de aprendizagem e de participar plenamente da
vida social, econmica e cvica da sociedade moderna em um mundo globalizado (OCDE, 2016).

Em cincias, a diferena entre a proficincia abaixo do nvel 2 e a proficincia igual ou superior ao a esse nvel
corresponde, de acordo com a OCDE, a uma distino qualitativa entre ser capaz de aplicar um conhecimento
cientfico limitado apenas em contextos conhecidos (ou seja, do conhecimento comum) e demonstrar, pelo
menos, um nvel mnimo de raciocnio autnomo de compreenso das caractersticas bsicas de cincias, o que
permite que os estudantes se envolvam com questes relacionadas com a cincia como cidados crticos e infor-
mados (OCDE, 2016).

80 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

Desempenho do Brasil sob a perspectiva internacional


A nota mdia dos jovens brasileiros em cincias no PISA 2015 foi de 401 pontos, significativamente inferior s dos es-
tudantes dos pases da OCDE (493). A Figura 3.53 apresenta os resultados mdios dos estudantes de 15 anos do Brasil
e dos 13 pases selecionados na escala interpretada do PISA 2015.

Figura 3.53
Mdias, intervalos de confiana e percentis das proficincias dos pases selecionados, cincias PISA 2015
Pas Mdia EP1 IC2 Interdecil3 Distribuio das proficincias4
225 275 325 375 425 475 525 575 625 675

Finlndia
Finlndia 531 2,4 526-535 402-651
Canad 528 2,1 524-532 404-644 Canad

Coreia do Sul 516 3,1 510-522 388-636 Coreia do Sul

Portugal 501 2,4 496-506 379-620 Portugal

Estados Unidos 496 3,2 490-502 368-626 Estados Unidos

Espanha 493 2,1 489-497 374-605 Espanha

Chile 447 2,4 442-452 336-560 Chile

Uruguai 435 2,2 431-440 326-552 Uruguai

Costa Rica
Costa Rica 420 2,1 416-424 332-514
Colmbia
Colmbia 416 2,4 411-420 315-524
Mxico
Mxico 416 2,1 412-420 325-510
Brasil
Brasil 401 2,3 396-405 291-522
Peru
Peru 397 2,4 392-401 301-500
Repblica Dominicana
Repblica Dominicana 332 2,6 327-337 244-429
Notas:
1. EP: estimativa de erro-padro da mdia.
2. IC: intervalo de confiana da mdia.
3. Intervalo interdecil: intervalo em que o limite inferior o percentil 10, e o superior, o percentil 90.
4. O grfico apresenta a distribuio das proficincias pelos percentis (P10, P25, P75, P90) e pelos intervalos de confiana das mdias.
Mdia brasil

P10 P90

P25 P75
LI LS

Fonte: OCDE, INEP.

Verifica-se que h uma grande diferena de escores entre os pases avaliados. Os 10% dos estudantes brasileiros com
pior desempenho no PISA 2015 obtiveram nota mdia igual a 291, e os 10% de maior nota, 522. Costa Rica o que
apresenta menor diferena entre esses grupos de alunos (182 pontos).

A Figura 3.54 mostra a srie histrica do PISA 2015 em cincias desde 2006, quando a escala desse domnio foi desen-
volvida pela primeira vez. Quando se faz o estudo de tendncias no PISA, no se podem avaliar somente os resultados
mdios dos pases/economias. Uma fonte adicional de incerteza deve ser levada em considerao devido s flutuaes
amostrais e metodologias aplicadas.

Figura 3.54
Mdias e medidas de erro-padro por edio dos pases selecionados, cincias PISA 2006-2015
2006 2009 20123 2015
Pas
Mdia EP1 EP 2
Mdia EP1 EP 2
Mdia EP1 EP2 Mdia EP1
Finlndia 563 2 4,9 554 2,3 5,0 545 2,2 5,0 531 2,4
Canad 534 2 4,9 529 1,6 4,8 525 1,9 4,9 528 2,1
Coreia do Sul 522 3,4 5,6 538 3,4 5,6 538 3,7 5,8 516 3,1
Portugal 474 3 5,4 493 2,9 5,3 489 3,7 5,8 501 2,4
Estados Unidos 489 4,2 6,1 502 3,6 5,7 497 3,8 5,9 496 3,2
Espanha 488 2,6 5,2 488 2,1 4,9 496 1,8 4,8 493 2,1
Chile 438 4,3 6,2 447 2,9 5,3 445 2,9 5,3 447 2,4

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 81
3
a Avaliao de cincias no PISA 2015

Figura 3.54 (continuao)


Mdias e medidas de erro-padro por edio dos pases selecionados, cincias PISA 2006-2015

2006 2009 20123 2015


Pas
Mdia EP1 EP 2
Mdia EP1 EP 2
Mdia EP1 EP2 Mdia EP1
Uruguai 428 2,7 5,2 427 2,6 5,2 416 2,8 5,3 435 2,2
Costa Rica 430 2,8 5,3 429 2,9 5,3 420 2,1
Colmbia 388 3,4 5,6 402 3,6 5,7 399 3,1 5,4 416 2,4
Mxico 410 2,7 5,2 416 1,8 4,8 415 1,3 4,7 416 2,1
Brasil 390 2,8 5,3 405 2,4 5,1 402 2,1 4,9 401 2,3
Peru 369 3,5 5,7 373 3,6 5,7 397 2,4
Repblica Dominicana 332 2,6
Notas:
1. EP1: estimativa de erro-padro da mdia na edio avaliada.
2. EP2: estimativa de erro-padro da mdia considerando os linking errors do PISA 2015.
3. Para manter a comparabilidade entre os ciclos, foram includos os resultados das escolas rurais do PISA 2012.
Fonte: OCDE, INEP.

Mesmo que em diferentes avaliaes do PISA se utilize a mesma mtrica para medir o desempenho dos estudantes,
fatores associados aos instrumentos utilizados em cada ciclo, assim como as flutuaes das amostras de calibrao e,
por vezes, os modelos estatsticos usados, precisam ser mensurados na anlise. Para tornar os resultados comparveis
diretamente no tempo, as escalas tm de ser equiparadas, ou seja, preciso transformar os resultados para que possam
ser expressos na mesma mtrica. No caso do PISA, as medidas de linking error so agregadas s medidas de erro-padro
(OCDE, 2016), quantificando a incerteza em torno do equacionamento de escalas, o que permite a correta avaliao do
desempenho mdio dos pases/economias ao longo das edies.

Para comparaes entre os resultados de cincias no PISA 2015 e 2006, o linking error corresponde a cerca de 4,5 pontos
de escore (OCDE, 2016). A Figura 3.55 agrega essa fonte de erro e permite avaliar o desempenho dos pases que tiveram
resultados nas ltimas trs avaliaes.

Figura 3.55
Intervalos de confiana da diferena das mdias dos pases, cincias PISA 2015 e ciclos anteriores
Coreia do Sul Canad Finlndia
50 50 50
40 40 40
30 30 30
20 20 20
10 10 10
0 0 0
-10 -10 -10
-20 -20 -20
-30 -30 -30
-40 -40 -40
-50 -50 -50
2006 2009 2012 2006 2009 2012 2006 2009 2012
Portugal Espanha Estados Unidos
50 50 50
40 40 40
30 30 30
20 20 20
10 10 10
0 0 0
-10 -10 -10
-20 -20 -20
-30 -30 -30
-40 -40 -40
-50 -50 -50
2006 2009 2012 2006 2009 2012 2006 2009 2012
Uruguai Mxico Brasil
50 50 50
40 40 40
30 30 30
20 20 20
10 10 10
0 0 0
-10 -10 -10
-20 -20 -20
-30 -30 -30
-40 -40 -40
-50 -50 -50
2006 2009 2012 2006 2009 2012 2006 2009 2012

LS
Nota:
1. Intervalos de confiana da diferena das mdias: o grfico apresenta os limites inferiores e superiores do intervalo da diferena Mdia Ciclo Anterior Mdia 2015
das mdias. O valor de referncia y = 0. Intervalos que cruzam a linha de referncia indicam que o desempenho mdio do pas
no ano no estatisticamente diferente do desempenho no PISA 2015.
Fonte: OCDE, INEP. LI

82 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

Observa-se que o desempenho dos estudantes brasileiros manteve-se no mesmo patamar desde 2006. Canad, Espanha,
Estados Unidos e Mxico mostraram a mesma tendncia, no havendo evidncias empricas de que os resultados nos trs
ltimos ciclos do PISA para cincias sejam estatisticamente diferentes dos encontrados em 2015. Portugal e Uruguai, por
sua vez, apresentaram melhoria em relao s edies anteriores: diferena de 12 e 19 pontos, respectivamente, quando
se comparam o PISA 2012 e o 2015. Coreia do Sul e Finlndia, de outro lado, tiveram decrscimo nos resultados mdios.

A Figura 3.56 apresenta a distribuio das notas mdias nos percentis (P10, P25, P75, P90) da escala de proficincia em cin-
cias no PISA 2012 e 2015. Observa-se que os estudantes brasileiros com melhor desempenho (P75 e P90) tiveram aumento
nos resultados mdios, e os de pior desempenho, diminuio (diferena de 11 pontos do P10 em 2015 em relao a 2012).

Figura 3.56
Distribuio dos escores mdios segundo os percentis, cincias PISA 2012 e 2015
2012 2015
Pas P10 P25 P75 P90 P10 P25 P75 P90
Perc1 EP2 Perc EP Perc EP Perc EP Perc EP Perc EP Perc EP Perc EP
Finlndia 424 3,9 486 2,8 609 2,4 662 2,9 402 4,2 466 3,5 599 2,5 651 2,7
Coreia do Sul 431 4,9 485 4,0 595 4,1 639 4,3 388 4,5 451 3,8 584 3,3 636 3,7
Canad 407 2,7 467 2,1 588 2,4 639 2,5 404 2,9 465 2,5 593 2,2 644 2,6
Estados Unidos 377 4,9 431 4,4 563 4,2 619 4,5 368 3,9 425 3,7 567 3,9 626 3,9
Espanha 384 3,1 440 2,3 557 1,8 605 2,0 374 3,5 432 2,9 556 2,4 605 2,4
Portugal 372 5,6 430 4,8 551 3,6 602 3,6 379 3,2 435 3,4 568 2,7 620 3,1
Chile 343 3,8 388 3,3 500 3,6 552 3,7 336 2,7 385 3,0 509 3,2 560 3,3
Uruguai 293 4,2 352 3,8 480 3,4 538 4,3 326 2,6 372 2,4 496 3,0 552 3,6
Costa Rica 341 3,3 382 3,6 476 3,6 520 4,9 332 2,3 370 2,3 466 2,8 514 3,3
Mxico 325 2,1 368 1,6 462 1,5 505 1,9 325 2,5 366 2,2 464 2,8 510 3,1
Brasil 302 2,4 348 1,9 454 2,7 505 3,5 291 2,1 337 1,9 460 3,3 522 4,1
Colmbia 302 4,6 347 3,4 449 3,5 497 4,0 315 3,1 357 2,8 471 2,9 524 3,4
Peru 275 3,8 321 3,4 425 4,4 475 5,4 301 2,6 342 2,4 448 3,3 500 3,9
Notas:
1. Perc: percentil, medida que divide a distribuio das proficincias em 100 partes.
2. EP: estimativa de erro-padro do percentil.
Fonte: OCDE, INEP.

A distribuio dos estudantes dos pases selecionados na escala interpretada de 2015 est ilustrada na Figura 3.57.

Figura 3.57
Percentual de estudantes por nvel de proficincia, pases selecionados, cincias PISA 2015
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Canad 02 9 20 30 26 10 2

Portugal 0 3 14 25 29 21 7 1

Finlndia 0 2 9 19 29 26 12 2

Espanha 0 4 14 27 31 19 5 0

Coreia do Sul 0 3 11 22 29 24 9 1

Estados Unidos 0 4 15 25 27 19 7 1

Costa Rica 1 10 36 35 15 30

Chile 1 9 25 31 24 9 10

Mxico 1 12 35 35 15 20

Uruguai 1 11 28 30 20 7 10

Colmbia 2 14 33 31 16 4 0

Peru 3 19 37 28 11 20

Brasil 4 20 32 25 13 4 10

Repblica Dominicana 16 40 30 11 30

Abaixo nvel 1 Nvel 1B Nvel 1A Nvel 2 Nvel 3 Nvel 4 Nvel 5 Nvel 6

Fonte: OCDE, INEP.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 83
3
a Avaliao de cincias no PISA 2015

No Brasil, 56,6% dos estudantes esto abaixo do nvel 2 em cincias, patamar que a OCDE estabelece como necess-
rio para que os jovens possam exercer plenamente sua cidadania. Esse percentual maior na Repblica Dominicana
(85,7%) e menor no Canad (11,1%).

A Figura 3.58 apresenta o percentual de estudantes nos nveis desde o primeiro ciclo em que cincias foi o domnio
principal no PISA. Em comparao com 2006, verifica-se um aumento de 4,4 pontos percentuais de jovens brasileiros no
nvel 2 ou acima no PISA 2015. Cabe lembrar tambm que ao longo da ltima dcada o Brasil tem expandido o nmero
de matrculas na Educao Bsica e, em consequncia, ampliado a cobertura de alunos de 15 anos na avaliao, dados
que tendem a impactar diretamente as anlises desses percentuais.

Figura 3.58
Percentual de estudantes por nvel de proficincia, pases selecionados, cincias PISA 2006-2015
Coreia Estados Costa
Ano Nveis Canad Finlndia Portugal Espanha Chile Uruguai Mxico Colmbia Peru1 Brasil
do Sul Unidos Rica1,2
<1 2,5 2,2 0,5 5,8 4,7 7,6 13,1 16,7 18,2 26,2 27,9
1 8,7 7,8 3,6 18,7 14,9 16,8 26,7 25,4 32,8 34,0 33,1
2 21,2 19,1 13,6 28,8 27,4 24,2 29,9 29,8 30,8 27,2 23,8
2006

3 31,8 28,8 29,1 28,8 30,2 24,0 20,1 19,7 14,8 10,6 11,3
4 25,5 27,7 32,2 14,7 17,9 18,3 8,4 6,9 3,2 1,9 3,4
5 9,2 12,0 17,0 3,0 4,5 7,5 1,8 1,3 0,3 0,2 0,5
6 1,1 2,4 3,9 0,1 0,3 1,5 0,1 0,1 0,0 0,0 0,0
<1 1,1 2,0 1,1 3,0 4,6 4,2 8,4 17,0 14,5 20,4 35,3 19,7
1 5,2 7,5 4,9 13,5 13,6 13,9 23,9 25,6 32,8 33,7 33,0 34,5
2 18,5 20,9 15,3 28,9 27,9 25,0 35,2 29,3 33,6 30,2 21,7 28,8
2009

3 33,1 31,2 28,8 32,3 32,3 27,5 23,6 19,5 15,8 13,1 8,0 12,6
4 30,4 26,2 31,2 18,1 17,6 20,1 7,9 7,1 3,1 2,5 1,8 3,9
5 10,5 10,5 15,4 3,9 3,7 7,9 1,1 1,4 0,2 0,1 0,2 0,6
6 1,1 1,6 3,3 0,3 0,2 1,3 0,0 0,1 0,0 0,0 0,0 0,0
<1 1,2 2,4 1,8 4,7 3,7 4,2 8,6 8,1 19,7 12,6 19,8 31,5 19,9
1 5,5 8,0 5,9 14,3 12,0 14,0 30,7 26,3 27,2 34,4 36,3 37,0 35,4
2 18,0 21,0 16,8 27,3 27,3 26,7 39,2 34,6 29,3 37,0 30,8 23,5 29,8
2012

3 33,6 32,0 29,6 31,4 32,8 28,9 17,8 22,4 17,1 13,8 11,0 7,0 12,0
4 30,1 25,3 28,8 17,8 19,4 18,8 3,4 7,5 5,6 2,1 1,9 1,0 2,6
5 10,6 9,5 13,9 4,2 4,5 6,3 0,2 1,0 1,0 0,1 0,1 0,0 0,3
6 1,1 1,8 3,2 0,3 0,3 1,1 0,0 0,0 0,0 0,0 0,0 0,0 0,0
<1 0,4 0,1 0,3 0,2 0,3 0,5 0,7 1,0 1,2 1,1 1,7 2,8 4,4
1B4 2,9 1,8 2,3 3,2 3,7 4,3 10,1 8,9 11,2 11,7 14,5 19,0 19,9
1A3 11,1 9,1 8,9 14,0 14,3 15,5 35,6 25,0 28,4 35,0 32,8 36,7 32,4
2 21,7 20,2 19,1 25,4 26,5 25,5 35,5 31,0 30,3 34,7 30,6 27,9 25,4
2015

3 29,2 30,3 29,2 28,8 31,3 26,6 15,2 23,8 20,3 15,1 15,9 11,5 13,1
4 24,0 26,1 26,0 21,0 18,9 19,1 2,7 9,1 7,4 2,3 4,1 2,0 4,2
5 9,2 10,4 11,9 6,7 4,7 7,3 0,1 1,2 1,2 0,1 0,3 0,1 0,6
6 1,4 2,0 2,4 0,7 0,3 1,2 0,0 0,1 0,0
Notas:
1. Peru e Costa Rica no participaram do PISA 2006.
2. Como no PISA 2009 a Costa Rica realizou a avaliao em 2010, o percentual de estudantes por nvel nessa edio no foi contabilizado nessa anlise.
3. O nvel 1A corresponde ao nvel 1 no PISA 2006.
4. O nvel 1B corresponde ao nvel <1 no PISA 2006.
Fonte: OCDE, INEP.

84 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

A Figura 3.59 traz um resumo do desempenho dos estudantes por gnero na avaliao de cincias para os 13 pases avaliados.
No Brasil, bem como na mdia geral da OCDE, meninos tiveram desempenho superior (4 pontos) ao das meninas. Na Finlndia
e na Coreia do Sul, de outro lado, as meninas tiveram desempenho melhor: diferena de 19 e 10 pontos, respectivamente.

Figura 3.59
Escores mdios estimados por gnero dos pases selecionados, cincias PISA 2015

540 FIN

Meninas com CAN


KOR
510 desempenho maior que
meninos PRT
USA
ESP
480

450
CHL
URY
420
MEX COL CRI
BRA
390 PER

360
Meninos com
desempenho maior que
330 DOM meninas

300
300 330 360 390 420 450 480 510 540
Fonte: OCDE, INEP.

Desempenho do Brasil em cincias sob a perspectiva nacional


Para ter um fiel retrato do desempenho dos jovens brasileiros no PISA 2015, realiza-se agora uma anlise do desempenho
geral por tipo de escola (dependncia administrativa, localizao e rea), bem como uma anlise mais aprofundada em
relao s unidades da Federao.

Tal como destacado no Captulo 2 deste relatrio, o perfil dos jovens de 15 anos no Brasil majoritariamente de estudan-
tes do Ensino Mdio. Dessa maneira, a rede estadual possui a melhor representao na avaliao do PISA e, na Figura
3.60, verifica-se que o desempenho mdio desses estudantes foi de 394 pontos. Por ofertar prioritariamente o Ensino
Fundamental, a rede municipal apresenta desempenho inferior ao das escolas de outras dependncias administrativas.
Alunos da rede federal, de outro lado, tm o melhor desempenho em cincias, superando a mdia nacional.

Figura 3.60
Mdias, intervalos de confiana e percentis dos escores
por dependncia administrativa, cincias PISA 2015
Dependncias
Mdia EP1 IC2 Interdecil3 Distribuio das proficincias4
administrativas
200 250 300 350 400 450 500 550 600 650

Brasil
Brasil 401 2,3 396-405 291-522
Federal
Federal 517 10,4 497-538 423-605
Particular
Particular 487 6,8 474-500 374-593
Estadual
Estadual 394 1,8 390-397 295-499
Municipal
Municipal 329 3,6 322-336 249-411
Notas:
1. EP: estimativa de erro-padro da mdia. Mdia brasil
2. IC: intervalo de confiana da mdia.
P10 P90
3. Intervalo interdecil: intervalo em que o limite inferior o percentil 10, e o superior, o percentil 90.
4. Distribuio das proficincias. O grfico apresenta a distribuio das proficincias pelos percentis
(P10, P25, P75, P90) e pelos intervalo de confiana das mdias. P25 P75
Fonte: OCDE, INEP. LI LS

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 85
3
a Avaliao de cincias no PISA 2015

Quando se comparam os tipos de localizao (Figura 3.61), observa-se que o desempenho mdio dos estudantes brasi-
leiros das escolas urbanas no PISA 2015 estatisticamente superior ao dos das escolas rurais (53 pontos).

Figura 3.61
Mdias, intervalos de confiana e percentis dos escores por localizao, cincias PISA 2015
Localizao Mdia EP1 IC2 Interdecil3 Distribuio das proficincias4
200 250 300 350 400 450 500 550 600 650

Brasil

Brasil 401 2,3 396-405 291-522


Urbana

Urbana 403 2,4 398-408 293-524

Rural
Rural5 350 12,5 325-374 257-455

Notas:
1. EP: estimativa de erro-padro da mdia.
2. IC: intervalo de confiana da mdia.
3. Intervalo interdecil: intervalo em que o limite inferior o percentil 10, e o superior, o percentil 90. Mdia brasil
4. Distribuio das proficincias: o grfico apresenta a distribuio das proficincias pelos percentis P10 P90
(P10, P25, P75, P90) e pelos intervalos de confiana das mdias.
5. Devido ao delineamento utilizado no PISA, escolas rurais da regio Norte no foram contempladas
P25 P75
no estudo.
Fonte: OCDE, INEP. LI LS

Com relao rea em que as escolas se localizam (Figura 3.62), os estudantes da capital obtiveram melhor desempenho
mdio (412 pontos) do que os do interior (397), diferena estatisticamente no significativa, contudo.

Figura 3.62
Mdias, intervalos de confiana e percentis dos escores por rea, cincias PISA 2015
rea Mdia EP1 IC2 Interdecil3 Distribuio das proficincias4
200 250 300 350 400 450 500 550 600 650

Brasil

Brasil 401 2,3 396-405 291-522


Capital

Capital 412 5,9 400-423 295-539


Interior

Interior 397 2,7 392-403 289-516

Notas:
1. EP: estimativa de erro-padro da mdia. Mdia brasil
2. IC: intervalo de confiana da mdia.
P10 P90
3. Intervalo interdecil: intervalo em que o limite inferior o percentil 10, e o superior, o percentil 90.
4. Distribuio das proficincias. O grfico apresenta a distribuio das proficincias pelos percentis
(P10, P25, P75, P90) e pelos intervalo de confiana das mdias. P25 P75
Fonte: OCDE, INEP. LI LS

A Figura 3.63 apresenta os resultados por unidade da Federao na escala de cincias do PISA 2015. Esprito Santo foi
a que apresentou o maior resultado (435 pontos), e Alagoas, o menor (360).

86 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

Figura 3.63
Mdias, intervalos de confiana e percentis dos escores por unidade da Federao, cincias PISA 2015
UF Mdia EP1 IC2 Interdecil3 Distribuio das proficincias4
200 250 300 350 400 450 500 550 600 650

Brasil 401 2,3 396-405 291-522 Brasil

Esprito Santo 435 6,6 422-448 322-554 Esprito Santo

Distrito Federal 426 5,6 415-437 312-545 Distrito Federal

Paran 425 10,4 405-445 313-538 Paran

Minas Gerais 422 11,8 399-445 308-546 Minas Gerais

Santa Catarina 418 6,1 406-430 313-534 Santa Catarina

Rio Grande do Sul 411 9,8 391-430 300-527 Rio Grande do Sul

So Paulo 409 5,1 399-419 297-529 So Paulo

Gois 409 9,2 391-427 302-533 Gois

Mato Grosso do Sul 403 7,6 388-418 298-515 Mato Grosso do Sul

Cear 401 11,3 379-423 297-524 Cear

Amazonas 399 8,5 383-416 298-508 Amazonas

Acre 399 9,3 381-417 297-507 Acre

Roraima 398 9,2 380-416 305-504 Roraima

Mato Grosso 396 5,4 385-406 303-496 Mato Grosso

Rio de Janeiro 392 7,0 378-405 287-507 Rio de Janeiro

Rondnia 387 9,7 369-406 294-487 Rondnia

Par 386 15,5 356-417 278-522 Par

Pernambuco 383 7,7 368-398 278-494 Pernambuco

Amap 381 8,0 366-397 297-467 Amap

Piau
Piau 380 11,5 357-403 275-500
Paraba
Paraba 380 9,2 362-398 281-488
Rio Grande do Norte
Rio Grande do Norte 377 6,7 364-390 279-491
Sergipe
Sergipe 375 9,4 357-394 277-494
Tocantins
Tocantins 372 4,6 363-381 280-469
Maranho
Maranho 369 13,5 343-396 267-483
Bahia
Bahia 368 6,9 355-382 264-486
Alagoas
Alagoas 360 10,9 339-381 261-484
Notas:
1. EP: estimativa de erro-padro da mdia. Mdia brasil
2. IC: intervalo de confiana da mdia.
3. Intervalo interdecil: intervalo em que o limite inferior o percentil 10, e o superior, o percentil 90. P10 P90
4. O grfico apresenta a distribuio das proficincias pelos percentis (P10, P25, P75,P90)
e pelos intervalos de confiana das mdias. P25 P75
Fonte: OCDE, INEP. LI LS

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 87
3
a Avaliao de cincias no PISA 2015

Figura 3.64
Intervalos de confiana das diferenas dos escores mdios das unidades da Federao
com relao ao desempenho do Brasil, cincias PISA 2015

100
Limite superior
Mdia
75 Limite inferior

50

25

-25

-50

-75

-100
AL BA MA TO SE RN PB PI AP PE PA RO RJ MT RR AC AM CE MS GO SP RS SC MG PR DF ES
(68%) (85%) (83%) (89%) (70%) (86%) (74%) (76%) (40%) (80%) (70%) (81%) (87%) (78%) (76%) (86%) (92%) (94%) (89%) (81%) (88%) (89%) (81%) (90%) (39%) (84%) (87%)

Notas: LS
1. O percentual em parnteses corresponde taxa de resposta geral discutida no Captulo 2.
2. Intervalos de confianas da diferena das mdias: o grfico apresenta os limites inferiores e superiores do intervalo da diferena das m- Mdia UF-Mdia Brasil
dias. O valor de referncia y=0. Intervalos que cruzam a linha de referncia indicam que o desempenho mdio da unidade da Federao
em 2015 no estatisticamente diferente do desempenho nacional.
Fonte: OCDE, INEP. LI

A Figura 3.64 indica as diferenas entre os resultados mdios de cada unidade da Federao e os do Brasil no PISA 2015.
Estados com desempenho acima da linha de referncia (y = 0) apresentam resultado estatisticamente superior mdia
nacional, e os com desempenho mdio abaixo da linha, inferior. A Figura 3.65 mostra um resumo da anlise realizada.

Figura 3.65
Desempenho das unidades da Federao menor, igual ou maior que o do Brasil, cincias PISA 2015
Desempenho menor que o do Brasil1 Desempenho igual ao do Brasil1 Desempenho maior que o do Brasil1
Alagoas (360; 10,9) Piau (380; 11,5) So Paulo (409; 5,1)
Bahia (368; 6,9) Par (386; 15,5) Santa Catarina (418; 6,1)
Maranho (369; 13,5) Rondnia (387; 9,7) Paran (425; 10,4)
Tocantins (372; 4,6) Rio de Janeiro (392; 7,0) Distrito Federal (426; 5,6)
Sergipe (375; 9,4) Mato Grosso (396; 5,4) Esprito Santo (435; 6,6)
Rio Grande do Norte (377; 6,7) Roraima (398; 9,2)
Paraba (380; 9,2) Acre (399; 9,3)
Amap (381; 8,0) Amazonas (399; 8,5)
Pernambuco (383; 7,7) Cear (401; 11,3)
Mato Grosso do Sul (403; 7,6)
Gois (409; 9,2)
Rio Grande do Sul (411; 9,8)
Minas Gerais (422; 11,8)
Nota:
1. Diferenas nos escores so estatisticamente significativas.
Fonte: OCDE, INEP.

88 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
3
a Avaliao de cincias no PISA 2015

Ao avaliar os estudantes brasileiros por nvel de proficincia, observa-se que as discrepncias dos resultados subnacionais
so altas (Figura 3.66). Enquanto 40,4% dos alunos do estado do Esprito Santo esto abaixo do nvel 2, em Alagoas esse
percentual de 74,9%.

Figura 3.66
Percentual de estudantes por nvel de proficincia e unidade da Federao cincias, PISA 2015
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Brasil 4 20 32 25 13 4 10
Esprito Santo 2 12 27 31 19 8 1
Santa Catarina 2 14 31 31 16 5 1
Distrito Federal 2 14 28 30 18 6 1
Roraima 2 19 38 27 11 3 0
Minas Gerais 2 15 29 27 18 7 1
Paran 3 13 28 30 20 6 1
Mato Grosso 3 19 38 28 10 20
Gois 3 18 33 26 12 5 2
Amap 3 22 42 26 5 1
Acre 3 18 35 28 12 3
Amazonas 3 19 35 28 12 3
Mato Grosso do Sul 3 20 31 28 14 4 0
Rio Grande do Sul 3 17 31 28 16 4 1
Cear 3 19 35 24 12 5 1
So Paulo 4 18 31 27 15 5 1
Rondnia 4 21 40 25 8 3
Rio de Janeiro 5 22 33 25 12 3
Tocantins 5 26 39 23 6 0
Rio Grande do Norte 6 27 36 21 10 1
Paraba 6 25 36 23 8 20
Pernambuco 6 24 35 24 9 2
Sergipe 6 29 35 19 8 30
Piau 6 27 34 20 9 3 1
Par 7 24 33 20 10 5
Maranho 8 29 33 20 7 20
Bahia 9 28 35 18 8 20
Alagoas 10 34 31 15 8 2

Abaixo nvel 1 Nvel 1B Nvel 1A Nvel 2 Nvel 3 Nvel 4 Nvel 5 Nvel 6


Fonte: OCDE, INEP.

Com se observa na Figura 3.67, na maioria dos estados brasileiros o desempenho mdio dos meninos superior ao das
meninas. Mato Grosso do Sul foi o que apresentou maior diferena: 18 pontos. De outro lado, essa relao se inverte
em seis unidades da Federao: Amap, Bahia, Maranho, Mato Grosso, Paraba e Paran.

Figura 3.67
Escores mdios estimados por gnero e unidade da Federao, cincias PISA 2015

440 Meninas com


desempenho maior que ES
meninos
PR DF
MG
SC

410 RS
GO SP

MT AC AM CE
RR MS
RJ
AP RO
PB PA
380 PE
PI
RN
MA SE Meninos com
BA TO
desempenho maior que
meninas
AL

350
350 380 410 440
Fonte: OCDE, INEP.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 89
4

A avaliao de leitura
no PISA 2015

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 91
4
A avaliao de leitura no PISA 2015

4.1 Aspectos gerais


No PISA 2015, o letramento em leitura foi avaliado como domnio secundrio, oferecendo a oportunidade de fazer
comparaes do desempenho dos estudantes edio a edio, considerando que o Brasil participa dessa avaliao
desde a primeira, em 2000.

Neste captulo, pretende-se fornecer informaes sobre a avaliao dessa rea cognitiva que possam atender tanto os
leitores que j a conhecem como aqueles que tomam o primeiro contato com o assunto. As Sees 4.2 a 4.5 apresentam
os marcos referenciais do domnio de leitura no PISA. Na Seo 4.6, discute-se o desempenho dos estudantes brasileiros
nessa avaliao com base em uma anlise do nvel de dificuldade dos itens. Por fim, na Seo 4.7, apresentam-se os
resultados nacionais e estaduais em leitura do PISA 2015.

4.2 Como o letramento em leitura definido no PISA?


As definies de leitura e de letramento em leitura mudaram ao longo do tempo, acompanhando as transformaes na
sociedade, na economia e na cultura. O conceito de aprendizagem, especialmente o de aprender por toda a vida/apren-
dizagem para a vida toda, expandiu a percepo de letramento em leitura. O letramento no mais considerado uma
habilidade adquirida apenas na infncia, nos primeiros anos de escolarizao. Em vez disso, visto como um conjunto
crescente de conhecimentos, habilidades e estratgias que as pessoas constroem durante a vida em diversos contextos,
por meio da interao com seus pares e com a comunidade em geral.

As teorias cognitivas de letramento em leitura enfatizam a natureza interativa da leitura e a natureza construtiva da
compreenso, no meio impresso (Binkley e Linnakyl, 1997; Bruner, 1990; Dole et al., 1991, apud OCDE, 2016) e,
em uma profundidade ainda maior, no meio digital (Fastrez, 2001; Legros e Crinon, 2002; Leu, 2007; Reinking, 1994,
apud OCDE, 2016). O leitor produz significado como reao ao texto, usando conhecimentos prvios e pistas textuais
e situacionais que normalmente derivam de sua sociedade e de sua cultura. Ao construir significados, ele usa vrios
processos, habilidades e estratgias para promover, monitorar e manter o entendimento. Esses processos, habilidades e
estratgias podem variar de acordo com o contexto e a finalidade, medida que o leitor interage com variados textos
contnuos e no contnuos no meio impresso e (normalmente) com textos diversos no meio digital.

Figura 4.1
A definio de letramento em leitura PISA 2015
Letramento em leitura refere-se a compreender, usar, refletir
sobre e envolver-se com os textos escritos, a fim de alcanar
um objetivo, desenvolver conhecimento e potencial e participar
da sociedade.
Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading,
Mathematic and Financial Literacy.

Letramento em leitura...
O termo letramento em leitura prefervel a leitura porque pode informar com maior preciso, a um pblico no
especializado, o que o PISA est medindo. Em geral, entende-se como leitura a simples decodificao ou mesmo a
leitura em voz alta, enquanto a inteno dessa avaliao medir algo mais abrangente e mais profundo. O letramento em
leitura inclui grande variedade de competncias cognitivas, entre as quais esto a decodificao bsica, o conhecimento
das palavras, da gramtica e das estruturas e caractersticas lingusticas e textuais mais abrangentes e o conhecimento
de mundo.

Letramento em leitura pretende expressar a aplicao ativa, intencional e funcional da leitura a uma srie de situaes
e para fins variados. De acordo com Holloway (1999), as habilidades de leitura so essenciais para os resultados aca-
dmicos de alunos dos nveis fundamental e mdio. O PISA avalia um amplo grupo de estudantes. Alguns iro para a
universidade, outros seguiro estudos suplementares para se preparar para o mercado de trabalho, outros, ainda, entraro
no mercado de trabalho logo aps a concluso do ensino obrigatrio. Os resultados em letramento em leitura no so
apenas uma base para os resultados em outras reas dentro do sistema educacional, mas tambm um pr-requisito para
a participao bem-sucedida na maioria das atividades da vida adulta (Cunningham e Stanovich, 1998; Smith et al.,

92 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

2000, apud OCDE, 2016). Na verdade, independentemente das aspiraes acadmicas ou profissionais dos estudantes,
seu letramento em leitura fundamental para uma participao ativa na comunidade, na economia e na vida cotidiana.

As habilidades de letramento em leitura so importantes tanto para as pessoas quanto para as economias como um
todo. Os elaboradores de polticas e outros profissionais j reconhecem que a sociedade moderna e o capital humano
a soma do que os indivduos em uma economia sabem e conseguem fazer podem ser a forma mais importante de
capital. Ao longo de muitos anos, os economistas tm desenvolvido modelos demonstrando, de maneira geral, que os
nveis de educao de um pas so os preditores do potencial de crescimento de sua economia (Coulombe et al., 2004,
apud OCDE, 2016).

... refere-se a compreender, usar, refletir sobre...


A palavra compreender est de fato conectada com a compreenso da leitura, um elemento bem-aceito de leitura.
Usar diz respeito noo de aplicao e funo fazer algo com o que lemos. Refletir sobre foi adicionado a
compreender e usar para enfatizar a noo de que ler um processo interativo: os leitores fundamentam-se em
seus pensamentos e experincias ao envolver-se com o texto. claro que cada ato de leitura exige alguma reflexo,
embasada em informao externa ao texto. Mesmo em estgios mais iniciais, os leitores apoiam-se em conhecimento
simblico para decodificar um texto e precisam ter noo do vocabulrio para construir um significado. Uma vez que
desenvolvem suas bases de conhecimento, experincias e crenas, em geral, de modo inconsciente, eles esto sempre
testando o que leem ao fazer comparaes com o conhecimento externo e, assim, revisar e rever continuamente sua
percepo do texto.

... e envolver-se com...


Uma pessoa letrada em leitura no apenas tem as habilidades e conhecimentos para ler bem, mas tambm valoriza e
usa a leitura para diversas finalidades. Portanto, a educao objetiva cultivar tanto a proficincia como o envolvimento
na leitura. Envolvimento, nesse contexto, implica a motivao para ler e abrange um conjunto de caractersticas afetivas
e comportamentais que incluem o interesse e o prazer na leitura, a percepo de controle sobre o que lido, o envol-
vimento na dimenso social da leitura e as diversas e frequentes prticas de leitura.

... textos escritos...


O termo textos escritos deve incluir todos os textos coerentes nos quais a linguagem usada em sua forma grfica,
seja ela impressa ou digital. Em substituio palavra informao, usada em algumas outras definies de leitura, es-
colheu-se o termo textos por sua associao com a linguagem escrita e por sua pronta conotao com leitura literria
e com foco na informao.

Esses textos no incluem artefatos de linguagem auditiva, tais como gravao de voz, filmes, TV, animaes visuais ou
figuras sem palavras. Eles englobam apresentaes visuais, como diagramas, figuras, mapas, tabelas, grficos e tirinhas
em quadrinhos que tm alguma linguagem escrita (por exemplo, legendas). Esses textos visuais podem tanto existir in-
dependentemente como estar embutidos em textos maiores. Os textos digitais so distintos dos impressos em diversas
formas, inclusive na leitura fsica, na quantidade de textos visveis ao leitor a qualquer momento, em como partes distintas
de um texto e textos diferentes so conectados um com o outro por meio de links de hipertexto e, dadas essas carac-
tersticas, em como o leitor normalmente se envolve com textos digitais. De maneira muito mais ampla do que ocorre
com textos impressos ou escritos mo, o leitor precisa construir os prprios caminhos para concluir uma atividade de
leitura associada a um texto digital.

... a fim de alcanar um objetivo, desenvolver conhecimento e potencial e participar da sociedade


Essa orao busca capturar o alcance total das situaes em que o letramento em leitura desempenha algum papel, do
pblico ao privado, da escola ao trabalho, da educao formal ao aprendizado por toda a vida e cidadania ativa. A
fim de alcanar um objetivo, desenvolver conhecimento e potencial transmite a ideia de que o letramento em leitura
permite o alcance de aspiraes individuais tanto as definidas, como graduar-se ou obter um emprego, quanto as menos
definidas e menos imediatas que enriquecem e ampliam a vida das pessoas e a educao para toda a vida. A palavra
participar usada porque implica que o letramento em leitura permite que as pessoas contribuam para a sociedade,
bem como satisfaam as prprias necessidades. Participar da sociedade inclui o envolvimento social, cultural e poltico.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 93
4
A avaliao de leitura no PISA 2015

4.3 Como o letramento em leitura foi avaliado no PISA 2015?


Esta seo descreve como o domnio de leitura representado, uma questo vital, porque a organizao e a representao
dele determinam o tipo de teste e, especialmente, evidncias que podem ser coletadas e relatadas sobre as proficincias
dos estudantes.

A leitura multidimensional. Embora muitos elementos faam parte do construto, nem todos podem ser levados em
conta na construo da avaliao do PISA. Assim, apenas aqueles considerados mais importantes foram selecionados.

A avaliao de letramento em leitura do PISA construda sobre trs caractersticas de tarefas maiores para garantir uma
cobertura do domnio abrangente. So elas:

situao: refere-se gama de contextos ou finalidades amplas aos quais se aplica a leitura;
texto: refere-se aos materiais lidos;
aspecto: refere-se abordagem cognitiva, que determina como os leitores se envolvem com o texto.

No PISA, as caractersticas do texto e as variveis de aspecto (mas no as de situao) tambm so modificadas para
influenciar a dificuldade de uma tarefa.

A leitura uma atividade complexa. Os elementos de leitura no existem independentemente um do outro em um com-
partimento puro. A atribuio de tarefas e textos a categorias da matriz no implica que as categorias sejam estritamente
divididas ou que os materiais existam em clulas atomizadas determinadas por uma estrutura terica. O projeto da
matriz destina-se a garantir uma cobertura, a orientar o desenvolvimento de uma avaliao e a estabelecer parmetros
para relatos, com base no que se considera as caractersticas marcantes de cada tarefa.

4.3.1 Situao
As quatro variveis de situao do PISA descritas a seguir - pessoal, pblica, educacional e ocupacional - foram adaptadas
do Quadro Europeu Comum de Referncia (Common European Framework of Reference CEFR), desenvolvido para o
Conselho Europeu (Council of Europe, 1996).

A situao pessoal relaciona-se a textos que buscam satisfazer os interesses pessoais do indivduo, tanto prticos como
intelectuais, e tambm a manter ou desenvolver contatos pessoais com outras pessoas. Essa categoria inclui cartas pessoais,
romances, biografias e textos informativos feitos para serem lidos para satisfazer uma curiosidade, como parte de ativida-
des de lazer e recreativas. No meio digital, compreende e-mails pessoais, mensagens instantneas e blogs do tipo dirio.

A varivel pblica descreve a leitura de textos relacionados a atividades e questes da sociedade como um todo, incluindo
documentos e informaes oficiais sobre eventos pblicos. Em geral, os textos associados a essa categoria assumem um
contato mais ou menos annimo com outros. Portanto, essa categoria tambm abrange blogs do estilo frum, sites de
notcias e notas pblicas online e impressas.

O contedo de textos educacionais normalmente destina-se instruo. Livros-texto impressos e softwares interativos de
aprendizagem so exemplos tpicos de material produzido para esse tipo de leitura. A leitura educativa envolve aquisio
de informaes como parte de uma tarefa maior de aprendizado. Os materiais, em geral, no so escolhidos pelo leitor,
mas definidos por um instrutor. As tarefas-modelo so aquelas identificadas como leitura para aprendizado (Sticht,
1975; Stiggins, 1982, apud OCDE, 2016).

Em um ou dois anos, muitos alunos hoje com 15 anos sairo da escola para o mercado de trabalho. Uma tarefa tpica
de leitura ocupacional aquela que envolve a realizao de algumas tarefas imediatas. Elas podem incluir tanto a bus-
ca de um emprego na seo de anncios classificados de um jornal impresso ou online como o acompanhamento de
instrues no ambiente de trabalho. As tarefas-modelo dessa varivel so em geral denominadas ler para fazer (Sticht,
1975; Stiggins, 1982, apud OCDE, 2016).

A situao usada no letramento em leitura do PISA para definir os textos e as tarefas associadas a eles e para referir-se
aos contextos e usos para os quais o autor construiu o texto. Portanto, a forma pela qual a varivel de situao especi-
ficada est relacionada a um pblico e a finalidades presumveis, e no se baseia apenas no local onde a atividade de

94 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

leitura se desenvolve. Muitos textos usados nas salas de aula no so destinados para esse fim. Por exemplo, o trecho
de um texto literrio pode ser lido por um aluno de 15 anos na aula de lngua materna ou na de literatura, mas o texto
foi (possivelmente) escrito para entretenimento pessoal e apreciao do leitor. Dada sua finalidade original, tal texto
classificado como pessoal no PISA. Conforme mostra apud Hubbard (1989), alguns tipos de leitura para crianas asso-
ciados a ambientes externos escola, como regras de clubes e registros de jogos, em geral, tambm ocorrem de modo
extraoficial. Esses textos so classificados como pblicos no PISA. De outro lado, os livros-texto so lidos tanto na escola
como em casa, e o processo e a finalidade diferem um pouco de um ambiente para outro. Tais textos so classificados
como educacionais no PISA.

As quatro categorias se sobrepem. Na prtica, por exemplo, um texto pode ter a finalidade tanto de divertir como de
instruir (pessoal e educacional) ou de fornecer conselhos profissionais, que tambm uma informao geral (ocupacio-
nal e pblica). Embora o contedo no seja uma varivel especificamente tratada neste estudo, ao utilizar amostras de
textos ao longo de uma srie de situaes, a inteno maximizar a diversidade do contedo includo na avaliao de
letramento em leitura do PISA.

4.3.2 Texto
A leitura exige material para o leitor ler. Em uma avaliao, esse material o texto (ou um conjunto de textos) relacionado
a uma tarefa especfica deve ser coerente em si mesmo, isto , sustentar-se sozinho, sem exigir material adicional para
fazer sentido ao leitor proficiente. Embora seja bvio que h muitos tipos diferentes de textos e que qualquer avaliao
deva incluir ampla gama deles, no to notrio assim que exista uma categorizao ideal deles.

O PISA 2015 apresentou em computador e em papel apenas os itens usados em edies anteriores para a avaliao de
leitura impressa, e foram apenas duas as classificaes de textos:

formato de texto;
tipo de texto.

O espao de apresentao de texto uma terceira classificao, com duas categorias: textos fixos e textos dinmicos.
Essa classificao no foi usada no PISA 2015, mas ser integrada edio de 2018.

Em 2015, utilizou-se o termo espao de apresentao de texto para descrever as caractersticas do espao fixo ou
dinmico e no o modo pelo qual o texto era apresentado.

Normalmente, os textos fixos aparecem em papel em formatos como folhas avulsas, brochuras, revistas e livros, mas
tendem a surgir cada vez mais na tela como PDFs e em e-readers (meios eletrnicos de leitura). Essa evoluo leva a tirar
o foco da distino entre o que foi denominado leitura impressa e leitura digital na matriz do PISA 2009. Como o
ciclo de 2015 usou apenas o que foi chamado de leitura impressa em 2009, no existem mudanas conceituais nesse
aspecto. O modo fsico do texto fixo incentiva (embora no obrigue) o leitor a abordar o contedo em numa sequncia
especfica. Basicamente, tais textos tm uma existncia esttica. Na vida real, e em um contexto de avaliao, a extenso,
ou a quantidade, de texto fica imediatamente visvel.

Os textos dinmicos aparecem apenas na tela. Texto dinmico sinnimo de hipertexto: um texto com ferramentas
e caractersticas de navegao que tornam possvel e, na verdade, at mesmo exigem uma leitura no sequencial.
Cada leitor constri um texto customizado com base em informaes encontradas nos links que escolhe seguir.
Basicamente, tais textos tm existncia no fixa e dinmica. Normalmente, apenas uma frao dos textos disponveis
pode ser vista a qualquer momento e, em geral, a extenso desses textos desconhecida. No PISA 2015, no foram
includos textos dinmicos.

A classificao de ambiente foi uma varivel nova na matriz de leitura do PISA 2009. Por se aplicar apenas a textos
dinmicos, no foi discutida na matriz de 2015.

Formato de texto
Textos nos formatos contnuo e no contnuo aparecem tanto no meio impresso como no digital. Textos nos formatos
combinado e mltiplo tambm ocorrem em ambas as mdias, particularmente na mdia digital. Cada um desses quatro
formatos elaborado como se segue.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 95
4
A avaliao de leitura no PISA 2015

Textos contnuos so formados por oraes organizadas em pargrafos, os quais podem se adequar a estruturas ainda
maiores, tais como sees, captulos e livros (por exemplo: reportagens de jornais, redaes, romances, contos, resenhas
e cartas, inclusive em e-readers).

Textos no contnuos so, normalmente, organizados na forma matricial, compostos por uma srie de dados (Kirsch e
Mosenthal, 1990, apud OCDE, 2016) (por exemplo: listas, tabelas, grficos, diagramas, anncios, cronogramas, catlo-
gos, ndices e formulrios). Portanto, exigem uma abordagem de leitura diferente daquela usada nos textos contnuos.

Muitos textos so artefatos nicos e coerentes que consistem de um conjunto de elementos tanto no formato contnuo
como no no contnuo. Em textos combinados bem construdos, os constituintes (por exemplo: explanao em prosa
com grficos e tabelas) apoiam-se mutuamente, com ligaes de coerncia e coeso ao longo deles. Textos combinados
em um meio impresso so um formato fcil de encontrar em revistas, livros de referncia e relatrios. No meio digital,
pginas autorais na internet so, em geral, textos combinados, com uma mistura de listas, pargrafos em prosa e grficos.
Textos de mensagens, tais como formulrios online, mensagens de e-mail e fruns, tambm mesclam textos nos formatos
contnuo e no contnuo.

Textos mltiplos so aqueles que foram produzidos de maneira independente e fazem sentido separadamente. So
justapostos em uma ocasio especfica para os fins da avaliao. A relao entre os textos nem sempre bvia, com-
plementando-se ou contradizendo-se um ao outro. Por exemplo, sites de diferentes empresas que oferecem conselhos
de viagem fornecem ou no orientaes semelhantes para turistas. Textos mltiplos podem ter um formato nico puro
(por exemplo, contnuo) ou incluir textos contnuos e no contnuos.

Tipo de texto
Uma categorizao diferente de textos aquela por tipo de texto: descrio, narrao, exposio, argumentao, ins-
truo e interao.

Em geral, os textos, da forma como so encontrados no mundo, resistem a uma categorizao. No so escritos com
regras em mente e tendem a atravessar as categorias de modo transversal. A fim de garantir que os instrumentos de leitura
representem tipos de leitura diferentes, o PISA categoriza os textos com base em suas caractersticas predominantes.

As classificaes de textos a seguir, usadas no PISA, foram adaptadas do trabalho de Werlich (1976, apud OCDE, 2016).

A descrio um tipo de texto no qual a informao refere-se a propriedades de objetos no espao. As perguntas tpicas
a que textos descritivos respondem so sobre o que (por exemplo: a representao de um lugar especfico em um blog
de viagem ou dirio, em um catlogo, em um mapa geogrfico, em um cronograma de voo online ou a descrio de
uma caracterstica, funo ou processo em um manual tcnico).

A narrao o tipo de texto no qual a informao refere-se a propriedades de objetos no tempo. Normalmente, responde
a perguntas sobre quando ou em que sequncia. Por que os personagens das histrias se comportam de determi-
nada forma outra pergunta que, em geral, a narrao responde (por exemplo: um romance, um conto, um jogo, uma
biografia, uma tirinha em quadrinhos, textos de fico e uma reportagem de jornal sobre um evento).

A exposio o tipo de texto que apresenta a informao como conceitos compostos ou construtos mentais ou elemen-
tos nos quais construtos conceituais ou mentais podem ser analisados. O texto fornece uma explicao sobre como os
diferentes elementos se inter-relacionam em um todo significativo e, em geral, responde a perguntas sobre como (por
exemplo: uma redao escolar, um diagrama mostrando um modelo de memria, um grfico de tendncias populacio-
nais, um mapa conceitual e uma entrada em uma enciclopdia online).

A argumentao o tipo de texto que apresenta relaes entre conceitos e proposies. Normalmente, responde a per-
guntas sobre por que. Uma subclassificao importante de textos argumentativos daqueles persuasivos e opinativos,
que se referem a opinies e pontos de vista. Exemplos de textos na categoria de argumentao so uma carta ao editor,
um pster de propaganda, uma postagem em um frum online e uma resenha de livro ou filme na internet.

A instruo o tipo de texto que fornece orientaes sobre o que fazer. O texto apresenta orientaes para certos compor-
tamentos a fim de concluir uma tarefa (por exemplo: uma receita, uma srie de diagramas mostrando um procedimento
para prestar primeiros socorros e um conjunto de orientaes para trabalhar com softwares).

96 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

A interao o tipo de texto que procura alcanar uma finalidade especfica, tal como solicitar que algo seja feito,
organizar um encontro ou um compromisso social com um amigo. Antes da difuso da comunicao digital, era um
componente significativo de alguns tipos de carta e, como troca verbal, a principal finalidade de muitas ligaes tele-
fnicas. Esse tipo de texto no consta da categorizao de Werlich (1976). Ele foi usado pela primeira vez na matriz do
PISA 2009 por causa de sua ocorrncia no meio digital (por exemplo: trocas dirias de e-mails entre colegas ou amigos
pedindo ou confirmando encontros).

4.3.3 Aspecto
Os aspectos so estratgias, abordagens ou finalidades mentais que o leitor usa para negociar seus caminhos no texto,
ao redor dele e entre textos.

Cinco aspectos orientam o desenvolvimento das tarefas de avaliao do letramento em leitura:

recuperar informao;
elaborar um entendimento amplo;
desenvolver uma interpretao;
refletir sobre e analisar o contedo de um texto;
refletir sobre e analisar o formato de um texto.

Uma vez que no possvel incluir itens suficientes na avaliao do PISA que representem cada um dos cinco aspectos
como uma subescala independente, esses cinco aspectos so organizados em trs categorias mais amplas para repre-
sentar o letramento em leitura:

localizar e recuperar informao;


integrar e interpretar;
refletir e analisar.

As tarefas de recuperar informao, que colocam o foco do leitor em partes de informaes do texto, so atribudas
escala localizar e recuperar.

As tarefas de elaborar um entendimento amplo e desenvolver uma interpretao colocam o foco do leitor em relaes
entre as partes do texto que exigem o desenvolvimento de uma interpretao. Elas so agrupadas em integrar e interpretar.

As tarefas de refletir sobre e analisar o contedo de um texto e refletir sobre e analisar o formato de um texto so agrupadas
no aspecto de categoria nica de refletir e analisar. Ambas exigem que o leitor pondere inicialmente sobre o conhecimento
externo ao texto e o relacione ao que est lendo. As tarefas de refletir sobre e analisar o contedo referem-se substn-
cia nocional de um texto. As de refletir sobre e analisar o formato referem-se a sua estrutura ou caractersticas formais.

Segue uma elaborao das trs categorias de aspectos mais amplos.

Localizar e recuperar
Localizar e recuperar envolvem entrar no espao de informao fornecido e navegar nele para localizar e recuperar um
ou mais fragmentos distintos de informao. As tarefas dessa categoria podem variar desde identificar os detalhes exigidos
por um empregador em um anncio de emprego ou achar um nmero telefnico com diversos prefixos at encontrar
um fato especfico para confirmar ou negar uma solicitao feita por algum.

Enquanto a recuperao descreve o processo de selecionar a informao necessria, a localizao descreve o processo
de chegar a um lugar, a uma informao espacial, aonde est a informao necessria. Alguns itens podem exigir a re-
cuperao de informao apenas, sobretudo em textos fixos nos quais a informao est imediatamente visvel e o leitor
s tem de selecionar o que adequado em um espao de informao bem delimitado. Por outro lado, alguns itens no
espao dinmico exigem pouco mais do que localizar informao (por exemplo: clicar para selecionar um item em uma
lista de resultados de busca). Entretanto, apenas os processos anteriores estiveram envolvidos nas tarefas de localizar e
recuperar no PISA 2015, pois no foi oferecida a avaliao de leitura digital. Os itens de localizao e recuperao no

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 97
4
A avaliao de leitura no PISA 2015

espao de apresentao de textos fixos podem exigir que o leitor use caractersticas de navegao, tais como cabealhos
ou legendas, para encontrar um caminho para a seo adequada de um texto antes de localizar a informao relevante.

Integrar e interpretar
Integrar e interpretar envolvem processar o que lido para fazer sentido internamente no texto.

A integrao focaliza demonstrar a compreenso da coerncia de um texto. Integrar conectar vrios fragmentos de
informao para que tenham um significado, seja identificando semelhanas e diferenas, seja fazendo comparaes
de grau ou entendendo as relaes de causa e efeito.

A interpretao refere-se ao processo de fazer sentido com base em algo que no est declarado. Ao interpretar, o leitor
est identificando as suposies ou implicaes subjacentes de parte do texto ou dele todo.

Tanto a integrao como a interpretao so necessrias para elaborar um entendimento amplo. O leitor deve considerar
o texto como um todo ou em perspectiva. Ele pode demonstrar um entendimento inicial pela identificao dos tpicos
ou mensagens principais ou da finalidade ou utilidade maior do texto.

A integrao e a interpretao tambm esto envolvidas no desenvolvimento de uma interpretao, que exige que o
leitor alargue suas amplas impresses iniciais para desenvolver um entendimento mais profundo, mais especfico e
mais completo daquilo que leu. As tarefas de integrao incluem identificar e listar evidncias de apoio e comparar e
contrastar informaes nas quais a exigncia reunir duas ou mais informaes do texto. A fim de processar tanto as
informaes implcitas como as explcitas de uma ou mais fontes em tais tarefas, o leitor deve, normalmente, inferir uma
relao ou categoria pretendida. As tarefas de interpretao podem abranger esboar uma inferncia de um contexto
local, por exemplo, interpretando o significado de uma palavra ou orao que traga uma nuance especfica para o texto.
Esse processo de compreenso tambm avaliado em tarefas que exigem do leitor fazer inferncias sobre a inteno do
autor e identificar as evidncias utilizadas para isso.

A relao entre os processos de integrao e de interpretao pode, portanto, ser vista como ntima e interativa. A
integrao implica, primeiramente, inferir uma relao dentro de um texto (um tipo de interpretao) e, depois, reunir
fragmentos de informao, permitindo, assim, fazer uma interpretao que forme um novo todo integrado.

Refletir e analisar
Refletir e analisar envolvem utilizar o conhecimento de ideias e atitudes alm do texto a fim de relacion-las com infor-
maes fornecidas no texto por meio das estruturas de referncia conceituais e de experincias prprias.

Itens sobre refletir podem ser vistos como aqueles que exigem que o leitor consulte as prprias experincias ou conhe-
cimentos para comparar, contrastar e levantar hipteses. Itens sobre analisar so aqueles que pedem ao leitor que faa
um julgamento com base em padres alm do texto.

Refletir sobre e analisar o contedo de um texto exigem que o leitor relacione informaes em um texto com conhe-
cimentos de fontes externas. O leitor deve tambm analisar as afirmaes feitas no texto em comparao com seu
conhecimento de mundo.

Normalmente, solicita-se ao leitor que articule e defenda seus pontos de vista. Para isso, ele precisa desenvolver uma
compreenso do que dito e entendido no texto. Depois, deve testar essa representao mental com o que conhece e
em que acredita fundamentado tanto em informaes prvias como nas encontradas em outros textos. O leitor tem de
buscar evidncias de apoio dentro do texto e contrast-las com outras fontes de informao, usando tanto o conhecimento
geral quanto o especfico, bem como a habilidade de raciocinar abstratamente.

Refletir sobre e analisar o formato de um texto exige que o leitor se afaste do texto, a fim de consider-lo de maneira ob-
jetiva e analisar suas qualidades e adequao. O conhecimento implcito da estrutura textual, o estilo tpico de diferentes
tipos de texto e o registro desempenham um papel importante nessas tarefas. A avaliao do sucesso de determinado
autor no relato de algumas caractersticas ou em persuadir o leitor depende no apenas do conhecimento substancial,
mas tambm da habilidade de detectar sutilezas na linguagem.

98 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

Alguns exemplos de caractersticas de tarefas de avaliao para refletir sobre e analisar o formato de um texto incluem
indicar a utilidade do texto para uma finalidade especfica e analisar o uso pelo autor de certas caractersticas textuais
para alcanar esse objetivo. O leitor pode tambm ser solicitado a descrever ou comentar sobre a inteno dele ao re-
correr a dado estilo e a identificar a finalidade e a atitude do autor. De certo modo, cada julgamento crtico exige que o
leitor consulte suas experincias. Alguns tipos de reflexo, de outro lado, no exigem avaliao (por exemplo: comparar
experincias pessoais com algo descrito no texto). Assim, a avaliao pode ser vista como um subconjunto da reflexo.

4.4 Qual foi a estrutura da avaliao do letramento em leitura no PISA 2015?


O conjunto de itens que compuseram as provas do PISA 2015 foi selecionado de modo a trazer resultados em escalas
confiveis, vlidas e comparveis em relao ao construto de letramento em leitura. Tal seleo foi guiada por informaes
de fontes variadas, tais como orientaes do grupo de especialistas em leitura, coordenado pela OCDE, estatsticas de
pr-teste e de ciclos anteriores do PISA e comentrios das equipes nacionais dos pases participantes.

A maneira pela qual se coletou a evidncia o formato de resposta variou de acordo com o que se considerou ade-
quado ao tipo de evidncia a ser coletado e tambm de acordo com as limitaes pragmticas de uma avaliao de
larga escala. Como em qualquer avaliao de larga escala, a variedade de formatos de resposta possveis foi limitada,
com mltipla escolha (simples e complexa) e resposta construda (na qual os estudantes escrevem as prprias respostas)
sendo os formatos mais flexveis.

Estudantes de pases diferentes esto mais ou menos familiarizados com esses formatos de resposta. A incluso de itens
em vrios formatos buscou oferecer algum equilbrio entre os formatos mais e menos conhecidos para todos os alunos,
independentemente da nacionalidade.

Os formatos de resposta s tarefas propostas pelos itens do PISA foram:

Mltipla escolha simples: seleo de uma nica alternativa de quatro dadas; seleo de um elemento dentro de um
grfico ou texto.
Mltipla escolha complexa: sries de perguntas do tipo Sim ou No; seleo de mais de uma opo de uma lista
predefinida (menu suspenso) para completar; movimento de elementos de texto ou grficos na tela (arrastar e soltar)
para completar uma tarefa, ordenar ou categorizar; seleo de dados gerados em simulaes.
Respostas construdas ou abertas: itens que solicitam a elaborao de resposta escrita curta (uma frase ou pargrafo)
ou desenho (grfico ou diagrama). Essas respostas podem ser pontuadas por computador ou manualmente, por espe-
cialistas devidamente capacitados.

No delineamento utilizado pelo PISA, nem todos os estudantes respondem a todos os itens. Alguns pases podem ter
um quantitativo maior ou menor de itens aplicados, mas a metodologia utilizada permite equalizar a escala para que os
resultados sejam comparveis entre si. Em 2015, o teste de letramento de leitura para os estudantes brasileiros teve seis
blocos de itens. A distribuio dos itens segundo o formato e dimenses do construto pode ser conferida na Figura 4.2.
Foram 87 itens, todos comuns s edies anteriores do PISA.

Figura 4.2
Distribuio dos itens de leitura por dimenso da matriz e formato de resposta PISA 2015
Formato de resposta
Dimenso Mltipla escolha Mltipla escolha Resposta aberta
Total
simples complexa ou construda
Aspecto
Localizar e recuperar 4 3 15 22
Integrar e interpretar 21 6 17 44
Refletir e analisar 2 1 18 21
Total 27 10 50 87

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 99
4
A avaliao de leitura no PISA 2015

Figura 4.2 (continuao)


Distribuio dos itens de leitura por dimenso da matriz e formato de resposta PISA 2015
Formato de resposta
Dimenso Mltipla escolha Mltipla escolha Resposta aberta
Total
simples complexa ou construda
Formato de texto
Contnuo 20 6 26 52
No contnuo 4 3 21 28
Combinado 3 1 2 6
Mltiplo 1 1
Total 27 10 50 87
Situao
Pessoal 6 2 14 22
Educacional 12 3 11 26
Ocupacional 2 4 14 20
Pblica 7 1 11 19
Total 27 10 50 87
Fonte: OCDE, INEP.

4.5 Como o letramento em leitura reportado no PISA?

O PISA reporta os resultados em termos de escalas de proficincia. A mtrica para a escala de leitura, estabelecida em
2000, baseou-se em uma mdia dos pases participantes de 500 pontos, com desvio-padro de 100 pontos. De modo a
auxiliar a interpretao dos resultados, a escala dividida em nveis de proficincia, que indicam os tipos de tarefas que
os estudantes so capazes de realizar. A descrio dos nveis revista e atualizada toda vez que o domnio avaliado
como principal. Para leitura, isso acontecer em 2018.

Destaca-se, ainda, que o grande diferencial do PISA 2015 em relao s outras edies foi a aplicao da avaliao em
computador. O quadro a seguir apresenta as justificativas tcnicas que possibilitam comparar os resultados de leitura.

Os resultados do teste computadorizado de leitura do PISA 2015


podem ser comparados com os resultados das edies passadas?

Em 2015, pela primeira vez as provas do PISA foram aplicadas integralmente por computador. Houve cuidado especial
em manter a comparabilidade entre as verses em papel e em computador das questes de teste, de modo que os
resultados pudessem ser reportados em uma mesma escala, e o desempenho dos estudantes, comparado entre os pases.

As questes de leitura foram originalmente elaboradas em ciclos anteriores do PISA para a testagem em papel, ento
alguns princpios precisaram ser revistos para a aplicao delas em meio eletrnico. Destacam-se trs revises rea-
lizadas na edio de 2015:

Tipos de item: o computador fornecia uma variedade de tipos de itens, tais como as funcionalidades de menu suspenso
e de arrastar e soltar. Alguns itens que antes eram avaliados por especialistas puderam ser transformados e analisados
automaticamente pelo computador por meio de recursos como destacar partes do texto, conectar elementos no espao
da resposta e clicar em uma parte da figura. Questes abertas, que exigem a construo de uma resposta escrita pelo
estudante, mantiveram seu formato e foram avaliadas por especialistas treinados.

Apresentao do texto: textos curtos foram exibidos em uma nica tela/pgina, e textos mais longos, em uma ou mais.
Nesse ltimo caso, a plataforma do teste assegurou que o estudante pudesse navegar entre as diferentes pginas para
ler todo o texto antes de ver a primeira questo.

Habilidades com computador: assim como provas em papel dependem de habilidades fundamentais para trabalhar
com material impresso, provas eletrnicas exigem conhecimento bsico da estrutura fsica (mquina, mouse, teclado)
e de convenes (setas de movimentao na tela, botes especficos de execuo de comandos). Buscou-se manter

100 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

os requisitos tcnicos nesse nvel e fornecer ao estudante prtica de interao com os diferentes formatos de resposta
e apresentao dos textos-base antes de iniciar a prova.

O pr-teste do PISA 2015 analisou a equivalncia dos itens comuns entre os testes em computador e os baseados em
papel. Distinguiram-se dois nveis de equivalncia: equivalncia escalar (forte) e equivalncia mtrica (fraca) (Meredith,
1993; Davidov, Schmidt e Billiet, 2011, apud OCDE, 2016). Somente os itens que passaram no teste de equivalncia
foram retidos para o estudo principal de 2015.

possvel a comparao dos escores do PISA 2015 com os dos ciclos passados, bem como a dos escores do PISA em
um pas com os de outro pas, graas ao grande nmero de itens comuns que atingem o mais alto nvel de equivalncia
(invarincia escalar). O Anexo AT do relatrio internacional, Volume I, e o Relatrio Tcnico do PISA 2015 (OCDE,
em desenvolvimento) fornecem detalhes sobre o nmero de itens invariantes escalares e sobre o estudo relativo ao
efeito do computador realizado no pr-teste do PISA 2015.

Para captar a progresso da complexidade e da dificuldade no PISA 2015, a escala de letramento em leitura baseou-se
na da edio de 2009 e foi dividida em sete nveis de proficincia. O nvel mais alto o 6 (antes de 2009, era o 5), e
o mais baixo, o 1b (para o PISA 2009 e todas as avaliaes de leitura subsequentes, o nvel 1 foi renomeado 1a e um
novo nvel foi adicionado, o 1b, que descreve os estudantes que teriam anteriormente sido classificados como abaixo
do nvel 1). Esses nveis diferentes de proficincia permitem que os pases conheam mais sobre os tipos de tarefas que
os estudantes com nvel mais alto ou mais baixo de proficincia em leitura so capazes de realizar. No PISA 2015, os
nveis 2, 3, 4 e 5 permaneceram como estavam em 2000.

A Figura 4.3 apresenta a descrio dos sete nveis de proficincia em leitura, bem como o percentual de estudantes da
OCDE e do Brasil no PISA 2015.

Figura 4.3
Descrio e percentual de estudantes nos sete nveis de proficincia em leitura PISA 2015
Percentual de
Escore
Nvel estudantes no Caractersticas das tarefas
mnimo
nvel
Nesse nvel, as tarefas normalmente requerem que o leitor faa mltiplas inferncias, compa-
raes e contrastes com preciso e detalhamento, e que demonstre a compreenso completa
e detalhada de um ou mais textos, podendo envolver a integrao de informaes de mais de
um texto. Podem exigir que o leitor lide com ideias desconhecidas, na presena de informaes
OCDE: 1,11% concorrentes relevantes, e produza categorias abstratas para interpretao. Tarefas de refletir
6 698
Brasil: 0,14% e analisar podem solicitar que o leitor levante hipteses sobre ou avalie criticamente um texto
complexo sobre um assunto desconhecido, levando em considerao critrios ou perspectivas
mltiplos e aplicando interpretaes sofisticadas externas ao texto. Uma condio marcante para
tarefas de localizar e recuperar nesse nvel a preciso da anlise e a ateno refinada a detalhes
pouco perceptveis nos textos.

Nesse nvel, tarefas de recuperao de informao requerem que o leitor localize e organize in-
formaes profundamente integradas, inferindo sobre quais informaes no texto so relevantes.
OCDE: 7,22% Tarefas de refletir pedem avaliao crtica ou levantamento de hipteses, com base em conheci-
5 626
Brasil: 1,31% mento especializado. Tanto tarefas interpretativas como reflexivas exigem uma compreenso total
e detalhada de texto com contedo ou forma no familiar. Para todos os aspectos da leitura, as
tarefas nesse nvel normalmente envolvem lidar com conceitos contrrios s expectativas.

Nesse nvel, tarefas de recuperao de informao requerem que o leitor localize e organize
diversos fragmentos de informao integrada. Algumas tarefas nesse nvel exigem interpretao
do significado de nuances da linguagem em uma parte do texto, levando em considerao o
OCDE: 20,45%
4 553 texto como um todo. Outras tarefas interpretativas nesse nvel exigem que o leitor use conheci-
Brasil: 6,36%
mento pblico ou formal para levantar hipteses ou analisar criticamente um texto. O leitor deve
demonstrar uma compreenso precisa de textos longos ou complexos cujo contedo ou forma
podem no ser conhecidos.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 101
4
A avaliao de leitura no PISA 2015

Figura 4.3 (continuao)


Descrio e percentual de estudantes nos sete nveis de proficincia em leitura PISA 2015
Percentual de
Escore
Nvel estudantes no Caractersticas das tarefas
mnimo
nvel
Nesse nvel, as tarefas requerem que o leitor localize e, em alguns casos, reconhea a relao entre
vrios fragmentos de informao que devem satisfazer mltiplas condies. Tarefas interpretativas
exigem que o leitor integre vrias partes do texto a fim de identificar a ideia principal, entender a
relao ou construir o significado de uma palavra ou orao. O leitor deve considerar muitas carac-
tersticas textuais ao fazer comparaes, diferenciaes e categorizaes. Em geral, a informao
OCDE: 27,91%
3 480 exigida no relevante, h muita informao concorrente ou o texto apresenta outros obstculos,
Brasil: 16,19%
tais como ideias contrrias expectativa ou formuladas de maneira negativa. Tarefas reflexivas
nesse nvel podem solicitar correlaes, comparaes e explicaes ou exigir que o leitor avalie uma
caracterstica do texto. Algumas exigem que o leitor demonstre uma compreenso refinada do
texto em relao a conhecimentos do cotidiano. Outras tarefas no requerem uma compreenso
detalhada do texto, mas pedem que o leitor explore um conhecimento menos comum.
Nesse nvel, algumas tarefas requerem que o leitor localize um ou mais fragmentos de informao,
que podem ter de ser inferidos ou satisfazer diversas condies. Outras exigem o reconhecimento
da ideia principal em um texto, o entendimento de relaes ou a construo de significado den-
OCDE: 23,24% tro de uma parte especfica dele quando a informao no proeminente e o leitor deve fazer
2 407
Brasil: 25,00% inferncias de nvel baixo. Tarefas nesse nvel podem envolver comparao ou contraste com
base em uma caracterstica nica do texto. Tarefas tpicas de reflexo exigem que o leitor faa
uma comparao ou diversas correlaes entre o texto e o conhecimento externo, explorando
sua experincia e atitudes pessoais.
Nesse nvel, as tarefas requerem que o leitor localize um ou mais fragmentos independentes com
informao explcita, reconhea o assunto principal ou a finalidade do autor em um texto sobre
OCDE: 13,59% assuntos conhecidos ou faa uma correlao simples entre a informao no texto e um conhe-
1a 335
Brasil: 26,52% cimento do cotidiano. Normalmente, a informao exigida no texto evidente e h pouca, ou
nenhuma, informao concorrente. O leitor explicitamente direcionado a considerar os fatores
relevantes na tarefa e no texto.

Nesse nvel, as tarefas requerem que o leitor localize um nico fragmento de informao explcita
em uma posio evidente em um texto curto e sintaticamente simples, com contexto e tipo de
OCDE: 5,23% texto conhecidos por exemplo, uma narrativa ou uma lista simples. O texto normalmente fornece
1b 262
Brasil: 17,41% ajuda para o leitor, tal como a repetio da informao, apresentao de figuras ou smbolos
conhecidos. H um mnimo de informao concorrente. Em tarefas que exigem interpretao,
o leitor pode precisar fazer correlaes simples entre fragmentos de informaes adjacentes.
Abaixo OCDE: 1,25%
A OCDE no especifica as habilidades desenvolvidas.
de 1b Brasil: 7,06%
Fonte: OCDE, INEP.

4.6 Quais foram os pontos fortes e fracos dos estudantes brasileiros


em leitura no PISA 2015?
Depois de discutir questes relacionadas matriz referencial de leitura do PISA, apresenta-se uma anlise dos nveis de
dificuldade dos itens desse domnio, para um estudo dos pontos fortes e fracos no desempenho dos estudantes brasileiros.

Dos 87 itens de leitura avaliados na edio do PISA 2015, 70 foram comuns aos pases cujos resultados so comparados
neste captulo, a saber: Brasil (resultado geral e resultado por unidade da Federao), Canad, Colmbia, Costa Rica,
Chile, Mxico, Peru, Uruguai, Estados Unidos, Espanha, Portugual, Coreia do Sul, Finlndia e Repblica Dominicana.

O percentual de estudantes que responderam corretamente a cada um desses itens de leitura variou consideravelmente.
No Brasil, o percentual de respostas corretas foi de 41,4%, em mdia; o Esprito Santo foi o estado com maior percentual
de acerto (48,7%), e Alagoas, o menor (31,2%). Dentre os outros pases estudados, a Finlndia apresentou, em geral, o
maior percentual de respostas corretas (65,6%), e a Repblica Dominicana, o menor (32,3%).

Entender as potencialidades e deficincias relativas ao desempenho dos estudantes com base no percentual de acerto dos
itens cognitivos uma das propostas desta anlise. Enquanto aqui se discute o nvel de dificuldade dos itens conforme

102 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

a Teoria Clssica dos Testes (Pasquali, 2009), na Seo 4.7, o foco so os resultados sob a Teoria de Resposta ao Item.
Segundo Pasquali,

De um modo geral, a psicometria procura explicar o sentido que tm as respostas dadas pelos sujeitos a uma
srie de tarefas, tipicamente chamadas de itens. A Teoria Clssica dos Testes (TCT) se preocupa em explicar o
resultado final total, isto , a soma das respostas dadas a uma srie de itens, expressa no chamado escore total (T).
Por exemplo, o T em um teste de 30 itens de aptido seria a soma dos itens corretamente acertados. Se for dado
1 para um item acertado e 0 para um errado, e o sujeito acertou 20 itens e errou 10, seu escore T seria de 20. A
TCT, ento, se pergunta o que significa este 20 para o sujeito? A Teoria de Resposta ao Item, por outro lado, no
est interessada no escore total em um teste; ela se interessa especificamente por cada um dos 30 itens e quer
saber qual a probabilidade e quais so os fatores que afetam esta probabilidade de cada item individualmente
ser acertado ou errado.

Nesta seo, tambm se estudam as propores de respostas omitidas aos itens do PISA 2015 e os nveis de dificuldade
dos itens para todas as unidades da Federao brasileiras e os 13 pases alm do Brasil. Ao longo do texto, so apre-
sentados, ainda, itens pblicos da edio de 2009 com comentrios pedaggicos a fim de ilustrar a anlise dos pontos
fortes e fracos dos estudantes brasileiros no PISA.

Como identificar pontos fracos e fortes em leitura?

O nvel de dificuldade aqui considerado o ndice Delta, uma medida transformada do percentual de acerto dos itens
utilizada pelo Educational Testing Service (ETS) (Matsumoto; Van de Vijver, 2010). Optou-se por adotar essa mtrica
porque, ao avaliar diretamente o percentual de acerto de um item, pode-se encontrar uma relao distorcida quando
se observam itens com percentuais de acerto relativamente muito altos ou muito baixos. Por exemplo, uma diferena
de 10% entre percentuais de acerto de 95% e 85% menos notvel do que entre 55% e 45% em outras palavras,
a relao entre o percentual de acerto e o nvel de dificuldade dos itens no linear.

Sendo assim, faz-se necessria a transformao do percentual de respostas corretas em uma mtrica linear. O ndice
Delta, bem como a transformao logit (OCDE, 2013), tem o efeito de esticar percentuais de acerto muito baixos e
muito altos em comparao com o percentual de acerto de 50%. A fim de evitar nmeros negativos, fixou-se a mdia
do ndice Delta em 13 e o desvio-padro em 4 (Matsumoto, 2010). Portanto, um valor de Delta de 13 (referncia)
significa que o percentual de acerto do item de 50%. Em geral, o Delta varia entre 1 e 25; quanto maior o ndice,
mais difcil o item para determinada populao.

A primeira anlise de identificao dos pontos fortes e fracos em leitura exploratria dos itens segundo os ndices
Delta por componente da matriz de referncia de leitura (situao, aspecto e formato do texto), alm da anlise por
tipo de item.

Em seguida, realiza-se um estudo sobre a omisso aos itens do PISA 2015. Entendendo que a omisso pode ser con-
siderada um ponto fraco na avaliao, empreende-se uma anlise geral dos itens com maior percentual de omisso
pelos estudantes brasileiros.

Por fim, so examinados itens que se destacaram como pontos fortes e fracos dos jovens de 15 anos, levando em conta
a diferena entre o valor mdio do ndice Delta dos pases selecionados e o do Brasil. Tal metodologia se aproxima
anlise de itens conspcuos apresentada no relatrio Lessons from PISA 2012 for the United States (OCDE, 2013).
Aqui os itens foram considerados destaques quando a diferena entre a mdia do nvel de dificuldade dos itens do
Brasil e a dos pases observados era de pelo menos um desvio-padro (para ambos os lados). Uma vez que os itens
com maior omisso foram avaliados anteriormente, eles no entraram nessa anlise.

Na comparao entre os pases latino-americanos, a mdia das diferenas dos ndices Delta foi 0,35, e o desvio-pa-
dro, 0,61, resultando nos pontos de corte -0,25 e 0,96, respectivamente. Logo, os itens com mdia das diferenas
menor que -0,25 foram considerados pontos fortes, e os com mdia maior que 0,96, pontos fracos. Na anlise
comparada dos pases com alto desempenho, por sua vez, a mdia das diferenas foi 2,49, e o desvio-padro, 0,81,
resultando nos pontos de corte 1,68 e 3,30, respectivamente.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 103
4
A avaliao de leitura no PISA 2015

Vale tambm ressaltar que, nessa anlise dos itens-destaque, incluram-se 13 itens pblicos do PISA 2009, com a
suposio de que eles apresentariam o mesmo nvel de dificuldade se aplicados na forma computadorizada em 2015.
Essa incluso foi importante porque, como no foram liberados novos itens no PISA 2015, realizou-se uma descrio
pedaggica sobre os itens pblicos de 2009 com o intuito de ilustrar a anlise de itens-destaque.

Embora se entenda que o desempenho dos jovens de pases da Amrica Latina no alto em comparao com a
mdia dos da OCDE, essa anlise pretende mostrar que h itens do PISA 2015 que se destacam por serem mais fceis
aos estudantes brasileiros do que aos dos sete pases latino-americanos selecionados. O item R455Q02, por exemplo,
apresentou diferena de quase 1 ponto na escala do Delta com relao a esses pases, podendo indicar que o que
foi medido pelo item no PISA 2015 foi mais bem assimilado pelos alunos brasileiros do que pelo mesmo pblico nos
pases vizinhos (ponto forte). J o item R104Q01 registrou diferena de quase 2 pontos, indicando que, em geral, os
jovens desses pases tiveram melhor desempenho do que os do Brasil nessa tarefa especfica (ponto fraco).

certo que, ao comparar o desempenho dos brasileiros com o dos estudantes com alto desempenho no PISA, o nvel
de dificuldade dos itens para o Brasil ser mais elevado. Contudo, a anlise comparada dos itens-destaque pretende
apontar itens em que o desempenho dos alunos brasileiros no foi muito diferente do dos estudantes de pases ava-
liados (pontos fortes) e outros que se mostraram bastante desafiadores para eles (pontos fracos).

A dificuldade dos itens


Como visto antes, a aplicao do PISA 2015 no Brasil foi completamente computadorizada. A Figura 4.4 compara a
distribuio dos nveis de dificuldade dos itens do teste de leitura para os estudantes brasileiros no PISA 2015.

Figura 4.4
ndice de dificuldade (Delta) dos 87 itens de leitura para os estudantes brasileiros PISA 2015

24

22

20

18

16

14

12

10

Fonte: OCDE, INEP.

No contexto brasileiro, aproximadamente 40% dos itens possuam nvel de dificuldade Delta menor ou igual a 13, ou
seja, dois em cada cinco itens apresentaram um percentual de acerto igual ou superior a 50%.

A Figura 4.5 apresenta a distribuio do ndice Delta segundo o desempenho geral dos jovens brasileiros por unidade
da Federao, bem como o de estudantes de um conjunto de pases (destacados em negrito). Como na montagem dos
testes do PISA nem todos os alunos so submetidos a todos os itens, para comparar os resultados entre os estados e os
pases selecionados nesta anlise, sero considerados os 70 itens comuns entre eles. Esses itens foram aplicados em com-
putador tanto no Brasil como nos pases comparados. Vale lembrar tambm que a escala do Delta contnua e, devido
prpria natureza da medida, quanto maior o ndice, menor o percentual de estudantes respondendo corretamente
aos itens (apresentado em parnteses).

104 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

Figura 4.5
ndices de dificuldade (percentual de acerto e Delta) dos 70 itens comuns de leitura
por pas e unidade da Federao PISA 2015

Alta dificuldade

Alagoas (31,2%) 14,96


Repblica Dominicana (32,1%)
Bahia (33,7%)
Tocantins (33,9%)
Sergipe (34,5%) 14,60
Maranho (34,6%)
Rio Grande do Norte (35%)
Paraba (35,1%)
Amap (36%)
Piau (36,3%)
Rondnia (36,5%)
Pernambuco (38,7%)
Mato Grosso (38,8%)
Par (39,3%)
Roraima (39,6%)
Peru (39,8%) 14,03
Rio de Janeiro (40,7%)
Acre (40,8%)
Rio Grande do Sul (40,9%)
Brasil (41,3%)
Amazonas (41,7%)
Cear (41,7%) 13,84
Gois (42,8%)
Mato Grosso do Sul (43,0%)
Santa Catarina (43,5%)
So Paulo (43,6%) 13,65
Colmbia (44%)
Mxico (44%)
Paran (45,4%)
Minas Gerais (46,1%)
Uruguai (46,4%)
Distrito Federal (46,4%)
Costa Rica (46,6%) 13,34
Esprito Santo (48,6%)
Chile (51,9%) 12,81
Espanha (58,9%)
Portugal (59,8%)
Estados Unidos (60%) 11,99
Coreia do Sul (64,4%)
Canad (64,9%)
Finlndia (65,5%) 11,41

Baixa dificuldade

Fonte: OCDE, INEP.

De acordo com esses dados, nota-se que a mdia do ndice Delta (nvel de dificuldade) dos itens de leitura no PISA 2015
foi mais alta para o Brasil do que para alguns pases da Amrica do Sul, como Colmbia, Uruguai e Chile. No Brasil,
verifica-se que os itens de leitura foram mais fceis para estudantes do Esprito Santo, Distrito Federal, Minas Gerais,
Paran, So Paulo, Santa Catarina, Mato Grosso do Sul, Cear e Amazonas, os quais apresentaram ndices Delta menores
do que a mdia nacional, de 13,87.

Em relao ao percentual de respostas corretas, a mdia do Brasil foi de 41,3%, inferior mdia obtida por pases da
OCDE, tais como Finlndia (65,5%), Canad (64,9%), Coreia do Sul (64,4%), Estados Unidos (60,0%), Portugal (59,8%),
Espanha (58,9%) e Chile (51,9%).

A seguir, realiza-se uma anlise do nvel de dificuldade para cada componente da matriz da avaliao de leitura.

ndice Delta por situao


A caracterstica do domnio de avaliao de leitura denominada situao classifica um conjunto de contextos e fina-
lidades amplas para a atividade de leitura. As variveis so: educacional, ocupacional, pessoal e pblica.

A Figura 4.6 apresenta o nvel de dificuldade dos itens de leitura de acordo com essas categorias, com base nos resul-
tados do PISA 2015.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 105
4
A avaliao de leitura no PISA 2015

Figura 4.6
Dificuldade dos itens de leitura segundo situao por pas e unidade da Federao PISA 2015

Educacional (n=19) Ocupacional (n=15) Pessoal (n=22) Pblico (n=10)


19

17

15

13

11

Fonte: OCDE, INEP.

Com base nesses dados, observa-se que os estudantes brasileiros mostraram melhor desempenho em itens com textos
representativos de situao pessoal, os quais apresentaram menor ndice de dificuldade. De outro lado, itens com textos
de situao pblica foram mais difceis para eles, bem como para os participantes do PISA 2015 de modo geral.

Os textos de situao pessoal referem-se satisfao de interesses pessoais do leitor e esto no mbito da leitura como
parte de atividades de lazer. Na leitura digital, a situao pessoal representada por e-mails pessoais, mensagens instan-
tneas e blogs, que so cada vez mais comuns no dia a dia dos jovens de 15 anos. Em outros cenrios, a situao pessoal
faz-se presente na leitura de cartas pessoais, textos literrios, biografias e textos informativos em geral, aproximando-se
mais do entretenimento.

O menor nvel de dificuldade apresentado pelos alunos nos itens cujos textos representavam situaes pessoais deveu-se,
em parte, ao trabalho desenvolvido no Ensino Fundamental, que, normalmente, favorece a ampliao das prticas de leitura
literria prosa e poesia , colaborando para a formao do leitor nessa esfera. Uma anlise dos livros didticos mais utilizados
nas salas de aula brasileiras comprova que, ao lado da literatura, esse nvel de ensino privilegia tambm a esfera jornalstica
com reportagens, entrevistas , bem como gneros publicitrios propagandas , textos da tradio oral causos, anedo-
tas e das artes grficas histrias em quadrinhos, tirinhas. Assim porque a escola busca aliar o contedo a ser trabalhado
ao interesse dos alunos e a uma recepo mais amistosa do texto, por este trazer algum prazer leitura. Alm disso, com
frequncia, o contato com esses textos se d fora da escola. Em seu dia a dia, os estudantes se engajam em atividades signi-
ficativas que pressupem a leitura e compreenso e/ou produo de e-mails, mensagens instantneas e postagens em blogs.

No Brasil, os jovens de 15 anos, em geral, esto terminando o Ensino Fundamental ou iniciando o Ensino Mdio. Portanto,
justifica-se o resultado ora discutido acerca dos itens que apresentaram textos caractersticos de situao pessoal. So
esses os textos com os quais os alunos tiveram maior contato at ento, o que justifica sua maior familiaridade com eles.

A maioria dos textos lidos em sala da aula est em livros didticos, ferramenta de apoio ao trabalho do professor e
muito presente em grande parte das escolas. Os livros mais usados so os aprovados pelo Programa Nacional do Livro
Didtico (PNLD) e distribudos pelo governo federal s escolas pblicas do pas. Uma leitura do guia PNLD 2017: lngua
portuguesa (Brasil, 2016, p. 29-30), que trata da coletnea de textos nas obras didticas aprovadas pelo programa para
os anos finais do Ensino Fundamental, por exemplo, pode comprovar a maior incidncia dos gneros representativos
de situao pessoal em todos eles.

A situao pblica, por sua vez, caracteriza-se por textos oficiais, notcias e notas pblicas, impressas ou digitais. uma
situao que desperta menos interesse do pblico do PISA, embora configure gneros textuais previstos no contexto
escolar. Dois fatores podem justificar o fato de os itens construdos com base em textos que representam situao pblica

106 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

terem sido os mais dfceis no s para os alunos brasileiros, mas tambm para os demais participantes do PISA 2015
de modo geral. O primeiro deles a falta de afinidade dos jovens de 15 anos com textos cujos temas se relacionam a
atividades e questes da sociedade como um todo, o que inclui notcias, documentos e informaes oficiais sobre eventos
pblicos. O segundo, mais diretamente associado prtica pedaggica, a quase ausncia de gneros textuais da esfera
situacional pblica nos livros didticos, sejam eles do Ensino Fundamental, sejam do Ensino Mdio.

Como dito antes, nos livros do Ensino Fundamental, predominam textos da esfera situacional pessoal. J nos do Ensino
Mdio, h marcadamente textos da tradio literria brasileira, orientados para a formao do leitor de literatura, e uma
abordagem menos intensa e menos sistemtica dos gneros em circulao nas esferas pblicas. Assim, por no serem
objeto de trabalho sistemtico na escola, esses textos so menos conhecidos dos alunos, ocasionando resultados negativos
na avaliao dos itens que neles se baseiam.

Outro dado chama a ateno na Figura 4.6: para estudantes de pases membros da OCDE, tais como Coreia do Sul,
Finlndia e Canad, itens com textos representativos de situao ocupacional tendem a ser mais fceis. A leitura ocu-
pacional est relacionada realizao de tarefas imediatas pertencentes ao mundo do trabalho, entre elas a busca de
um emprego em anncios de jornais impressos ou online. Nas tarefas propostas pelos itens com textos-base da esfera
ocupacional, caracterizadas como ler para fazer (Sticht, 1975; Stiggins, 1982 apud OCDE, 2016), os alunos brasileiros
no tiveram bom desempenho.

O mundo do trabalho no tem, normalmente, representao em nossas escolas, menos ainda nas aulas de lngua por-
tuguesa. A preocupao quase exclusiva da escola com o prosseguimento dos alunos nos estudos e, por conseguinte,
com seu sucesso nas avaliaes para o ingresso na universidade afasta das aulas textos que poderiam levar a ateno
dos estudantes para o mundo do trabalho e para o exerccio da cidadania.

Alm disso, o fato de, no Brasil, os jovens comearem a trabalhar a partir de 16 anos no pode ser tomado como um em-
pecilho para a leitura e compreenso exitosas de textos de situao ocupacional no PISA, sob a alegao de que se trata de
algo ainda distante da realidade de parte dos estudantes que realizam o exame. preciso considerar que os itens, de modo
geral, pressupem a resoluo de problemas. Na prova que avalia o letramento em leitura, a resoluo de problemas perpassa
o contexto laboral, sendo imprescindvel que os alunos sejam capazes de interpretar e analisar textos pertencentes a esse
contexto, processos que vo alm do domnio da forma de um ou de outro gnero. Conhecer o modo como se estrutura
um anncio de emprego pode ser insuficiente; necessrio saber fazer algo com base nele. Nesse sentido, a avaliao do
PISA procura estabelecer uma relao bastante direta entre os textos e os contextos extraescolares em que estes circulam.

Quanto aos textos representativos de situao educacional, pode-se dizer que so os mais recorrentes na escola, pre-
sentes em quase todas as disciplinas das diferentes reas do conhecimento. So textos que oferecem informaes a
serem adquiridas pelos alunos no processo de aprendizagem. Essa aquisio se d com a mediao do professor ou no,
funcionando como parte de uma tarefa maior de aprendizado. No mbito da escola, esses textos no so escolhidos
pelos estudantes, mas pelo professor, e constituem veculos para o contedo a ser trabalhado. Esto presentes em livros
didticos e em outros materiais para a leitura que o professor possa, eventualmente, levar para as aulas.

O nvel de dificuldade apresentado pelos jovens brasileiros nos itens cujos textos representam situaes educacionais
sugere que em nossa escola, grosso modo, no se desenvolve um trabalho sistemtico com os gneros didticos. Mais
do que isso, a escola no assumiu ainda o fato de que ensinar a ler e tambm a escrever deve ser um compromisso
de todas as reas. No basta, portanto, que o professor de lngua portuguesa invista em leitura levando em conta as
variveis de situao pessoal, pblica e ocupacional. preciso que os alunos sejam capazes de ler textos, tambm,
da esfera educacional. Construindo essa habilidade, eles podero ler para aprender (Sticht, 1975; Stiggins, 1982 apud
OCDE, 2016), na escola e ao longo da vida.

O desenvolvimento da habilidade de leitura de textos educacionais levado a cabo pelos professores em todas as reas do
conhecimento aqui includa a lngua portuguesa fundamental para que os estudantes sejam leitores proficientes em
todas as disciplinas escolares. H uma crena enraizada na escola de que os alunos no entendem textos e enunciados de
questes que leem em diferentes disciplinas, e, normalmente, a culpa desse resultado negativo recai sobre o professor
de lngua portuguesa. preciso esclarecer, ento, que ler na disciplina de lngua portuguesa no o mesmo que ler em
matemtica, em histria, em biologia, em ingls etc. H diferenas profundas em relao a vocabulrio, a gneros e tipos
textuais, a suportes, explorao das mltiplas linguagens, aos objetivos de leitura etc. Nesse sentido, todo professor de-
veria ser, tambm, professor de leitura em sua disciplina, considerando as especificidades de sua rea de conhecimento.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 107
4
A avaliao de leitura no PISA 2015

Na prova dos brasileiros, a distribuio dos itens de leitura de acordo com a situao mostra um equilbrio entre os
textos-base das quatro variveis pessoal, educacional, ocupacional e pblica , havendo um predomnio pouco sig-
nificativo da educacional (Figura 4.7). Esse equilbrio, entretanto, no se reflete em nossas escolas, que apresentam um
trabalho que privilegia os textos da esfera pessoal, tratando muito pouco, ou quase nada, dos que representam as demais
situaes de leitura. Por isso, o resultado de nossos alunos, nesse quesito, no poderia ser diferente.

Figura 4.7
Distribuio dos itens de leitura de acordo com a situao PISA 2015
Situao
Pessoal 21
Educacional 26
Ocupacional 20
Pblica 20
Fonte: OCDE, INEP.

Esse dado deve ser considerado quando se avaliam os resultados apresentados pelos jovens brasileiros. O PISA, pela
prpria natureza do exame, avalia estudantes inseridos em culturas escolares muito diferentes entre si, fato que sempre
se refletir em seus resultados.

ndice Delta por formato de texto


A caracterstica do domnio de avaliao de leitura denominada formato de texto classifica os textos presentes nos
itens da prova conforme as seguintes categorias: contnuo, no contnuo, combinado e mltiplo.

A Figura 4.8 apresenta o nvel de dificuldade dos itens de leitura de acordo com as categorias de formato de texto,
com base nos resultados do PISA 2015.

Figura 4.8
Dificuldade dos itens de leitura segundo formato de texto por pas e unidade da Federao PISA 2015

Contnuo (n=42) Combinado (n=6) Mltiplo (n=1) No contnuo (n=17)


19

17

15

13

11

Fonte: OCDE, INEP.

Com base nesses dados, nota-se que os itens com textos no formato combinado foram mais difceis para os alunos
participantes do PISA ndices Delta mais altos, de modo geral. Os textos combinados caracterizam-se pela juno de
pargrafos em prosa textos contnuos e de listas, grficos, tabelas, diagramas, ndices textos no contnuos. So fre-
quentemente encontrados em revistas, relatrios e pginas da internet. A combinao de textos feita pelo encadeamento
de ideias coerentes e coesas entre si, o qual deve ser identificado pelo estudante para responder s questes da prova.

108 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

Alguns textos no contnuos, muitas vezes, j se apresentam como uma dificuldade para os alunos, que nem sempre
conseguem fazer uma leitura eficiente deles. So textos mais comuns em outras disciplinas, no em lngua portuguesa,
que, quando os aborda, o faz, em geral, como se fossem um elemento complementar, subordinado ao texto contnuo,
verbal, seu objeto de ensino. De outro lado, o tratamento que os textos no contnuos recebem nas demais disciplinas
costuma ser o mesmo recebido pelos contnuos: a leitura visa buscar informaes explcitas, sem atentar para os aspectos
formais e organizacionais desse modelo de texto, que tambm constroem significados. Os textos no contnuos devem
ser, tambm, lidos, mas no da mesma forma que os contnuos. Sua leitura tem de ser ensinada, sobretudo, pelos
professores das disciplinas em que eles so mais recorrentes.

Essa dificuldade de leitura torna-se maximizada quando h a combinao de textos contnuos e no contnuos, configu-
rando o texto mltiplo. Nesse formato de texto, o encadeamento de segmentos contnuos e no contnuos deve refletir-se
na organizao de suas ideias, em sua coerncia e sua coeso, o que tem de ser analisado pelo aluno na busca da cons-
truo do sentido dessa categoria de texto. bastante comum leitores menos estratgicos e/ou experientes considerarem
os textos no contnuos elementos meramente ilustrativos, algo que tambm ocorre com elementos contextuais como
o ttulo do texto, o nome do autor, o local e a data de publicao. Parece haver, entre esses leitores, a crena de que ler
um texto ler um conjunto de pargrafos em prosa, ou seja, textos contnuos.

Para os estudantes brasileiros conquistarem resultados mais satisfatrios no PISA em relao leitura de textos combinados,
torna-se necessrio o desenvolvimento de um trabalho em sala de aula que amplie sua conscincia sobre a importncia
dos textos no contnuos para a compreenso dos textos combinados, visto que eles, entre outros fatores, podem ativar
o conhecimento de mundo do leitor sobre determinado assunto, levar o leitor a formular hipteses sobre as demais
informaes que sero apresentadas, organizar um conjunto de ideias, explicar visualmente um conceito, resumir infor-
maes, apresentar informaes suplementares, esquematizar os pontos principais do texto. O trabalho deve privilegiar
o reconhecimento das funes que os textos no contnuos desempenham nos textos combinados, favorecendo, assim,
o desenvolvimento de estratgias de leitura mais eficazes.

Os itens com textos contnuos apresentaram Deltas mais baixos nos dados referentes ao desempenho dos estudantes
brasileiros, com exceo dos estados do Esprito Santo, Minas Gerais, Paran, Distrito Federal, Acre, Rio de Janeiro e
Paraba, para os quais o item com texto mltiplo teve ndice mais baixo. O item com texto mltiplo tambm foi mais
fcil para os alunos de pases da OCDE, como se observa nos ndices para Finlndia, Canad, Coreia do Sul, Portugal,
Estados Unidos, Espanha e Chile. Em 2018, quando leitura ser o foco da edio do PISA, um quantitativo maior de itens
com textos mltiplos ser avaliado, o que poder confirmar tal tendncia. O formato de texto contnuo caracteriza-se
pela organizao em oraes e pargrafos, tpicos em reportagens de jornais, textos argumentativos, contos e romances,
por exemplo. O formato de texto mltiplo definido pela justaposio de textos independentes entre si, os quais podem
apresentar ideias complementares ou contraditrias.

O fato de os ndices Delta mais baixos para os estudantes brasileiros estarem nos itens cujos textos-base so contnuos
comprova o que se evidencia nos livros didticos das escolas brasileiras: a presena infinitamente majoritria de textos
contnuos, mesmo em livros didticos de outras disciplinas, da a maior intimidade dos alunos com esse formato de texto.

Uma prtica escolar que pode favorecer o desempenho dos jovens brasileiros no PISA em relao a textos mltiplos
baseia-se na apresentao de uma coletnea de textos sobre determinado assunto. O objetivo a ser definido para a lei-
tura da coletnea seria o de identificar textos entre os quais possvel estabelecer uma relao de complementaridade e
textos entre os quais possvel estabelecer uma relao de oposio. Para alm da atividade de leitura, seria igualmente
importante selecionar os textos mais adequados para cumprir algumas tarefas e no outras. Para exemplificar, depois
de ler diferentes crticas a certo livro, os estudantes poderiam decidir qual seria o texto mais adequado para convencer
outros leitores (ou eles mesmos) a ler o livro e, em seguida, identificar os elementos que corroboram o carter persuasivo
do texto escolhido.

ndice Delta por aspecto


A caracterstica do domnio de avaliao de leitura denominada aspecto refere-se a estratgias ou propsitos utilizados
pelo leitor para interagir com o texto. So eles: localizar e recuperar; integrar e interpretar; e refletir e analisar.

A Figura 4.9 apresenta o nvel de dificuldade dos itens de leitura de acordo com as categorias de aspecto, com base
nos resultados do PISA 2015.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 109
4
A avaliao de leitura no PISA 2015

Figura 4.9
Dificuldade dos itens de leitura segundo aspecto por pas e unidade da Federao PISA 2015

Localizar e recuperar (n=18) Integrar e interpretar (n=34) Refletir e analisar (n=14)


19

17

15

13

11

Fonte: OCDE, INEP.

Em relao aos aspectos do construto da avaliao de leitura, o ndice mdio de dificuldade Delta para os dados do Brasil
revela que os itens que envolviam localizar e recuperar informao foram mais fceis para os estudantes brasileiros, e os
que envolviam integrar e interpretar, mais difceis. Essa uma tendncia observada nos resultados de todas as unidades
da Federao e dos demais pases apresentados analisados, uma vez que localizar e recuperar informao o nvel
mais elementar do trabalho desenvolvido com as estratgias de leitura e est presente desde o incio da escolarizao,
quando os alunos aprendem a ler. Outras razes para isso so a concepo de leitura como decodificao que, ainda
hoje, perpassa as atividades desenvolvidas em sala de aula e a prtica escolar de compreenso de textos, em que se
fazem perguntas sobre informaes que aparecem explicitamente nos textos.

A leitura um processo interativo muito diferente da decodificao. Embora as habilidades para a decodificao (conhe-
cimento da correspondncia entre o som e a letra) sejam necessrias para a leitura, o processo de leitura implica uma
atividade de procura por parte do leitor, no seu passado, de lembranas e conhecimentos, daqueles que so relevantes
para a compreenso de um texto que fornece pistas e sugere caminhos, mas certamente no explicita tudo o que seria
possvel explicitar (Kleimam, 2011, p. 26-7).

O aspecto integrar e interpretar requer do estudante a habilidade de relacionar partes do texto e desenvolver uma interpre-
tao. Integrao e interpretao so imprescindveis para que o leitor elabore um entendimento amplo do texto, por meio
da identificao de semelhanas e diferenas entre suas partes, da comparao entre elas ou do estabelecimento de relaes
de causa e efeito. O nvel de dificuldade desse aspecto pode estar relacionado ao tipo de informao, implcita ou explcita,
ou ao grau de inferncia requerido. As atividades de leitura formuladas com base no aspecto integrar e interpretar trabalham
com a formulao de inferncia, com a apreenso de aspectos temticos e composicionais dos textos e dos gneros, de
aspectos lexicais e estilsticos. Para que os alunos desenvolvam essas capacidades de leitura e resolvam as atividades pro-
postas pelo item, preciso que mobilizem conhecimentos prvios e conhecimentos lingusticos, textuais e sobre os gneros.

A mdia do ndice de dificuldade Delta do Brasil para o aspecto refletir e analisar foi bastante prxima da mdia para
localizar e recuperar informao: 13,82 e 13,60 respectivamente. Refletir e analisar envolvem a relao de informaes
presentes no texto com experincias prprias do leitor e seu conhecimento de mundo, o levantamento de hipteses e o
julgamento de aes e atitudes. Os itens que avaliam esse aspecto podem solicitar do estudante a articulao e defesa
de seu ponto de visto sobre um assunto suscitado pelo texto, bem como requerer que ele detecte sutilezas na linguagem
empregada pelo autor do texto ou identifique determinados estilos de escrita, objetivos e atitudes do autor.

Essa aproximao entre os nveis de dificuldade auferidos nos itens que avaliam os aspectos localizar e recuperar in-
formao e refletir e analisar considerados mais fceis do que integrar e interpretar pode ser justificada, primeiro,

110 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

pelo fato de os itens que focam o aspecto refletir e analisar pressuporem a capacidade de localizar informaes ou de
recuper-las e, depois, para alm disso, pelo fato de solicitar-se aos alunos que estabeleam relaes entre a informao
em foco no texto e o mundo que existe fora desse texto, sua realidade, sua vida.

Ou seja, pensar sobre sua realidade, sobre si mesmos est muito mais prximo dos estudantes do que pensar sobre a
estrutura do texto, sobre como ele se organiza, sobre as relaes que se constroem em seu interior com base nas estru-
turas gramaticais que entram em sua composio, capacidades exigidas pelo aspecto integrar e interpretar, considerado
o mais difcil para os participantes do PISA.

No h dvida de que a escola vem investindo mais nas habilidades de leitura. Entretanto, ainda estamos muito presos
a um trabalho de leitura cujo foco a superfcie do texto que se oferece aos olhos do leitor, em busca de informaes
especficas, localizadas ou, em outro extremo, da opinio do aluno, seu posicionamento sobre o que diz o texto. O
trabalho com a leitura de textos verbais exige mais do que isso. Um investimento na anlise das estruturas e categorias
gramaticais e do lxico empregados pelo autor em seu texto pode dizer muito sobre sua inteno comunicativa. preciso
que a leitura passe, tambm, por uma reflexo sobre a estrutura lingustica do texto, material por meio do qual ele
construdo. muito raro que apaream, nos livros didticos, por exemplo, abordagens que foquem os efeitos de sentido
das escolhas lingusticas e valorizem aspectos discursivos de categorias da lngua.

ndice Delta por tipo de item


A Figura 4.10 apresenta o nvel de dificuldade dos itens de leitura segundo o tipo de item.

Figura 4.10
Dificuldade dos itens de leitura segundo tipo de item por pas e unidade da Federao PISA 2015

Mltipla escolha complexa (n=7) Resposta aberta (n=37) Mltipla escolha simples (n=22)
19

17

15

13

11

Fonte: OCDE, INEP.

Esses dados mostram uma tendncia geral no nvel de dificuldade de acordo com o tipo de item presente na prova do
PISA. Os de mltipla escolha simples so os mais fceis, com ndice Delta abaixo da mdia de 13 pontos, uma vez que
demandam a seleo de uma alternativa dentre quatro fornecidas ou a seleo de um elemento dentro de um texto.

Os itens com nvel de dificuldade mais alto so do tipo mltipla escolha complexa, podendo envolver a seleo de uma
ou mais opes de uma lista predefinida, a movimentao de elementos de textos ou grficos na tela ou a ordenao,
categorizao e seleo de dados gerados em simulaes.

Os itens de resposta aberta, que requerem a elaborao de resposta escrita curta, apresentaram nvel de dificuldade
mdio para os estudantes brasileiros.

Diferentes formatos de resposta so requeridos nas provas do PISA, de modo a oferecer algum equilbrio entre aqueles
mais ou menos conhecidos pelos estudantes ao redor do mundo. O de mltipla escolha simples o mais recorrente

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 111
4
A avaliao de leitura no PISA 2015

em avaliaes em larga escala. Os dados mostrados na Figura 4.10 confirmam a familiaridade dos brasileiros com esse
formato de resposta, de maneira similar tendncia de outros pases.

Os itens de mltipla escolha complexa representam uma particularidade da avaliao proposta pelo PISA. Os demais
exames de avaliao da Educao Bsica em larga escala elaborados no Brasil, diferentemente, restringem-se a itens
de mltipla escolha. Essa considerao se faz necessria, visto que o conhecimento da estrutura do PISA, bem como a
prtica de exerccios com formatos semelhantes aos empregados no exame, pode influenciar o desempenho dos estu-
dantes. No entanto, o treinamento no deve se sobrepor formao de um bom leitor, uma vez que um estudante bem
formado tem de ser capaz de responder a qualquer tipo de item.

Outra particularidade do PISA relacionada forma dos itens que talvez possa representar uma dificuldade para os alunos
brasileiros refere-se instruo inicial apresentada na tela do computador: Consulte o texto direita. Nas prticas
escolares comumente adotadas no Brasil, consultar no sinnimo de ler ou de ler atentamente, e sim de procurar
dados. Em certa medida, a instruo presente na prova, alm de representar uma limitao imposta pela maneira como
os itens devem ser traduzidos do ingls e do francs, pode sugerir aos estudantes que no necessrio ler o texto, mas
meramente passar os olhos pelas linhas em busca de alguma resposta.

importante considerar que o resultado brasileiro no PISA pode ser influenciado por fatores exgenos, como o aponta-
do, e, em certa medida, agravado pelo fato de o exame ainda ser pouco conhecido no territrio nacional. Se os alunos
selecionados desconhecem a importncia de sua participao na prova, bastante provvel que se engajem pouco na
resoluo dos itens propostos.

A omisso aos itens


Um item deixado em branco seguido de outro com resposta vlida foi considerado como erro para os participantes do
PISA. A alta ocorrncia desses casos pode prejudicar uma justa anlise dos resultados de um pas. A Figura 4.11 apresenta
a mdia dos percentuais de respostas omitidas pelos estudantes no teste de leitura nos pases analisados e nas unidades
da Federao brasileiras.

Figura 4.11
Mdia dos percentuais de casos omissos em leitura por pas e unidade da Federao PISA 2015

18%

16%

14%

12%

10%

8%

6%

4%

2%

0%

Fonte: OCDE, INEP.

No PISA 2015, o Brasil apresentou um percentual mdio de 9,4% de respostas omitidas, a terceira maior mdia entre os
pases comparados Uruguai teve 10,5%, e Repblica Dominicana, 12,2%. Nas unidades da Federao, houve variao
de 6,2% a 16,5% de omisso de itens.

A Figura 4.12 mostra os percentuais de omisso pelos estudantes brasileiros em cada item do teste de leitura que varia-
ram de 0% a 44,8%.

112 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

Figura 4.12
Percentuais de casos omissos por item de leitura, Brasil PISA 2015

50%

45%

40%

35%

30%

25%

20%

15%

10%

5%

0%

Fonte: OCDE, INEP.

Em leitura, 13 itens tiveram mais de 20% de respostas omitidas pelos jovens brasileiros, todos de resposta aberta. Esse
pode ter sido um fator determinante para os estudantes t-los deixado em branco.

De maneira geral, observa-se que itens desse tipo envolvem textos mltiplos e combinados (textos em prosa, tabelas,
grficos, mapas) com alto grau de informatividade e grande quantidade de dados que devem ser comparados, contras-
tados e integrados a fim de que hipteses e opinies sejam elaboradas pelos alunos.

A Figura 4.13 apresenta um resumo da relao entre o formato de texto e o aspecto avaliado nos 13 itens com maior
percentual de omisso para os brasileiros. Destaca-se a recorrncia de textos no contnuos especialmente no aspecto
refletir e analisar.

Figura 4.13
Distribuio dos 13 itens de leitura com maior percentual de omisso PISA 2015

Localizar e recuperar Integrar e interpretar Refletir e analisar

Educacional, 1 Ocupacional, 2

Educacional, 1 Ocupacional, 1 Pessoal, 2

Educacional, 2 Ocupacional, 1 Pessoal, 1 Pblico, 2

Fonte: OCDE, INEP.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 113
4
A avaliao de leitura no PISA 2015

Nesta anlise, deve-se considerar que, tradicionalmente, a escola desenvolve o trabalho de leitura com foco em um nico
texto. Assim, para os estudantes brasileiros, lidar com textos mltiplos e combinados pode parecer algo novo, com que
eles esto pouco familiarizados. no final do Ensino Mdio, em regra, que se percebe um investimento na explorao de
mais de um texto, mas em atividades cujo objetivo o desenvolvimento da escrita por exemplo, propostas de redao
com coletnea de textos. Ao longo do Ensino Fundamental, so mais comuns atividades pautadas na explorao de de-
terminado gnero e no na relao que se possa estabelecer entre diferentes gneros ou entre textos do mesmo gnero.
Para os alunos, essa abordagem relativamente nova se comparada s prticas escolares de leitura a que esto habituados.

A seguir, apresenta-se uma anlise de nove itens de leitura do PISA 2015 com alto percentual de omisso pelos estudantes
brasileiros, a ttulo de ilustrao.1

Exemplo 1: unidade Emprego


Item Unidade Percentual de omisso
R219Q01EC Emprego 44,79%
R219Q01C Emprego 39,67%
R219Q02C Emprego 23,07%

A unidade Emprego era formada por um texto no contnuo um formulrio e trs itens. Os itens R219Q01EC e
R219Q01C apareciam juntos e solicitavam o preenchimento de campos de um formulrio de solicitao de emprego
atendendo a requisitos previamente fornecidos no item, tais como disponibilidade, localizao residencial e acesso a
transporte. O item R219Q02C era uma pergunta sobre a opinio dos alunos a respeito de informaes requeridas no
formulrio.

O alto ndice de omisso nessa unidade pode estar relacionado pouca familiaridade dos estudantes brasileiros de 15
anos com textos tpicos do ambiente profissional. Soma-se a isso o fato de o formulrio apresentar vrios elementos alm
das informaes requeridas pelos itens. Outro fator que talvez explique a omisso a ausncia de contextualizao da
unidade, a qual no situava os alunos na condio de candidatos a emprego nem fornecia informaes sobre possveis
vagas de trabalho ofertadas.

O texto dessa unidade era representativo da situao ocupacional e, como salientado anteriormente, o mundo do trabalho
tem tido pouco espao nas escolas brasileiras.

Exemplo 2: unidade Polo Sul


Item Unidade Percentual de omisso
R220Q01 Polo Sul 31,86%

A unidade Polo Sul era composta por um texto contnuo e um no contnuo um grfico e cinco itens. O item R220Q01,
o primeiro apresentado aos estudantes, solicitava que se traasse, em um mapa, a rota seguida por um grupo de expedi-
cionrios, associando as informaes fornecidas no texto contnuo s indicaes geogrficas do mapa.

O alto ndice de omisso nessa unidade pode estar relacionado complexidade do texto verbal, que trazia grande quan-
tidade de dados, e do mapa, que continha a delimitao de reas da regio explorada, setas indicativas, informaes
sobre latitude e longitude, linhas imaginrias e representao pictrica de cordilheira e baa. A incidncia de tantos
elementos pode ter dificultado a leitura dos textos pelos estudantes. Soma-se a isso a demanda da associao de dados
do texto contnuo representao cartogrfica para que fosse traada a rota solicitada no enunciado do item. Ademais,
provvel que os alunos no tivessem familiaridade com o formato de mapa apresentado.

Embora se procure avaliar o aspecto localizar e recuperar informao, em que os estudantes brasileiros demonstraram
ter mais facilidade, nesse item, especificamente, o ndice Delta revelador de que o nvel de dificuldade resultado no

1. Nenhum dos itens com alto percentual de omisso pblico, por isso se realiza apenas uma descrio geral.

114 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

s do aspecto avaliado, mas tambm de um conjunto de variveis, entre elas os gneros que compunham o item, seu
grau de informatividade e a forma como o comando foi construdo. Enquanto os itens subsequentes eram de mltipla
escolha simples, o primeiro demandava uma ao mais complexa que, em certa medida, pode ter desencorajado os
alunos de realiz-la.

preciso salientar que mapas e outros textos no verbais precisam ser tratados como verdadeiros textos em todas reas
do conhecimento, j que podem tanto complementar a leitura de textos verbais como ser eles prprios os textos a serem
lidos e interpretados.

Outro elemento que talvez ajude a explicar o ndice de omisso o fato de esse item ter sido construdo com base em
textos oriundos da situao educacional, comprovadamente mais difceis para os estudantes brasileiros, como apontado
anteriormente.

Exemplo 3: unidade Idiomas do mundo


Item Unidade Percentual de omisso
R412Q08 Idiomas do mundo 28,61%

A unidade Idiomas do mundo explorava a noo de texto mltiplo, constitudo por um texto combinado que continha
uma sequncia de texto contnuo, um grfico, uma tabela e um mapa ilustrativo e um texto contnuo. O item R412Q08,
o terceiro de quatro, solicitava uma resposta dissertativa na qual os estudantes deviam identificar uma contradio entre
a tabela presente no texto combinado e o primeiro pargrafo do texto contnuo.

Esse item avaliou o aspecto integrar e interpretar, comprovadamente considerado mais difcil pelos brasileiros, o que
pode ter sido um dos fatores determinantes do alto ndice de omisso. Outro razo que teria contribudo para esse
resultado seria o fato de que, embora os textos tratassem da mesma temtica a quantidade de idiomas no mundo ,
as informaes eram oferecidas em formatos diferentes. O tratamento diferenciado da informao nos textos (em uma
tabela e em um pargrafo) talvez possa se configurar como um complicador do processo de leitura, desestimulando a
resposta ao item.

Os textos da unidade Idiomas do mundo eram oriundos da situao educacional, e o alto percentual de omisso ao
item que os explorava confirma a dificuldade que os alunos brasileiros tm de ler textos caractersticos dessa situao.

Exemplo 4: unidade O futuro das crianas


Item Unidade Percentual de omisso
R420Q06C O futuro das crianas 25,86%

A unidade O futuro das crianas era constituda por um texto combinado uma sequncia de texto contnuo e um gr-
fico. O item R420Q06C, o terceiro de quatro, solicitava uma resposta dissertativa na qual os estudantes deviam opinar
sobre uma constatao levantada com base nas informaes do texto combinado.

Embora no apresentasse dados complexos, o grfico continha elevado nmero de elementos o levantamento da
opinio de pessoas de trs cidades sobre dez afirmativas. Para responder ao item, os estudantes tinham de comparar as
diferentes opinies diferentes e chegar a uma concluso.

A complexidade do item pode estar atrelada ao prprio aspecto avaliado refletir e analisar , o qual requer que o
leitor recorra a suas experincias e a seus conhecimentos para comparar, contrastar e construir hipteses sobre os fatos
apresentados. A comparao entre variados elementos parece ter sido um fator complicador nesse item.

Assim como no item comentado anteriormente, reconhece-se aqui, tambm, a dificuldade maior dos estudantes brasi-
leiros de lidar com textos da situao educacional.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 115
4
A avaliao de leitura no PISA 2015

Exemplo 5: unidade Intercmbio


Item Unidade Percentual de omisso
R111Q06C Intercmbio 25,55%

A unidade Intercmbio era formada por um texto contnuo e trs itens. O item R111Q06C abrangia dois formatos de
resposta: a escolha de uma alternativa entre quatro fornecidas (mltipla escolha simples) e a formulao de uma resposta
que justificasse a escolha anterior (resposta aberta).

O texto era representativo da situao educacional caracteristicamente difcil para os brasileiros e tratava de requisitos
para a participao em um intercmbio estudantil. Essa temtica pode ser pouco familiar a nossos alunos, pois no faz
parte da realidade da maioria deles. Alm disso, o item requeria uma reflexo sobre diferentes requisitos necessrios aos
interessados em participar de um intercmbio fora do pas, o que envolvia anlise baseada em conhecimento de mundo
que talvez no faa parte do repertrio da maioria de nossos estudantes. Tal anlise pressupunha que eles reconhecessem
a importncia dos requisitos em foco, exigindo um julgamento acerca de sua validade para a participao no intercmbio.

Exemplo 6: unidade Sono


Item Unidade Percentual de omisso
R404Q10AC Sono 20,54%
R404Q10BC Sono 22,28%

A unidade Sono era composta por um texto combinado um artigo de revista que continha uma sequncia de texto
contnuo, um grfico e uma tabela e quatro itens. Os itens R404Q10AC e R404Q10BC eram integrados e avaliavam
o aspecto refletir e avaliar, com base especialmente nos dados da tabela. Requeriam que os estudantes analisassem o
contexto especfico de produo de um estudo cientfico e estabelecessem relaes com outros possveis contextos. Eles
tinham de elaborar respostas abertas a duas perguntas, justificando possveis mudanas nos dados do estudo cientfico
caso ele fosse realizado em um contexto diferente.

O texto-base, por si s, denotava certo grau de dificuldade por conter diversas informaes, grfico e tabela e, tambm,
por originar-se de uma situao pblica situao em que os alunos em geral demonstraram pior desempenho O item,
por sua vez, exigia que os estudantes compreendessem a coerncia entre as ideias apresentadas no texto, de modo a
estabelecer divergncias e convergncias entre elas e transpor os resultados do estudo para outros contextos. Trata-se
de operaes cognitivas diferentes e de graus de complexidade crescentes, o que pode justificar o abandono do item
pelos alunos.

Anlise de itens-destaque
Nesta seo, identificam-se itens que se destacaram como indicadores de pontos fortes e fracos do desempenho dos
estudantes brasileiros em leitura no PISA, em comparao com o dos alunos de alguns membros da OCDE e tambm
dos de alguns pases da Amrica Latina. Todos os itens comuns a esses pases foram considerados. Diferentes abordagens
poderiam ser utilizadas para a identificao de tais itens; no entanto, aqui se utiliza a anlise comparada dos ndices
Delta, que indicam o nvel de dificuldade dos itens.

Pontos fortes
A Figura 4.14 apresenta a anlise comparada dos Deltas do Brasil e de um grupo de pases latino-americanos. Com
base nos dados do PISA 2015 e 2009, 12 itens2 destacam-se como pontos fortes devido proximidade entre os nveis
de dificuldade. Os ndices Delta assinalados em cinza correspondem aos valores do ndice mais altos que o nvel de
dificuldade dos itens para os estudantes brasileiros. Isso quer dizer que os itens apresentados foram mais difceis para
estudantes de outros pases latino-americanos do que para os do Brasil.

2. Nesta anlise, foram considerados os ndices de itens aplicados no PISA 2009 nos pases selecionados para comparao (com exceo da Repblica Domi-
nicana) e tornados pblicos posteriormente, de modo que se pudessem ilustrar mais claramente os pontos fortes observados no desempenho em leitura dos
estudantes brasileiros.

116 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

Figura 4.14
Anlise comparada dos Deltas dos pases latino-americanos, pontos fortes, leitura PISA 2009-2015
Costa Repblica
Item Brasil Mdia Diferena Uruguai Chile Mxico Colmbia Peru
Rica Dominicana2
R455Q02 15,29 16,27 0,98 16,92 15,88 14,81 16,72 16,51 16,89 16,16
R417Q031 13,20 13,92 0,72 13,08 12,92 14,07 13,59 14,21 15,65
R455Q05 17,75 18,46 0,71 18,68 19,05 16,58 18,34 19,15 18,49 18,95
R460Q06 12,75 13,44 0,69 12,63 13,55 12,26 13,76 13,06 13,92 14,91
R446Q03 9,55 10,13 0,57 9,83 10,04 9,20 9,82 10,09 10,42 11,51
R406Q01 13,07 13,63 0,56 12,61 12,83 12,59 13,82 13,42 14,16 15,99
R455Q04 13,20 13,75 0,55 12,96 13,43 13,31 13,81 13,22 14,24 15,28
R437Q01 14,21 14,72 0,52 14,12 15,15 13,91 15,48 14,57 15,14 14,66
R412Q05 13,77 14,21 0,45 14,22 14,26 13,73 13,64 14,57 13,32 15,75
R429Q091 9,44 9,88 0,44 8,87 10,41 8,68 10,09 9,54 11,71
R460Q01 12,83 13,19 0,36 12,81 12,38 12,29 13,06 13,39 13,40 14,98
R102Q05 17,32 17,62 0,30 18,40 16,32 17,76 16,50 16,42 17,17 20,76
Notas:
1. Item pblico de 2009.
2. A Repblica Dominicana no participou do PISA 2009.
Fonte: OCDE, INEP.

Nessa comparao, destacam-se como pontos fortes dos estudantes brasileiros 12 itens, considerados de nvel fcil,
mdio ou difcil (ndice Delta entre 9,44 e 17,75). No geral, eles apresentaram as seguintes caractersticas:

predominncia de textos representativos da situao pessoal (em 6 dos 12 itens);


predominncia de resposta aberta (em 6 dos 12 itens);
variao de aspectos avaliados (localizar e recuperar, integrar e interpretar, refletir e analisar) e de formatos de texto
(contnuos e no contnuos).

A comparao entre o desempenho dos estudantes do Brasil e o dos de outros pases da Amrica Latina nos 12 itens
mostra que os brasileiros conseguiram lidar bem com textos representativos da situao pessoal, de formato contnuo,
como o anncio publicitrio (item R429Q09, Delta 9,44), ou no contnuo, como o anncio de emprego (item R446Q03,
Delta 9,55). Esses dois itens demandaram, respectivamente, a compreenso geral do texto e da funo persuasiva do
gnero anncio e a localizao de informao explcita.

O bom desempenho dos estudantes brasileiros no item R417Q03,3 por exemplo, indica suas habilidades na localizao
de informao explcita em texto complexo com muitas informaes de carter diferente dados, imagens, padres de
medidas diversos (m3, m, km, grau Celsius, hora, porcentagem) e na inferncia de informao no explcita.

Os trs itens da unidade Chocolate e sade (R455Q02, R455Q04 e R455Q05) apresentaram ndices de dificuldade
consideravelmente altos tanto para os estudantes do Brasil como para os de outros pases, mas ainda assim indicam
pontos fortes dos brasileiros. Tal fato pode estar relacionado curta extenso do texto contnuo que compunha a unida-
de, presena de imagem ilustrativa e de poucas informaes concorrentes da ateno dos alunos, alm de o texto ser
representativo de uma situao bastante familiar aos estudantes brasileiros, a pessoal.

Apesar do alto nvel de dificuldade dos trs itens, o desempenho dos brasileiros foi considerado ponto forte por ter sido
relativamente melhor do que o dos demais estudantes latino-americanos. Isso indica que nossos alunos conseguiram
lidar de maneira mais adequada com um texto de carter cientfico que continha termos pouco comuns em seu cotidiano
e com itens que requeriam inferncia.

3. Esse item apresentado integralmente na pgina 119.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 117
4
A avaliao de leitura no PISA 2015

A Figura 4.15 apresenta a anlise comparada dos Deltas do Brasil e de pases com desempenho prximo ou superior
mdia da OCDE. Embora o nvel de dificuldade dos itens para os alunos brasileiros tenha sido mais elevado do que para
os demais estudantes, essa anlise pretende destacar itens em que o desempenho dos jovens brasileiros no foi muito
diferente do dos de outros pases (itens considerados pontos fortes, ou seja, para esses itens, o Brasil est, em geral, no
mesmo patamar dos pases com desempenho prximo ou superior ao dos da OCDE).

Figura 4.15
Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
pontos fortes, leitura PISA 2015
Estados Coreia
Item Brasil Mdia Diferena Portugal Espanha Canad Finlndia
Unidos do Sul
R437Q011 14,21 13,32 0,88 12,66 14,77 13,52 13,02 13,07 12,88
R067Q04 12,59 11,70 0,90 11,72 11,18 11,65 12,06 11,13 12,44
R455Q021 15,29 14,25 1,04 13,92 14,68 15,16 14,52 12,79 14,43
R067Q05 11,35 10,28 1,08 10,01 9,92 9,96 11,17 10,09 10,53
R424Q07 11,23 9,84 1,39 10,31 9,67 10,47 9,81 9,63 9,16
R406Q011 13,07 11,63 1,44 12,77 10,43 11,65 10,81 12,09 12,05
R220Q06 13,01 11,51 1,50 12,51 11,35 11,34 11,16 12,08 10,64
R437Q06 13,54 12,04 1,51 12,00 12,51 10,40 11,58 12,15 13,59
R412Q051 13,77 12,23 1,54 13,14 12,34 12,72 12,17 11,93 11,08
R406Q02 16,03 14,40 1,63 13,53 14,14 15,71 13,89 14,46 14,66
R067Q01 9,90 8,27 1,63 8,55 7,81 8,89 8,10 8,31 7,94
Nota:
1. Itens tambm destaques (pontos fortes) na comparao com a Amrica Latina.
Fonte: OCDE, INEP.

Na comparao com o desempenho dos estudantes de pases da OCDE, verifica-se que sete novos itens se destacam
como pontos fortes.

Assim como observado na anlise comparada com pases latino-americanos, no geral, esses itens tinham textos repre-
sentativos da situao pessoal (cinco dos sete itens). Ademais, predominaram os textos contnuos (todos os itens) e os
formatos de resposta aberta e de mltipla escolha simples. Foi recorrente tambm a presena de textos narrativos, como a
fbula, nos itens R067Q01, R067Q04 e R067Q05, e a lenda, no item R437Q06, o que pode ter favorecido os estudantes
brasileiros, por se tratar de um tipo textual bastante explorado em nossas escolas, especialmente no Ensino Fundamental.

Em relao competncia leitora, nota-se a facilidade dos alunos brasileiros em identificar a funo de sequncias
textuais especficas para os objetivos e propsitos de diferentes textos e em compreender seu sentido global.

Por fim, os brasileiros tiveram bom desempenho em itens que lhes permitiram expressar sua opinio e criatividade, apoia-
das em fatos narrados nas histrias e nas relaes possveis entre o significado da histria e seu conhecimento de mundo.

A Figura 4.16 traz um resumo da relao entre formato de texto e aspecto nos itens identificados como pontos fortes dos
estudantes brasileiros. Destaca-se o elevado nmero de itens com textos de formato contnuo especialmente no aspecto
integrar e interpretar (11 dos 12 itens).

Comprova-se, aqui, o bom desempenho de nossos estudantes na avaliao da habilidade de leitura de textos contnuos
em contraposio a um resultado ainda insatisfatrio na avaliao da habilidade de leitura de textos multimodais.

Entretanto, outros aspectos podem ter contribudo para esse resultado. O formato de texto contnuo nem sempre ga-
rantia de transparncia de sentido ou de facilidade de compreenso; os textos variam em relao complexidade do
tema e de sua estrutura lingustica.

118 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

Ento, preciso que, ao lado de textos verbais cada vez mais complexos, textos no verbais, de diferentes formatos e
aspectos, tenham espao garantido nas salas de aula para que os alunos desenvolvam sua competncia leitora para alm
do verbal, sendo capazes de ler o mundo como ele se apresenta, mltiplo e diferenciado.

Figura 4.16
Distribuio dos 19 itens por formato de texto e aspecto, pontos fortes, leitura PISA 2015

Localizar e recuperar Integrar e interpretar Refletir e analisar

Contnuo, 1 No contnuo, 2

Contnuo, 11 No contnuo, 1

Contnuo, 4

Fonte: OCDE, INEP.

Apresentam-se, a seguir, dois exemplos de itens pblicos que ilustram os pontos fortes dos estudantes brasileiros.

Item R417Q03 Balo de ar quente

Formato de resposta: resposta aberta.


Situao: educacional.
Formato de texto: no contnuo.
Aspecto: localizar e recuperar.
Nvel da escala de proficincia: nvel 4 (crdito completo) ou nvel 2 (crdito parcial).

Figura 4.17
Anlise comparada dos Deltas dos pases latino-americanos, item R417Q03, leitura PISA 2009
Item Brasil Mdia Diferena Costa Rica Uruguai Chile Mxico Colmbia Peru
R417Q03 13,20 13,92 0,72 13,08 12,92 14,07 13,59 14,21 15,65
Fonte: OCDE, INEP.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 119
4
A avaliao de leitura no PISA 2015

BALO DE AR QUENTE

Recorde em altitude em balo


O piloto indiano Vijaypat Singhania bateu o recorde de altitude em
um balo em 26 de novembro de 2005. Ele foi o primeiro a voar
em um balo a 21 000 metros acima do nvel do mar. Recorde em altura:
21 000 m
Podem-se abrir
fendas laterais
para permitir
a sada de ar Oxignio: apenas 4% da
quente na Tamanho de quantidade disponvel no
descida. um balo nvel do solo
convencional
Recorde anterior:
19 800 m

O balo partiu
Temperatura:
em direo
95 C
Tecido: ao oceano.
Nilon Quando
encontrou a
Tempo de corrente de Avio de grande porte:
enchimento: vento jet 10 000 m
2,5 horas stream, foi
Tamanho: levado de volta
453 000 m3 para a terra.
(balo normal 481 m3)
Peso: Nova Deli
1 800 kg Local aproximado
do pouso
Cesto:
Altura: 2,7 m
Largura: 1,3 m 483 km

Mumbai

Cabine hermeticamente fechada e


pressurizada, com escotilhas isolantes.

Estrutura de alumnio, como nos avies.

Vijaypat Singhania usou um macaco


espacial durante o vo.
Nota: este um fac-smile da prova de leitura do PISA 2009.

BALO DE AR QUENTE R417Q03 0129

Vijaypat Singhania utilizou tecnologias encontradas em dois outros meios de transporte. Quais so esses meios de
transporte?
1.
2.

Comentrio: esse item revela habilidades dos estudantes na localizao de informao explcita em texto no contnuo
complexo com muitas informaes de carter diferente dados, imagens, padres de medidas diversos (m3, m, km,
grau Celsius, hora, porcentagem) e na inferncia de informao no explcita.

Para obter crdito completo, eles deveriam indicar que os meios de transporte utilizados por Singhania foram avio
e veculos espaciais. Exemplos de respostas consideradas corretas:

120 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

1) Avio. 2) Nave espacial.


1) Aeroplanos. 2) Naves espaciais.
1) Transporte areo. 2) Transporte espacial.
1) Jatos. 2) Foguetes.

Atribuiu-se crdito parcial a respostas que indicaram corretamente apenas um dos meios de transporte.

Item R429Q09 Anncio sobre doao de sangue

Formato de resposta: mltipla escolha.


Situao: pblica.
Formato de texto: contnuo.
Aspecto: integrar e interpretar.
Nvel da escala de proficincia: nvel 1a.

Figura 4.18
Anlise comparada dos Deltas dos pases latino-americanos, item R429Q09, leitura PISA 2009
Item Brasil Mdia Diferena Costa Rica Uruguai Chile Mxico Colmbia Peru
R429Q09 9,44 9,88 0,44 8,87 10,41 8,68 10,09 9,54 11,71
Fonte: OCDE, INEP.

ANNCIO SOBRE DOAO DE SANGUE

essencial doar sangue.

No h produto que possa ser utilizado no lugar do


sangue humano. A doao de sangue , portanto,
insubstituvel e indispensvel para salvar vidas.

Na Frana, a cada ano, 500 000 pacientes so


beneficiados por uma transfuso de sangue.

Os instrumentos de coleta de sangue so


esterilizados e usados uma nica vez
(seringas, tubos e bolsas de coleta).
Doar sangue no oferece nenhum risco.

Doao de sangue:

a forma mais conhecida de doao e dura de 45 minutos a uma hora.

extrada uma bolsa de coleta de 450 mil e tambm algumas amostras nas quais sero
efetuados testes e controles.

Um homem pode doar sangue cinco vezes por ano e uma mulher, trs vezes.
Os doadores podem ter a idade entre 18 e 65 anos.

obrigatrio um intervalo de 8 semanas entre cada doao.

Nota: este um fac-smile da prova de leitura do PISA 2009.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 121
4
A avaliao de leitura no PISA 2015

ANNCIO SOBRE DOAO DE SANGUE R429Q09

O texto diz: Os instrumentos de coleta de sangue so esterilizados e usados uma nica vez....

Por que o texto contm essas informaes?

A. Para garantir que a doao de sangue segura.


B. Para enfatizar que a doao de sangue essencial.
C. Para explicar para que serve o sangue doado.
D. Para dar detalhes sobre testes e controles.

Comentrio: esse item ilustra a facilidade dos estudantes brasileiros em identificar a funo de sequncias textuais
especficas para os objetivos e propsitos do texto. Eles deveriam reconhecer o efeito persuasivo de uma frase espe-
cfica de um anncio. A resposta correta a alternativa A.

Pontos fracos
A Figura 4.19 apresenta a anlise comparada dos Deltas do Brasil e de outros pases latino-americanos. Destacam-se
como pontos fracos dos estudantes brasileiros 10 itens,4 considerados de nvel fcil, mdio ou difcil (ndice Delta entre
9,71 e 15,98).

Figura 4.19
Anlise comparada dos Deltas dos pases latino-americanos, pontos fracos, leitura PISA 2009-2015
Repblica
Item Brasil Mdia Diferena Costa Rica Uruguai Chile Mxico Colmbia Peru
Dominicana2
R460Q05 12,22 11,24 0,98 10,23 11,04 10,33 11,41 11,34 11,07 13,26
R433Q051 15,98 14,98 1,00 14,20 15,92 14,87 15,28 14,32 15,30
R220Q02 15,25 14,23 1,02 14,00 14,01 13,73 14,59 14,52 13,77 14,97
R227Q01 14,73 13,63 1,11 12,94 14,03 12,21 13,02 12,97 14,22 16,00
R055Q01 11,65 10,50 1,15 9,97 10,37 9,18 10,28 10,39 10,84 12,50
R417Q081 11,29 10,01 1,28 9,75 10,14 8,95 9,54 10,39 11,27
R433Q071 9,71 8,36 1,35 7,40 8,64 7,67 8,86 8,26 9,35
R433Q011 11,48 10,03 1,45 9,69 10,04 9,44 9,93 10,22 10,85
R403Q041 12,22 10,48 1,73 9,28 10,59 10,10 10,87 10,36 11,69
R104Q01 15,79 13,96 1,82 13,58 13,01 13,42 13,56 14,07 14,30 15,82
Notas:
1. Item pblico de 2009.
2. A Repblica Dominicana no participou do PISA 2009.
Fonte: OCDE, INEP.

No geral, esses itens apresentaram as seguintes caractersticas:

predominncia de textos contnuos (em 7 dos 10 itens);


variao de textos por situao, com leve predominncia da educacional: 4 educacionais, 3 pessoais, 2 pblicas e 1
ocupacional;
predominncia de resposta de mltipla escolha simples (em 6 dos 10 itens);
predominncia do aspecto integrar e interpretar (em 7 dos 10 itens).

A comparao entre o desempenho dos estudantes do Brasil e o dos de outros pases da Amrica Latina nos 10 itens
demonstra que os brasileiros tiveram dificuldade em integrar ideias e fragmentos de informao para fazer comparaes
ou estabelecer relaes de causa e efeito, processar informaes implcitas e fazer suposies com base nos fatos expostos

4. Cinco itens, do PISA 2009, so pblicos; os outros cinco, da edio de 2015, continuam em sigilo.

122 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

em textos narrativos ou expositivos, em itens predominantemente de mltipla escolha simples. Retomando os resultados
apresentados na anlise dos pontos fortes, possvel que a maior complexidade dos textos contnuos aqui considerados
tenha sido o motivo do desempenho mais baixo de nossos alunos.

No quesito situao, verifica-se que os estudantes brasileiros tiveram desempenho mais baixo nos itens cujos textos
eram majoritariamente dos contextos educacional, pblico e ocupacional. Esse dado comprova sua maior dificuldade
em relao a esses textos, conforme discutido anteriormente.

Figura 4.20
Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
pontos fracos, leitura PISA 2009-2015
Estados Coreia
Item Brasil Mdia Diferena Portugal Espanha Canad Finlndia
Unidos do Sul
R453Q06 12,83 9,53 3,30 9,37 10,22 10,00 9,16 8,60 9,83
R453Q01 11,94 8,58 3,36 8,69 8,91 9,45 9,30 8,29 6,82
R460Q051 12,22 8,79 3,43 9,81 9,64 7,36 9,47 8,14 8,32
R432Q01 12,04 8,51 3,53 8,57 8,93 9,87 9,55 7,21 6,93
R466Q06 12,26 8,50 3,77 9,00 8,06 8,58 9,01 8,10 8,23
R055Q05 13,78 9,99 3,78 10,38 10,64 9,28 11,15 9,44 9,07
R104Q011 15,79 11,95 3,84 12,41 12,88 11,66 12,24 11,40 11,11
R420Q10 15,45 10,67 4,78 10,64 11,11 10,38 11,58 9,99 10,31
Nota:
1. Itens tambm destaques (pontos fracos) na comparao com a Amrica Latina.
Fonte: OCDE, INEP.

Na comparao com o desempenho dos estudantes de pases da OCDE, verifica-se que seis novos itens se destacam
como pontos fracos dos estudantes brasileiros em leitura. Entre as caractersticas neles observadas, vale ressaltar a neces-
sidade de: inferir a relao entre informaes apresentadas em suportes distintos, como texto verbal e imagem; construir
analogias entre ideias expostas em grfico com grande quantidade de dados (por exemplo: levantamento de opinies
de pessoas residentes em trs cidades diferentes, expressas em dez afirmativas); e inferir informao em tipos de textos
diferentes sobre um mesmo assunto.

A Figura 4.21 apresenta um resumo da relao entre aspecto e formato de texto nos itens considerados pontos fracos.
Destaca-se a predominncia de textos contnuos avaliados no aspecto integrar e interpretar.

No Brasil, o investimento que se faz hoje na leitura como competncia estratgica para o sucesso dos estudantes na
escola e na vida ainda muito tmido em relao ao que se poderia fazer. A princpio, deve-se considerar que ensinar
a ler uma responsabilidade da escola como um todo, conforme mencionado na Seo ndice Delta por situao.

Desde o incio da escolarizao, a preocupao do professor essecialmente a construo da competncia leitora dos
alunos ao lado, claro, da competncia da escrita por meio do trabalho com ampla gama de textos verbais e no
verbais, oriundos de diferentes contextos e situaes, abordando temas dos mais diversos assuntos.

Com o avano da escolarizao e a maior especializao das reas do conhecimento, divididas em disciplinas, a leitura
e seu ensino passaram a ser, exclusivamente, no s responsabilidade, mas obrigao do professor de lngua portugue-
sa. Os demais professores passaram, de modo geral, a fazer uso da leitura, em sala de aula, como uma das estratgias
para a aquisio de contedos especficos, em suas disciplinas, pelos estudantes. O texto tido, ento, como fonte de
informao. Considera-se, assim, que os alunos j sabem ler, e isso um equvoco.

Como se sabe, as habilidades de leitura vo alm da simples decodificao e da prpria compreenso do que se leu.
Sabe-se tambm que, normalmente, ao chegar ao Ensino Fundamental II, o estudante ainda no alcana os diferentes
nveis de leitura que a escola precisa lev-lo a atingir. preciso, portanto, continuar a aprofundar o trabalho com o texto,
ultrapassando os limites da decodificao e buscando chegar ao nvel da inferncia, em que se faz necessrio mobilizar
outros conhecimentos alm da lngua em si.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 123
4
A avaliao de leitura no PISA 2015

Nesse sentido, fundamental o trabalho de todos os professores para que os alunos se tornem, de fato, leitores profi-
cientes. S o trabalho com a leitura desenvolvido em todas as reas do conhecimento poder garantir o acesso deles a
grande variedade de gneros de textos, construdos por diferentes cdigos (o verbal e tantos outros no verbais) e por
distintos usos da prpria lngua. No se l um enunciado de problema matemtico como se l um poema, um relato
histrico ou as instrues para um experimento qumico. Mesmo os textos didticos, em que se apresentam os contedos
de diversas disciplinas, trazem especificidades e precisam da mediao do professor da rea, um leitor mais experiente,
para orientar o trabalho de leitura dos estudantes.

No PISA, a leitura medida por meio de uma abordagem multidisciplinar, com base em textos variados no que diz
respeito a formatos e temticas. A avaliao no se restringe a aspectos considerados caractersticos do trabalho com a
leitura nas aulas de lngua materna. Trata-se de uma abordagem que ultrapassa os limites do conhecimento escolar,
que avalia a capacidade dos alunos no s de localizar e recuperar informaes, de integrar e interpretar partes diferentes
do(s) texto(s), mas tambm de analisar e refletir ativamente sobre seus conhecimentos prvios e experincias, julgando
as situaes que lhes so apresentadas.

Reconhece-se, no PISA, uma extrema valorizao da leitura, com foco em competncias que sero fundamentais para a
vida futura de qualquer cidado. Sendo assim, a escola tem de cumprir seu papel de preparar os estudantes para a vida
cidad, desenvolvendo um trabalho que faa deles leitores crticos, aptos a compreender textos produzidos nas diferentes
esferas da sociedade, considerando o contexto dessas produes.

Para tanto, faz-se necessrio o reconhecimento de que ensinar a ler, ao longo de toda a escolaridade bsica, deve ser
um compromisso de todos os professores e um objetivo pedaggico de todas as reas do saber (Neves et al., 1999).

Figura 4.21
Distribuio dos 16 itens por formato de texto e aspecto, pontos fracos, leitura PISA 2015

Localizar e recuperar Integrar e interpretar Refletir e analisar

Contnuo, 3 No contnuo, 1

Contnuo, 6 Combinado, 2 No contnuo, 2

Contnuo, 2

Fonte: OCDE, INEP.

Apresentam-se, a seguir, dois exemplos de itens pblicos para divulgao que ilustram os pontos fracos dos estudantes
brasileiros.

124 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

Item R417Q08 Balo de ar quente

Formato de resposta: mltipla escolha.


Situao: educacional.
Formato de texto: no contnuo.
Aspecto: integrar e interpretar.
Nvel da escala de proficincia: nvel 1a.

Figura 4.22
Anlise comparada dos Deltas dos pases latino-americanos, item R417Q08, leitura PISA 2009
Item Brasil Mdia Diferena Costa Rica Uruguai Chile Mxico Colmbia Peru
R417Q08 11,29 10,01 1,28 9,75 10,14 8,95 9,54 10,39 11,27
Fonte: OCDE, INEP.

Recorde em altitude em balo


O piloto indiano Vijaypat Singhania bateu o recorde de altitude em
um balo em 26 de novembro de 2005. Ele foi o primeiro a voar
em um balo a 21 000 metros acima do nvel do mar. Recorde em altura:
21 000 m
Podem-se abrir
fendas laterais
para permitir
a sada de ar Oxignio: apenas 4% da
quente na Tamanho de quantidade disponvel no
descida. um balo nvel do solo
convencional
Recorde anterior:
19 800 m

O balo partiu
Temperatura:
em direo
95 C
Tecido: ao oceano.
Nilon Quando
encontrou a
Tempo de corrente de Avio de grande porte:
enchimento: vento jet 10 000 m
2,5 horas stream, foi
Tamanho: levado de volta
453 000 m3 para a terra.
(balo normal 481 m3)
Peso: Nova Deli
1 800 kg Local aproximado
do pouso
Cesto:
Altura: 2,7 m
Largura: 1,3 m 483 km

Mumbai

Cabine hermeticamente fechada e


pressurizada, com escotilhas isolantes.

Estrutura de alumnio, como nos avies.

Vijaypat Singhania usou um macaco


espacial durante o vo.
Nota: este um fac-smile da prova de leitura do PISA 2009.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 125
4
A avaliao de leitura no PISA 2015

BALO DE AR QUENTE R417Q08

Qual a ideia principal do texto?

A. Singhania correu perigo durante a sua viagem de balo de ar quente.


B. Singhania estabeleceu um novo recorde mundial.
C. Singhania sobrevoou tanto o mar como a terra.
D. O balo de ar quente de Singhania era gigantesco.

Comentrio: nesse item, era necessrio demonstrar conhecimento global do texto por meio da relao entre as dife-
rentes informaes apresentadas. Embora tenha sido um item considerado um pouco mais difcil pelos estudantes do
Brasil do que pelos de outros pases latino-americanos, o ndice Delta indica seu baixo nvel de dificuldade. No PISA
2009, 66% dos brasileiros responderam corretamente. A resposta correta a alternativa B.

Item R433Q05 O avarento

Formato de resposta: resposta aberta.


Situao: pessoal.
Formato de texto: contnuo.
Aspecto: integrar e interpretar.
Nvel da escala de proficincia: nvel 3.
Figura 4.23
Anlise comparada dos Deltas dos pases latino-americanos, item R433Q05, leitura PISA 2009
Item Brasil Mdia Diferena Costa Rica Uruguai Chile Mxico Colmbia Peru
R433Q05 15,98 14,98 1,00 14,20 15,92 14,87 15,28 14,32 15,30
Fonte: OCDE, INEP.

O AVARENTO E SUA BARRA DE OURO


Fbula de Esopo
Um avarento vendeu tudo o que tinha e comprou uma barra de ouro, que enterrou em um buraco, perto de um velho
muro. Diariamente, ele ia olhar o seu tesouro. Um dos seus empregados, observando o que ele fazia, decidiu espionar
aquele vai-e-vem. Ele logo descobriu o segredo do tesouro escondido, desenterrou a barra de ouro e levou-a consigo.
Quando o avarento foi fazer a sua inspeo, viu o buraco vazio e comeou a se lamentar e a arrancar os cabelos.
Um vizinho, vendo-o nesse estado de tanta dor e compreendendo o que afligia o avarento, disse-lhe: Por que ficar
assim to desolado? Basta pr uma pedra no buraco onde estava a barra de ouro e imaginar que ela ainda est l.
Pois, mesmo quando o ouro estava l, voc no fazia uso dele.
O AVARENTO R433Q05 019
Abaixo, um trecho de uma conversa entre duas pessoas que leram O Avarento e sua barra de ouro.

O vizinho mau.
Ele poderia ter No, porque
aconselhado a a pedra
substituir o ouro por importante
algo melhor do que nessa histria.
uma pedra.

Interlocutor 1 Interlocutor 2
Nota: este um fac-smile da prova de leitura do PISA 2009.

O que o interlocutor 2 poderia acrescentar para justificar o seu ponto de vista?

126 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

Comentrio: esse item requeria que se estabelecesse uma relao entre um detalhe da fbula e a ideia principal. Para
obter crdito completo, os estudantes deveriam identificar o fato de que substituir o ouro por algo intil ou sem valor
essencial para a mensagem da histria. Por exemplo:

A pedra importante na histria porque a ideia principal que o avarento poderia ter enterrado do mesmo jeito
uma pedra no lugar do ouro, levando em conta que o ouro nada lhe rendeu.
A pedra intil, assim como o ouro era intil para o avarento.

4.7 Quais foram os resultados dos estudantes brasileiros em leitura


no PISA 2015?
Nesta seo, apresentam-se os resultados do PISA 2015 na escala interpretada segundo a Teoria de Resposta ao Item
(Pasquali, 2009). Primeiro, compara-se o desempenho dos estudantes brasileiros com o dos alunos dos pases da Amrica
Latina que tiveram resultados vlidos (Colmbia, Costa Rica, Chile, Mxico, Peru, Uruguai e Repblica Dominicana),
com o dos de trs pases que se destacaram por apresentar resultados prximos aos dos membros da OCDE (Estados
Unidos, Espanha e Portugal) e com o dos de trs pases com resultados superiores mdia dos da OCDE (Canad, Coreia
do Sul e Finlndia).

Em seguida, realiza-se, sob essa mesma teoria, a anlise do desempenho dos estudantes por unidade da Federao, tipo
de dependncia e localizao das escolas, configurando, assim, o panorama do Brasil no PISA 2015.

A escala interpretada de leitura do PISA 2015

Aps a aplicao dos testes, o consrcio internacional do PISA realizou vrios estudos sobre a qualidade das bases
de respondentes das amostras nacionais para, assim, iniciar a anlise psicomtrica dos itens e gerar os resultados dos
70 pases/economias participantes do PISA 2015.

A primeira etapa da anlise psicomtrica est associada Teoria Clssica dos Testes (TCT), ilustrada na Seo 4.6.
Nela, avaliam-se os itens pelos nveis de dificuldade (percentual de acerto, ndice Delta), ndices de correlao bis-
serial, entre outros.

A fase seguinte refere-se anlise pelos modelos da Teoria de Resposta ao Item (TRI), bem como aplicao da meto-
dologia de valores plausveis para estimativa dos escores relacionados escala de leitura. por meio dessa teoria que se
torna possvel comparar as respostas dos diferentes estudantes a diversos itens e em vrios ciclos de avaliao do PISA.

A construo de uma escala contnua de proficincia em leitura permite associar o desempenho dos estudantes a
um ponto especfico da escala em que sua proficincia foi estimada (valores mais elevados na escala indicam maior
proficincia). A mtrica para a escala global de leitura baseia-se na mdia dos pases da OCDE de 500 pontos e no
desvio-padro de 100 pontos, definidos no PISA 2000, quando a escala de leitura foi desenvolvida pela primeira vez.
Os itens comuns a ambos os instrumentos de teste permitem que se faa a ligao entre as escalas. Mais detalhes
sobre esse procedimento podero ser encontrados no Relatrio Tcnico do PISA 2015 (OCDE, em desenvolvimento).

Para captar a progresso da complexidade e da dificuldade no PISA 2015, a escala de letramento em leitura baseou-
se na da edio de 2009 e foi dividida em sete nveis de proficincia (conforme a Figura 4.3). O nvel mais alto o 6
(antes de 2009, era o 5), e o mais baixo, o 1b (para o PISA 2009 e todas as avaliaes de leitura subsequentes, o nvel
1 foi renomeado 1a e um novo nvel foi adicionado, o 1b, que descreve os estudantes que teriam anteriormente sido
classificados como abaixo do nvel 1). Esses nveis diferentes de proficincia permitem que os pases conheam mais
sobre os tipos de tarefas que os estudantes com nvel mais alto ou mais baixo de proficincia em leitura so capazes
de realizar. No PISA 2015, os nveis 2, 3, 4 e 5 permaneceram como estavam em 2000.

Para a OCDE, o percentual de estudantes em cada pas/economia que atingem cada nvel de proficincia indica quo
bem os pases conseguem fomentar a excelncia em seus sistemas educativos. Atingir pelo menos o nvel 2 particu-
larmente importante, segundo a OCDE, uma vez que ele considerado o nvel bsico de proficincia que se espera
de todos os jovens, a fim de tirar proveito de novas oportunidades de aprendizagem e de participar plenamente da
vida social, econmica e cvica da sociedade moderna em um mundo globalizado (OCDE, 2016).

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 127
4
A avaliao de leitura no PISA 2015

Desempenho do Brasil sob a perspectiva internacional


A Figura 4.24 apresenta os resultados mdios dos estudantes de 15 anos do Brasil e dos 13 pases selecionados na escala
de leitura do PISA 2015. A nota mdia dos jovens brasileiros foi 407, significativamente inferior s dos estudantes dos
pases da OCDE (493).

Figura 4.24
Mdias, intervalos de confiana e percentis dos escores dos pases selecionados, leitura PISA 2015
Pas Mdia EP1 IC2 Interdecil3 Distribuio das proficincias4
225 275 325 375 425 475 525 575 625 675

Canad
Canad 527 2,3 522-531 404-642
Finlndia
Finlndia 526 2,5 521-531 401-640
Coreia do Sul
Coreia do Sul 517 3,5 511-524 386-637
Portugal
Portugal 498 2,7 493-503 374-614
Estados Unidos
Estados Unidos 497 3,4 490-504 364-624
Espanha
Espanha 496 2,4 491-500 379-603
Chile
Chile 459 2,6 454-464 342-572
Uruguai
Uruguai 437 2,5 432-442 311-563
Costa Rica
Costa Rica 427 2,6 422-433 326-530
Colmbia
Colmbia 425 2,9 419-431 308-542
Mxico
Mxico 423 2,6 418-428 321-523
Brasil
Brasil 407 2,8 402-413 279-539
Peru
Peru 398 2,9 392-403 281-514
Repblica
Repblica Dominicana 358 3,1 352-364 250-471 Dominicana

Notas: Mdia brasil


1. EP: estimativa de erro-padro da mdia.
2. IC: intervalo de confiana da mdia. P10 P90
3. Intervalo interdecil: intervalo em que o limite inferior o percentil 10, e o superior, o percentil 90.
4. O grfico apresenta a distribuio das proficincias pelos percentis (P10, P25, P75, P90) P25 P75
e pelos intervalos de confiana das mdias. LI LS
Fonte: OCDE, INEP.

Verifica-se que h uma grande diferena de escores entre os pases avaliados. Os 10% dos estudantes brasileiros com
pior desempenho em leitura no PISA 2015 obtiveram nota mdia igual a 279, e os 10% de melhor desempenho, 539.
O Mxico o que apresenta menor diferena entre esses grupos de alunos (202 pontos).

Figura 4.25
Mdias e medidas de erro-padro dos pases selecionados por edio,
leitura PISA 2000-2015
2000 2003 2006 2009 2012 2015
Pas
Mdia EP 1
EP 2
Mdia EP 1
EP 2
Mdia EP 1
EP 2
Mdia EP 1
EP 2
Mdia EP 1
EP 2
Mdia EP1
Canad 534 1,6 7,0 528 1,7 5,7 527 2,4 7,0 524 1,5 3,7 523 1,9 5,6 527 2,3
Finlndia 546 2,6 7,3 543 1,6 5,6 547 2,1 6,9 536 2,3 4,1 524 2,4 5,8 526 2,5
Coreia do Sul 525 2,4 7,2 534 3,1 6,2 556 3,8 7,6 539 3,5 4,9 536 3,9 6,5 517 3,5
Portugal 470 4,5 8,2 478 3,7 6,5 472 3,6 7,5 489 3,1 4,6 488 3,8 6,5 498 2,7
Estados Unidos 504 7,0 9,8 495 3,2 6,3 500 3,7 5,0 498 3,7 6,4 497 3,4
Espanha 493 2,7 7,3 481 2,6 6,0 461 2,2 7,0 481 2,0 4,0 488 1,9 5,6 496 2,4
Chile 410 3,6 7,7 442 5,0 8,3 449 3,1 4,6 441 2,9 6,0 459 2,6
Uruguai 434 3,4 6,4 413 3,4 7,4 426 2,6 4,3 411 3,2 6,2 437 2,5
Costa Rica 443 3,2 4,7 441 3,5 6,3 427 2,6
Colmbia 385 5,1 8,3 413 3,7 5,0 403 3,4 6,3 425 2,9
Mxico 422 3,3 7,6 400 4,1 6,8 410 3,1 7,3 425 2,0 4,0 424 1,5 5,5 423 2,6
Brasil 396 3,1 7,5 403 4,6 7,1 393 3,7 7,6 412 2,7 4,4 407 2,0 5,6 407 2,8

128 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

Figura 4.25 (continuao)


Mdias e medidas de erro-padro dos pases selecionados por edio, leitura PISA 2000-2015
2000 2003 2006 2009 2012 2015
Pas
Mdia EP 1
EP 2
Mdia EP 1
EP 2
Mdia EP 1
EP2
Mdia EP 1
EP 2
Mdia EP 1
EP 2
Mdia EP1
Peru 327 4,4 8,1 370 4,0 5,3 384 4,3 6,8 398 2,9
Repblica
358 3,1
Dominicana
Notas:
1. EP1: estimativa de erro-padro da mdia na edio avaliada.
2. EP2: estimativa de erro-padro da mdia considerando os linking errors do PISA 2015.
3. Para manter a comparabilidade entre os ciclos, foram includos os resultados das escolas rurais do PISA 2012.
Fonte: OCDE, INEP.

A Figura 4.25 mostra a srie histrica do PISA em leitura desde 2000, quando a escala desse domnio foi desenvolvida
pela primeira vez, e a Figura 4.26, as variaes dos resultados mdios dos pases que participaram das ltimas trs ava-
liaes, agregando os erros de ligao (linking errors) para melhor captar as mudanas temporais.

Figura 4.26
Intervalos de confiana da diferena das mdias dos pases, leitura PISA 2015 e ciclos anteriores

Coreia do Sul Canad Finlndia


50 50 50
40 40 40
30 30 30
20 20 20
10 10 10
0 0 0
-10 -10 -10
-20 -20 -20
-30 -30 -30
-40 -40 -40
-50 -50 -50
2000 2003 2006 2009 2012 2000 2003 2006 2009 2012 2000 2003 2006 2009 2012

Portugal Espanha Mxico


50 50 50
40 40 40
30 30 30
20 20 20
10 10 10
0 0 0
-10 -10 -10
-20 -20 -20
-30 -30 -30
-40 -40 -40
-50 -50 -50
2000 2003 2006 2009 2012 2000 2003 2006 2009 2012 2000 2003 2006 2009 2012

Brasil
50
40
30
20
10
0
-10
-20
-30
-40
-50
2000 2003 2006 2009 2012
LS
Nota:
1. Intervalos de confiana da diferena das mdias: o grfico apresenta os limites inferiores e superiores do intervalo da diferena Mdia Ciclo Anterior Mdia 2015
das mdias. O valor de referncia y = 0. Intervalos que cruzam a linha de referncia indicam que o desempenho mdio do pas
no ano no estatisticamente diferente do desempenho no PISA 2015.
Fonte: OCDE, INEP. LI

A Figura 4.27 apresenta a distribuio das notas mdias nos percentis (P10, P25, P75, P90) da escala de proficincia em
leitura no PISA 2012 e 2015. Observa-se que os estudantes brasileiros com melhor desempenho (P75 e P90) tiveram
aumento nos resultados mdios, e os de pior desempenho, diminuio (diferena de 18 pontos do P10 em 2015 com
relao a 2012).

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 129
4
A avaliao de leitura no PISA 2015

Figura 4.27
Distribuio dos escores mdios segundo os percentis, leitura PISA 2012 e 2015
2012 2015
Pas P10 P25 P75 P90 P10 P25 P75 P90
Perc1 EP2 Perc EP Perc EP Perc EP Perc EP Perc EP Perc EP Perc EP
Finlndia 399 4,3 463 3,5 590 2,3 639 2,5 401 4,7 469 3,7 592 2,7 640 2,6
Coreia do Sul 424 6,2 483 4,3 596 4,1 640 4,0 386 5,6 455 4,4 586 3,9 637 4,3
Canad 403 2,8 464 2,2 587 2,2 638 2,6 404 3,6 466 2,8 591 2,4 642 2,7
Estados Unidos 378 4,8 436 4,5 561 3,9 614 4,0 364 5,4 430 4,7 568 3,9 624 3,8
Espanha 367 3,6 430 2,6 552 2,1 601 2,3 379 3,9 438 3,3 558 2,7 603 2,9
Portugal 362 6,0 429 4,9 554 3,5 604 3,5 374 3,7 436 4,2 564 2,8 614 3,1
Chile 339 4,2 388 3,8 496 3,3 541 3,3 342 3,7 398 3,3 521 3,2 572 3,5
Uruguai 285 5,3 348 4,3 477 3,0 534 4,1 311 3,1 368 3,3 504 3,1 563 4,6
Costa Rica 344 5,4 391 4,3 490 4,2 536 5,0 326 3,5 374 3,0 480 3,2 530 3,8
Mxico 319 2,5 370 1,9 479 1,8 525 1,9 321 3,6 370 3,0 478 3,2 523 3,9
Brasil 297 2,8 348 2,4 465 2,6 518 3,1 279 2,8 336 3,0 477 3,2 539 3,9
Colmbia 295 5,4 348 4,0 460 3,7 509 4,5 308 4,4 361 4,0 489 3,3 542 3,1
Peru 263 5,1 319 4,7 447 5,2 504 6,4 281 3,2 333 3,2 462 3,9 514 4,5
Notas:
1. Perc: percentil, medida que divide a distribuio das proficincias em 100 partes.
2. EP: estimativa de erro-padro do percentil.
Fonte: OCDE, INEP.

A distribuio dos estudantes dos pases selecionados na escala interpretada de 2015 est ilustrada na Figura 4.28.

Figura 4.28
Percentual de estudantes por nvel dos pases selecionados, leitura PISA 2015

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Canad 0 2 8 19 30 27 12 2

Finlndia 1 3 8 18 30 28 12 2

Portugal 1 4 13 23 30 22 7 1

Coreia do Sul 1 3 10 19 29 25 11 2

Espanha 1 3 12 24 32 22 5 0

Estados Unidos 1 5 13 23 28 21 8 1

Chile 1 7 20 30 27 12 20

Costa Rica 2 10 28 35 19 5 10

Mxico 2 11 28 34 20 4 0

Uruguai 3 12 24 28 21 9 20

Colmbia 3 14 26 29 20 7 10

Peru 6 19 28 27 15 4 0

Brasil 7 17 27 25 16 6 10

Repblica Dominicana 13 28 31 20 7 10

Abaixo nvel 1 Nvel 1B Nvel 1A Nvel 2 Nvel 3 Nvel 4 Nvel 5 Nvel 6


Fonte: OCDE, INEP.

No Brasil, 51,0% dos estudantes esto abaixo do nvel 2 em leitura, patamar que a OCDE estabelece como necessrio
para que os jovens possam exercer plenamente sua cidadania. Esse percentual maior na Repblica Dominicana (72,1%)
e menor no Canad (10,7%).

130 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

A Figura 4.29 ilustra o desempenho mdio dos estudantes por gnero na avaliao de leitura para os 13 pases avaliados,
alm do Brasil. Em todos eles, o desempenho das meninas foi superior ao dos meninos: diferena de 23 pontos no Brasil
e mais acentuada na Finlndia e na Coreia do Sul, de 47 e 41 pontos, respectivamente.

Figura 4.29
Escores mdios estimados por gnero dos pases selecionados, leitura PISA 2015

540 KOR CAN


Meninas com
510 desempenho maior que USA
meninos ESP PRT

480
CHL
450 URY
CRI
COL
MEX
420 BRA

PER
390
DOM
360
Meninos com
desempenho maior que
330 meninas

300
300 330 360 390 420 450 480 510 540
Fonte: OCDE, INEP.

Desempenho do Brasil em leitura sob a perspectiva nacional


Para ter um fiel retrato do desempenho dos jovens brasileiros no PISA 2015, realiza-se agora uma anlise do desempenho
geral por tipo de escola (dependncia administrativa, localizao e rea) e por unidade da Federao.

Figura 4.30
Mdias, intervalos de confiana e percentis dos escores por dependncia administrativa, leitura PISA 2015
Dependncias
Mdia EP1 IC2 Interdecil3 Distribuio das proficincias4
administrativas
200 250 300 350 400 450 500 550 600 650

Brasil
Brasil 407 2,8 402-413 279-539
Federal
Federal 528 15,4 498-559 426-624
Particular
Particular 493 6,5 480-505 375-604
Estadual
Estadual 402 2,4 397-407 285-521
Municipal
Municipal 325 5,3 314-335 224-427
Notas:
1. EP: estimativa de erro-padro da mdia. Mdia brasil
2. IC: intervalo de confiana da mdia. P10 P90
3. Intervalo interdecil: intervalo em que o limite inferior o percentil 10, e o superior, o percentil 90.
4. Distribuio das proficincias. O grfico apresenta a distribuio das proficincias pelos percentis
(P10, P25, P75, P90) e pelos intervalo de confiana das mdias. P25 P75
Fonte: OCDE, INEP. LI LS

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 131
4
A avaliao de leitura no PISA 2015

Na Figura 4.30, verifica-se que o desempenho mdio dos estudantes das escolas federais em leitura foi de 528 pontos,
superando a mdia nacional. Por ofertar prioritariamente o Ensino Fundamental, a rede municipal apresenta desempenho
inferior ao das escolas de outras dependncias administrativas.

Figura 4.31
Mdias, intervalos de confiana e percentis dos escores por localizao, leitura PISA 2015
Localizao Mdia EP1 IC2 Interdecil3 Distribuio das proficincias4
200 250 300 350 400 450 500 550 600 650

Brasil

Brasil 407 2,8 402-413 279-539


Urbana

Urbana 410 2,8 405-416 283-541

Rural
Rural5 350 16,1 318-381 235-478

Notas:
1. EP: estimativa de erro-padro da mdia. Mdia brasil
2. IC: intervalo de confiana da mdia.
3. Intervalo interdecil: intervalo em que o limite inferior o percentil 10, e o superior, o percentil 90. P10 P90
4. Distribuio das proficincias: o grfico apresenta a distribuio das proficincias pelos percentis
(P10, P25, P75, P90) e pelos intervalos de confiana das mdias. P25 P75
5. Devido ao delineamento utilizado no PISA, escolas rurais da regio Norte no foram contempladas
LI LS
no estudo.
Fonte: OCDE, INEP.

Quando se comparam os tipos de localizao (Figura 4.31), observa-se que o desempenho mdio dos estudantes brasi-
leiros das escolas urbanas no PISA 2015 estatisticamente superior ao dos das escolas rurais (61 pontos de diferena).

Figura 4.32
Mdias, intervalos de confiana e percentis dos escores por rea, leitura PISA 2015
rea Mdia EP1 IC2 Interdecil3 Distribuio das proficincias4
200 250 300 350 400 450 500 550 600 650

Brasil

Brasil 407 2,8 402-413 279-539


Capital
Capital 422 6,2 410-434 289-556

Interior
Interior 403 3,1 397-409 276-534

Notas:
1. EP: estimativa de erro-padro da mdia. Mdia brasil
2. IC: intervalo de confiana da mdia. P10 P90
3. Intervalo interdecil: intervalo em que o limite inferior o percentil 10, e o superior, o percentil 90.
4. Distribuio das proficincias. O grfico apresenta a distribuio das proficincias pelos percentis
(P10, P25, P75, P90) e pelos intervalo de confiana das mdias. P25 P75
Fonte: OCDE, INEP. LI LS

Com relao rea em que as escolas se localizam (Figura 4.32), os estudantes da capital obtiveram melhor desempenho
mdio (422 pontos) do que os do interior (403), diferena estatisticamente significativa.

132 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

A Figura 4.33 apresenta os resultados por unidade da Federao na escala de leitura do PISA 2015. Esprito Santo foi a
que apresentou o desempenho mais alto (441 pontos), e Alagoas, o mais baixo (362).

Figura 4.33
Mdias, intervalos de confiana e percentis dos escores por unidade da Federao, leitura PISA 2015
UF Mdia EP1 IC2 Interdecil3 Distribuio das proficincias4
200 250 300 350 400 450 500 550 600 650
Brasil 407 2,8 402-413 279-539 Brasil
Esprito Santo 441 6,3 429-454 316-566 Esprito Santo
Paran 433 10,8 412-455 310-557 Paran
Minas Gerais 431 12,0 408-455 299-563 Minas Gerais
Distrito Federal 430 7,5 415-444 298-557 Distrito Federal
Santa Catarina 419 9,3 401-438 300-542 Santa Catarina
So Paulo 417 6,3 405-429 289-548 So Paulo

Gois 416 11,1 394-437 293-544 Gois

Mato Grosso do Sul 411 8,0 395-427 288-535 Mato Grosso do Sul

Rio Grande do Sul 410 11,3 388-432 279-535 Rio Grande do Sul

Cear 409 12,6 385-434 285-542 Cear

Acre 407 10,2 387-427 290-525 Acre

Amazonas 407 12,1 383-431 284-533 Amazonas

Roraima 403 10,7 382-424 292-522 Roraima

Mato Grosso 402 5,8 391-414 293-512 Mato Grosso

Rio de Janeiro
Rio de Janeiro 400 8,5 383-416 276-528
Par
Par 395 19,9 356-434 263-554
Pernambuco
Pernambuco 394 9,3 375-412 268-523
Rondnia
Rondnia 393 10,6 373-414 283-508
Amap
Amap 385 8,5 368-402 286-482
Paraba
Paraba 385 10,0 365-404 267-510
Rio Grande do Norte
Rio Grande do Norte 384 7,6 369-399 270-504
Piau
Piau 381 12,7 356-405 261-513
Sergipe
Sergipe 379 10,0 359-398 272-508
Maranho
Maranho 377 15,4 347-408 253-511
Tocantins
Tocantins 376 5,1 366-386 266-485
Bahia
Bahia 372 8,4 356-389 243-506
Alagoas
Alagoas 362 12,0 338-385 245-496
Notas:
1. EP: estimativa de erro-padro da mdia. Mdia brasil
2. IC: intervalo de confiana da mdia.
3. Intervalo interdecil: intervalo em que o limite inferior o percentil 10, e o superior, o percentil 90. P10 P90
4. Distribuio das proficincias: o grfico apresenta a distribuio das proficincias pelos percentis
(P10, P25, P75, P90) e pelos intervalos de confiana das mdias. P25 P75
Fonte: OCDE, INEP. LI LS

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 133
4
A avaliao de leitura no PISA 2015

Figura 4.34
Intervalos de confiana das diferenas dos escores mdios das unidades da Federao
com relao ao desempenho do Brasil, leitura PISA 2015

100
Limite superior
Mdia
75 Limite inferior

50

25

-25

-50

-75

-100
AL BA TO MA SE PI RN PB AP RO PE PA RJ MT RR AM AC CE RS MS GO SP SC DF MG PR ES
(68%) (85%) (89%) (83%) (70%) (76%) (86%) (74%) (40%) (81%) (80%) (70%) (87%) (78%) (76%) (92%) (86%) (94%) (89%) (89%) (81%) (88%) (81%) (84%) (90%) (39%) (87%)

Nota: LS
1. O percentual em parnteses corresponde taxa de resposta geral discutida no Captulo 2.
2. Intervalos de confianas da diferena das mdias: o grfico apresenta os limites inferiores e superiores do intervalo da diferena das m- Mdia UF-Mdia Brasil
dias. O valor de referncia y=0. Intervalos que cruzam a linha de referncia indicam que o desempenho mdio da unidade da Federao
em 2015 no estatisticamente diferente do desempenho nacional.
Fonte: OCDE, INEP. LI

A Figura 4.34 indica as diferenas entre os resultados mdios de cada unidade da Federao e os do Brasil no PISA 2015.
Estados com desempenho acima da linha de referncia (y = 0) apresentaram resultado estatisticamente superior mdia
nacional, e os com desempenho mdio abaixo da linha, inferior. A Figura 4.35 mostra um resumo da anlise realizada.

Figura 4.35
Desempenho das unidades da Federao menor, igual ou maior que o do Brasil, leitura PISA 2015
Desempenho menor que o do Brasil1 Desempenho igual ao do Brasil1 Desempenho maior que o do Brasil1
Alagoas (362; 12,0) Rondnia (393; 10,6) Distrito Federal (430; 7,5)
Bahia (372; 8,4) Pernambuco (394; 9,3) Minas Gerais (431; 12,0)
Tocantins (376; 5,1) Par (395; 19,9) Paran (433; 10,8)
Maranho (377; 15,4) Rio de Janeiro (400; 8,5) Esprito Santo (441; 6,3)
Sergipe (379; 10,0) Mato Grosso (402; 5,8)
Piau (381; 12.7) Roraima (403; 10,7)
Rio Grande do Norte (384; 7,6) Amazonas (407; 12,1)
Paraba (385; 10,0) Acre (407; 10,2)
Amap (385; 8,5) Cear (409; 12,6)
Rio Grande do Sul (410; 11,3)
Mato Grosso do Sul (411; 8,0)
Gois (416; 11,1)
So Paulo (417; 6,3)
Santa Catarina (419; 9,3)
Nota:
1. Diferenas nos escores so estatisticamente significativas.
Fonte: OCDE, INEP.

134 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
4
a Avaliao de leitura no PISA 2015

Ao avaliar os estudantes brasileiros por nvel de proficincia, observa-se que as discrepncias dos resultados subnacionais
so altas (Figura 4.36). Enquanto 36,7% dos alunos do estado do Esprito Santo esto abaixo do nvel 2, em Alagoas esse
percentual de 70,1%.

Figura 4.36
Percentual de estudantes por nvel de proficincia e unidade da Federao, leitura PISA 2015
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Brasil 7 17 27 25 16 6 10
Esprito Santo 3 11 23 27 24 10 20
Paran 4 11 24 29 21 9 2
Distrito Federal 4 14 23 27 21 9 2
Mato Grosso 4 18 31 29 14 4 0
Roraima 4 18 31 27 14 4 1
Santa Catarina 4 15 26 29 18 7 1
Minas Gerais 5 13 24 27 20 9 2
Amap 5 22 36 27 9 1
Gois 5 16 28 25 17 6 20
Acre 6 16 29 27 16 5 1
Cear 6 17 28 25 15 7 2
Mato Grosso do Sul 6 16 28 27 17 6 1
Rondnia 6 20 33 26 11 4 1
So Paulo 6 16 25 26 18 8 1
Amazonas 6 17 28 26 15 6 1
Rio Grande do Sul 7 16 25 27 18 6 1
Rio de Janeiro 7 19 28 24 15 5 1
Sergipe 8 27 31 20 9 4 1
Rio Grande do Norte 8 22 31 23 12 3 0
Pernambuco 9 20 27 25 14 5 1
Paraba 9 22 30 23 11 4 1
Tocantins 9 23 32 25 9 2
Par 10 22 28 19 12 7 31
Piau 10 24 30 21 11 4 1
Maranho 12 24 27 21 11 4 1
Bahia 14 23 28 20 11 3 1
Alagoas 15 28 28 17 9 3 0
Abaixo nvel 1 Nvel 1B Nvel 1A Nvel 2 Nvel 3 Nvel 4 Nvel 5 Nvel 6
Fonte: OCDE, INEP.

A Figura 4.37 ilustra o desempenho mdio em leitura por gnero nas unidades da Federao. Em todas, o das meninas foi
superior ao dos meninos. Bahia foi o estado com a maior diferena (34 pontos), e Mato Grosso do Sul, com a menor (8).

Figura 4.37
Escores mdios estimados por gnero e unidade da Federao, leitura PISA 2015
450
MG PR
DF
440 Meninas com
desempenho maior que
SC
430 meninos GO
SP

420 AC RS
MT AM CE MS
RR
410 RJ
RO
PEPA
400 PB
AP
MA RN
390 PI
BA
TO SE
380

370 Meninos com


desempenho maior que
360 meninas

350
350 360 370 380 390 400 410 420 430 440 450
Fonte: OCDE, INEP.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 135
5

A avaliao de matemtica
no PISA 2015

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 137
5
A avaliao de matemtica no PISA 2015

5.1 Aspectos gerais


No PISA 2015, o letramento matemtico foi avaliado como domnio secundrio e, portanto, a avaliao abrangeu um
nmero menor de estudantes e de itens. Graas ao uso de modelos da Teoria de Resposta ao Item, todavia, os resultados
aqui apresentados esto na mesma escala do PISA 2003, em que a matemtica foi o domnio principal pela primeira vez.

Neste captulo, a matriz de referncia de matemtica do PISA 2015 explorada em detalhe com base na traduo dos
documentos oficiais da OCDE (2016). Nas Sees 5.2 e 5.3, discutem-se os aspectos do construto avaliado nesse domnio,
apresentando a definio de letramento matemtico, bem como os processos, contedos e contextos determinados na
matriz de referncia. Ressalta-se ainda que, por ser um domnio secundrio, a definio e os construtos associados ao
letramento matemtico em 2015 permanecem inalterados e consistentes com os utilizadas em 2012.

A Seo 5.4 dedica-se apresentao da estrutura na avaliao de matemtica aplicada em 2015, mostrando a distri-
buio dos itens no teste, enquanto a Seo 5.5 reporta a escala de proficincia e faz uma descrio resumida dos seis
nveis de proficincia em matemtica no PISA 2015.

A Seo 5.6 aborda os pontos fortes e fracos dos estudantes brasileiros nessa rea. Trabalha o conceito da dificuldade
dos itens com base no ndice Delta e sua variao segundo as diferentes categorias (processo, contedo e contexto),
discorre sobre a questo dos itens em branco e realiza uma anlise de itens-destaque.

Por fim, na Seo 5.7, apresentam-se os resultados nacionais na escala contnua e interpretada do PISA 2015, contras-
tando com o desempenho da mesma coorte de estudantes de 15 anos em 13 pases selecionados, e o panorama do
desempenho dos brasileiros nas 27 unidades da Federao.

5.2 Como o letramento matemtico definido no PISA?


Uma proporo cada vez maior de situaes cotidianas requer algum nvel de conhecimento matemtico para enfrentar
desafios nos aspectos pessoal, ocupacional, social e cientfico. Portanto, fundamental ter um discernimento sobre o
grau em que os jovens egressos da escola esto preparados para aplicar a matemtica na compreenso dos assuntos e
na soluo de problemas significativos, e uma avaliao aos 15 anos fornece uma indicao antecipada sobre como
eles podem reagir na vida adulta ampla gama de situaes que envolvem a matemtica.

O construto de letramento matemtico usado neste relatrio visa descrever as habilidades dos indivduos para racioci-
nar matematicamente e utilizar os conceitos, procedimentos, fatos e ferramentas matemticos para descrever, explicar
e prever fenmenos. Essa concepo demonstra a importncia de os alunos desenvolverem um entendimento slido
dos conceitos da matemtica pura e dos benefcios de se envolverem em exploraes no mundo abstrato dessa rea do
conhecimento. O construto de letramento matemtico, conforme definido pelo PISA (Figura 5.1), enfatiza a necessidade
de desenvolver a capacidade dos estudantes de usar a matemtica contextualmente, e importante que eles tenham
experincias ricas nas aulas dessa disciplina para alcanar tal objetivo.

Figura 5.1
A definio de letramento matemtico no PISA 2015

Letramento matemtico a capacidade de formular, empregar e inter-


pretar a matemtica em uma srie de contextos, o que inclui raciocinar
matematicamente e utilizar conceitos, procedimentos, fatos e ferramentas
matemticos para descrever, explicar e prever fenmenos. Isso ajuda os
indivduos a reconhecer o papel que a matemtica desempenha no mun-
do e faz com que cidados construtivos, engajados e reflexivos possam
fazer julgamentos bem fundamentados e tomar as decises necessrias.
Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic
and Financial Literacy.

138 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
5
A avaliao de matemtica no PISA 2015

A definio de letramento matemtico tem como foco o engajamento ativo com a matemtica e engloba o raciocnio
matemtico e o uso de conceitos, procedimentos, fatos e ferramentas da matemtica na descrio, explicao e previso
de fenmenos. De maneira especial, os verbos formular, empregar e interpretar apontam para os trs processos
nos quais os estudantes se engajaro como solucionadores ativos de problemas.

Alm disso, a definio busca integrar a noo de modelagem matemtica, que historicamente tem sido um pilar da
matriz de matemtica do PISA. Conforme as pessoas usam a matemtica e suas ferramentas para solucionar problemas
contextualizados, seu trabalho avana ao longo de uma srie de estgios.

O ciclo de modelagem um aspecto fundamental da concepo do PISA sobre os estudantes como solucionadores ati-
vos de problemas. Entretanto, em geral, o solucionador de problemas no precisa se envolver em cada estgio do ciclo
de modelagem, sobretudo no contexto de avaliao. Ele normalmente realiza alguns passos do ciclo, no todos (por
exemplo, ao usar grficos), ou os retoma vrias vezes para modificar decises e suposies anteriores.

A definio tambm admite que o letramento matemtico ajuda os indivduos a reconhecer o papel que a matemtica
desempenha no mundo, a fazer julgamentos bem fundamentados e a tomar as decises exigidas de cidados constru-
tivos, engajados e reflexivos.

As ferramentas matemticas mencionadas na definio referem-se a inmeros equipamentos fsicos e digitais, softwares
e calculadoras. Na avaliao por computador feita em 2015, uma calculadora online fez parte do material necessrio
para resolver algumas questes.

5.3 Como o letramento matemtico foi avaliado no PISA 2015?


A matriz de matemtica do PISA define o domnio dessa rea cognitiva e descreve uma abordagem para avaliar o
letramento matemtico de jovens de 15 anos. Isto , o PISA analisa at que ponto estudantes dessa idade sabem lidar
adequadamente com a matemtica ao serem confrontados com certos problemas e situaes, a maioria apresentada em
contextos do mundo real.

A definio de letramento matemtico do PISA 2015 pode ser analisada por trs aspectos correlacionados:

os processos matemticos que descrevem o que os indivduos fazem para conectar o contexto de um problema com
a matemtica e, assim, resolver o problema, bem como as capacidades subjacentes a esses processos;
o contedo matemtico visado para uso nos itens da avaliao; e
o contexto no qual esto situados os itens.

Ao enfatizar esses aspectos (detalhados nas prximas sees), a matriz de matemtica do PISA 2012, tambm usada na
edio de 2015, ajudou a garantir que os itens da avaliao desenvolvidos para o levantamento refletissem uma srie
de processos, contedos e contextos, de maneira que, considerado como um todo, o conjunto de itens avaliados ope-
racionalizasse de fato o que foi definido por essa matriz como letramento matemtico. Para ilustrar tais aspectos, foram
disponibilizados exemplos da Matriz de Avaliao e Analtica no site INEP e no do PISA.1

Algumas perguntas, baseadas na definio de letramento matemtico do PISA 2015, serviram de base para a organizao
da seo da matriz, cujo modelo ilustrado na Figura 5.2. So elas:

Em quais processos os indivduos se envolvem ao resolver problemas matemticos contextualizados e que capacidades
se espera que demonstrem medida que seu letramento matemtico aumenta?
Qual conhecimento de contedo matemtico pode ser esperado dos estudantes, principalmente daqueles com 15
anos de idade?
Em que contextos o letramento matemtico pode ser observado e avaliado?

1. Disponveis respectivamente em: <http://portal.inep.gov.br/pisa-em-foco> e <http://www.oecd.org/pisa>. Acesso em: 4 nov. 2016.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 139
5
A avaliao de matemtica no PISA 2015

Figura 5.2
Modelo de letramento matemtico na prtica

Problema em um contexto do mundo real


Categorias de contedos matemticos: mudanas e relaes; espao e forma; quantidade;
incerteza e dados.
Categorias de contextos: pessoal, ocupacional, social, cientfico.

Pensamento e ao matemtica
Conceitos matemticos, conhecimentos e habilidades.
Capacidades fundamentais da matemtica: comunicar; matematizar; representar;
raciocinar e argumentar; delinear estratgias para a soluo de problemas; utilizar
linguagem simblica, formal e tcnica e fazer operaes; usar ferramentas matemticas.
Processos: formular, empregar, interpretar/avaliar.

Problema no contexto Formular Problema matemtico

Empregar
Avaliar

Resultados no contexto Interpretar Resultados matemticos

Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading,
Mathematic and Financial Literacy.

OS PROCESSOS MATEMTICOS E AS CAPACIDADES MATEMTICAS SUBJACENTES


Processos matemticos
Como visto na seo anterior, letramento matemtico a capacidade de formular, empregar e interpretar a matemtica.
Essas trs palavras formular, empregar e interpretar fornecem uma estrutura til e significativa para organizar
os processos matemticos que descrevem o que as pessoas fazem para conectar o contexto de um problema com a ma-
temtica e, dessa maneira, resolver o problema. Alguns itens da avaliao de matemtica do PISA 2015 foram atribudos
a um desses trs processos matemticos:

formular situaes matematicamente;


empregar conceitos, fatos, procedimentos e raciocnios matemticos; e
interpretar, aplicar e avaliar resultados matemticos.

importante que tanto as pessoas que trabalham na elaborao de polticas pblicas como aquelas participam mais
diretamente da educao cotidiana dos estudantes saibam com que eficcia eles conseguem se envolver em cada um
desses processos.

O processo de formulao indica quo eficazmente os alunos reconhecem e identificam oportunidades para usar a ma-
temtica em situaes-problema e depois estabelecem a estrutura matemtica necessria para formular esse problema
contextualizado em uma forma matemtica; o de emprego, quanto executam clculos e manipulaes e aplicam os
conceitos e fatos que conhecem para chegar a uma soluo matemtica para um problema formulado matematicamente;
o de interpretao, quo eficazmente so capazes de refletir sobre solues e concluses matemticas, interpret-las em
um contexto do mundo real e determinar se os resultados ou concluses so razoveis.

A facilidade dos estudantes em aplicar a matemtica aos problemas e situaes depende da habilidade inerente a esses
trs processos, e o entendimento de sua eficcia em cada categoria pode ajudar a esclarecer as discusses e decises
no mbito poltico realizadas com maior proximidade do nvel da sala de aula.

140 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
5
A avaliao de matemtica no PISA 2015

Formulando situaes matematicamente


A palavra formular, na definio de letramento matemtico, refere-se capacidade de reconhecer e identificar opor-
tunidades para utilizar a matemtica e, posteriormente, fornecer uma estrutura matemtica para um problema apresen-
tado de maneira contextualizada. Determina-se de onde se pode extrair a matemtica bsica para analisar, estabelecer
e resolver o problema.

O processo de formulao de situaes de maneira matemtica inclui, especificamente, atividades como as exemplifi-
cadas na Figura 5.3.

Figura 5.3
Os processos matemticos Formulando situaes matematicamente

Identificar aspectos matemticos de um problema localizado em um contexto real e identificar as variveis signi-
ficativas.
Reconhecer estruturas matemticas (inclusive regularidades, relaes e padres) em problemas ou situaes.
Simplificar uma situao ou problema de maneira que seja tratvel pela anlise matemtica.
Identificar suposies e restries por trs das modelagens e simplificaes matemticas retiradas de um contexto.
Representar uma situao matematicamente utilizando as variveis, smbolos, diagramas e modelos padronizados
adequados.
Representar um problema de modo diferente, incluindo sua organizao de acordo com conceitos matemticos e
a elaborao de suposies apropriadas.
Compreender e explicar as relaes entre a linguagem especfica do contexto de um problema e a linguagem
simblica e formal necessria para sua representao matemtica.
Traduzir um problema em linguagem matemtica ou em uma representao.
Reconhecer aspectos de uma situao que corresponde a um problema, conceito, fato ou procedimento matem-
tico conhecido.
Utilizar tecnologia (por exemplo: uma planilha ou uma lista de opes em uma calculadora grfica) para retratar
uma relao matemtica inerente a um problema contextualizado.

Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy.

Empregando conceitos, fatos, procedimentos e raciocnios matemticos


A palavra empregar, na definio de letramento matemtico, refere-se capacidade de aplicar conceitos, fatos, pro-
cedimentos e raciocnios matemticos para resolver problemas formulados matematicamente a fim de obter concluses
matemticas. Nesse processo, realizam-se procedimentos matemticos para deduzir resultados e encontrar solues
matemticas (por exemplo: efetuar clculos aritmticos, resolver equaes, fazer dedues lgicas de pressupostos
matemticos, executar manipulaes simblicas, extrair informaes matemticas de tabelas e grficos, representar
e manipular formas no espao e analisar dados). Trabalha-se sobre um modelo da situao-problema, estabelecem-se
regularidades, identificam-se conexes entre entidades matemticas e criam-se argumentos matemticos.

O processo de emprego de conceitos, fatos, procedimentos e raciocnios matemticos inclui, especificamente, atividades
como as exemplificadas na Figura 5.4.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 141
5
A avaliao de matemtica no PISA 2015

Figura 5.4
Os processos matemticos Empregando conceitos, fatos, procedimentos e raciocnios matemticos

Esboar e implementar estratgias para encontrar uma soluo matemtica.


Utilizar ferramentas matemticas, inclusive tecnologia, para ajudar a encontrar solues exatas ou aproximadas.
Aplicar fatos, regras, algoritmos e estruturas matemticas na busca de solues.
Manipular nmeros, grficos, informaes e dados estatsticos, expresses e equaes algbricas e representaes
geomtricas.
Elaborar diagramas, grficos e outras construes matemticas e extrair informaes matemticas deles.
Usar diferentes representaes e transitar entre elas no processo de busca de solues.
Fazer generalizaes com base nos resultados de aplicao de procedimentos matemticos para encontrar solues.
Refletir sobre discusses matemticas, explicar e justificar resultados matemticos.

Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy.

Interpretando, aplicando e avaliando resultados matemticos


A palavra interpretar, na definio de letramento matemtico, refere-se capacidade de refletir sobre as solues, resul-
tados e concluses matemticos e de interpret-los no contexto de problemas da vida real. Isso exige traduzir as solues
matemticas ou o raciocnio sobre o contexto especfico de um problema e determinar se os resultados fazem sentido
e so aceitveis nesse contexto. No modelo de letramento matemtico (Figura 5.2), esse processo matemtico abrange
as setas Interpretar e Avaliar. Pode-se solicitar s pessoas nele envolvidas que construam e apresentem explicaes
e argumentos no contexto do problema, refletindo tanto sobre o processo de modelagem como sobre os resultados.

A interpretao, aplicao e avaliao de resultados matemticos incluem, especificamente, atividades como as exem-
plificadas na Figura 5.5.

Figura 5.5
Os processos matemticos Interpretando, aplicando e avaliando resultados matemticos

Interpretar um resultado matemtico aplicado a um contexto do mundo real.


Avaliar a aceitabilidade de uma soluo matemtica em um problema presente no mundo real.
Compreender como o mundo real impacta os resultados e os clculos de um procedimento ou modelo matemtico
visando julgamentos contextualizados sobre como os resultados podem ser ajustados ou aplicados.
Explicar por que um resultado ou concluso matemtica faz ou no sentido no contexto de um problema.
Compreender a extenso e os limites dos conceitos e solues matemticos.
Criticar e identificar os limites do modelo utilizado na resoluo de um problema.

Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy.

Capacidades matemticas fundamentais subjacentes aos processos matemticos


Uma dcada de experincia no desenvolvimento dos itens do PISA e na anlise de como os estudantes respondem aos
itens revelou que existe um conjunto de capacidades matemticas fundamentais que, na prtica, so subjacentes a cada
um dos processos reportados e ao letramento matemtico. O trabalho de Mogens Niss e de seus colegas dinamarqueses
(indicados em OCDE, 2016) identificou oito capacidades denominadas competncias por Niss e na matriz de 2003
do PISA que so instrumentos para o comportamento matemtico.

A matriz do PISA de 2015 utilizou uma formulao modificada desse conjunto de capacidades, reduzidas de oito para
sete, com base em uma investigao sobre o modo de operar das competncias por meio de itens do PISA previamente
testados. Essas capacidades cognitivas esto disponveis para o indivduo ou podem ser aprendidas por ele, a fim de que
entenda e se envolva com o mundo de maneira matemtica ou resolva problemas. medida que seu nvel de letramen-
to matemtico se incrementa, ele capaz de desenvolver cada vez mais as capacidades fundamentais da matemtica.
Assim, a ativao cada vez maior dessas capacidades est relacionada crescente dificuldade dos itens. Essa observao

142 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
5
A avaliao de matemtica no PISA 2015

foi utilizada como base das descries dos diferentes nveis de proficincia do letramento matemtico relatados nas
avaliaes anteriores do PISA e discutidos posteriormente nessa matriz.

As sete capacidades fundamentais da matemtica so:

Comunicar O letramento matemtico envolve comunicao. A pessoa percebe a existncia de algum desafio e esti-
mulada a reconhecer e compreender uma situao-problema. A leitura, decodificao e interpretao de declaraes,
perguntas, tarefas ou objetos lhe permitem criar um modelo mental da situao, que constitui um passo importante na
compreenso, esclarecimento e formulao de um problema. Durante o processo de resoluo de problemas, s vezes
necessrio resumir e apresentar resultados intermedirios. Posteriormente, quem resolveu o problema pode precisar
expor para outras pessoas a soluo a que chegou e, talvez, apresentar uma explicao ou justificativa.

Matematizar Trata-se de transformar um problema definido no mundo real em uma forma estritamente matemtica
(por exemplo: estruturao, conceituao, criao de suposies e/ou formulao de um modelo) ou de interpretar ou
avaliar um resultado matemtico ou um modelo matemtico em relao ao problema original. O termo matematizar
utilizado para descrever as atividades matemticas fundamentais envolvidas.

Representar O letramento matemtico normalmente abrange representaes de objetos e situaes matemticos. Isso
pode implicar a seleo, interpretao, traduo entre um e outro e uso de uma srie de representaes para capturar
uma situao, interagir com um problema ou apresentar o prprio trabalho. Tais representaes incluem grficos, tabelas,
diagramas, figuras, equaes, frmulas e materiais concretos.

Raciocinar e argumentar Essa capacidade compreende processos de pensamento logicamente enraizados que exploram
e vinculam elementos de problemas, de modo a fazer inferncias com base neles, verificar uma justificativa apresentada
ou fornecer uma justificativa sobre afirmaes ou solues para problemas.

Delinear estratgias para a soluo de problemas O letramento matemtico exige, em geral, o delineamento de
estratgias para a soluo de problemas matemticos. Isso envolve um conjunto de processos crticos de controle que
norteiam o indivduo para que efetivamente reconhea, formule e resolva problemas. Essa capacidade caracterizada
pela seleo ou delineamento de um plano ou estratgia de usar a matemtica para resolver problemas decorrentes de
uma tarefa ou contexto, bem como para orientar sua execuo, podendo ser exigida em qualquer das etapas do processo
de resoluo de problemas.

Utilizar linguagem simblica, formal e tcnica e fazer operaes O letramento matemtico envolve a compreenso,
interpretao, manipulao e uso de expresses simblicas em um contexto matemtico (inclusive expresses e opera-
es aritmticas) de acordo com convenes e regras matemticas, bem como o entendimento e utilizao de construtos
formais baseados em definies, regras e sistemas formais e o emprego de algoritmos com esses conceitos. Os smbolos,
regras e sistemas usados variam de acordo com o contedo especfico de conhecimento matemtico necessrio para
determinada tarefa de formular, resolver ou interpretar a matemtica.

Usar ferramentas matemticas As ferramentas matemticas incluem instrumentos fsicos, como os de medida, ou
calculadoras e computadores, cada vez mais disponveis. Alm de saber utilizar essas ferramentas para ajud-lo na so-
luo de tarefas matemticas, o indivduo precisa conhecer suas limitaes. As ferramentas matemticas tambm podem
desempenhar um papel importante na comunicao dos resultados.

Essas capacidades so evidenciadas em diferentes graus em cada um dos trs processos matemticos (Figura 5.6).

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 143
5
A avaliao de matemtica no PISA 2015

Figura 5.6
Relao entre processos matemticos (na coluna) e habilidades matemticas fundamentais (na linha)
Empregar conceitos,
Formular situaes Interpretar, aplicar e avaliar
fatos, procedimentos e
matematicamente resultados matemticos
raciocnios matemticos
Comunicar Ler, decodificar e interpretar Articular uma soluo, Construir e apresentar
afirmaes, perguntas, tarefas mostrar o trabalho envolvido explicaes e argumentos no
ou objetos para criar um no alcance da soluo e/ou contexto do problema.
modelo mental da situao. resumir e apresentar resultados
matemticos intermedirios.
Matematizar Identificar as variveis e Usar um entendimento do Entender a extenso e os
estruturas matemticas contexto para orientar ou limites de uma soluo
subjacentes em problemas do agilizar o processo de soluo matemtica que so a
mundo real e fazer suposies matemtica (por exemplo: consequncia do modelo
para que possam ser utilizadas. trabalhar em um nvel de matemtico empregado.
acurcia adequado ao
contexto).
Representar Criar uma representao Dar sentido ou relacionar e usar Interpretar resultados
matemtica de informaes do uma srie de representaes ao matemticos em uma srie de
mundo real. interagir com o problema. formatos em relao a uma
situao ou uso; comparar
ou avaliar duas ou mais
representaes em relao a
uma situao.
Raciocinar e argumentar Explicar, defender ou fornecer Explicar, defender ou fornecer Refletir sobre solues
uma justificativa para a uma justificativa para os matemticas e criar explicaes
representao identificada ou processos e procedimentos e argumentos que corroborem,
elaborada de uma situao do usados para determinar refutem ou qualifiquem uma
mundo real. um resultado ou soluo soluo matemtica para um
matemtica; conectar partes problema contextualizado.
de informaes para chegar a
uma soluo matemtica, fazer
generalizaes ou criar um
argumento com vrias etapas.
Delinear estratgias para a Selecionar ou elaborar um Ativar mecanismos de controle Elaborar e implementar uma
soluo de problemas plano ou estratgia para eficazes e contnuos ao longo estratgia para interpretar,
reestruturar matematicamente do procedimento com vrias avaliar e validar uma soluo
problemas contextualizados. etapas, levando a uma soluo, matemtica para um problema
concluso ou generalizao contextualizado.
matemtica.
Utilizar linguagem simblica, Usar variveis, smbolos, Entender e utilizar construtos Entender a relao entre o
formal e tcnica e fazer diagramas e modelos formais com base nas contexto do problema e a
operaes padronizados adequados a fim definies, regras e sistemas representao da soluo
de representar um problema formais, bem como empregar matemtica; usar esse
do mundo real usando uma algoritmos. entendimento para ajudar
linguagem simblica/formal. a interpretar a soluo no
contexto e estimar a viabilidade
e as possveis limitaes da
soluo.
Usar ferramentas Utilizar ferramentas Conhecer e ser capaz de Usar ferramentas matemticas
matemticas matemticas para reconhecer empregar adequadamente para garantir a aceitao de
estruturas ou descrever relaes vrias ferramentas que podem uma soluo matemtica
matemticas. auxiliar na implementao de e de quaisquer limitaes
processos e procedimentos e restries nessa soluo,
para determinar solues considerando o contexto do
matemticas. problema.
Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy.

Um bom guia para a dificuldade emprica dos itens pode ser considerar quais aspectos das capacidades matemticas
fundamentais so necessrios para planejar e determinar uma soluo. Os itens mais fceis exigem a ativao de poucas
capacidades de maneira relativamente mais direta; os mais difceis, a ativao complexa de diversas capacidades. Prever
uma dificuldade implica levar em conta o nmero de capacidades e a complexidade da ativao necessria.

144 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
5
A avaliao de matemtica no PISA 2015

Conhecimento de contedos matemticos


Para os cidados no mundo moderno, importante o entendimento dos contedos matemticos, bem como a capacidade
de aplicar esse conhecimento para resolver problemas significativos e contextualizados. Isto , para resolver problemas e
interpretar situaes nos contextos pessoal, ocupacional, social e cientfico, preciso basear-se em certos conhecimentos
e entendimentos matemticos.

Ao longo dos anos, tm sido desenvolvidas estruturas matemticas como forma de entender e interpretar fenmenos
naturais e sociais. Nas escolas, o currculo matemtico est organizado, em geral, ao redor de alguns contedos (por
exemplo: aritmtica, lgebra e geometria) e de listas com tpicos detalhados que refletem ramos historicamente bem
estabelecidos da matemtica e que auxiliam na definio de um currculo estruturado. No entanto, fora da sala de aula,
uma situao que surja no acompanhada por um conjunto de regras e prescries que mostram como enfrent-la.
Em vez disso, a situao costuma exigir um raciocnio criativo que permita verificar as possibilidades de usar a matem-
tica para enfrent-la e formul-la matematicamente. Uma situao pode ser encarada de vrios modos, com o uso de
diferentes conceitos, procedimentos, fatos ou ferramentas matemticos.

Para a avaliao do letramento matemtico do PISA, prope-se uma estrutura organizacional para o conhecimento
dos contedos matemticos com base em fenmenos matemticos que subjazem grandes classes de problemas e que
motivaram o desenvolvimento de conceitos e procedimentos matemticos especficos. Normalmente, os currculos de
matemtica nacionais so formulados para fornecer ao estudante conhecimentos e habilidades que abordam esses fen-
menos matemticos subjacentes. Como consequncia, o alcance do contedo originrio da organizao do contedo
est intimamente alinhado quele em geral encontrado nos currculos de matemtica nacionais. Essa matriz lista alguns
tpicos de contedos adequados para avaliar o letramento matemtico de estudantes de 15 anos, com base na anlise
dos padres nacionais de 11 pases.

Para organizar o domnio de matemtica para fins de avaliao do letramento, importante selecionar uma estrutura
que surja de evolues histricas na matemtica, que englobe variedade e profundidade suficientes para revelar os fun-
damentos matemticos e que represente ou inclua a linha convencional da matemtica de maneira aceitvel. Portanto,
selecionou-se um conjunto de categorias de contedos que reflete a gama de fenmenos matemticos subjacentes para
a matriz do PISA 2015, consistente com as categorias utilizadas para as avaliaes anteriores.

Portanto, uma srie de categorias de contedos do PISA 2015 usada para satisfazer exigncias do desenvolvimento his-
trico em matemtica, que abrange em variedade e profundidade o domnio de matemtica e os fenmenos subjacentes
que motivam essa evoluo, bem como o reflexo das principais vertentes do currculo escolar. Essas quatro categorias
caracterizam o alcance do contedo matemtico central para a disciplina e ilustram as grandes reas de contedo uti-
lizadas nos itens do PISA 2015. So elas:

mudanas e relaes;
espao e forma;
quantidade;
incerteza e dados.

Essas categorias permitem organizar o domnio de matemtica de modo a garantir uma distribuio dos itens ao longo
de todo o domnio e a focar fenmenos matemticos importantes. Podem, ainda, evitar uma diviso muito refinada que
se encaminharia contra o foco em problemas matemticos ricos e desafiadores baseados em situaes reais. Ao mesmo
tempo que a diviso por categorias de contedos importante para o desenvolvimento e a seleo de itens e para o relato
dos resultados da avaliao, vale ressaltar que alguns tpicos de contedos especficos podem se enquadrar em mais de
uma categoria. Ligaes entre diferentes aspectos de contedo que perpassam essas quatro categorias contribuem para a
coerncia da matemtica como disciplina e ficam aparentes em alguns itens escolhidos para a avaliao do PISA 2015.

As amplas categorias de contedos matemticos e o conjunto de tpicos de contedos mais adequados para estudantes de
15 anos, detalhados mais adiante nesta seo, refletem o nvel e a profundidade dos contedos que podem ser escolhidos
para incluso na avaliao do PISA 2015. Inicialmente, apresentam-se as descries narrativas de cada categoria e sua
relevncia para resolver problemas significativos e, em seguida, as definies mais especficas dos tipos de contedos
adequados para incluso em uma avaliao de letramento matemtico para esses jovens. Os tpicos especficos expres-
sam similitudes encontradas nas expectativas definidas por vrios pases e jurisdies educacionais. Os padres para

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 145
5
A avaliao de matemtica no PISA 2015

identificar tais tpicos so vistos no s como evidncia daquilo que se ensina em aulas de matemtica nesses pases,
mas tambm como indicadores do que alguns deles entendem como conhecimentos e capacidades importantes para
preparar estudantes desta idade a fim de que sejam cidados construtivos, engajados e reflexivos.

A seguir, esto as descries do conhecimento dos contedos matemticos que caracterizam cada uma das quatro ca-
tegorias mudanas e relaes, espao e forma, quantidade e incerteza e dados.

Mudanas e relaes
O mundo natural e o mundo projetado pelo homem tm uma srie de relaes temporrias e permanentes entre objetos
e circunstncias, nos quais acontecem mudanas nos sistemas de objetos inter-relacionados ou em circunstncias em
que os elementos se influenciam mutuamente. Em muitos casos, as mudanas ocorrem ao longo do tempo; em outros,
mudanas em um objeto ou circunstncia esto relacionadas a mudanas em outros. Algumas dessas situaes envolvem
mudanas discretas; outras mudam continuamente. Certas relaes so de natureza permanente ou invariante. Ser mais
letrado sobre mudanas e relaes envolve compreender os tipos de mudanas fundamentais e reconhecer quando elas
ocorrem a fim de utilizar modelos matemticos adequados para descrev-las e prediz-las. Matematicamente, isso sig-
nifica modelar essas mudanas e relaes com funes e equaes apropriadas, bem como criar, interpretar e traduzir
as diversas representaes de relaes grficas e simblicas.

As mudanas e relaes so evidentes em ambientes to diversos como o crescimento de organismos, a msica, o ciclo
das estaes, os padres climticos, os nveis de emprego e as condies econmicas. Aspectos do contedo matemtico
tradicional de funes e lgebra, inclusive de expresses algbricas, equaes e inequaes, representaes tabulares e
grficas, so fundamentais na descrio, modelagem e interpretao de fenmenos que se modificam. As representaes
de dados e relaes descritos estatisticamente, em geral, tambm so bastante usadas para retratar e interpretar mudanas
e relaes. Alm disso, essencial uma base firme nos fundamentos de nmeros e unidades para definir e interpretar as
mudanas e as relaes. Das medies geomtricas surgem algumas relaes interessantes, como as de mudanas no
permetro com mudanas na rea ou aquelas entre os comprimentos dos lados dos tringulos.

Espao e forma
Essa categoria abrange uma ampla gama de fenmenos encontrados em vrios lugares no mundo fsico e visual: padres;
propriedades dos objetos; posies e orientaes; representao dos objetos; codificao e decodificao de informao
visual; navegao e interao dinmica com formas reais e com suas representaes. A geometria pode ser considerada
uma rea-base para o espao e a forma, mas essa categoria vai alm da geometria tradicional no que se refere a contedo,
significado e mtodo, utilizando-se de recursos de outras reas matemticas, como visualizao espacial, medida e lgebra.

Por exemplo, as formas podem mudar e fazer com que um ponto se mova ao longo de uma trajetria, o que exige
conceitos de funo. Logo, frmulas de medio so essenciais nessa categoria de contedo. Nela esto includas a
manipulao e a interpretao de formas nos ambientes que exigem ferramentas que variam de softwares de geometria
dinmica a softwares de Sistema de Posicionamento Global (GPS).

O PISA pressupe que importante o entendimento de um conjunto de conceitos e capacidades-chave para o letramento
matemtico no que se refere a espao e forma. O letramento matemtico nessa rea envolve uma srie de atividades,
como o entendimento de perspectiva (por exemplo, na pintura), a criao e leitura de mapas, a transformao de formas
com e sem uso de tecnologias, a interpretao de paisagens de cenas tridimensionais de vrias perspectivas e a cons-
truo de representaes de formas.

Quantidade
A noo de quantidade talvez seja o aspecto matemtico mais abrangente e essencial com o qual nos envolvemos e
trabalhamos. Ela est presente na quantificao de caractersticas de objetos, relaes, situaes e entidades no mundo,
na compreenso de vrias representaes de quantificaes e no julgamento de interpretaes e argumentos baseados
em quantidades. Para se envolver com a quantificao do mundo, necessrio compreender medidas, contas, grande-
zas, unidades, indicadores, tamanhos relativos e tendncias e padres numricos. Aspectos do raciocnio quantitativo,
como a percepo dos nmeros, a compreenso da mltipla representao de nmeros, o requinte no clculo mental
e computacional, a estimativa e a avaliao da aceitabilidade de resultados, so a base do letramento matemtico no
que se refere a quantidade.

146 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
5
A avaliao de matemtica no PISA 2015

A quantificao um mtodo primrio de descrio e medio de um amplo conjunto de caractersticas do mundo. Ela permite
a modelao de situaes para a verificao de mudanas e relaes, para a descrio e manipulao do espao e das formas,
para a organizao e interpretao de dados e para a medio e avaliao de incertezas. Assim, o letramento matemtico
na rea da quantidade aplica conhecimentos de nmeros e operaes numricas a vrios tipos de ambientes e situaes.

Incerteza e dados
A incerteza est presente nas cincias, em tecnologias e na vida cotidiana. , portanto, um fenmeno central na anlise
matemtica de muitas situaes-problema, e, para lidar com ela, foram criadas a teoria das probabilidades e a estatsti-
ca, bem como as tcnicas de representao e descrio de dados. A categoria de contedo de incerteza e dados inclui
identificar o lugar da variao nos processos, com a percepo da quantificao dessa variao, do reconhecimento
da incerteza, do erro na medio e do conhecimento das probabilidades. Isso tambm envolve formular, interpretar e
avaliar concluses tiradas em situaes nas quais a incerteza um aspecto central. A apresentao e a interpretao dos
dados so conceitos-chave nessa categoria.

H incerteza nas predies cientficas, nos resultados das pesquisas, na previso do tempo e nos modelos econmicos.
H variao nos processos de fabricao, nas pontuaes dos testes e nas descobertas das pesquisas, e a probabilidade
fundamental para muitas atividades recreativas bastante apreciadas pelas pessoas. As reas curriculares tradicionais
da probabilidade e da estatstica fornecem meios formais para descrever, modelar e interpretar determinada classe de
fenmenos de incerteza e para fazer inferncias. Alm disso, o conhecimento de nmeros e de aspectos da lgebra,
como grficos e representaes simblicas, contribui para facilitar o envolvimento com problemas nessa categoria de
contedo, cujo foco na interpretao e na apresentao de dados um aspecto importante.

O contedo no PISA 2015


A fim de compreender e resolver problemas contextualizados que envolvem mudanas e relaes, espao e forma, quan-
tidade e incerteza e dados, necessrio elaborar uma srie de conceitos, procedimentos, fatos e ferramentas matemticos
em um nvel adequado de profundidade e sofisticao. Como se trata de uma avaliao de letramento matemtico, o PISA
empenha-se em avaliar os nveis e tipos de tpicos de matemtica adequados para que estudantes de 15 anos se tornem
cidados construtivos, engajados e reflexivos, capazes de tomar decises e fazer julgamentos bem fundamentados. Alm
disso, o PISA, embora no seja projetado nem pretenda ser uma avaliao orientada para o currculo, procura refletir a
matemtica que os jovens aprenderam at atingir os 15 anos.

O contedo includo no PISA 2015 foi o mesmo do desenvolvido na edio de 2012. A Figura 5.7 busca refletir sobre
a centralidade de muitos desses conceitos para as quatro categorias de contedos e reforar a coerncia da matemtica
como disciplina. Aqui, pretende-se apenas ilustrar os tpicos de contedos includos no PISA 2015 e no produzir uma
lista exaustiva.

Figura 5.7
Exemplos de tpicos de contedo includos no PISA 2015
Funes
O conceito de funo enfatiza (mas no se limita a) funes lineares, suas propriedades e uma srie de descries e
suas representaes. As representaes mais comuns so as verbais, simblicas, tabulares e grficas.
Expresses algbricas
Interpretao verbal ou manipulao de expresses algbricas, envolvendo nmeros, smbolos, operaes aritmticas,
potncias e razes simples.
Equaes e inequaes
Equaes lineares e relacionadas, inequaes, equaes simples de segundo grau e mtodos de soluo analticos
e no analticos.
Sistemas coordenados
Representao e descrio de dados, posies e relaes.
Relaes com e entre objetos geomtricos em duas ou trs dimenses
Relaes estticas como conexes algbricas entre elementos de figuras (por exemplo: teorema de Pitgoras como
definidor de relaes entre os comprimentos dos lados de um tringulo retngulo), posies relativas, semelhana e
congruncia, relaes dinmicas envolvendo transformaes e movimentao de objetos, e correspondncia entre
objetos bi e tridimensionais.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 147
5
A avaliao de matemtica no PISA 2015

Figura 5.7 (continuao)


Exemplos de tpicos de contedo includos no PISA 2015

Medidas
Quantificao das caractersticas de formas e objetos, como medidas de ngulo, distncia, comprimento, permetro,
circunferncia, rea e volume.
Nmeros e unidades
Conceitos, representaes de nmeros e sistemas numricos, incluindo propriedades de nmeros inteiros e racionais,
aspectos relevantes dos nmeros irracionais, bem como quantidades e unidades referentes a fenmenos como tempo,
dinheiro, peso, massa, temperatura, distncia, rea e volume, e quantidades derivadas com sua descrio numrica
correspondente.
Operaes aritmticas
Natureza e propriedades dessas operaes e respectiva notao convencional.
Porcentagem, razo e proporo
Descrio numrica de magnitude relativa e aplicao de propores e raciocnios com proporcionalidade para
resolver problemas.
Princpios de contagem
Combinaes e permutas simples.
Estimativas
Aproximao de quantidades e de expresses numricas com uma finalidade, incluindo dgitos significativos e ar-
redondamentos.
Coleta, representao e interpretao de dados
Natureza, origem e coleta de vrios tipos de dados, e as diferentes formas de represent-los e interpret-los.
Variabilidade e descrio de dados
Conceitos como variabilidade, distribuio e tendncia central de conjunto de dados, e formas de descrev-los e
interpret-los em termos quantitativos.
Amostras e amostragem
Conceitos de amostra e amostragem de dados populacionais, incluindo inferncia simples baseada nas propriedades
da amostra.
Risco e probabilidade
Noo de eventos randmicos, variao randmica e sua representao, risco e frequncia de eventos, e aspectos
bsicos do conceito de probabilidade.
Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy.

O contexto no PISA 2015


A escolha de estratgias e representaes adequadas, em geral, depende do contexto no qual o problema matemtico
se situa. O contexto normalmente considerado um aspecto da resoluo de problemas que impe novas exigncias
ao solucionador. Para a avaliao do PISA, importante utilizar grande diversidade de contextos. Isso d ao indivduo a
oportunidade de fazer conexes com a mais ampla variedade possvel de interesses pessoais e tambm com uma srie
de situaes em que atuam as pessoas que vivem no sculo 21.

Para os fins da matriz de matemtica do PISA 2015, quatro contextos so utilizados para classificar os itens da avaliao:

Pessoal Itens classificados nessa categoria focam atividades da prpria pessoa, de sua famlia e de seus colegas. In-
cluem (mas no se limitando a) temas relacionados preparao de comida, compras, jogos, sade pessoal, transporte,
agenda e finanas pessoais.

Ocupacional Itens classificados nessa categoria esto voltados para o mundo do trabalho. Compreendem (mas no se
limitam a) atividades como: medio, avaliao de custos e realizao de pedidos de materiais de construo; folhas de
pagamento/contabilidade; controle de qualidade; agendamentos/balanos; projetos/arquitetura; e situaes que exigem
tomada de decises. Podem ainda se relacionar a qualquer nvel de mo de obra, desde um trabalho no qualificado
at os patamares mais altos de atuao profissional, embora, na avaliao do PISA, devam ser acessveis a estudantes
de 15 anos.

148 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
5
A avaliao de matemtica no PISA 2015

Social Itens classificados nessa categoria tm foco na comunidade do indivduo (seja ela local, nacional ou global).
Envolvem (mas no se limitam a) sistemas de votao, transporte pblico, governo, polticas pblicas, demografia,
propaganda e economia e estatsticas nacionais. Embora as pessoas estejam envolvidas em todas essas coisas de modo
pessoal, os problemas do contexto social so abordados de uma perspectiva comunitria.

Cientfico Itens classificados nessa categoria relacionam-se aplicao da matemtica no mundo natural e a questes
e tpicos voltados para a cincia e a tecnologia. Incluem (mas no se limitam a) temas como condies meteorolgicas
e clima, ecologia, medicina, gentica, cincias espaciais, medies e o prprio mundo da matemtica. Itens nos quais
todos os elementos envolvidos pertencem matemtica esto includos no contexto cientfico.

Os itens da avaliao do PISA esto organizados em unidades que compartilham material de estmulo. comum, portanto,
que todos os itens de uma unidade pertenam a uma mesma categoria contextual. H excees, contudo; o material de
estmulo pode, por exemplo, ser observado sob o ponto de vista pessoal em um item e sob o social em outro. Quando
um item envolve unicamente construtos matemticos sem fazer referncia aos elementos contextuais da unidade na qual
est inserido, ele alocado na categoria do contexto da unidade. No caso incomum de a unidade envolver apenas cons-
trutos matemticos e no ter nenhuma relao com os contextos no matemticos, ela inserida na categoria cientfica.

O uso das categorias contextuais fornece a base para selecionar uma combinao de itens de contextos, alm de garantir
que a avaliao reflita uma ampla margem de utilizao da matemtica, que varia desde os usos pessoais dirios at as
demandas cientficas de problemas mundiais. Alm disso, importante que cada categoria seja permeada de itens avalia-
tivos com diferentes graus de dificuldade. Dado que a principal finalidade dessas categorias desafiar os estudantes em
uma abrangente gama de problemas contextuais, cada uma delas tem de contribuir substancialmente para a mensurao
do letramento matemtico. No entanto, o nvel de dificuldade dos itens da avaliao que representam uma categoria
contextual no deve ser sistematicamente maior ou menor do que o nvel dos itens pertencentes a outra categoria.

Ao identificar contextos que podem ser relevantes, essencial manter em mente que o propsito da avaliao estimar
o uso do conhecimento, dos processos e das capacidades do contedo matemtico que os jovens tenham adquirido at
os 15 anos de idade. Portanto, contextos para itens da avaliao so selecionados luz da relevncia dos interesses e
da vida dos estudantes e das demandas que tero de enfrentar medida que se inserirem na sociedade como cidados
construtivos, engajados e reflexivos. Os gerentes de projeto nacionais dos pases participantes da avaliao do PISA esto
envolvidos no julgamento do grau de tal relevncia.

5.4 Qual foi a estrutura da avaliao do letramento matemtico


no PISA 2015?
Em 2012, quando o letramento matemtico foi o principal domnio, a avaliao contou com 109 itens de matemtica.
Para a montagem dos cadernos de prova, os itens foram dispostos em nove blocos, cada um deles representando 30
minutos do tempo do teste para os estudantes, e realizou-se uma rotao dos blocos, incluindo itens comuns entre si.

Em 2015, o letramento matemtico foi um domnio menor (70 itens no total), e os alunos tiveram de resolver menos
blocos de itens, que, no entanto, foram gerados e rotacionados de maneira similar. Utilizaram-se seis blocos de ciclos
anteriores, incluindo um fcil e um difcil, de acordo com a opo dos pases pela resoluo colaborativa de pro-
blemas ou no e pela realizao do teste em papel ou computador. Usar seis blocos e no trs como foi o habitual nos
domnios menores nos ciclos anteriores significa que houve aumento do nmero de itens comuns e, portanto, maior
cobertura do construto.

Todos os itens da prova de matemtica do PISA 2015 foram comuns s edies anteriores. No delineamento utilizado
pelo PISA, nem todos os estudantes respondem a todos os itens. Alguns pases podem ter um quantitativo maior ou menor
de itens aplicados, mas a metodologia utilizada permite equalizar a escala para que os resultados sejam comparveis
entre si. Para os estudantes brasileiros participantes do PISA 2015, a distribuio dos itens por dimenso e formato de
resposta se deu como apresentado na Figura 5.8.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 149
5
A avaliao de matemtica no PISA 2015

Figura 5.8
Distribuio dos itens de matemtica por dimenso da matriz e formato de resposta PISA 2015
Formato de resposta
Dimenso Mltipla escolha Mltipla escolha Resposta aberta
Total
simples complexa ou construda
Processo
Formular situaes matematicamente 3 3 13 19
Empregar conceitos, fatos, procedimentos e
8 6 17 31
raciocnios matemticos
Interpretar, aplicar e avaliar resultados matemticos 8 5 7 20
Total 19 14 37 70
Contedo
Mudanas e relaes 2 4 11 17
Espao e forma 3 4 11 18
Quantidade 7 3 7 17
Incerteza e dados 7 3 8 18
Total 19 14 37 70
Contexto
Pessoal 4 3 4 11
Ocupacional 1 3 12 16
Social 11 4 13 28
Cientfico 3 4 8 15
Total 19 14 37 70
Nota:
1. Aps a anlise psicomtrica, o item M192Q01 foi excludo do resultado final do PISA 2015, mas no desta anlise.
Fonte: OCDE, INEP.

Em 2015, a construo do instrumento teve por objetivo compor uma avaliao que fornecesse peso aproximadamente
igual aos dois processos que envolvem a realizao de conexes entre o mundo real e o matemtico (formular situaes
matematicamente e interpretar, aplicar e avaliar resultados matemticos) e quele que exige a capacidade de trabalhar
um problema formulado matematicamente (empregar conceitos, fatos, procedimentos e raciocnios matemticos).
Assim, em torno de 44% dos itens da prova estavam relacionados a este ltimo, e 28%, a cada um dos outros dois.

Quanto s quatro categorias de contedo, houve uma distribuio equilibrada de itens (por volta de 25% para cada uma),
uma vez que todos esses domnios so importantes para cidados construtivos, engajados e reflexivos.

Em relao ao contexto, 35% dos itens foram do contexto social; 25%, do ocupacional; 25%, do cientfico; e 25%, do
pessoal. Essa distribuio permitiu apresentar itens aos estudantes que alcanavam uma ampla variedade de interesses
individuais e de situaes que eles podero encontrar em sua vida.

J no que se refere aos formatos de resposta, a maior parte (58%) foi de resposta aberta ou construda; 25%, de mltipla
escolha simples; e 17%, de mltipla escolha complexa.

Para responder aos itens de mltipla escolha, os alunos tinham de selecionar uma ou mais alternativas entre algumas
dadas; as respostas a essas questes foram processadas de modo automtico. Os itens de resposta aberta requeriam a
formulao de uma resposta escrita mais extensa, e alguns deles pediam aos estudantes que mostrassem os passos dados
ou explicassem como chegaram resposta; as respostas a esses itens foram codificadas manualmente por corretores
treinados. Por fim, os itens de resposta construda forneciam um conjunto mais estruturado para a apresentao de so-
lues de problemas pelos alunos, e as respostas podiam ser consideradas corretas ou incorretas com facilidade. Muitas
respostas a esse tipo de questo foram direcionadas e processadas por um software de captura de dados, e algumas
tiveram de ser codificadas por corretores treinados. A maior parte das respostas construdas era de nmeros simples.

150 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
5
A avaliao de matemtica no PISA 2015

5.5 Como o letramento matemtico reportado no PISA?


Os resultados da avaliao de matemtica do PISA esto relatados de formas variadas. possvel obter um resultado
global, com o resultado mdio das proficincias, ou analis-lo com base nos nveis de proficincia descritos pelo PISA.
A mtrica para a escala de matemtica, estabelecida em 2003, baseou-se em uma mdia dos pases da OCDE de 500
pontos, com desvio-padro de 100 pontos.

O grande diferencial do PISA 2015 em relao s outras edies foi a aplicao da avaliao por computador. O quadro
a seguir apresenta as justificativas tcnicas que possibilitam comparar os resultados de matemtica nos diferentes ciclos.

Os resultados do teste computadorizado de matemtica do PISA 2015


podem ser comparados com os resultados das edies passadas?

Em 2015, pela primeira vez as provas de matemtica do PISA foram aplicadas integralmente por computador. A maio-
ria dos pases/economias participantes, incluindo todos os da OCDE, avaliou os estudantes na verso eletrnica (ver
Captulo 1). A fim de comparar os resultados desse teste com os obtidos pelas coortes de estudantes que fizeram os
testes do PISA em papel no passado, era necessrio estabelecer primeiro a equivalncia dos instrumentos em papel
e os baseados em computador (Janssen, 2011, apud OCDE, 2016).

Os testes em papel e em computador do PISA esto ligados por itens comuns, todos eles desenvolvidos, inicialmente,
para os testes baseados em papel em ciclos anteriores da avaliao. O pr-teste do PISA 2015 analisou a equivalncia
dos itens comuns entre os testes em computador e os baseados em papel. Distinguiram-se dois nveis de equivalncia:
equivalncia escalar (forte) e equivalncia mtrica (fraca) (Meredith, 1993; Davidov, Schmidt e Billiet, 2011, apud
OCDE, 2016). Somente os itens que passaram no teste de equivalncia foram retidos para o estudo principal de 2015.

possvel a comparao dos escores do PISA 2015 com os dos ciclos passados, bem como a dos escores do PISA
em um pas com os de outro pas, graas ao nmero de itens comuns que atingem o mais alto nvel de equivalncia
(invarincia escalar). O Anexo AT do relatrio internacional, Volume I, e o Relatrio Tcnico do PISA 2015 (OCDE,
em desenvolvimento) fornecem detalhes sobre o nmero de itens invariantes escalares e sobre o estudo relativo ao
efeito do computador no contexto do pr-teste do PISA 2015.

A Figura 5.9 apresenta a descrio dos seis nveis de proficincia da escala de matemtica do PISA 2015, bem como
o percentual de estudantes da OCDE e do Brasil em cada nvel, com base na edio de 2012, uma vez que no houve
novos itens em 2015.

Figura 5.9
Descrio e percentual de estudantes nos seis nveis de proficincia em matemtica PISA 2015
Percentual
Escore
Nvel de estudantes Caractersticas das tarefas
mnimo
no nvel
No nvel 6, os estudantes so capazes de conceituar, generalizar e utilizar informaes com
base em suas investigaes e na modelagem de situaes-problema complexas e de usar seu
conhecimento em contextos relativamente no padronizados. Conseguem estabelecer ligaes
entre diferentes fontes de informao e representaes e transitar entre elas com flexibilidade.
OCDE: 2,31% Os estudantes situados nesse nvel utilizam pensamento e raciocnio matemticos avanados.
6 669
Brasil: 0,13% So capazes de associar sua percepo e sua compreenso junto com um domnio de operaes
e relaes matemticas simblicas e formais para desenvolver novas abordagens e estratgias e,
assim, enfrentar novas situaes. Conseguem refletir sobre suas aes e formular e comunicar
com preciso suas aes e reflexes relacionadas a constataes, interpretaes e argumentos,
bem como adequ-las s situaes originais.
No nvel 5, os estudantes so capazes de desenvolver modelos para situaes complexas e trabalhar
com eles, identificando restries e especificando hipteses. Conseguem selecionar, comparar e
avaliar estratgias adequadas de resoluo de problemas para lidar com problemas complexos
OCDE: 8,37% relacionados a esses modelos. Os estudantes situados nesse nvel conseguem trabalhar estrate-
5 607
Brasil: 0,77% gicamente, utilizando habilidades de pensamento e raciocnio abrangentes e bem desenvolvidas,
representaes conectadas de maneira adequada, caracterizaes simblicas e formais, e percepo
relativa a essas situaes. Comeam a refletir sobre suas aes e a formular e comunicar suas
interpretaes e seu raciocnio.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 151
5
A avaliao de matemtica no PISA 2015

Figura 5.9 (continuao)


Descrio e percentual de estudantes nos seis nveis de proficincia em matemtica PISA 2015

Percentual
Escore
Nvel de estudantes Caractersticas das tarefas
mnimo
no nvel
No nvel 4, os estudantes conseguem trabalhar de maneira eficaz com modelos explcitos em
situaes concretas complexas, que podem envolver restries ou exigir formulao de hipteses.
OCDE: 18,60% So capazes de selecionar e integrar diferentes representaes, inclusive simblicas, relacionando-as
4 545 diretamente a aspectos de situaes da vida real. Os estudantes situados nesse nvel conseguem
Brasil: 3,09% utilizar suas habilidades pouco variadas e raciocinar com alguma perspiccia, em contextos diretos.
So capazes de construir e comunicar explicaes e argumentos com base em suas interpretaes,
argumentos e aes.
No nvel 3, os estudantes so capazes de executar procedimentos descritos com clareza, inclu-
sive aqueles que exigem decises sequenciais. Suas interpretaes so seguras o suficiente para
servir de base para construir um modelo simples ou para selecionar e aplicar estratgias simples
OCDE: 24,81% de resoluo de problemas. Os estudantes situados nesse nvel conseguem interpretar e utilizar
3 482
Brasil: 8,58% representaes baseadas em diferentes fontes de informao e de raciocinar diretamente com
base nelas. Demonstram capacidade de lidar com porcentagens, fraes e nmeros decimais e
de trabalhar com relaes de proporo. Suas solues indicam que esto envolvidos em inter-
pretaes e raciocnios bsicos.
No nvel 2, os estudantes so capazes de interpretar e reconhecer situaes em contextos que no
OCDE:22,55% exigem mais do que uma inferncia direta. Conseguem extrair informaes relevantes de uma nica
2 420 fonte e utilizar um modo simples de representao. Os estudantes situados nesse nvel conseguem
Brasil: 17,18% empregar algoritmos, frmulas, procedimentos ou convenes bsicos para resolver problemas
que envolvem nmeros inteiros. So capazes de fazer interpretaes literais dos resultados.
No nvel 1, os estudantes so capazes de responder a questes definidas com clareza, que
OCDE: 14,89% envolvem contextos conhecidos, nas quais todas as informaes relevantes esto presen-
1 358 tes. Conseguem identificar informaes e executar procedimentos rotineiros de acordo com
Brasil: 26,51% instrues diretas em situaes claras. Conseguem executar aes bvias e de acompanhar
de forma imediata os estmulos dados.

Abaixo OCDE: 8,47%


A OCDE no especifica as habilidades desenvolvidas.
de 1 Brasil: 43,74%

Fonte: OCDE, INEP.

5.6 Quais foram os pontos fortes e fracos dos estudantes brasileiros


em matemtica no PISA 2015?
Esta seo tem por objetivo apresentar um estudo dos pontos fortes e fracos dos estudantes brasileiros no PISA, com
base na comparao de seu desempenho com o do mesmo pblico de pases da Amrica Latina e de alguns membros
da OCDE e na deteo de padres de respostas aos itens.

Como o foco da avaliao do PISA 2015 foi cincias, aplicou-se um quantitativo menor de itens de matemtica. Dos 69
avaliados, utilizaram-se neste estudo os 56 comuns aos seguintes pases: Canad, Colmbia, Costa Rica, Chile, Mxico,
Peru, Uruguai, Estados Unidos, Espanha, Portugual, Coreia do Sul, Finlndia e Repblica Dominicana.

O percentual de estudantes que responderam corretamente a cada um desses itens variou consideravelmente. No Brasil, o
percentual de respostas corretas foi de 24,8%, em mdia, sendo o Esprito Santo a unidade da Federao com maior per-
centual de acerto (30,5%) e o Maranho com o menor (18,7%). No contexto internacional, a Coreia do Sul apresentou, em
geral, o maior percentual de respostas corretas (53%), e a Repblica Dominicana, o menor (16,1%).

Entender as potencialidades e deficincias relativas aos pases avaliados com base no percentual de acerto dos itens
uma das propostas desta anlise. Enquanto aqui se discute o nvel de dificuldade dos itens conforme a Teoria Clssica
dos Testes (Pasquali, 2009), na Seo 5.7, o foco so os resultados sob a Teoria de Resposta ao Item. Segundo Pasquali,

152 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
5
A avaliao de matemtica no PISA 2015

De um modo geral, a psicometria procura explicar o sentido que tm as respostas dadas pelos sujeitos a uma
srie de tarefas, tipicamente chamadas de itens. A Teoria Clssica dos Testes (TCT) se preocupa em explicar o
resultado final total, isto , a soma das respostas dadas a uma srie de itens, expressa no chamado escore total (T).
Por exemplo, o T em um teste de 30 itens de aptido seria a soma dos itens corretamente acertados. Se for dado
1 para um item acertado e 0 para um errado, e o sujeito acertou 20 itens e errou 10, seu escore T seria de 20. A
TCT, ento, se pergunta o que significa este 20 para o sujeito? A Teoria de Resposta ao Item, por outro lado, no
est interessada no escore total em um teste; ela se interessa especificamente por cada um dos 30 itens e quer
saber qual a probabilidade e quais so os fatores que afetam esta probabilidade de cada item individualmente
ser acertado ou errado.

Nesta seo tambm se estudam as propores de respostas omitidas aos itens do PISA 2015 e os nveis de dificuldade
dos itens para todas as unidades da Federao brasileiras e os 13 pases alm do Brasil. Ao final, so apresentados, ainda,
itens pblicos da edio de 2012 com comentrios pedaggicos a fim de ilustrar a anlise dos pontos fortes e fracos dos
estudantes brasileiros em matemtica no PISA.

Como identificar pontos fracos e fortes em matemtica?

O nvel de dificuldade aqui considerado o ndice Delta, uma medida transformada do percentual de acerto dos itens
utilizada pelo Educational Testing Service (ETS) (Matsumoto; Van de Vijver, 2010). Optou-se por adotar essa mtrica
porque, ao avaliar diretamente o percentual de acerto de um item, pode-se encontrar uma relao distorcida quando
se observam itens com percentuais de acerto relativamente muito altos ou muito baixos. Por exemplo, uma diferena
de 10% entre percentuais de acerto de 95% e 85% menos notvel do que entre 55% e 45% em outras palavras,
a relao entre o percentual de acerto e o nvel de dificuldade dos itens no linear.

Sendo assim, faz-se necessria a transformao do percentual de respostas corretas em uma mtrica linear. O ndice
Delta, bem como a transformao logit (OCDE, 2013), tem o efeito de esticar percentuais de acerto muito baixas e
muito altas em comparao com o percentual de acerto de 50%. A fim de evitar nmeros negativos, fixou-se a mdia
do ndice Delta em 13 e o desvio-padro em 4 (Matsumoto, 2010). Portanto, um valor de Delta de 13 (referncia)
significa que o percentual de acerto do item de 50%. Em geral, o Delta varia entre 1 e 25; quanto maior o ndice,
mais difcil o item para determinada populao.

A primeira anlise de identificao dos pontos fortes e fracos em matemtica exploratria dos itens segundo os ndi-
ces Delta por componente da matriz de referncia de matemtica (contedo, contexto e processo) e por tipo de item.

Em seguida, realiza-se um estudo sobre a omisso aos itens do PISA 2015. Entendendo que a omisso pode ser con-
siderada um ponto fraco na avaliao, empreende-se uma anlise geral dos itens com maior percentual de omisso
pelos estudantes brasileiros.

Por fim, so examinados itens que se destacaram como pontos fortes e fracos dos jovens brasileiros de 15 anos, levando
em conta a diferena entre o valor mdio do ndice Delta dos pases selecionados e o do Brasil. Tal metodologia se
aproxima anlise de itens conspcuos apresentada no relatrio Lessons from PISA 2012 for the United States (OCDE,
2013). Aqui os itens foram considerados destaques quando a diferena entre a mdia do nvel de dificuldade dos
itens do Brasil e a dos pases observados era de pelo menos um desvio-padro (para ambos lados). Uma vez que os
itens com maior omisso foram avaliados anteriormente, eles no entraram nessa anlise.

Na comparao entre os pases latino-americanos, a mdia das diferenas dos ndices Delta foi 0,23, e o desvio-pa-
dro, 0,50, resultando nos pontos de corte -0,27 e 0,73, respectivamente. Logo, os itens com mdia das diferenas
menor que -0,27 foram considerados pontos fortes, e os com mdia maior que 0,73, pontos fracos. Na anlise
comparada dos pases com alto desempenho, por sua vez, a mdia das diferenas foi 2,94, e o desvio-padro, 1,07,
resultando nos pontos de corte 1,87 e 4,00, respectivamente.

Vale tambm ressaltar que, nessa anlise dos itens-destaque, incluram-se 11 itens pblicos do PISA 2012, com a
suposio de que eles apresentariam o mesmo nvel de dificuldade se aplicados na forma computadorizada em 2015.
Essa incluso foi importante porque, como no foram liberados novos itens de matemtica no PISA 2015, realizou-
se uma descrio pedaggica sobre os itens pblicos de 2012 com o intuito de ilustrar a anlise de itens-destaque.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 153
5
A avaliao de matemtica no PISA 2015

Embora se entenda que o desempenho dos jovens de pases da Amrica Latina no alto em comparao com a mdia
dos da OCDE, essa anlise pretende mostrar que h itens do PISA 2015 que se destacam por serem mais fceis aos
estudantes brasileiros do que aos dos sete pases latino-americanos selecionados. O item M603Q01, por exemplo,
apresentou diferena de quase 1 ponto na escala do Delta em relao a esses pases, podendo indicar que o que foi
medido pelo item no PISA 2015 foi mais bem assimilado pelos alunos brasileiros do que pelo mesmo pblico nos
pases vizinhos (ponto forte). J o item M446Q01 registrou diferena de quase 2 pontos, indicando que, em geral, os
jovens desses pases tiveram melhor desempenho do que os do Brasil nessa tarefa especfica (ponto fraco).

certo que, ao comparar o desempenho dos brasileiros com o dos estudantes com alto desempenho no PISA, o nvel
de dificuldade dos itens para o Brasil ser mais elevado. Contudo, a anlise comparada dos itens-destaque pretende
apontar itens em que o desempenho dos alunos brasileiros no foi muito diferente do dos estudantes de pases ava-
liados (pontos fortes) e outros que se mostraram bastante desafiadores para eles (pontos fracos).

A dificuldade dos itens


A Figura 5.10 ilustra o nvel de dificuldade de todos os itens de matemtica aplicados aos estudantes brasileiros. Apenas
11,6% dos itens apresentaram ndice Delta menor ou igual a 13, ou seja, aproximadamente 1 item em cada 9 com
percentual de acerto igual ou superior a 50%.

Figura 5.10
ndce de dificuldade (Delta) dos 69 itens de matemtica para os estudantes brasileiros PISA 2015

24

22

20

18

16

14

12

10

0
M9 Q01
M9 Q01
M4 Q01
M9 Q01
M0 Q01
M9 Q01
M9 Q01

82 1

M9 Q01
M9 Q02
M1 Q02
M9 Q01
M9 Q01
M4 Q01
M4 Q02
M8 Q01
M9 Q02
M4 Q02
M5 Q01
M9 Q01
M1 Q02

61 4

M9 Q01
M3 Q04
M4 Q01
M5 Q02
M9 Q02
M6 Q02
M4 Q01
M1 Q01
M9 Q02
M9 Q04
M4 Q01
M4 Q01
M5 Q01
M2 Q01
M9 Q01
M9 Q01
M9 Q02

28 2

M4 Q01
M4 Q01
M9 Q01
M9 Q02
M0 Q02

49 1

M9 Q02
M4 Q02

55 1

67 2

48 1

M9 Q02
M4 Q02
M4 Q01

0G 2
M4 Q01
M4 Q02

55 1
M5 Q03

M9 Q05
M9 Q03

M9 Q03

M9 Q03
M4 Q03

M0 Q03

M8 Q03

M9 Q03

M9 Q03

3
M9 Q0

M9 Q0

M8 Q0

M9 Q0

M1 Q0

M9 Q0

M9 Q0

M0 6Q0

M9 Q0

Q0
00
82
48
23
09
33
92
39

59
48
98
55
55
06
96
74
28
09
47
64
15
55

49
98
05
11
64
39
03
20
55
82
15
96
46
71
73
36
82
36

67
11
08
06
49
34

42
55
06

0K

03

92
61
64

46
62
61

09

92
0
M8

Fonte: OCDE, INEP.

Para os estudantes brasileiros, metade dos itens na edio de 2015 se concentrou entre os valores 14,3 (percentual de
acerto de 37,3%) e 18,5 (percentual de acerto de 8,5%).

A Figura 5.11 mostra a distribuio do ndice Delta segundo o desempenho geral dos jovens brasileiros por unidade
da Federao, bem como o de estudantes de um conjunto de pases (destacados em negrito). Como na montagem dos
testes do PISA nem todos os alunos so submetidos a todos os itens, para comparar os resultados entre os estados e pa-
ses selecionados nesta anlise, consideram-se os 56 itens comuns entre eles. Esses itens estavam presentes em edies
anteriores do PISA e foram aplicados em computador tanto no Brasil como nos demais pases comparados. Vale lembrar
tambm que a escala do Delta contnua e, devido prpria natureza da medida, quanto maior esse ndice, menor
o percentual de estudantes respondendo corretamente aos itens (apresentado em parnteses).

154 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
5
A avaliao de matemtica no PISA 2015

Figura 5.11
ndces de dificuldade (percentual de acerto e Delta) dos 56 itens comuns de matemtica
por pas e unidade da Federao PISA 2015

Alta dificuldade

Repblica Dominicana (16,1%) 16,96


Maranho (18,7%) 16,55
Alagoas (19,2%)
Amap (19,3%)
Rio Grande do Norte (19,8%) 16,40
Tocantins (20,3%)
Bahia (20,4%)
Sergipe (20,9%)
Paraba (21%)
Pernambuco (21,4%)
Rondnia (21,7%)
Par (21,9%)
Piau (22%)
Rio de Janeiro (22,9%) 15,96
Acre (23%)
Roraima (23,3%)
Amazonas (23,4%)
Gois (23,7%)
Mato Grosso (23,8%)
Cear (24,3%)
Mato Grosso do Sul (24,7%)
Brasil (24,8%) 15,72
Peru (25%)
Colmbia (25,4%)
So Paulo (25,9%)
Rio Grande do Sul (26,1%) 15,56
Costa Rica (27,5%)
Mxico (28,6%)
Santa Catarina (29%)
Minas Gerais (29,3%)
Distrito Federal (29,6%)
Paran (29,8%) 15,12
Esprito Santo (30,5%)
Uruguai (30,5%)
Chile (32,5%) 14,81
Estados Unidos (40,3%)
Espanha (43%)
Portugal (45,4%) 13,46
Finlndia (49%)
Canad (49,9%)
Coreia do Sul (53%) 12,70

Baixa dificuldade

Fonte: OCDE, INEP.

Verifica-se que, em geral, o nvel de dificuldade dos itens do PISA 2015 para os jovens brasileiros (15,72) foi maior
que para os de outros pases, exceto os da Repblica Dominicana (16,96), e prximo ao ndice do Peru (15,69), Co-
lmbia (15,65), Costa Rica (15,39) e Mxico (15,25). Em mdia, os estudantes do Uruguai e do Chile foram os que
obtiveram os maiores percentuais de acerto em comparao com os outros da Amrica Latina, com Deltas de 15,05
e de 14,81, respectivamente.

Considerando os pases com desempenho prximo ou superior mdia dos membros da OCDE, percebe-se que h uma
diferena maior em relao ao Brasil, sendo seus Deltas significativamente mais baixos e seus percentuais de respostas
corretas mais elevados. A diferena entre os nveis de dificuldade dos itens do PISA 2015 para os estudantes brasileiros
(15,72) e para os da Coreia do Sul (12,70) foi de 3,02 pontos, quase um desvio-padro. A Coreia do Sul se localiza no
topo dos valores, tendo 53,0% de respostas corretas, enquanto os pases da Amrica Latina possuem mdia de aproxi-
madamente 26,3%.

Da mesma forma, podem-se analisar os percentuais nas unidades da Federao brasileiras. Verifica-se que os estados
das regies Norte e Nordeste so aqueles com os maiores valores de Delta, seguidos dos do Centro-Oeste, Sudeste e
Sul. Destacam-se o Esprito Santo, com o menor ndice no pas (15,05), Paran (15,12), Distrito Federal (15,14), Minas
Gerais (15,17) e Santa Catarina (15,21).

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 155
5
A avaliao de matemtica no PISA 2015

A seguir, analisam-se os ndices de dificuldade Delta segundo as categorias da matriz de matemtica (contedo, contexto
e processo) e tipo de item (questo de mltipla escolha ou resposta aberta).

ndice Delta por contedo


Com o objetivo de avaliar a capacidade dos estudantes de resolver problemas reais, o PISA 2015 categorizou em quatro
os tipos de contudo (mudanas e relaes, quantidade, espao e forma e incerteza e dados), a fim de contem-
plar uma variedade suficiente e profunda de aspectos matemticos. A Figura 5.12 apresenta o nvel de dificuldade dos
itens comuns segundo essas categorias.

Figura 5.12
Dificuldade dos itens de matemtica segundo contedo por pas e unidade da Federao PISA 2015

Mudanas e relaes (n=12) Quantidade (n=13) Espao e forma (n=16) Incerteza e dados (n=15)
21

19

17

15

13

11

Fonte: OCDE, INEP.

A categoria com menor nvel de dificuldade em praticamente todos os pases e unidades da Federao analisados foi
quantidade (valor em dinheiro, razo e proporo e clculos aritmticos). Isso significa que o manuseio com dinheiro
ou a vivncia com fatos que gerem contas aritmticas ou propores uma realidade mais prxima dos estudantes do
que, por exemplo, espao e forma. Apesar disso, ressalta-se que, para todos os estados brasileiros e pases da Amrica
Latina em estudo, o Delta foi maior que o valor mdio, 13. H uma diferena considervel entre os ndices para esse
quesito em pases como Coreia do Sul (12,22), Finlndia (12,22), Canad (12,25), Portugal (12,73), Espanha (12,80) e
Estados Unidos (13,33) e nas unidades da Federao, com o Esprito Santo registrando o menor valor (14,20), e Alagoas,
o maior (16,07).

Em relao a incerteza e dados, a segunda categoria com menor nvel de dificuldade, o Delta variou entre 12,62 (Fin-
lndia) e 16,25 (Repblica Dominicana). Esse contedo mede a habilidade dos estudantes de trabalhar com a resoluo
de situaes-problema envolvendo estatstica e probabilidade.

A categoria com o segundo maior nvel de dificuldade foi mudanas e relaes. Como definido pelo PISA 2015, todo
fenmeno natural uma manifestao de mudana. Exemplos incluem a transformao dos organismos medida que
crescem, o ciclo das estaes, o fluxo e refluxo das mars e as mudanas climticas. Alguns desses processos de mu-
dana podem ser descritos ou modelados por funes matemticas bastante simples (por exemplo: linear, exponencial,
peridica, logstica, seja discreta ou contnua). Em relao a esse quesito, entre os pases latino-americanos, o Chile foi
o que teve o menor ndice de dificuldade (14,93), e a Repblica Dominicana, o maior (17,71).

Espao e forma apresentou o maior valor de Delta em quase todos os pases e unidades da Federao. Apenas no estado
do Amap se observou uma diferena expressiva entre o ndice dessa categoria e o de mudanas e relaes, de aproxi-

156 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
5
A avaliao de matemtica no PISA 2015

madamente 1,2 ponto. O contedo espao e forma envolve uma ampla gama de propriedades encontradas em vrios
lugares no mundo fsico e visual; trabalha-se, por exemplo, com as propriedades das figuras geomtricas como o permetro
ou a rea, as caractersticas das figuras espaciais etc. A interao dinmica com formas reais, bem como suas representa-
es, mostrou-se, na avaliao do PISA 2015, como um contedo mais difcil e trabalhoso para os estudantes de 15 anos.

ndice Delta por contexto


O PISA 2015 categorizou os itens de matemtica em quatro contextos (pessoal, ocupacional, social e cientfico).
A avaliao buscou apresentar aos estudantes situaes relevantes, exigindo deles a alternncia entre elas e o problema
matemtico. A Figura 5.13 apresenta o nvel de dificuldade dos itens comuns segundo essas categorias.

Figura 5.13
Dificuldade dos itens de matemtica segundo contexto por pas e unidade da Federao PISA 2015

Ocupacional (n=9) Pessoal (n=8) Cientfico (n=13) Social (n=26)


21

19

17

15

13

11

Fonte: OCDE, INEP.

Verifica-se um padro em praticamente todos os pases e unidades da Federao brasileiras, na seguinte ordem de con-
textos: pessoal (Delta mais baixo), social, cientfico e ocupacional.

Nota-se ainda que, para todas as categorias, h uma diferena significativa entre os ndices de dificuldade de membros
da OCDE como Coreia do Sul, Canad, Finlndia, Portugal, Estados Unidos e Espanha e os de outros pases e estados
brasileiros, conforme foi observado tambm para as categorias de contedo.

Ao analisar o motivo dessa diferena entre os Deltas, pode-se concluir que os estudantes de 15 anos tm maior facili-
dade para lidar com a matemtica envolvida diretamente com suas atividades cotidianas, famlia ou colegas. Problemas
como preparao de comida, jogos, sade pessoal e finanas pessoais so situaes mais facilmente matematizadas e
resolvidas por eles. Algo semelhante ocorre com o mundo laboral/ocupacional, que reconhecido pelos jovens (desde
que acessvel e condizente com sua condio), pois envolve, por exemplo, decises profissionais, controle de qualidade,
regras de pagamento de trabalho etc.

Depois da categoria pessoal, a social apresentou Deltas mais baixos na maior parte das unidades da Federao e
pases em estudo. Nela, uma perspectiva comunitria e coletiva faz-se necessria e, conforme os resultados indicam, os
jovens tm maior familiaridade com esse contexto do que com os outros dois (cientfico e ocupacional).

Quanto ao contexto cientfico, que apresentou um dos maiores ndices de dificuldade, alternando com ocupacional,
pode-se concluir que os itens a ele relacionados exigem mais dos estudantes de 15 anos sob a forma de aplicao da
matemtica no mundo natural, com tpicos voltados para cincia e tecnologia.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 157
5
A avaliao de matemtica no PISA 2015

ndice Delta por processo


No PISA 2015, a definio do letramento matemtico refere-se capacidade individual de formular, empregar e interpretar
a matemtica. A Figura 5.14 apresenta o nvel de dificuldade dos itens comuns segundo esses processos.

Figura 5.14
Dificuldade dos itens de matemtica segundo processo por pas e unidade da Federao PISA 2015

Empregar (n=24) Formular (n=16) Interpretar (n=16)


21

19

17

15

13

11

Fonte: OCDE, INEP.

Observa-se que a categoria formular obteve o maior nvel de dificuldade em todos os pases e unidades da Federao
estudados. A diferena foi considervel com respeito a empregar, a segunda categoria com os maiores valores de Delta.
Finalmente, interpretar foi a que apresentou os menores ndices, ficando entre 11,74 (Finlndia) e 15,76 (Repblica
Dominicana).

O fato de os Deltas de formular terem sido de longe os mais elevados dentre os dos trs processos mostra que os
estudantes tm dificuldade de identificar oportunidades para usar a matemtica em situaes-problema e depois pro-
videnciar a estrutura matemtica necessria para formular esse problema contextualizado matematicamente, ou seja,
a transformao e modelagem de uma situao-problema para a linguagem matemtica algo que ainda no resulta
elementar para os estudantes.

Em relao aos ndices de empregar, no variaram tanto entre os estados brasileiros, mantendo-se entre 14,89 (Esprito
Santo) e 16,54 (Maranho). Esse processo indica quanto os estudantes so capazes de executar clculos e manipulaes,
alm de aplicar conceitos e fatos que os levaro soluo matemtica de um problema j formulado matematicamente
(diferente do processo formular, no qual o problema no est formulado desse modo).

Por fim, na categoria de processo interpretar, que indica quo eficazmente os estudantes refletem sobre solues e
concluses matemticas e interpretam-nas em um contexto real, o nvel de dificuldade nas unidades da Federao bra-
sileiras foi, em geral, de 14 pontos, menor que as outras duas em todos os casos. Nos pases desenvolvidos estudados, o
ndice ficou bem abaixo da mdia de 13, o que revela ser esse um processo mais acessvel e realmente assimilado pelos
estudantes desses pases do que pelos brasileiros.

ndice Delta por tipo de item


Os formatos de resposta aos itens do PISA so: mltipla escolha simples, mltipla escolha complexa e resposta aberta.
A Figura 5.15 apresenta o nvel de dificuldade segundo esses formatos.

158 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
5
A avaliao de matemtica no PISA 2015

Figura 5.15
Dificuldade dos itens de matemtica segundo tipo de item por pas e unidade da Federao PISA 2015

Mltipla escolha complexa (n=12) Resposta aberta (n=14) Mltipla escolha simples (n=30)
21

19

17

15

13

11

Fonte: OCDE, INEP.

Nota-se que, tanto nos pases avaliados como nos estados brasileiros, os itens de resposta aberta tm o maior nvel de
dificuldade, e os de mltipla escolha simples, o menor.

Alm disso, observa-se grande diferena entre o Delta dos membros da OCDE e o das unidades da Federao. Enquanto
a Coreia do Sul apresentou ndice de 11,55 para os itens de mltipla escolha simples, estes foram, em geral, mais difceis
para os estudantes brasileiros, resultando em um Delta igual a 14,38.

A omisso aos itens


Um item deixado em branco seguido de outro com resposta vlida foi considerado como erro para os participantes do
PISA 2015. A alta ocorrncia desses casos pode prejudicar uma justa anlise dos resultados de um pas. A Figura 5.16
apresenta a mdia dos percentuais de respostas omitidas pelos estudantes no teste de matemtica nos pases analisados
e nas unidades da Federao brasileiras.

Figura 5.16
Mdia dos percentuais de casos omissos em matemtica por pas e unidade da Federao PISA 2015

18%

16%

14%

12%

10%

8%

6%

4%

2%

0%

Fonte: OCDE, INEP.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 159
5
A avaliao de matemtica no PISA 2015

Os alunos brasileiros foram os que tiveram um dos maiores percentuais de itens em branco entre os pases comparados
neste estudo: 10,3%, em mdia. Em geral, esse percentual foi ainda menor do que o apresentado por estudantes de
outros pases da Amrica Latina, como Chile (11,1%), Uruguai (12,1%) e Repblica Dominicana (13,0%). Ao comparar
as unidades da Federao, Cear foi a que apresentou, em mdia, o menor nmero de respostas omitidas (7,0%), e
Alagoas, o maior (17,0%).

A Figura 5.17 mostra os percentuais de omisso pelos estudantes brasileiros em cada item de matemtica.

Figura 5.17
Percentuais de casos omissos por item de matemtica, Brasil PISA 2015

50%
45%
40%
35%
30%
25%
20%
15%
10%
5%
0%

Fonte: OCDE, INEP.

A seguir, apresenta-se uma anlise dos 10 itens de matemtica com maior percentual de omisso pelos estudantes bra-
sileiros no PISA 2015, todos de resposta aberta.

M462Q01 Era preciso estimar qual intervalo continha possveis valores para determinada varivel, usando conheci-
mentos bsicos sobre polgonos, e digitar tal intervalo.

M828Q03 Solicitava-se a interpretao do grfico para, com o dado obtido e por meio de uma operao, chegar ao
resultado, que devia ser digitado.

M406Q01 Exigia utilizar conhecimentos geomtricos bsicos para obter um comprimento e explicar, por digitao,
como esse valor foi obtido.

M906Q02 Era necessrio justificar, por digitao, valores numricos fornecidos.

M155Q02 Pedia-se a identificao de informao em tabela para, com base nela, inferir e localizar, em outra tabela,
nova informao. Era necessrio utilizar instrues especficas de como fazer a localizao utilizando o mouse.

M949Q03 Requeria noes simples de semelhana de figuras geomtricas; devia-se apresentar um valor numrico e
explicar, por digitao, como tal valor foi alcanado.

M155Q03 Era preciso efetuar operaes bsicas envolvendo dados obtidos em tabela para chegar a uma porcentagem
e explicar, por digitao, como tal valor foi encontrado.

M406Q02 Solicitava-se a utilizao de conhecimentos geomtricos para comparar dois comprimentos; em seguida,
devia-se explicar como a resposta foi encontrada.

M446Q02 Era necessrio digitar frmula que modelasse situao.

M992Q03 Era preciso digitar frmula que modelasse situao fornecida, utilizando recursos computacionais.

160 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
5
A avaliao de matemtica no PISA 2015

A Figura 5.18 traz um resumo da relao entre contedo e processo nesses itens.

Figura 5.18
Distribuio dos 10 itens com maior percentual de omisso por contedo e processo,
matemtica PISA 2015

Empregar Formular

Mudanas e relaes, 2 Quantidade, 2 Espao e forma, 2

Mudanas e relaes, 2 Espao e forma, 2

Fonte: OCDE, INEP.

Comparando os itens que tiveram alto percentual de respostas omitidas com aqueles que no tiveram, verifica-se que,
embora seja difcil traar um padro nico, quatro situaes podem explicar por que estudantes brasileiros deixaram
itens em branco:

1. provvel que tenham encontrado dificuldade para utilizar recursos computacionais. Dos 10 itens descritos:

sete exigiam a digitao da resposta, algumas tambm a justificativa: M462Q01, M828Q03, M406Q01, M906Q02,
M949Q03, M155Q03, M406Q02;
uma requeria seguir instrues sobre como manipular o mouse: M155Q02;
duas necessitavam que se digitasse uma frmula: M446Q02 e M992Q03.

2. Eles talvez tenham tido dificuldade em relao a certos conceitos matemticos. Apesar de o pequeno nmero de
casos tornar difcil a identificao de padres, possvel agrupar alguns itens em dois grupos: a) encontrar expresso
para modelagem de situao dada (M446Q02 e M992Q03); b) utilizar conhecimentos geomtricos para resoluo
de situaes-problema (M462Q01, M406Q01 e M406Q02).

3. Os 10 itens eram abertos.

4. Metade dos itens exigiam justificativa do valor obtido ou do processo utilizado para alcanar tal valor, algo a que os
alunos no esto habituados: M406Q01, M906Q02, M949Q03, M155Q03 e M406Q02.

Anlise de itens-destaque
O estudo a seguir tem por objetivo a identificao de itens-destaque, ou seja, aqueles que se singularizaram como
indicadores dos pontos fortes e fracos do desempenho dos estudantes brasileiros em matemtica no PISA, em comparao
com o dos alunos de membros da OCDE e tambm dos de pases da Amrica Latina. Diferentes abordagens poderiam
ser usadas para a identificao desses itens; no entanto, aqui se utiliza a anlise comparada dos ndices Delta.

A anlise levou em considerao a diferena entre o valor mdio do ndice Delta dos pases selecionados e o do Brasil. Os
itens foram considerados destaque quando essa diferena era de pelo menos um desvio-padro (para ambos os lados).

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 161
5
A avaliao de matemtica no PISA 2015

Pontos fortes
A Figura 5.19 apresenta a anlise comparada dos Deltas do Brasil e de um grupo de pases latino-americanos. Nela,
cinco itens se destacam como pontos fortes. Os Deltas assinalados em cinza correspondem aos valores do ndice mais
altos que o nvel de dificuldade dos itens para os estudantes brasileiros.

Figura 5.19
Anlise comparada dos Deltas dos pases latino-americanos, pontos fortes, matemtica PISA 2012 e 2015
Repblica
Item Brasil Mdia Diferena Costa Rica Uruguai Chile Mxico Colmbia Peru
Dominicana2
M603Q01 15,56 16,37 0,81 16,49 16,28 15,90 16,19 15,96 16,28 17,47
M00GQ01 21,49 22,24 0,75 21,80 22,59 22,42 21,57 22,37 21,76 23,16
M985Q021 14,52 15,19 0,67 16,53 14,55 14,24 14,31 15,72 15,81
M00KQ02 19,45 20,01 0,56 20,02 19,57 19,59 19,10 20,20 20,68 20,91
M909Q02 14,37 14,71 0,34 14,67 14,12 13,63 14,86 14,74 15,58 15,37
Notas:
1. Item pblico de 2012.
2. A Repblica Dominicana no participou do PISA 2012.
Fonte: OCDE, INEP.

Descrio dos itens


M603Q01 Item de mltipla escolha complexa, cuja resoluo envolvia a utilizao de operaes com nmeros naturais
e suas propriedades, para verificar se no houve alterao em algarismo de um nmero.

M00GQ01 Item de resposta aberta, cuja resoluo envolvia a utilizao de conhecimentos sobre superfcie lateral de
um cilindro e comparao entre superfcies, com base em dados fornecidos em figuras.

M985Q02 Item de mltipla escolha simples, cuja resoluo envolvia a escolha entre dados fornecidos em tabela.

M00KQ02 Item de resposta aberta, cuja resoluo envolvia a comparao de dois comprimentos, usando o conceito
de permetro de um crculo.

M909Q02 Item de mltipla escolha simples, cuja resoluo envolvia a realizao de clculos com nmeros naturais,
utilizando dados fornecidos em tabelas.

Possveis padres
1. Predominaram itens de mltipla escolha. Trs dos cinco itens eram desse formato de resposta, dois deles de mltipla
escolha simples. Os dois itens de resposta aberta solicitavam apenas que se apresentasse um resultado numrico, e
no uma justificativa de operacionalizao.

2. Embora no se possa afirmar que existam, de fato, padres abrangendo os itens comentados, pois o nmero deles
pequeno, eles podem ser separados em dois grupos: a) trs dos cinco itens incluam comparao ou operaes
envolvendo nmeros (naturais e na forma decimal), em que os dados eram fornecidos no prprio texto ou em tabelas
(M603Q01, M985Q02 e M909Q02); b) dois itens compreendiam conceitos geomtricos bastante simples: comparao
entre reas e entre permetros (M00GQ01 e M00KQ02).

A Figura 5.20 apresenta a anlise comparada dos Deltas dos pases com desempenho igual ou superior ao dos da OCDE.
Nela, seis novos itens destacam-se como pontos fortes.

162 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
5
A avaliao de matemtica no PISA 2015

Figura 5.20
Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
pontos fortes, matemtica PISA 2012 e 2015
Estados Coreia
Item Brasil Mdia Diferena Portugal Espanha Canad Finlndia
Unidos do Sul
M423Q01 10,84 9,86 0,98 10,77 10,36 9,21 9,99 9,59 9,27
M998Q04 15,22 14,22 0,99 14,99 13,88 13,34 14,13 14,87 14,13
M603Q011 15,56 14,19 1,37 14,99 13,82 14,46 14,08 13,95 13,86
M305Q01 15,25 13,83 1,42 14,09 14,03 13,78 14,14 13,78 13,15
M564Q01 14,80 13,08 1,72 13,82 13,57 11,66 13,28 12,92 13,24
M906Q01 13,98 12,23 1,75 13,35 12,58 12,17 12,11 11,88 11,30
M564Q02 15,39 13,56 1,83 14,14 13,95 13,13 13,56 13,11 13,45
Nota:
1. Item j destacado na anlise dos pontos fortes da Amrica Latina.
Fonte: OCDE, INEP.

Descrio dos itens


M423Q01 Item de mltipla escolha simples, cuja resoluo envolvia a anlise de informaes sobre a probabilidade
de um evento.

M998Q04 Item de mltipla escolha complexa, cuja resoluo envolvia a anlise da variao de uma funo com base
na variao de seu argumento.

M305Q01 Item de mltipla escolha simples, cuja resoluo envolvia o conceito de escala e movimentao em mapa.

M564Q01 Item de mltipla escolha simples, cuja resoluo envolvia transformao de unidade.

M906Q01 Item de mltipla escolha simples, cuja resoluo envolvia a utilizao de operaes com nmeros naturais
para obter uma estimativa, com base em dados fornecidos no texto.

M564Q02 Item de mltipla escolha simples, cuja resoluo envolvia a utilizao de operaes com nmeros naturais
para obter um valor solicitado, com base em dados fornecidos no texto.

Possveis padres
1. Predominaram itens de mltipla escolha. Todos os sete itens eram desse formato de resposta, cinco deles de mltipla
escolha simples.

2. Embora no se possa distinguir, de fato, um padro nos itens comentados, observa-se que em cinco desses itens, trs
envolviam conceitos aritmticos e algbricos, um outro requeria conhecimentos bsicos sobre probabilidade (em
geral, um tema comum nos livros didticos, abordando lanamento de moeda), e o quinto exigia conhecimentos
sobre escala e movimentao em mapa.

A Figura 5.21 apresenta um resumo da relao entre contedo e processo dos itens identificados como pontos fortes.
Destaca-se a predominncia de itens do contedo quantidade e do processo empregar.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 163
5
A avaliao de matemtica no PISA 2015

Figura 5.21
Distribuio dos 11 itens por contedo e processo, anlise dos pontos fortes, matemtica PISA 2012 e 2015

Empregar Formular Interpretar

Mudanas e
Quantidade; 4 Espao e forma; 1
relaes; 1

Quantidade; 1 Espao e forma; 2 Incerteza e Dados; 1

Incerteza e Dados; 1

Fonte: OCDE, INEP.

Exemplo de item pblico do PISA ponto forte

Item M985Q02 Qual carro?

Cris acabou de receber sua carteira de habilitao e deseja comprar seu primeiro carro.

A tabela abaixo mostra os detalhes de 4 carros que ela viu numa concessionria de veculos local.

MODELO ARGENTUM BRISA CORINTO DORAL


ANO 2003 2000 2001 1999
PREO (em Zeds2) 4.800 4.450 4.250 3.990
QUILOMETRAGEM (km) 105.000 115.000 128.000 109.000
CAPACIDADE DO MOTOR (l) 1,79 1,796 1,82 1,783

Questo 2:
Qual carro tem o motor de menor capacidade?

ARGENTUM
BRISA
CORINTO
DORAL

Formato de resposta Mltipla escolha simples


Contedo Quantidade
Contexto Pessoal
Processo Empregar

2. Unidade monetria na avaliao do PISA.

164 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
5
A avaliao de matemtica no PISA 2015

Para resolver esse item de mltipla escolha simples (opo correta: DORAL), era necessrio reconhecer e comparar
nmeros decimais. Na escala interpretada, ele est no nvel de proficincia 3, com escore 490,9. Verifica-se, tambm,
que o processo envolvido foi empregar, j que o estudante tinha de manipular nmeros, e, como visto na anlise
de itens-destaque, o item se enquadra no padro dos que envolviam conceitos aritmticos e algbricos por incluir
comparao ou operaes envolvendo nmeros (naturais e na forma decimal), em que os dados eram fornecidos no
prprio texto ou em tabelas.

Por meio da Figura 5.22, observa-se que, em 2012, o valor de Delta foi mais alto para os estudantes da Costa Rica,
Uruguai, Colmbia e Peru do que para os do Brasil.

Figura 5.22
Anlise comparada dos Deltas dos pases latino-americanos, item M985Q02, matemtica PISA 2012
Item Brasil Costa Rica Uruguai Chile Mxico Colmbia Peru
M985Q02 14,52 16,53 14,55 14,24 14,31 15,72 15,81
Fonte: OCDE, INEP.

Pontos fracos
A Figura 5.23 apresenta a anlise comparada dos Deltas dos pases latino-americanos. Nela, 10 itens destacam-se como
pontos fracos. Os Deltas assinalados em cinza correspondem aos valores do ndice mais baixos que o nvel de dificuldade
dos itens para os estudantes brasileiros.

Figura 5.23
Anlise comparada dos Deltas dos pases latino-americanos, pontos fracos, matemtica PISA 2012 e 2015
Repblica
Item Brasil Mdia Diferena Costa Rica Uruguai Chile Mxico Colmbia Peru
Dominicana
M949Q01 15,20 14,43 0,76 14,57 13,58 13,55 13,40 14,50 14,53 16,91
M909Q01 11,78 11,00 0,78 10,04 10,22 10,07 11,07 10,53 11,69 13,43
M992Q01 12,74 11,92 0,82 11,82 11,15 10,83 12,13 11,74 12,04 13,73
M915Q02 14,91 14,08 0,83 12,26 12,76 13,55 13,85 14,40 13,49 18,26
M955Q03 22,84 21,95 0,89 22,25 20,55 20,67 21,54 22,52 22,29 23,83
M464Q011 20,57 19,65 0,92 19,76 18,41 19,05 19,52 20,97 20,21
M273Q01 16,38 15,44 0,95 14,77 15,05 15,16 15,33 15,17 15,36 17,21
M034Q01 18,15 17,03 1,12 17,26 15,98 15,91 16,69 17,35 16,55 19,48
M992Q02 20,28 19,12 1,16 19,69 19,72 18,78 18,10 18,92 17,20 21,43
M446Q01 16,13 14,17 1,96 13,86 12,73 12,16 14,02 14,45 14,81 17,15
Nota:
1. Aps a anlise psicomtrica, o item foi excludo da anlise dos itens da Repblica Dominicana.
Fonte: OCDE, INEP.

Descrio dos itens


M949Q01 Item de mltipla escolha complexa, cuja resoluo envolvia determinar se certos segmentos apresentados
em uma figura eram de mesmo comprimento.

M909Q01 Item de resposta aberta, cuja resoluo envolvia determinar o intervalo a que pertencia determinada varivel,
com informaes fornecidas em duas tabelas.

M992Q01 Item de resposta aberta, cuja resoluo envolvia a observao da composio da figura apresentada.

M915Q02 Item de resposta aberta, cuja resoluo envolvia encontrar o valor de uma varivel por meio de uma equao
algbrica fornecida no texto.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 165
5
A avaliao de matemtica no PISA 2015

M955Q03 Item de resposta aberta, cuja resoluo envolvia encontrar o valor de uma varivel por meio de operaes
com dados encontrados em tabela de entrada mltipla.

M464Q01 Item de resposta aberta, cuja resoluo envolvia o clculo da rea de figura plana fornecida no texto com
base em dados tais como seu permetro.

M273Q01 Item de resposta aberta, cuja resoluo envolvia o clculo de comprimentos de segmentos de reta por meio
de sua visualizao em figura bidimensional.

M034Q01 Item de resposta aberta, cuja resoluo envolvia a visualizao de figura tridimensional.

M992Q02 Item de resposta aberta, cuja resoluo envolvia generalizao de padro, por meio da observao da
composio da figura apresentada.

M446Q01 Item de resposta aberta, cuja resoluo envolvia a obteno de a soluo de equao linear em duas va-
riveis, que modelava uma situao fornecida.

Possveis padres
1. Predominaram itens de resposta aberta. Nove dos 10 itens eram desse formato de resposta (solicitando a apresentao
de um resultado numrico), e um, de mltipla escolha complexa.

2. Embora no se possa afirmar que existam, de fato, padres abrangendo os itens comentados anteriormente, pois o
nmero deles pequeno, eles podem ser separados em trs grupos: a) seis dos 10 itens envolviam conceitos relacio-
nados a espao e forma visualizao e propriedades de figuras bidimensionais e tridimensionais, generalizao de
determinados padres associados a figuras ou geometria comprimento de lados e diagonais de figuras planas,
clculo de permetro e rea (M949Q01, M992Q01, M464Q01, M273Q01, M034Q01 e M992Q02); b) dois itens
abrangiam conceitos algbricos: obteno de um valor numrico para uma varivel com valores fornecidos por meio
de uma equao algbrica (M915Q02) e modelagem (M446Q01); c) dois itens incluam operaes entre valores
fornecidos em tabelas ou grficos (M909Q01 e M955Q03).

A Figura 5.24 apresenta a anlise comparada dos Deltas dos pases com desempenho igual ou superior aos da OCDE.
Nela, trs novos itens se destacam como pontos fracos.

Figura 5.24
Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
pontos fracos, matemtica PISA 2012 e 2015
Estados Coreia
Item Brasil Mdia Diferena Portugal Espanha Canad Finlndia
Unidos do Sul
M955Q02 18,67 14,57 4,10 16,25 15,07 13,32 15,00 14,35 13,42
M034Q011 18,15 14,04 4,12 14,81 14,51 13,55 14,78 13,62 12,94
M949Q011 15,20 10,67 4,53 12,19 10,67 9,19 11,57 9,83 10,56
M915Q021 14,91 10,32 4,59 11,33 9,54 9,96 10,45 10,14 10,48
M803Q01 20,05 15,45 4,60 16,15 16,37 14,07 16,51 14,91 14,70
M464Q011 20,57 15,85 4,73 17,79 15,86 13,98 17,05 15,15 15,26
M411Q01 17,51 12,72 4,79 13,67 13,00 12,45 12,51 12,45 12,26
M955Q031 22,84 17,99 4,85 19,37 18,62 16,84 18,44 17,06 17,62
M446Q011 16,13 10,83 5,31 11,29 11,93 9,81 11,62 10,05 10,27
Nota:
1. Item j destacado na anlise dos pontos fracos da Amrica Latina.
Fonte: OCDE, INEP.

Descrio das questes


M955Q02 Item de resposta aberta, cuja resoluo envolvia a descrio do significado de dados observados em tabela.

166 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
5
A avaliao de matemtica no PISA 2015

M803Q01 Item de resposta aberta, cuja resoluo envolvia o clculo de medidas de tendncia central.

M411Q01 Item de resposta aberta, cuja resoluo envolvia o clculo de medidas de tendncia central.

Possveis padres
1. Predominaram itens de resposta aberta. Apenas um era de mltipla escolha complexa.

2. No possvel determinar, de fato, um padro entre os itens comentados. Eles envolviam medidas de tendncia
central, conceitos de geometria e de espao e forma, conceitos algbricos e busca em tabela de entrada mltipla.

A Figura 5.25 apresenta um resumo da relao entre contedo e processo dos itens identificados como pontos fracos.
Predominam itens do contedo espao e forma e do processo formular. Diferentemente dos pontos fortes, no h
itens pblicos do PISA que se destacaram como pontos fracos para ilustrar a anlise.

Figura 5.25
Distribuio dos 13 itens por contedo e processo, pontos fracos, matemtica PISA 2012 e 2015

Empregar Formular Interpretar

Mudanas e relaes; 1 Quantidade; 1 Espao e forma; 2 Incerteza e Dados; 1

Mudanas e relaes; 1 Espao e forma; 4 Incerteza e Dados; 1

Quantidade; 1 Incerteza e Dados; 1

Fonte: OCDE, INEP.

5.7 Quais foram os resultados dos estudantes brasileiros em matemtica


no PISA 2015?

Nesta seo, apresentam-se os resultados do PISA 2015 na escala interpretada segundo a Teoria de Resposta ao Item
(Pasquali, 2009). Primeiro, compara-se o desempenho dos estudantes brasileiros com o dos alunos dos pases da Amrica
Latina que tiveram resultados vlidos (Colmbia, Costa Rica, Chile, Mxico, Peru, Uruguai e Repblica Dominicana),
com o dos de trs pases que se destacaram por apresentar resultados prximos aos dos membros da OCDE (Estados
Unidos, Espanha e Portugal) e com o dos de trs pases com resultados superiores mdia dos da OCDE (Canad, Coreia
do Sul e Finlndia).

Em seguida, realiza-se, sob essa mesma teoria, a anlise do desempenho dos estudantes por unidade da Federao, tipo
de dependncia e localizao das escolas, configurando, assim, o panorama dos resultados brasileiros em matemtica
no PISA 2015.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 167
5
A avaliao de matemtica no PISA 2015

A escala interpretada de matemtica do PISA 2015

Aps a aplicao dos testes, o consrcio internacional do PISA realizou vrios estudos sobre a qualidade das bases
de respondentes das amostras nacionais para, assim, iniciar a anlise psicomtrica dos itens e gerar os resultados dos
70 pases/economias participantes do PISA 2015.

A primeira etapa da anlise psicomtrica est associada Teoria Clssica dos Testes (TCT), ilustrada na Seo 5.6.
Nela, avaliam-se os itens pelos nveis de dificuldade (percentual de acerto, ndice Delta), ndices de correlao bis-
serial, entre outros.

A fase seguinte refere-se anlise pelos modelos da Teoria de Resposta ao Item (TRI), bem como aplicao da me-
todologia de valores plausveis para estimativa dos escores relaiconados escala de matemtica. por meio dessa
teoria que se torna possvel comparar as respostas dos diferentes estudantes a diversos itens e em vrios ciclos de
avaliao do PISA.

A construo de uma escala contnua de proficincia em matemtica permite associar o desempenho dos estudantes
a um ponto especfico da escala em que sua proficincia foi estimada (valores mais elevados na escala indicam maior
proficincia). A mtrica para a escala global de matemtica baseia-se na mdia dos pases da OCDE de 500 pontos e no
desvio-padro de 100 pontos, definidos no PISA 2003, quando a escala de matemtica foi desenvolvida pela primeira
vez. Os itens comuns a ambos os instrumentos de teste permitem que se faa a ligao entre as escalas. Mais detalhes
sobre esse procedimento podero ser encontrado no Relatrio Tcnico do PISA 2015 (OCDE, em desenvolvimento).

Para ajudar a interpretao dos resultados advindos desse tipo de modelagem, a escala do PISA dividida em nveis
de proficincias interpretadas. Na edio de 2015, a dificuldade das tarefas associadas aos itens de matemtica foi
representada por seis nveis de proficincia, descritos na Seo 5.5.

Para a OCDE, o percentual de estudantes em cada pas/economia que atingem cada nvel de proficincia indica quo
bem os pases conseguem fomentar a excelncia em seus sistemas educativos. Atingir pelo menos o nvel 2 particu-
larmente importante, segundo a OCDE, uma vez que ele considerado o nvel bsico de proficincia que se espera
de todos os jovens, a fim de tirar proveito de novas oportunidades de aprendizagem e de participar plenamente da
vida social, econmica e cvica da sociedade moderna em um mundo globalizado (OCDE, 2016).

Desempenho do Brasil sob a perspectiva internacional


A nota mdia dos jovens brasileiros em matemtica no PISA 2015 foi de 377 pontos, significativamente inferior dos
estudantes dos pases da OCDE (490). A Figura 5.26 apresenta os resultados mdios dos estudantes de 15 anos do Brasil
e dos 13 pases selecionados na escala interpretada do PISA 2015.

168 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
5
A avaliao de matemtica no PISA 2015

Figura 5.26
Mdias, intervalos de confiana e percentis das proficincias dos pases selecionados,
matemtica PISA 2015
Pas Mdia EP1 IC2 Interdecil3 Distribuio das proficincias4
Coreia do Sul 524 3,7 517-531 391-649 225 275 325 375 425 475 525 575 625 675

Coreia do Sul
Canad 516 2,3 511-520 400-627
Canad

Finlndia 511 2,3 507-516 404-614


Finlndia

Portugal 492 2,5 487-497 365-614 Portugal

Espanha 486 2,2 482-490 374-593 Espanha

Estados Unidos 470 3,2 463-476 355-585 Estados Unidos

Chile 423 2,5 418-428 313-534 Chile

Uruguai 418 2,5 413-423 309-532 Uruguai

Mxico 408 2,2 404-412 312-505 Mxico

Costa Rica 400 2,5 395-405 315-489 Costa Rica

Colmbia 390 2,3 385-394 293-492 Colmbia

Peru
Peru 387 2,7 381-392 283-495
Brasil
Brasil 377 2,9 371-383 267-496
Repblica Dominicana
Repblica Dominicana 328 2,7 322-333 243-418
Notas:
1. EP: estimativa de erro-padro da mdia. Mdia brasil
2. IC: intervalo de confiana da mdia.
P10 P90
3. Intervalo interdecil: intervalo em que o limite inferior o percentil 10, e o superior, o percentil 90.
4. Distribuio das proficincias: o grfico apresenta a distribuio das proficincias pelos percentis
(P10, P25, P75, P90) e pelos intervalos de confiana das mdias. P25 P75
Fonte: OCDE, INEP. LI LS

Os 10% dos estudantes brasileiros com pior desempenho em matemtica no PISA 2015 obtiveram nota mdia igual
a 267, e os 10% de melhor desempenho, 496. A Costa Rica o que apresenta menor diferena entre esses grupos de
alunos (174 pontos).

A Figura 5.27 mostra a srie histrica do PISA em matemtica desde 2003, quando a escala desse domnio foi desen-
volvida pela primeira vez. Nessa anlise, foram calculadas as medidas de erro-padro da mdia de cada edio e as de
erro-padro da mdia considerando os erros de ligao (linking errors), para captar as flutuaes amostrais e os erros de
mensurao advindos dos diferentes ciclos da avaliao.

Figura 5.27
Mdias e medidas de erro-padro dos pases selecionados, matemtica PISA 2003-2015
2003 2006 2009 2012 2015
Pas
Mdia EP1 EP2 Mdia EP1 EP2 Mdia EP1 EP2 Mdia EP1 EP2 Mdia EP1
Coreia do Sul 542 3,2 6,5 547 3,8 5,2 546 4 5,5 554 4,6 5,8 524 3,7
Canad 532 1,8 5,9 527 2 4,0 527 1,6 4,1 518 1,8 4,0 516 2,3
Finlndia 544 1,9 5,9 548 2,3 4,2 541 2,2 4,4 519 1,9 4,0 511 2,3
Portugal 466 3,4 6,6 466 3,1 4,7 487 2,9 4,8 487 3,8 5,2 492 2,5
Espanha 485 2,4 6,1 480 2,3 4,2 483 2,1 4,3 484 1,9 4,0 486 2,2
Estados Unidos 483 2,9 6,3 474 4 5,3 487 3,6 5,2 481 3,6 5,1 470 3,2
Chile 411 4,6 5,8 421 3,1 4,9 423 3,1 4,7 423 2,5
Uruguai 422 3,3 6,5 427 2,6 4,4 427 2,6 4,6 409 2,8 4,5 418 2,5
Mxico 385 3,6 6,7 406 2,9 4,6 419 1,8 4,2 413 1,4 3,8 408 2,2
Costa Rica 409 3 4,8 407 3 4,6 400 2,5
Colmbia 370 3,8 5,2 381 3,2 5,0 376 2,9 4,6 390 2,3
Peru 365 4 5,5 368 3,7 5,1 387 2,7
Brasil 356 4,8 7,4 370 2,9 4,6 386 2,4 4,5 389 1,9 4,0 377 2,9
Repblica Dominicana 328 2,7
Notas:
1. EP1: estimativa de erro-padro da mdia na edio avaliada.
2. EP2: estimativa de erro-padro da mdia considerando os linking errors do PISA 2015.
3. Para manter a comparabilidade entre os ciclos, foram includos os resultados das escolas rurais do PISA 2012.
Fonte: OCDE, INEP.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 169
5
A avaliao de matemtica no PISA 2015

A Figura 5.28 ilustra as variaes temporais do desempenho dos estudantes de nove pases que participaram das ltimas
cinco edies do PISA. Por meio dessa anlise, verifica-se que o desempenho dos brasileiros em 2015 foi significativa-
mente inferior ao de 2012, com uma diferena de 11 pontos. Como destacado pela OCDE, a trajetria geral no PISA
, no entanto, positiva para eles (aumento mdio de 6,2 pontos em cada administrao sucessiva do PISA, desde 2003)
(OCDE, 2016).

Figura 5.28
Intervalos de confiana da diferena das mdias dos pases, matemtica PISA 2015 e ciclos anteriores

Coreia do Sul Canad Finlndia


50 50 50
40 40 40
30 30 30
20 20 20
10 10 10
0 0 0
-10 -10 -10
-20 -20 -20
-30 -30 -30
-40 -40 -40
-50 -50 -50
2003 2006 2009 2012 2003 2006 2009 2012 2003 2006 2009 2012

Portugal Espanha Estados Unidos


50 50 50
40 40 40
30 30 30
20 20 20
10 10 10
0 0 0
-10 -10 -10
-20 -20 -20
-30 -30 -30
-40 -40 -40
-50 -50 -50
2003 2006 2009 2012 2003 2006 2009 2012 2003 2006 2009 2012

Uruguai Mxico Brasil


50 50 50
40 40 40
30 30 30
20 20 20
10 10 10
0 0 0
-10 -10 -10
-20 -20 -20
-30 -30 -30
-40 -40 -40
-50 -50 -50
2003 2006 2009 2012 2003 2006 2009 2012 2003 2006 2009 2012

LS
Nota:
1. Intervalos de confiana da diferena das mdias: o grfico apresenta os limites inferiores e superiores do intervalo da diferena Mdia Ciclo Anterior Mdia 2015
das mdias. O valor de referncia y = 0. Intervalos que cruzam a linha de referncia indicam que o desempenho mdio do pas
no ano no estatisticamente diferente do desempenho no PISA 2015.
Fonte: OCDE, INEP. LI

A Figura 5.29 apresenta a distribuio das notas mdias nos percentis (P10, P25, P75, P90) da escala de proficincia
em matemtica no PISA 2012 e 2015. Observa-se que os estudantes brasileiros com melhor desempenho (P90) tiveram
aumento nos resultados mdios, e os de pior desempenho, diminuio (diferena de 27 pontos do P10 em 2015 em
relao a 2012).

170 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
5
A avaliao de matemtica no PISA 2015

Figura 5.29
Distribuio dos escores mdios, matemtica PISA 2012 e 2015
2012 2015
Pas P10 P25 P75 P90 P10 P25 P75 P90
Perc1 EP2 Perc EP Perc EP Perc EP Perc EP Perc EP Perc EP Perc EP
Coreia do Sul 425 5,8 486 4,8 624 5,1 679 6,0 391 5,5 458 4,5 594 4,2 649 4,3
Canad 402 2,4 457 2,1 580 2,3 633 2,3 400 3,2 456 2,9 577 2,6 627 3,2
Finlndia 409 3,3 463 2,5 577 2,4 629 3,1 404 3,8 456 3,1 568 2,4 614 2,9
Portugal 363 4,2 421 5,0 554 4,3 610 3,9 365 3,8 424 3,1 561 2,8 614 3,6
Espanha 370 3,1 424 2,6 546 2,1 597 2,4 374 3,4 428 2,8 546 2,5 593 3,3
Estados Unidos 368 3,9 418 3,7 543 4,4 600 4,3 355 3,9 408 3,9 532 3,5 585 4,2
Chile 323 3,7 365 3,5 476 4,2 532 4,2 313 3,5 363 2,9 483 3,5 534 3,6
Uruguai 297 4,1 347 3,0 470 3,6 526 3,8 309 2,7 357 3,3 477 3,4 532 3,6
Mxico 320 1,9 362 1,6 462 1,7 510 2,0 312 2,6 357 2,5 459 2,9 505 3,5
Costa Rica 323 3,8 361 3,6 449 3,9 496 5,1 315 2,9 353 2,5 445 3,0 489 4,2
Colmbia 285 4,0 326 2,8 423 3,6 474 4,8 293 3,1 335 2,9 441 2,7 492 3,3
Peru 264 3,4 311 3,6 421 4,9 478 6,7 283 2,6 329 2,7 442 4,0 495 4,3
Brasil 294 2,1 334 1,9 437 2,6 492 4,2 267 3,3 315 3,1 434 3,7 496 4,7
Notas:
1. Perc: percentil, medida que divide a distribuio das proficincias em 100 partes.
2. EP: estimativa de erro-padro do percentil.
Fonte: OCDE, INEP.

A distribuio dos estudantes dos pases selecionados na escala interpretada de 2015 est ilustrada na Figura 5.30.

Figura 5.30
Percentual de estudantes por nvel de proficincia dos pases selecionados, matemtica PISA 2015

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Finlndia 4 10 22 29 24 9 2

Canad 4 11 20 27 23 11 4

Coreia do Sul 5 10 17 24 23 14 7

Espanha 7 15 25 28 18 6 1

Portugal 9 15 22 24 19 9 3

Estados Unidos 11 19 26 24 15 5 1

Chile 23 26 25 17 6 10

Uruguai 25 27 24 15 6 20

Mxico 26 31 27 13 3 0

Costa Rica 27 35 26 9 20

Colmbia 35 31 22 10 20

Peru 38 28 21 10 30

Brasil 44 27 17 9 3 10

Repblica Dominicana 68 22 8 20

Abaixo nvel 1 Nvel 1 Nvel 2 Nvel 3 Nvel 4 Nvel 5 Nvel 6


Fonte: OCDE, INEP.

No Brasil, 70,3% dos estudantes esto abaixo do nvel 2 em matemtica, patamar que a OCDE estabelece como neces-
srio para que os jovens possam exercer plenamente sua cidadania. Esse percentual maior na Repblica Dominicana
(90,5%) e menor na Finlndia (13,6%).

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 171
5
A avaliao de matemtica no PISA 2015

A Figura 5.31 apresenta o desempenho dos estudantes por gnero na avaliao de matemtica do PISA 2015 para os 13 pases
avaliados. No Brasil, os meninos tiveram desempenho superior (15 pontos) ao das meninas. Na Finlndia, Coreia do Sul e
Repblica Dominicana, de outro lado, as meninas tiveram desempenho maior: diferena de 8, 7 e 4 pontos, respectivamente.

Figura 5.31
Escores mdios estimados por gnero dos pases selecionados, matemtica PISA 2015

540
KOR
Meninas com
desempenho maior que FIN CAN
510
meninos
PRT
480 ESP
USA
450

420 CHL
URY
MEX
390 CRI
COL
PER
BRA
360
Meninos com
desempenho maior que
330 DOM meninas

300
300 330 360 390 420 450 480 510 540
Fonte: OCDE, INEP.

Desempenho do Brasil em matemtica sob a perspectiva nacional


Para ter um fiel retrato do desempenho dos jovens brasileiros no PISA 2015, realiza-se agora uma anlise do desempenho
geral por tipo de escola (dependncia administrativa, localizao e rea), bem como uma anlise mais aprofundada em
relao s unidades da Federao.

Na Figura 5.32, verifica-se que o desempenho mdio em matemtica dos estudantes da rede estadual foi de 369 pontos,
e da municipal 311, diferena estatisticamente significativa. Os alunos das escolas federais tiveram melhor desempenho
(488 pontos) do que os das particulares (463), diferena que, no entanto, no estatisticamente significativa (463).

Figura 5.32
Mdias, intervalos de confiana e percentis dos escores
por dependncia administrativa, matemtica PISA 2015
Dependncias
Mdia EP1 IC2 Interdecil3 Distribuio das proficincias4
administrativas
200 250 300 350 400 450 500 550 600

Brasil
Brasil 377 2,9 371-383 267-496
Federal
Federal 488 15,1 459-518 391-578
Particular
Particular 463 8,0 447-478 349-576
Estadual
Estadual 369 2,6 364-374 270-474
Municipal
Municipal 311 4,6 302-320 228-396
Notas: Mdia brasil
1. EP: estimativa de erro-padro da mdia.
2. IC: intervalo de confiana da mdia. P10 P90
3. Intervalo interdecil: intervalo em que o limite inferior o percentil 10, e o superior, o percentil 90.
4. Distribuio das proficincias: o grfico apresenta a distribuio das proficincias pelos percentis P25 P75
(P10, P25, P75, P90) e pelos intervalos de confiana das mdias. LI LS
Fonte: OCDE, INEP.

172 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
5
A avaliao de matemtica no PISA 2015

Quando se comparam os tipos de localizao (Figura 5.33), observa-se que o desempenho mdio dos estudantes brasi-
leiros das escolas urbanas no PISA 2015 estatisticamente superior ao dos das escolas rurais (diferena de 49 pontos).

Figura 5.33
Mdias, intervalos de confiana e percentis dos escores por localizao, matemtica PISA 2015
Localizao Mdia EP1 IC2 Interdecil3 Distribuio das proficincias4
200 250 300 350 400 450 500 550 600

Brasil

Brasil 377 2,9 371-383 267-496


Urbana
Urbana 379 2,9 374-385 270-498

Rural
Rural 331 13,6 304-357 237-436

Notas:
1. EP: estimativa de erro-padro da mdia. Mdia brasil
2. IC: intervalo de confiana da mdia.
3. Intervalo interdecil: intervalo em que o limite inferior o percentil 10, e o superior, o percentil 90. P10 P90
4. Distribuio das proficincias: o grfico apresenta a distribuio das proficincias pelos percentis
(P10, P25, P75, P90) e pelos intervalos de confiana das mdias. P25 P75
5. Devido ao delineamento utilizado no PISA, escolas rurais da regio Norte no foram contempladas no estudo. LI LS
Fonte: OCDE, INEP.

Com relao rea em que as escolas se localizam (Figura 5.34), os estudantes da capital obtiveram melhor desempenho
mdio (386 pontos) do que os do interior (374), diferena estatisticamente no significativa, contudo.

Figura 5.34
Mdias, intervalos de confiana e percentis dos escores por rea, matemtica PISA 2015
rea Mdia EP1 IC2 Interdecil3 Distribuio das proficincias4
200 250 300 350 400 450 500 550 600

Brasil

Brasil 377 2,9 371-383 267-496

Capital
Capital 386 6,3 373-398 271-511

Interior
Interior 374 3,3 368-381 266-491

Notas:
1. EP: estimativa de erro-padro da mdia. Mdia brasil
2. IC: intervalo de confiana da mdia. P10 P90
3. Intervalo interdecil: intervalo em que o limite inferior o percentil 10, e o superior, o percentil 90.
4. Distribuio das proficincias. O grfico apresenta a distribuio das proficincias pelos percentis
(P10, P25, P75, P90) e pelos intervalo de confiana das mdias. P25 P75
Fonte: OCDE, INEP. LI LS

A Figura 5.35 apresenta os resultados por unidade da Federao na escala de matemtica do PISA 2015. Paran foi a
que apresentou melhor desempenho (406 pontos), e Alagoas, o pior (339). Contudo, conforme descrito no Captulo 2
deste relatrio, o estado do Paran, bem como o do Amap, no atingiu as taxas de resposta exigidas no PISA 2015,
prejudicando, assim, uma anlise fidedigna para este estado.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 173
5
A avaliao de matemtica no PISA 2015

Figura 5.35
Mdias, intervalos de confiana e percentis dos escores
por unidade da Federao, matemtica PISA 2015
UF Mdia EP1 IC2 Interdecil3 Distribuio das proficincias4
200 250 300 350 400 450 500 550 600
Brasil
Brasil 377 2,9 371-383 267-496
Paran 406 11,9 383-429 292-526 Paran

Esprito Santo 405 7,5 390-419 295-524 Esprito Santo

Minas Gerais 398 12,3 374-422 287-520 Minas Gerais

Santa Catarina 398 7,7 383-413 287-513 Santa Catarina

Distrito Federal 396 6,8 383-409 288-511 Distrito Federal

So Paulo 386 5,6 376-397 276-503 So Paulo

Rio Grande do Sul 385 10,8 363-406 274-501 Rio Grande do Sul

Cear 382 12,5 357-406 272-506 Cear

Gois 380 11,4 358-403 271-505 Gois

Amazonas 378 9,5 359-396 278-481 Amazonas

Mato Grosso do Sul 377 7,4 363-392 273-488 Mato Grosso do Sul
Acre
Acre 377 10,2 357-397 277-485
Roraima
Roraima 373 10,0 353-393 281-477
Mato Grosso 373 5,9 361-384 282-469 Mato Grosso

Rio de Janeiro 366 8,0 350-382 255-481 Rio de Janeiro


Rondnia
Rondnia 364 8,9 346-381 271-463
Par
Par 363 16,4 330-395 250-491
Pernambuco
Pernambuco 360 10,1 340-380 252-471
Paraba
Paraba 357 8,7 340-374 260-458
Piau
Piau 355 11,2 334-377 253-469
Sergipe 354 9,6 336-373 264-465 Sergipe
Amap
Amap 354 7,8 339-369 277-434
Rio Grande do Norte
Rio Grande do Norte 353 7,3 339-368 256-463
Tocantins
Tocantins 350 4,6 341-359 259-446
Bahia
Bahia 343 8,9 326-361 242-451
Maranho
Maranho 343 14,4 315-371 243-454
Alagoas
Alagoas 339 12,2 315-362 238-459
Notas:
Mdia brasil
1. EP: estimativa de erro-padro da mdia.
2. IC: intervalo de confiana da mdia. P10 P90
3. Intervalo interdecil: intervalo em que o limite inferior o percentil 10, e o superior, o percentil 90.
4. O grfico apresenta a distribuio das proficincias pelos percentis (P10, P25, P75,P90)
P25 P75
e pelos intervalos de confiana das mdias.
Fonte: OCDE, INEP. LI LS

A Figura 5.36 indica as diferenas entre os resultados mdios de cada unidade da Federao e os do Brasil no PISA
2015. Estados com desempenho acima da linha de referncia (y = 0) apresentam resultado estatisticamente superior
mdia nacional, e os com desempenho mdio abaixo da linha, inferior. A Figura 5.37 mostra um resumo da anlise
realizada.

174 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
5
A avaliao de matemtica no PISA 2015

Figura 5.36
Intervalos de confiana das diferenas dos escores mdios das unidades da Federao
com relao ao desempenho do Brasil, matemtica PISA 2015

100
Limite superior
Mdia
75 Limite inferior

50

25

-25

-50

-75

-100
AL MA BA TO RN AP SE PI PB PE PA RO RJ MT RR AC MS AM GO CE RS SP DF SC MG ES PR
(68%) (83%) (85%) (89%) (86%) (40%) (70%) (76%) (74%) (80%) (70%) (81%) (87%) (78%) (76%) (86%) (89%) (92%) (81%) (94%) (89%) (88%) (84%) (81%) (90%) (87%) (39%)

Notas: LS
1. O percentual em parnteses corresponde taxa de resposta geral discutida no Captulo 2.
2. Intervalos de confiana da diferena das mdias: o grfico apresenta os limites inferiores e superiores do intervalo da diferena Mdia UF-Mdia Brasil
das mdias. O valor de referncia y = 0. Intervalos que cruzam a linha de referncia indicam que o desempenho mdio da unidade
da Federao em 2015 no estatisticamente diferente do desempenho nacional.
Fonte: OCDE, INEP. LI

Figura 5.37
Desempenho das unidades da Federao menor, igual ou maior que o do Brasil, matemtica PISA 2015
Desempenho menor que o do Brasil1 Desempenho igual ao do Brasil1 Desempenho maior que o do Brasil1
Alagoas (339; 12,2) Piau (355; 11,2) So Paulo (386; 5,6)
Maranho (343; 14,4) Pernambuco (360; 10,1) Distrito Federal (396; 6,8)
Bahia (343; 8,9) Par (363; 16,4) Santa Catarina (398; 7,7)
Tocantins (350; 4,6) Rondnia (364; 8,9) Esprito Santo (405; 7,5)
Rio Grande do Norte (353; 7,3) Rio de Janeiro (366; 8,0) Paran (406; 11,9)
Amap (354; 7,8) Mato Grosso (373; 5,9)
Sergipe (354; 9,6) Roraima (373; 10,0)
Paraba (357; 8,7) Acre (377; 10,2)
Mato Grosso do Sul (377; 7,4)
Amazonas (378; 9,5)
Gois (380; 11,4)
Cear (382; 12,5)
Rio Grande do Sul (385; 10,8)
Minas Gerais (398; 12,3)
Nota:
1. Diferenas nos escores so estatisticamente significativas.
Fonte: OCDE, INEP.

Ao avaliar os estudantes brasileiros por nvel de proficincia, observam-se grandes diferenas regionais no PISA 2015
(Figura 5.38). Enquanto 59,1% dos alunos do estado do Esprito Santo esto abaixo do nvel 2, em Alagoas esse percen-
tual de 83,2%.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 175
5
A avaliao de matemtica no PISA 2015

Figura 5.38
Percentual de estudantes por nvel de proficincia e unidade da Federao, matemtica PISA 2015

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Brasil 44 27 17 9 3 10
Paran 31 27 22 13 5 2
Esprito Santo 31 28 22 13 6 1
Santa Catarina 33 29 22 12 4 1
Distrito Federal 35 26 22 12 4 1
Minas Gerais 36 26 20 12 5 1
So Paulo 39 28 19 10 3 10
Rio Grande do Sul 40 27 20 10 4 1
Amazonas 42 30 19 7 2
Cear 42 27 16 9 4 1
Acre 42 29 18 8 20
Mato Grosso do Sul 42 28 18 9 2
Mato Grosso 44 32 17 6 1
Gois 44 26 17 7 3 21
Roraima 45 30 16 6 21
Rio de Janeiro 48 26 16 8 21
Pernambuco 49 27 15 6 2
Rondnia 50 29 14 5 2
Par 51 24 13 7 3
Paraba 53 27 13 5 20
Amap 53 33 12 2
Piau 55 24 13 6 21
Tocantins 55 28 13 4 0
Rio Grande do Norte 55 25 13 5 1
Sergipe 58 24 11 6 20
Bahia 60 23 11 4 10
Maranho 61 21 11 4 1
Alagoas 64 19 10 5 20

Abaixo nvel 1 Nvel 1 Nvel 2 Nvel 3 Nvel 4 Nvel 5 Nvel 6


Fonte: OCDE, INEP.

A Figura 5.39 ilustra o desempenho mdio em matemtica por gnero nas unidades da Federao. Em praticamente
todos os estados o desempenho dos meninos foi superior ao das meninas.

Figura 5.39
Escores mdios estimados por gnero e unidade da Federao, matemtica PISA 2015

450

Meninas com
desempenho maior que
420 meninos

PR
ES
390 SC
DFMG
SP
RS
GOCE
AM
MT ACMS
360 RJ RR
RO
AP PB
PI PE PA
SE
RN
MA TO
BA
330 AL Meninos com
desempenho maior que
meninas

300
300 330 360 390 420 450
Fonte: OCDE, INEP.

176 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
6

Interesse, motivao, crenas e


outras percepes dos estudantes
em seu aprendizado

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 177
6
Interesse, motivao, crenas e outras percepes dos estudantes em seu aprendizado

6.1 Aspectos gerais


O objetivo deste captulo apresentar fatores para contextualizar os resultados dos estudantes brasileiros no PISA 2015.
Segundo a OCDE, uma pessoa cientificamente letrada tem certas atitudes, crenas, orientaes motivacionais, autoeficcia
e valores que vo alm de bons resultados nos testes cognitivos (OCDE, 2106). Os construtos de atitude utilizados no
PISA baseiam-se em referncias sobre o domnio afetivo na educao cientfica de Klopfer (1976, apud OCDE, 2016b)
e em uma reviso literria na rea de pesquisa atitudinal (Gardner, 1975; Osborne, Simon e Collins, 2003; Schibeci,
1984, apud OCDE, 2016b).

A Figura 6.1 resume os principais aspectos de interesse, motivao, atitudes, crenas, suporte e outras percepes aqui
discutidos. Sero explorados os resultados dos jovens brasileiros no PISA 2015 por unidade da Federao e suas respos-
tas em um contexto mais amplo, contrastando com os resultados dos alunos dos 13 pases analisados neste relatrio.

Figura 6.1
Aspectos de avaliao do contexto explorados no captulo PISA 2015
Interesse e motivao Atitudes Crenas Suporte e outras percepes
Satisfao com cincias Atividades em cincias Autoeficcia em cincias Suporte do professor
(JOYSCIE): uma medida de (SCIEACT): ndice construdo (SCIEEFF): uma medida de nas aulas de cincias
quanto os estudantes gostam com base nas respostas dos quo capazes os estudantes (TEACHSUP): ndice construdo
de aprender sobre cincias, estudantes s questes sobre se percebem em relao com base na percepo dos
tanto dentro como fora sua participao em atividades s cincias. estudantes quanto ao suporte
da escola. relacionadas s cincias. dos professores no aprendizado
de cincias.
Interesse em aprender Tempo dedicado ao Crenas epistemolgicas Retorno percebido
cincias (INTBRSCI): uma aprendizado (SMINS, (EPIST): uma medida associada (PERFEED): uma medida
medida de quanto os LMINS, MMINS): ndices crena dos estudantes para de quanto os estudantes
estudantes se interessam por construdos com base no as explicaes sobre o mundo percebem o retorno acadmico
aprender sobre a fsica, a tempo (em minutos) dedicado material, valorizao da crtica em seu aprendizado.
biologia humana, a geologia ao aprendizado. como um meio de estabelecer
e os processos e produtos da a validade de qualquer ideia.
investigao cientfica.
Motivao instrumental para Tempo dedicado ao Percepo das questes Adaptao da instruo
aprender cincias (INSTSCIE): aprendizado fora da escola ambientais (ENVAWARE): (ADINST): ndice construdo
uma medida de quanto da (OUTHOURS): tempo em uma medida de quanto os com base na percepo dos
motivao dos estudantes para horas de estudo fora da escola estudantes se preocupam com estudantes sobre a adaptao
aprender sobre cincias est por semana. questes ambientais. da maneira de instruo para
extrinsecamente relacionada seu aprendizado.
com as oportunidades de
emprego nessa rea.

Motivao para o sucesso Otimismo ambiental Suporte dos pais


(MOTIVAT): uma medida de (ENVOPT): uma medida da (EMOSUPS): uma medida
quanto o estudante motivado crena dos estudantes sobre a sobre a percepo dos
em seu sucesso pessoal contribuio de suas aes ou estudantes quanto ao suporte
e escolar. de outros para a manuteno e recebido por seus pais.
melhoria do ambiente. Sensao de pertencimento
escola (BELONG): ndice
construdo com base na
percepo dos estudantes
sobre o sentimento de fazer
parte da escola.
Ansiedade na realizao
de testes (ANXTEST): uma
medida do grau de ansiedade
na realizao de testes.
Fonte: INEP.

178 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
6
Interesse, motivao, crenas e outras percepes dos estudantes em seu aprendizado

Nota sobre as anlises do captulo

O PISA fornece no apenas medidas confiveis e vlidas para avaliar o desempenho dos estudantes nos letramentos
em cincias, leitura e matemtica, mas tambm uma gama de informaes no cognitivas (por exemplo: sua motivao
para aprender), condies individuais (por exemplo: sua condio socioeconmica) e caractersticas estruturais e de
processo do contexto escolar (por exemplo: prticas de ensino e oportunidades de aprendizagem em sala de aula,
liderana e polticas escolares). Esse conjunto diversificado de construtos coletado das respostas aos questionrios de
vrios atores educacionais, estudantes e diretores de escolas, bem como, conforme opo do pas, pais e professores.
Para alm dos resultados cognitivos, neste captulo ser feita uma anlise exploratria dos ndices contextuais criados
pela OCDE com base nas respostas aos questionrios dos estudantes.

Questionrios
Os alunos participantes do PISA 2015 responderam a um questionrio contextual, com durao de 35 minutos, que
buscava informaes sobre o histrico familiar, suas oportunidades e seus ambientes de aprendizagem. J diretores
(ou outra pessoa designada por eles) responderam, em 45 minutos, a um conjunto de questes online relacionadas a
informaes descritivas sobre a escola e prticas institucionais. Alm destes, quatro diferentes tipos de questionrios
foram disponibilizados como opo aos pases do PISA 2015: questionrio sobre familiaridade com tecnologias da
informao para os estudantes, questionrio sobre a carreira educacional dos estudantes, questionrio para os pais
e questionrio para os professores.

O foco das anlises deste captulo est nas respostas aos questionrios contextuais dos alunos.

ndices
O PISA utiliza diversos ndices derivados dos questionrios dos estudantes para melhor contextualizao dos resultados
cognitivos da avaliao. Esses ndices resumem as respostas dos alunos a uma srie de questes relacionadas entre si,
as quais foram selecionadas de um grande banco criado com base em consideraes tericas e pesquisas anteriores
(OCDE, 2016). O relatrio PISA 2015 Assessment and Analytical Framework (OCDE, 2016) fornece uma descrio
detalhada do quadro conceitual dos construtos cobertos nos questionrios do PISA 2015.

Existem dois tipos de ndices no PISA: os simples e os de escala. ndices simples so variveis construdas por meio da
transformao aritmtica ou da recodificao de um ou mais itens. Aqui, as respostas aos itens so usadas para calcular
medidas como tamanho da escola (SCHSIZE) ou relao professor-aluno (STRATIO), ambas extradas de informaes
do questionrio da escola. ndices de escala, por sua vez, so variveis construdas por meio do dimensionamento de
vrios itens. Em geral, esses ndices foram desenvolvidos com base na Teoria de Resposta ao Item (TRI) e representam
construtos contnuos comparveis ao longo das edies do PISA. Para detalhes sobre a construo de cada ndice,
ver o Relatrio Tcnico do PISA 2015 (OCDE, em desenvolvimento).

Vale tambm ressaltar que os ndices de escala baseiam-se em uma mtrica de mdia 0 e desvio-padro 1 para os pases
da OCDE. Um valor negativo em um ndice no implica que os estudantes responderam negativamente s questes
relacionadas ao construto, mas apenas que eles responderam de modo menos positivo do que os outros, em mdia,
nos pases da OCDE. Da mesma forma, um valor positivo em um ndice indica que os entrevistados responderam de
maneira mais favorvel, ou mais positiva, do que os outros, em mdia, nos pases da OCDE.

Anlises estatsticas
Neste captulo, realiza-se um estudo exploratrio dos ndices do PISA 2015, cujos resultados esto relacionados ao
percentual de respondentes que concordam ou discordam das medidas para cada construto. Tambm se faz a anlise
da correlao de alguns ndices com os resultados mdios dos pases e das unidades da Federao avaliados neste
relatrio.

Utiliza-se aqui a medida de correlao de Pearson. Ela varia entre -1 e 1 e comumente usada para determinar
se existe uma relao (linear) entre duas variveis (Taylor, 1990). Um coeficiente de correlao igual a zero indica
que no h associao entre as variveis em anlise; uma correlao positiva, que o aumento da primeira varivel
corresponde a um aumento da segunda; e uma relao negativa, que, enquanto uma varivel cresce, a outra tende a
decrescer. Quanto mais prximo est o valor desse coeficiente de 1, maior a relao linear entre as duas variveis.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 179
6
Interesse, motivao, crenas e outras percepes dos estudantes em seu aprendizado

sabido, no entanto, que, ao estudar as relaes entre os construtos medidos nos questionrios contextuais e o de-
sempenho cognitivo no PISA, pode-se encontrar o paradoxo da atitude-aptido (Bybee e McCrae, 2011; Lu e Bolt,
2015, apud OCDE, 2016). Especificamente, verifica-se que, em geral, os desempenhos mdios dos pases no PISA
em determinada rea do conhecimento se correlacionam com os ndices mdios associados s atitudes em relao
a essa rea, mas na direo oposta ao que esperado. Ou seja, estudantes de pases com melhor desempenho nos
testes cognitivos parecem, em mdia, ter mais sentimentos/atitutes negativos sobre a rea estudada do que os de
outros pases avaliados. Esse paradoxo ilustra a dificuldade de comparar escalas autorreportadas em diferentes pases
e contextos culturais (OCDE, 2016).

Sendo assim, o foco deste estudo est na magnitude da associao das variveis e no exatamente na direo (positiva
ou negativa). Para facilitar a interpretao dos resultados, utilizou-se a referncia a seguir. Na avaliao estatstica
da significncia das associaes, calculou-se um intervalo de confiana assinttico por meio do pacote cor.test do
software R.

Correlao (valor absoluto) Interpretao


At 0,35 Fraca
De 0,36 a 0,67 Moderada
De 0,68 a 0,89 Forte
Igual ou maior que 0,90 Muito forte
Fonte: Taylor (1990).

Os pesos usados aqui foram os dos estudantes, com a metodologia de replicao para estimar as varincias das esti-
mativas dos parmetros do PISA levando em conta o plano amostral (OCDE, em desenvolvimento). Diferentemente da
anlise dos resultados cognitivos, no h o tratamento da no resposta aos questionrios contextuais do PISA. Com o
intuito de fornecer mais elementos que possam impactar a anlise, taxas de resposta aos questionrios foram tambm
estimadas e includas nos grficos de correlao. Essas taxas representam o percentual de estudantes ponderados
que tiveram respostas vlidas na anlise. Baixa taxa de resposta indica que se deve ter maior cuidado para realizar
inferncias corretas para determinado pas/unidade da Federao.

6.2 Interesse e motivao dos estudantes


A motivao pode ser considerada uma fora motriz por trs do interesse, do engajamento e da aprendizagem em todas
as reas do conhecimento. Para nutrir o envolvimento dos estudantes com cincias, os sistemas escolares precisam
garantir que eles tenham no s o conhecimento bsico para se envolver com questes cientficas complexas, mas tam-
bm o interesse e a motivao que os levem a querer faz-lo (OCDE, 2016b). Nesta seo, discutem-se quatro ndices
associados motivao dos estudantes: satisfao com cincias (JOYSCIE), interesse em aprender cincias (INTBRSCI),
motivao instrumental para aprender cincias (INSTSCIE) e motivao para o sucesso (MOTIVAT).

Satisfao com cincias


O PISA distingue duas formas de motivao para aprender cincias: os estudantes podem aprender cincias porque
gostam (motivao intrnseca) e/ou porque percebem que a aprendizagem em cincias pode ser til para seus planos
futuros (motivao instrumental) (OCDE, 2016).

A motivao intrseca no PISA 2015 foi medida como o grau de satisfao dos estudantes com cincias e de seu interesse
em aprender cincias. Sobre a satisfao, cinco questes foram apresentadas aos alunos, e eles avaliaram seu nvel de
concordncia em uma escala de Likert de quatro pontos: Concordo plenamente, Concordo, Discordo e Discordo
plenamente. A Figura 6.2 mostra o percentual de concordncia dos estudantes dos 13 pases e unidades da Federao
aqui considerados. A linha horizontal indica que, em mdia, 50% deles concordaram com tais afirmaes.

180 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
6
Interesse, motivao, crenas e outras percepes dos estudantes em seu aprendizado

Figura 6.2
Percentual de estudantes que responderam Concordo ou Concordo plenamente
s questes sobre a satisfao em cincias por pas e unidade da Federao PISA 2015

Eu fico feliz ao trabalhar com tpicos de cincias em geral.


Eu gosto de adquirir novos conhecimentos de cincias em geral.
Eu gosto de ler sobre cincias em geral.
Eu tenho interesse em aprender cincias em geral.
Geralmente eu me divirto quando estou aprendendo tpicos de cincias em geral.
100

80

60

40

20

Fonte: OCDE, INEP.

Mais de 50% dos brasileiros que responderam a essas questes do questionrio contextual reportaram que gostam de
ler, tm interesse ou se divertem quando esto aprendendo tpicos de cincias em geral.

A correlao entre esse construto e os resultados mdios em cincias apresentada na Figura 6.3. Os resultados do
PISA 2015 indicam que, apesar do alto desempenho em cincias, alunos de pases como Finlndia e Coreia do Sul no
necessariamente apresentam maior satisfao em cincias do que os de outros pases considerados aqui, caso tpico do
paradoxo de atitude-aptido (Lu e Bolt, 2015).

De outro lado, quando se avalia a associao entre o ndice de satisfao e o desempenho em cincias para os estu-
dantes do PISA 2015 aspirantes a profisses na rea de cincias, observa-se uma correlao positiva (OCDE, 2016). A
interao entre aptido e atitudes tem implicaes importantes para qualquer esforo para aumentar o quantitativo de
jovens que querem prosseguir o estudo de cincias depois da escolaridade obrigatria. provavelmente difcil trabalhar
em um emprego relacionado com cincias sem ser bom nessa rea, e os alunos avaliados no PISA 2015 parecem estar
cientes disso (OCDE, 2016). No entanto, ser capaz em cincias no significa necessariamente gostar de cincias e das
atividades a elas relacionadas ou seguir uma carreira cientfica. Portanto, alm da capacidade cognitiva, as crenas na
prpria competncia, seus interesses, e o valor que se atribui aos assuntos relevantes desempenham papel fundamental
na deciso dos jovens sobre uma carreira (Wang e Degol, 2016, apud OCDE, 2016b).

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 181
6
Interesse, motivao, crenas e outras percepes dos estudantes em seu aprendizado

Figura 6.3
Correlao entre o ndice de satisfao em cincias e o desempenho mdio em cincias
por pas (A) e unidade da Federao (B) PISA 2015

(A) Correlao: -0,55 (B) Correlao: -0,38


Cincias Cincias
550 450

FIN(95%) CAN(94%) 440


KOR(99%) ES(55%)
500 PRT(97%) 430
ESP(96%) USA(96%) DF(49%) PR(70%)
MG(73%)
420
SC(52%)
RS(63%)
450 CHL(89%) 410 GO(59%)
URY(80%) SP(66%)
MS(79%) CE(78%)
CRI(90%) 400 AM(45%)
MEX(90%) MT(53%) AC(72%) RR(36%)
COL(93%) RJ(63%)
400 BRA(63%) PER(84%) 390
RO(67%) PE(56%) PA(73%)
PB(59%)
380 AP(21%)
RN(68%) PI(41%)
TO(48%) SE(27%)
350 370 MA(39%)
BA(63%)
DOM(79%)
360 AL(56%)

300 350
-0,2 -0,1 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0 0,1 0,2 0,3 0,4 0,5 0,6
ndice JOYSCIE ndice JOYSCIE

Nota:
1. O percentual em parnteses corresponde taxa de resposta ponderada dos casos vlidos na anlise.
Fonte: OCDE, INEP.

Interesse em aprender cincias


Outro componente relacionado motivao intrseca avaliado no PISA foi o interesse dos estudantes no aprendizado de
cincias. Quatro questes foram apresentadas aos alunos para avaliao de seu nvel de concordncia em uma escala
de cinco pontos: Eu me interesso muito, Eu me interesso, Eu pouco me interesso, Eu no me interesso e Eu no
sei o que isso. O que distingue esse construto do anterior que aqui o interesse sempre se dirige para determinado
objeto, seja em uma disciplina na escola, como a biologia, seja em um tpico mais especfico, como infeces bacte-
rianas. A Figura 6.4 ilustra o grau de interesse dos estudantes dos pases e unidades da Federao aqui considerados.

Figura 6.4
Percentual de estudantes que responderam Eu me interesso ou Eu me interesso muito
s questes sobre o interesse em aprender cincias por pas e unidade da Federao PISA 2015

Biosfera (ex.: servios ecossistmicos, sustentabilidade)


Como a cincia pode nos auxiliar a prevenir doenas
Energia e suas transformaes (ex.: conservao, reaes qumicas)
Movimento e foras (ex.: velocidade, frico, foras magnticas e gravitacionais)
O Universo e sua histria
100

80

60

40

20

Fonte: OCDE, INEP.

182 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
6
Interesse, motivao, crenas e outras percepes dos estudantes em seu aprendizado

Em geral, os temas de maior interesse de todos os estudantes foram Como a cincia pode nos auxiliar a prevenir doen-
as e O Universo e sua histria. Aproximadamente 70% dos brasileiros com respostas vlidas nos questionrios do
PISA 2015 responderam que se interessam por esses tpicos de cincias.

A Figura 6.5 apresenta o estudo de correlao entre o ndice de interesse em cincias e os resultados mdios por pas e
unidade da Federao. Vale salientar que as atuais teorias do desenvolvimento de interesses na infncia enfatizam que
ele no acontece isoladamente (OCDE, 2016b). Enquanto um primeiro contato com o objeto desencadeia um interesse
transitrio inicial, a disposio para que o interesse seja mais estvel deve ser ainda sustentada (Krapp, 2002; Hidi e
Renninger, 2006, apud OCDE, 2016b). Assim, a adoo de estratgias motivadoras no ensino escolar de cincias pode
contribuir para estabilizar e sustentar o interesse dos estudantes. Alm disso, possvel que a correlao fraca e no sig-
nificativa entre os resultados mdios das unidades da Federao brasileiras esteja relacionada ideia de que o interesse
em cincias dos jovens de 15 anos ainda est em desenvolvimento, contribuindo pouco para que haja um impacto posi-
tivo no rendimento escolar nessa disciplina. Contudo, novos estudos devem ser realizados para comprovar tal hiptese.

Figura 6.5
Correlao entre o ndice de interesse em cincias e o desempenho mdio em cincias
por pas (A) e unidade da Federao (B) PISA 2015
(A) Correlao: -0,73 (B) Correlao: -0,28
Cincias Cincias
550 450

CAN(93%) 440
ES(53%)
500 USA(94%) PRT(95%) 430 DF(45%)
PR(68%)
ESP(96%) MG(70%)
420
SC(49%)
RS(60%) SP(64%)
450 CHL(88%) 410 GO(53%)
MS(76%) CE(75%) AM(43%)
CRI(78%) COL(91%) 400 RR(34%)
MEX(88%) MT(51%) AC(68%)
400 BRA(60%) PER(82%) 390
RJ(60%) RO(65%) PA(71%)
PE(53%)
380 PB(56%) PI(37%) AP(19%)
RN(67%) SE(25%)
TO(46%)
350 370 MA(36%)
DOM(76%) BA(60%)

360 AL(52%)

300 350
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7
ndice INTBRSCI ndice INTBRSCI

Nota:
1. O percentual em parnteses corresponde taxa de resposta ponderada dos casos vlidos na anlise.
Fonte: OCDE, INEP.

Motivao instrumental para aprender cincias


A motivao instrumental capturada nos questionrios do PISA est associada percepo dos estudantes sobre quanto
a aprendizagem de cincias pode ser til em seus planos futuros. Quatro questes foram apresentadas aos alunos, e eles
avaliaram seu nvel de concordncia em uma escala de Likert de quatro pontos: Concordo plenamente, Concordo,
Discordo e Discordo plenamente. A Figura 6.6 mostra o percentual de concordncia dos estudantes dos pases e
unidades da Federao aqui considerados.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 183
6
Interesse, motivao, crenas e outras percepes dos estudantes em seu aprendizado

Figura 6.6
Percentual de estudantes que responderam Concordo ou Concordo plenamente
s questes sobre a motivao instrumental por pas e unidade da Federao PISA 2015

Considero importante esforar-me em cincias, porque isso me ajudar no trabalho que quero executar no futuro.
Muitas coisas que eu aprendo nas minhas aulas de cincias me ajudaro a conseguir um emprego.
O que eu aprendo em cincias importante para mim porque preciso disso para o que pretendo fazer no futuro.
Vale a pena estudar cincias, porque o que aprendo melhorar minhas perspectivas profissionais.
100

80

60

40

20

Fonte: OCDE, INEP.

Em geral, o grau de concordncia entre as questes que avaliam a motivao instrumental foi alto. Os estudantes bra-
sileiros com respostas vlidas a esses quesitos apresentaram, em mdia, maior percentual de concordncia em Vale a
pena estudar cincias, porque o que aprendo melhorar minhas perspectivas profissionais (85,3%) e menor em Muitas
coisas que eu aprendo nas minhas aulas de cincias me ajudaro a conseguir um emprego (75,7%). A correlao do
ndice de motivao instrumental com o desempenho mdio em cincias (Figura 6.7) indica que a alta motivao ins-
trumental no se traduz automaticamente na capacidade de aplicar com sucesso o conhecimento cientfico em testes
de cincias como o do PISA.

Figura 6.7
Correlao entre o ndice de motivao instrumental e o desempenho em cincias
por pas (A) e unidade da Federao (B) PISA 2015
(A) Correlao: -0,72 (B) Correlao: -0,50
Cincias Cincias
550 450

FIN(93%) CAN(93%) 440


KOR(99%) ES(51%)
500 PRT(95%) 430
ESP(80%) USA(94%) DF(45%)
PR(67%)
MG(71%)
420
SC(47%)
RS(60%)
450 CHL(88%) 410 SP(63%) GO(52%)
URY(76%) MS(76%) AM(42%)
CRI(79%) 400 CE(75%)
MEX(88%) AC(69%)
MT(49%) RR(32%)
COL(92%)
400 390 RJ(61%)
PER(82%) RO(67%)
BRA(60%) PA(73%)
PE(53%)
380 AP(18%) PB(57%) PI(37%)
RN(66%)
SE(24%)
TO(46%)
350 370 MA(36%)
BA(60%)
DOM(76%)
360 AL(54%)

300 350
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,2 0,25 0,3 0,35 0,4 0,45 0,5 0,55 0,6 0,65 0,7
ndice INSTSCIE ndice INSTSCIE

Nota:
1. O percentual em parnteses corresponde taxa de resposta ponderada dos casos vlidos na anlise.
Fonte: OCDE, INEP.

184 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
6
Interesse, motivao, crenas e outras percepes dos estudantes em seu aprendizado

Motivao para o sucesso


Outro ndice sobre a motivao dos estudantes apresentado no PISA 2015 est relacionado atitude diante do sucesso
pessoal e escolar. Cinco questes foram apresentadas aos alunos, e eles avaliaram seu nvel de concordncia em uma
escala de Likert de quatro pontos: Concordo plenamente, Concordo, Discordo e Discordo plenamente. A Figura
6.8 mostra o percentual de concordncia dos estudantes dos pases e unidades da Federao aqui considerados.

Figura 6.8
Percentual de estudantes que responderam Concordo ou Concordo plenamente
s questes sobre a motivao para o sucesso por pas e unidade da Federao PISA 2015

Eu me vejo como uma pessoa ambiciosa.


Eu quero notas altas na maioria ou em todas as minhas matrias.
Eu quero poder escolher entre as melhores oportunidades disponveis quando me formar.
Eu quero ser o melhor, independentemente do que eu faa.
Eu quero ser um dos melhores alunos da sala.
100

80

60

40

20

Fonte: OCDE, INEP.

O percentual de estudantes do Brasil que concordaram com a afirmao Eu me vejo como uma pessoa ambiciosa
(40,1%) foi baixo em comparao com os dos outros pases, resultado que possivelmente esteja associado ao fato de a
palavra ambio ter conotao negativa no vocabulrio dos brasileiros. A segunda categoria com menor nmero de
concordncia entre eles foi Eu quero ser um dos melhores alunos da sala, com 63,9% das respostas vlidas.

Enquanto a correlao entre o ndice criado com base nessas categorias e o desempenho mdio em cincias foi fraca
para os pases aqui estudados (Figura 6.9), observa-se uma associao positiva e significativa (intervalo de confiana de
0,10 a 0,71) para as unidades da Federao. Essa relao indica que, em geral, estudantes dos estados brasileiros com
desempenho mais alto em cincias no PISA 2015 tendem a demonstrar maior motivao ao sucesso pessoal e escolar
do que os com desempenho mais baixo.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 185
6
Interesse, motivao, crenas e outras percepes dos estudantes em seu aprendizado

Figura 6.9
Correlao entre o ndice de motivao para o sucesso e o desempenho mdio em cincias
por pas (A) e unidade da Federao (B) PISA 2015
(A) Correlao: -0,24 (B) Correlao: 0,46
Cincias Cincias
550 450
FIN(98%) CAN(97%) 440
KOR(99%)
ES(95%)
USA(97%)
500 PRT(98%) 430
ESP(99%) DF(89%)
PR(93%)
MG(92%)
420
SC(86%)
RS(89%)
450 CHL(98%) 410 SP(87%) GO(89%)
URY(94%)
MS(96%) RR(82%)
CRI(87%) 400 CE(96%) AM(91%) AC(94%)
MEX(99%) COL(97%) MT(92%)
400 BRA(88%) RJ(86%)
PER(97%) 390
RO(89%) PA(92%)
PE(89%)
380 PB(81%) PI(82%) AP(49%)
RN(92%)
SE(68%)
350 TO(86%)
370 MA(79%)
BA(86%)
DOM(92%)
360 AL(82%)

300 350
-0,85 -0,65 -0,45 -0,25 -0,05 0,15 0,35 0,55 0,75 -0,05 0 0,05 0,1 0,15 0,2 0,25 0,3
ndice MOTIVAT ndice MOTIVAT

Nota:
1. O percentual em parnteses corresponde taxa de resposta ponderada dos casos vlidos na anlise.
Fonte: OCDE, INEP.

6.3 Atitudes quanto ao aprendizado


No PISA 2015, 38,8% dos estudantes brasileiros reportaram o desejo de seguir uma carreira em reas relacionadas s
cincias, tais como engenharia, sade ou tecnologia. Esse percentual mais elevado que a mdia dos pases da OCDE,
24%. As expectativas dos jovens sobre seu futuro refletem no apenas, em parte, seu sucesso acadmico, mas tambm
as oportunidades e o apoio a sua disposio, no contexto em que eles vivem, para transformar sua aspirao em reali-
dade (OCDE, 2016). Esta seo apresenta alguns ndices sobre as atitudes dos estudantes quanto a seu aprendizado e
correlao com os resultados mdios no PISA 2015.

Atividades em cincias
No PISA 2015, criou-se um ndice associado ao quantitativo de atividades em cincias s quais os estudantes esto
expostos no cotidiano. Foram apresentadas a eles nove questes, uma delas sobre a frequncia com que leem revistas
cientficas ou artigos sobre cincias em jornais, por exemplo. O percentual dos que responderam Regularmente ou
Com muita frequncia a cada uma das questes avaliadas est ilustrado na Figura 6.10.

186 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
6
Interesse, motivao, crenas e outras percepes dos estudantes em seu aprendizado

Figura 6.10
Percentual de estudantes que responderam Regularmente ou Com muita frequncia
s questes sobre atividades em cincias por pas e unidade da Federao PISA 2015

Assistir a programas cientficos na televiso.


Ler revistas cientficas ou artigos sobre cincias em jornais.
Participar de clubes de cincias.
Pegar emprestados ou comprar livros sobre descobertas cientficas.
Seguir as notcias de cincias, meio ambiente ou organizaes ecolgicas via blogs ou microblogs.
Simular fenmenos naturais em programas de computador ou laboratrios virtuais.
Simular processos tcnicos em programas de computador ou laboratrios virtuais.
Surfar nas pginas da internet que tratam de assuntos cientficos.
Visitar websites de organizaes ecolgicas.
100

80

60

40

20

Fonte: OCDE, INEP.

Em geral, 40,5% dos estudantes brasileiros que responderam ao questionrio do PISA 2015 indicaram que assistem a
programas cientficos na televiso com muita frequncia ou regularmente. A segunda opo mais escolhida por eles foi
Surfar nas pginas da internet que tratam de assuntos cientficos (34,8%), e a menos escolhida, Participar de clubes
de cincias (19,0%). Jovens de pases como a Coreia do Sul, de outro lado, demonstraram baixa participao em tais
atividades, com menos de 15% para cada uma das categorias listadas.

As respostas dos alunos sobre sua participao nas nove atividades foram tambm agregadas em um ndice de ativi-
dades em cincias. Os valores mais elevados assinalam que os estudantes participam de determinada atividade com
mais frequncia. A Figura 6.11 ilustra a correlao entre esse ndice e o desempenho mdio dos pases e unidades da
Federao aqui considerados.

Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 187
6
Interesse, motivao, crenas e outras percepes dos estudantes em seu aprendizado

Figura 6.11
Correlao entre o ndice de atividades em cincias e o desempenho mdio em cincias
por pas (A) e unidade da Federao (B) PISA 2015
(A) Correlao: -0,91 (B) Correlao: -0,58
Cincias Cincias
550 450
FIN(93%) CAN(93%) 440
KOR(99%)
ES(45%)
USA(94%)
500 PRT(97%) 430
ESP(93%) DF(43%)
PR(66%)
MG(68%)
420
SC(44%)

450 RS(56%)
CHL(86%) 410 SP(62%) GO(49%)
URY(77%)
MEX(86%) MS(72%)
400 CE(70%) AM(36%)
RR(28%) AC(66%)
COL(91%) MT(47%)
CRI(78%)
400 390 RJ(59%)
PER(79%)
BRA(57%) RO(64%) PA(69%)
PE(51%)
380 PI(32%) PB(52%) AP(17%)
RN(65%)
SE(21%)
350 TO(46%)
370 MA(34%)
DOM(74%) BA(58%)

360 AL(52%)

300 350
-0,55 -0,35 -0,15 0,05 0,25 0,45 0,65 0,85 1,05 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9
ndice SCIEACT ndice SCIEACT

Nota:
1. O percentual em parnteses corresponde taxa de resposta ponderada dos casos vlidos na anlise.
Fonte: OCDE, INEP.

Santa Catarina foi o estado com menor ndice de atividades em cincias (0,29), e Amap e Amazonas, com os maiores
(0,81). Apesar da correlao moderada para as unidades da Federao (-0,58) e muito forte para os pases avaliados
(-0,91), esse um exemplo clssico do paradoxo de atitude-aptido. Estudantes de pases e estados brasileiros com
desempenho mais baixo em cincias tendem, em mdia, a reportar a participao em mais atividades fora do ambiente
escolar do que os com desempenho mais alto. Contudo, mais estudos precisam ser conduzidos para avaliar a qualidade
dessas atividades e seu real impacto no desempenho, especialmente no caso do Brasil, em que apenas 57% dos alunos
tiveram respostas vlidas para a criao do ndice.

Tempo dedicado ao aprendizado


Foram criados, para os respondentes dos questionrios dos estudantes do PISA 2015, ndices do tempo mdio por semana
dedicado ao estudo de cincias (SMINS), leitura (LMINS) e matemtica (MMINS). A Figura 6.12 apresenta a correlao
entre esses ndices e os resultados mdios nas respectivas reas.

188 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
6
Interesse, motivao, crenas e outras percepes dos estudantes em seu aprendizado

Figura 6.12
Correlao entre o ndice do tempo dedicado, em mdia, por semana ao estudo de cincias, leitura e
matemtica e o desempenho mdio em cincias por pas (A1-A3) e unidade da Federao (B1-B3) PISA 2015
(A1) Correlao: 0,01 (B1) Correlao: 0,51
Cincias Cincias
550 450

FIN(94%) CAN(93%) 440


KOR(98%) ES(78%)
500 PRT(96%) 430
ESP(96%) USA(94%)
PR(82%) DF(68%)
MG(83%)
420
SC(69%)

450 CHL(89%) 410 SP(75%) RS(76%)


GO(74%)
URY(86%) MS(84%) AM(71%)
CRI(84%) 400 CE(87%)
RR(62%) AC(83%)
MEX(95%) MT(72%)
COL(90%) RJ(72%)
400 BRA(75%) PER(92%) 390 RO(75%)
PA(79%) PE(71%)
380 AP(33%) PI(64%) PB(70%)