Pisa 2015 Brasil

BRASIL NO PISA 2015 | ANLISES E REFLEXES SOBRE O DESEMPENHO DOS ESTUDANTES BRASILEIROS
Anlises e reflexes
estudantes brasileiros
sobre o desempenho dos
Brasil no PISA 2015
Brasil no PISA 2015
Anlises e reflexes sobre o desempenho
dos estudantes brasileiros
Braslia, novembro de 2016

Ministro da Educao
Jos Mendona Bezerra Filho
Secretria-Executiva
Maria Helena Guimares de Castro
Presidente do INEP
Maria Ins Fini
Diretora de Avaliao da Educao Bsica

Luana Bergmann Soares
Equipe PISA
Aline Mara Fernandes (National Project Manager e coordenao da rea de leitura)
Denise Reis Costa (National Data Manager e Thomas J. Alexander Fellow)
Lenice Medeiros (Coordenao da rea de cincias)
Marina Barbosa (Coordenao da rea de matemtica)
Colaboradores:
Francesco Avvisati, Organizao para a Cooperao e Desenvolvimento Econmico (EDU/OCDE)
Marcel de Toledo Vieira, Universidade Federal de Juiz de Fora (UFJF)
Heloisa Mara Mendes, Universidade Federal de Uberlndia (UFU)
Vania Lcia Rodrigues Dutra, Universidade do Estado do Rio de Janeiro (UERJ)
Claudio Maroja, Secretaria Municipal de Educao de So Paulo
Glnon Dutra, Universidade Federal do Recncavo da Bahia (UFRB)
Francislei da Silva Rezende, Secretaria Estadual de Educao de Minas Gerais
Tnia Schmitt Universidade de Braslia (UnB)
rica Marlcia Leite Pagani, Centro Federal de Educao Tecnolgica de Minas Gerais (CEFET/MG)
FUNDAO SANTILLANA
Diretoria
Andr Luiz de Figueiredo Lzaro
Luciano Monteiro
Karyne Arruda de Alencar Castro
PRODUO EDITORIAL
Coordenao e edio
Ana Luisa Astiz | AA Studio
Reviso
Mrcia Menin e Juliana Caldas | AA Studio
Capa
Paula Astiz
Editorao Eletrnica e Grficos

Laura Lotufo | Paula Astiz Design
Dados Internacionais de Catalogao na Publicao (CIP)

(Cmara Brasileira do Livro, SP, Brasil)
Brasil no PISA 2015 : anlises e reflexes sobre o desempenho dos

estudantes brasileiros / OCDE-Organizao para a Cooperao e
Desenvolvimento Econmico. So Paulo : Fundao Santillana, 2016.
Vrios colaboradores.
Bibliografia.
1. Avaliao educacional 2. Avaliao educacional Brasil 3.

Desempenho escolar 4. Educao Brasil 5. Estudantes Desempenho
Avaliao 6. PISA I. OCDE-Organizao para a Cooperao e
Desenvolvimento Econmico.
16-08988 CDD-371.26
ndices para catlogo sistemtico:

1. PISA : Programa Internacional de Avaliao de Estudantes :
Brasil : Avaliao educacional : Educao 371.26
Este relatrio contou com o apoio do programa de bolsas Thomas J. Alexander Fellowship, vinculado Diretoria de Educao da OCDE.
As opinies expressas e os argumentos aqui empregados no refletem necessariamente as opinies oficiais dos pases membros da OCDE.
sumrio
Sumrio
Apresentao........................................................................................................................................................ 15
Captulo 1 Introduo................................................................................................................................... 17
1.1 PISA: o que ?.................................................................................................................................................... 18
1.2 Quais so as principais caractersticas do PISA 2015?....................................................................................... 19
1.3 O PISA dialoga com o SAEB?............................................................................................................................. 23
1.4 Quais so os objetivos e a organizao do relatrio?......................................................................................... 23
Captulo 2 A participao do Brasil no PISA 2015.................................................................................... 25

2.1 Aspectos gerais.................................................................................................................................................. 26
2.2 Quais so os antecedentes e as caractersticas da amostra do PISA no Brasil?................................................... 26
2.3 Quem so e onde esto os estudantes brasileiros elegveis do PISA 2015?......................................................... 29
Captulo 3 A avaliao de cincias no PISA 2015...................................................................................... 35

3.1 Aspectos gerais.................................................................................................................................................. 36
3.2 Como o letramento cientfico definido no PISA?............................................................................................. 36
3.3 Como o letramento cientfico foi avaliado no PISA 2015?................................................................................. 37
3.4 Qual foi a estrutura da avaliao do letramento cientfico no PISA 2015?......................................................... 45
3.5 Como o letramento cientfico reportado no PISA?.......................................................................................... 47
3.6 Quais foram os pontos fortes e fracos dos estudantes brasileiros em cincias no PISA 2015?............................ 50
3.7 Quais foram os resultados dos estudantes brasileiros em cincias no PISA 2015?............................................. 80
Captulo 4 A avaliao de leitura no PISA 2015........................................................................................ 91

4.1 Aspectos gerais.................................................................................................................................................. 92
4.2 Como o letramento em leitura definido no PISA?........................................................................................... 92
4.3 Como o letramento em leitura foi avaliado no PISA 2015?................................................................................ 94
4.4 Qual foi a estrutura da avaliao do letramento em leitura no PISA 2015?....................................................... 99
4.5 Como o letramento em leitura reportado no PISA?....................................................................................... 100
4.6 Quais foram os pontos fortes e fracos dos estudantes brasileiros em leitura no PISA 2015?............................ 102
4.7 Quais foram os resultados dos estudantes brasileiros em leitura no PISA 2015?.............................................. 127
Captulo 5 A avaliao de matemtica no PISA 2015.............................................................................. 137

5.1 Aspectos gerais................................................................................................................................................ 138
5.2 Como o letramento matemtico definido no PISA?....................................................................................... 138
5.3 Como o letramento matemtico foi avaliado no PISA 2015?........................................................................... 139
5.4 Qual foi a estrutura da avaliao do letramento matemtico no PISA 2015?................................................... 149
5.5 Como o letramento matemtico reportado no PISA?.................................................................................... 151
5.6 Quais foram os pontos fortes e fracos dos estudantes brasileiros em matemtica no PISA 2015?.................... 152
5.7 Quais foram os resultados dos estudantes brasileiros em matemtica no PISA 2015?...................................... 167
Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros 3
sumrio
Captulo 6 Interesse, motivao, crenas e outras percepes dos estudantes

em seu aprendizado................................................................................................................... 177
6.1 Aspectos gerais................................................................................................................................................ 178
6.2 Interesse e motivao dos estudantes............................................................................................................... 180
6.3 Atitudes quanto ao aprendizado...................................................................................................................... 186
6.4 Crenas dos estudantes.................................................................................................................................... 190
6.5 Suporte e outras percepes............................................................................................................................ 196
Captulo 7 O ambiente escolar e as condies de aprendizagem.................................................... 205

7.1 Aspectos gerais................................................................................................................................................ 206
7.2 Absentesmo, defasagem e repetncia.............................................................................................................. 208
7.3 Disciplina e outros fatores............................................................................................................................... 212
7.4 Condies escolares......................................................................................................................................... 217
Captulo 8 Equidade nas oportunidades de aprendizagem.............................................................. 233

8.1 Aspectos gerais................................................................................................................................................ 234
8.2 Nvel educacional dos pais............................................................................................................................... 234
8.3 Nvel ocupacional dos pais.............................................................................................................................. 236
8.4 Bens domsticos, recursos educacionais e recursos culturais presentes no lar................................................. 237
8.5 ndice de status econmico, social e cultural................................................................................................... 239
8.6 Relao entre o ESCS e o desempenho em cincias no PISA 2015................................................................... 243
Captulo 9 O PISA dialoga com o SAEB?..................................................................................................... 251

9.1 Aspectos gerais................................................................................................................................................ 252
9.2 O que o SAEB?.............................................................................................................................................. 252
9.3 H diferenas entre a avaliao em leitura no PISA e no SAEB?...................................................................... 253
9.4 H diferenas entre a avaliao em matemtica no PISA e no SAEB?.............................................................. 255
9.5 H diferenas entre a avaliao em cincias no PISA e a proposta de matriz do SAEB em cincias?............... 260
9.6 Pode haver divergncias entre os resultados do PISA e os do SAEB?................................................................ 262
Consideraes finais....................................................................................................................................... 267
Referncias bibliogrficas............................................................................................................................. 271
4 Brasil no PISA 2015: Anlises e reflexes sobre o desempenho dos estudantes brasileiros
sumrio
Figuras
Figura 1.1 Avaliaes da Educao Bsica coordenadas pelo INEP/DAEB............................................................ 18
Figura 1.2 Instrumentos avaliados no Brasil com destaque para a rea foco de cada edio............................... 19
Figura 1.3 Caractersticas da avaliao PISA 2015............................................................................................ 21
Abreviao dos pases e unidades da Federao comparadas neste relatrio............................................................. 24
Figura 2.1 Definio internacional dos estudantes elegveis ao PISA................................................................... 26

Figura 2.2 Data de aplicao e definio da populao de referncia do PISA no Brasil..................................... 27
Figura 2.3 Percentual de estudantes brasileiros por ano escolar nas trs ltimas edies do PISA....................... 27
Figura 2.4 Percentual de estudantes brasileiros elegveis e taxa de cobertura da populao
de 15 anos em cinco edies do PISA................................................................................................. 28
Figura 2.5 Total de estudantes e escolas no planejamento amostral PISA 2015................................................. 30
Figura 2.6 Quantitativo de escolas, professores e estudantes da populao e da amostra inicial PISA 2015..... 30
Figura 2.7 Quantitativo de escolas selecionadas, mas no participantes PISA 2015.......................................... 31
Figura 2.8 Quantitativo de escolas, professores e estudantes da amostra efetiva e ponderados
e taxas de resposta por unidade da Federao PISA 2015................................................................ 32
Figura 2.9 Quantitativo de estudantes ponderados por unidade da Federao,
gnero e ano escolar PISA 2015....................................................................................................... 33
Figura 2.10 Quantitativo e percentual de escolas e estudantes da amostra
e o ponderado por dependncia administrativa, localizao e rea PISA 2015................................ 34
Figura 3.1 A definio de letramento cientfico PISA 2015............................................................................... 37

Figura 3.2 As inter-relaes entre as dimenses do letramento cientfico PISA 2015........................................ 37
Figura 3.3a As competncias do PISA 2015 Explicar fenmenos cientificamente............................................ 38
Figura 3.3b As competncias do PISA 2015 Avaliar e planejar experimentos cientficos................................. 39
Figura 3.3c As competncias do PISA 2015 Interpretar dados e evidncias cientificamente........................... 40
Figura 3.4 O conhecimento no PISA 2015 Os sistemas do conhecimento de contedo.................................... 40
Figura 3.5 O conhecimento procedimental PISA 2015...................................................................................... 41
Figura 3.6 O conhecimento epistemolgico PISA 2015.................................................................................... 42
Figura 3.7 Os contextos para o letramento cientfico PISA 2015...................................................................... 42
Figura 3.8 As reas para a avaliao de atitudes e interesse em cincias PISA 2015......................................... 43
Figura 3.9 Categorias que descrevem os itens formulados para a avaliao em cincias PISA 2015................. 45
Figura 3.10 Distribuio dos itens no instrumento cognitivo de letramento cientfico,
segundo as dimenses do construto e o formato PISA 2015............................................................. 46
Figura 3.11 Distribuio dos itens no instrumento cognitivo de letramento cientfico,
segundo a demanda cognitiva requerida PISA 2015......................................................................... 47
Figura 3.12 Relao entre as questes e o desempenho dos estudantes em uma escala de proficincia................ 48
Figura 3.13 Descrio resumida e percentual de estudantes nos sete nveis de proficincia
em cincias PISA 2015..................................................................................................................... 49
Figura 3.14 ndice de dificuldade (Delta) dos 183 itens de cincias para os estudantes brasileiros
PISA 2015......................................................................................................................................... 51
Figura 3.15 ndices de dificuldade (percentual de acerto e Delta) dos 181 itens comuns de cincias
por pas e unidade da Federao PISA 2015..................................................................................... 52
Figura 3.16 Dificuldade dos itens de cincias segundo competncia por pas e unidade da Federao
PISA 2015......................................................................................................................................... 53
Figura 3.17 Dificuldade dos itens de cincias segundo conhecimento por pas e unidade da Federao
PISA 2015......................................................................................................................................... 54
sumrio
Figura 3.18 Dificuldade dos itens de cincias segundo sistemas por pas e unidade da Federao
PISA 2015......................................................................................................................................... 55
Figura 3.19 Dificuldade dos itens de cincias segundo contexto por pas e unidade da Federao
PISA 2015......................................................................................................................................... 55
Figura 3.20 Dificuldade dos itens de cincias segundo tipo de item por pas e unidade da Federao
PISA 2015......................................................................................................................................... 56
Figura 3.21 Dificuldade dos itens de cincias segundo a demanda cognitiva por pas
e unidade da Federao PISA 2015.................................................................................................. 57
Demanda cognitiva baixa Unidade 601 Fazenda sustentvel de peixes................................................................ 58
Figura 3.22 Anlise comparada dos Deltas dos pases latino-americanos, item S601Q02,
cincias PISA 2015........................................................................................................................... 59
Figura 3.23 Anlise comparada dos Deltas dos pases com desempenho prximo
ou superior ao da OCDE, item S601Q02, cincias PISA 2015.......................................................... 59
Demanda cognitiva mdia Unidade 656 Migrao de aves.................................................................................. 60
Figura 3.24 Anlise comparada dos Deltas dos pases latino-americanos, item S656Q01,
cincias PISA 2015........................................................................................................................... 60
Demanda cognitiva alta Unidade 656 Migrao de aves...................................................................................... 61
Figura 3.26 Anlise comparada dos Deltas dos pases latino-americanos,
item S656Q02, cincias PISA 2015.................................................................................................. 62
Figura 3.28 Mdia dos percentuais de casos omitidos em cincias por pas e unidade da Federao
PISA 2015......................................................................................................................................... 63
Figura 3.29 Percentuais de casos omitidos por item de cincias, Brasil PISA 2015............................................. 63
Figura 3.30 Distribuio dos 20 itens com maior percentual de omisso,
por competncia e tipo de conhecimento, cincias PISA 2015........................................................ 64
Unidade S601 Fazenda sustentvel de peixes.......................................................................................................... 65
pontos fortes, cincias PISA 2015..................................................................................................... 67
ou superior ao da OCDE, pontos fortes, cincias PISA 2015............................................................ 67
Figura 3.35 Distribuio dos 39 itens por competncia e tipo de conhecimento,
anlise dos pontos fortes, cincias PISA 2015.................................................................................. 68
Unidade 637 Investigao da encosta do declive.................................................................................................... 69
Unidade 601 Fazenda sustentvel de peixes............................................................................................................ 71
sumrio
Figura 3.40 Anlise comparada dos Deltas dos pases latino-americanos, pontos fracos,
cincias PISA 2015........................................................................................................................... 72
ou superior ao da OCDE, pontos fracos, cincias PISA 2015........................................................... 72
Figura 3.42 Distribuio dos 40 itens por competncia e tipo de conhecimento,
anlise dos pontos fracos, cincias PISA 2015.................................................................................. 73
Unidade 637 Investigao da encosta do declive.................................................................................................... 74
Unidade 641 Meteoroides e crateras....................................................................................................................... 76
Figura 3.53 Mdias, intervalos de confiana e percentis das proficincias dos pases selecionados, cincias
PISA 2015......................................................................................................................................... 81
Figura 3.54 Mdias e medidas de erro-padro por edio dos pases selecionados, cincias PISA 2006-2015.... 81
Figura 3.55 Intervalos de confiana da diferena das mdias dos pases,
cincias PISA 2015 e ciclos anteriores.............................................................................................. 82
Figura 3.56 Distribuio dos escores mdios segundo os percentis, cincias PISA 2012 e 2015......................... 83
Figura 3.57 Percentual de estudantes por nvel de proficincia, pases selecionados,
cincias PISA 2015........................................................................................................................... 83
Figura 3.58 Percentual de estudantes por nvel de proficincia, pases selecionados,
cincias PISA 2006-2015.................................................................................................................. 84
Figura 3.59 Escores mdios estimados por gnero dos pases selecionados, cincias PISA 2015......................... 85
Figura 3.60 Mdias, intervalos de confiana e percentis dos escores por dependncia administrativa,
cincias PISA 2015........................................................................................................................... 85
Figura 3.61 Mdias, intervalos de confiana e percentis dos escores por localizao, cincias PISA 2015......... 86
Figura 3.62 Mdias, intervalos de confiana e percentis dos escores por rea, cincias PISA 2015.................... 86
Figura 3.63 Mdias, intervalos de confiana e percentis dos escores por unidade da Federao,
cincias PISA 2015........................................................................................................................... 87
Figura 3.64 Intervalos de confiana das diferenas dos escores mdios das unidades da Federao
com relao ao desempenho do Brasil, cincias PISA 2015............................................................. 88
sumrio
Figura 3.65 Desempenho das unidades da Federao menor, igual ou maior que o do Brasil,
cincias PISA 2015........................................................................................................................... 88
Figura 3.66 Percentual de estudantes por nvel de proficincia e unidade da Federao, cincias PISA 2015..... 89
Figura 3.67 Escores mdios estimados por gnero e unidade da Federao, cincias PISA 2015........................ 89
Figura 4.1 A definio de letramento em leitura PISA 2015.............................................................................. 92

Figura 4.2 Distribuio dos itens de leitura por dimenso da matriz e formato de resposta PISA 2015............ 99
Figura 4.3 Descrio e percentual de estudantes nos sete nveis de proficincia em leitura PISA 2015.......... 101
Figura 4.4 ndice de dificuldade (Delta) dos 87 itens de leitura para os estudantes brasileiros PISA 2015...... 104
Figura 4.5 ndices de dificuldade (percentual de acerto e Delta) dos 70 itens comuns de leitura
por pas e unidade da Federao PISA 2015................................................................................... 105
Figura 4.6 Dificuldade dos itens de leitura segundo situao por pas e unidade da Federao PISA 2015..... 106
Figura 4.7 Distribuio dos itens de leitura de acordo com a situao PISA 2015.......................................... 108
Figura 4.8 Dificuldade dos itens de leitura segundo formato de texto por pas e unidade da Federao
PISA 2015....................................................................................................................................... 108
Figura 4.9 Dificuldade dos itens de leitura segundo aspecto por pas e unidade da Federao PISA 2015...... 110
Figura 4.10 Dificuldade dos itens de leitura segundo tipo de item por pas e unidade da Federao
PISA 2015....................................................................................................................................... 111
Figura 4.11 Mdia dos percentuais de casos omissos em leitura por pas e unidade da Federao
PISA 2015....................................................................................................................................... 112
Figura 4.12 Percentuais de casos omissos por item de leitura, Brasil PISA 2015............................................... 113
Figura 4.13 Distribuio dos 13 itens de leitura com maior percentual de omisso PISA 2015......................... 113
Exemplo 1: unidade Emprego................................................................................................................................... 114
Exemplo 2 : unidade Polo Sul................................................................................................................................... 114
Exemplo 3: unidade Idiomas do mundo................................................................................................................... 115
Exemplo 4: unidade O futuro das crianas............................................................................................................... 115
Exemplo 5: unidade Intercmbio............................................................................................................................. 116
Exemplo 6: unidade Sono......................................................................................................................................... 116
Figura 4.14 Anlise comparada dos Deltas dos pases latino-americanos, pontos fortes, leitura
PISA 2009-2015............................................................................................................................. 117
ou superior ao da OCDE, pontos fortes, leitura PISA 2015............................................................ 118
Figura 4.16 Distribuio dos 19 itens por formato de texto e aspecto, pontos fortes, leitura PISA 2015.......... 119
Item R417Q03 Balo de ar quente........................................................................................................................ 119
Figura 4.17 Anlise comparada dos Deltas dos pases latino-americanos, item R417Q03,
leitura PISA 2009............................................................................................................................ 119
Item R429Q09 Anncio sobre doao de sangue.................................................................................................. 121
leitura PISA 2009............................................................................................................................ 121
Figura 4.19 Anlise comparada dos Deltas dos pases latino-americanos, pontos fracos, leitura
PISA 2009-2015............................................................................................................................. 122
ou superior ao da OCDE, pontos fracos, leitura PISA 2009-2015................................................... 123
Figura 4.21 Distribuio dos 16 itens por formato de texto e aspecto, pontos fracos, leitura PISA 2015.......... 124
Item R417Q08 Balo de ar quente........................................................................................................................ 125
leitura PISA 2009............................................................................................................................ 125
sumrio
Item R433Q05 O avarento ................................................................................................................................... 126

leitura PISA 2009............................................................................................................................ 126
Figura 4.24 Mdias, intervalos de confiana e percentis dos escores dos pases selecionados,
leitura PISA 2015............................................................................................................................ 128
Figura 4.25 Mdias e medidas de erro-padro dos pases selecionados por edio,
leitura PISA 2000-2015.................................................................................................................. 128
Figura 4.26 Intervalos de confiana da diferena das mdias dos pases, leitura PISA 2015
e ciclos anteriores............................................................................................................................. 129
Figura 4.27 Distribuio dos escores mdios segundo os percentis, leitura PISA 2012 e 2015.......................... 130
Figura 4.28 Percentual de estudantes por nvel dos pases selecionados, leitura PISA 2015.............................. 130
Figura 4.29 Escores mdios estimados por gnero dos pases selecionados, leitura PISA 2015......................... 131
leitura PISA 2015............................................................................................................................ 131
Figura 4.31 Mdias, intervalos de confiana e percentis dos escores por localizao, leitura PISA 2015.......... 132
Figura 4.32 Mdias, intervalos de confiana e percentis dos escores por rea, leitura PISA 2015..................... 132
Figura 4.33 Mdias, intervalos de confiana e percentis dos escores por unidade da Federao,
leitura PISA 2015............................................................................................................................ 133
com relao ao desempenho do Brasil, leitura PISA 2015.............................................................. 134
leitura PISA 2015............................................................................................................................ 134
Figura 4.36 Percentual de estudantes por nvel de proficincia e unidade da Federao, leitura PISA 2015..... 135
Figura 4.37 Escores mdios estimados por gnero e unidade da Federao, leitura PISA 2015......................... 135
Figura 5.1 A definio de letramento matemtico PISA 2015......................................................................... 138

Figura 5.2 Modelo de letramento matemtico na prtica................................................................................... 140
Figura 5.3 Os processos matemticos Formulando situaes matematicamente............................................. 141
Figura 5.4 Os processos matemticos Empregando conceitos, fatos, procedimentos
e raciocnios matemticos................................................................................................................. 142
Figura 5.5 Os processos matemticos Interpretando, aplicando e avaliando resultados matemticos............. 142
Figura 5.6 Relao entre processos matemticos (na coluna) e habilidades matemticas fundamentais
(na linha)........................................................................................................................................... 144
Figura 5.7 Exemplos de tpicos de contedo includos no PISA 2015................................................................ 147
Figura 5.8 Distribuio dos itens de matemtica por dimenso da matriz e formato de resposta
PISA 2015....................................................................................................................................... 150
Figura 5.9 Descrio e percentual de estudantes nos seis nveis de proficincia em matemtica
PISA 2015....................................................................................................................................... 151
Figura 5.10 ndce de dificuldade (Delta) dos 69 itens de matemtica para os estudantes brasileiros
PISA 2015....................................................................................................................................... 154
Figura 5.11 ndces de dificuldade (percentual de acerto e Delta) dos 56 itens comuns de matemtica
Figura 5.12 Dificuldade dos itens de matemtica segundo contedo por pas e unidade da Federao
PISA 2015....................................................................................................................................... 156
Figura 5.13 Dificuldade dos itens de matemtica segundo contexto por pas e unidade da Federao
PISA 2015....................................................................................................................................... 157
Figura 5.14 Dificuldade dos itens de matemtica segundo processo por pas e unidade da Federao
PISA 2015....................................................................................................................................... 158
sumrio
Figura 5.15 Dificuldade dos itens de matemtica segundo tipo de item por pas e unidade da Federao
PISA 2015....................................................................................................................................... 159
Figura 5.16 Mdia dos percentuais de casos omissos em matemtica por pas e unidade da Federao
PISA 2015....................................................................................................................................... 159
Figura 5.17 Percentuais de casos omissos por item de matemtica, Brasil PISA 2015....................................... 160
Figura 5.18 Distribuio dos 10 itens com maior percentual de omisso por contedo e processo,
matemtica PISA 2015................................................................................................................... 161
Figura 5.19 Anlise comparada dos Deltas dos pases latino-americanos, pontos fortes, matemtica PISA
2012 e 2015...................................................................................................................................... 162
Figura 5.20 Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
pontos fortes, matemtica PISA 2012 e 2015................................................................................. 163
Figura 5.21 Distribuio dos 11 itens por contedo e processo, anlise dos pontos fortes, matemtica
PISA 2012 e 2015.............................................................................................................................. 164
Item M985Q02 Qual carro?.................................................................................................................................. 164
Figura 5.22 Anlise comparada dos Deltas dos pases latino-americanos, item M985Q02,
matemtica PISA 2012................................................................................................................... 165
Figura 5.23 Anlise comparada dos Deltas dos pases latino-americanos, pontos fracos,
matemtica PISA 2012 e 2015....................................................................................................... 165
ou superior ao da OCDE, pontos fracos, matemtica PISA 2012 e 2015........................................ 166
Figura 5.25 Distribuio dos 13 itens por contedo e processo, pontos fracos,
matemtica PISA 2012 e 2015....................................................................................................... 167
Figura 5.26 Mdias, intervalos de confiana e percentis das proficincias dos pases selecionados,
matemtica PISA 2015................................................................................................................... 169
Figura 5.27 Mdias e medidas de erro-padro dos pases selecionados, matemtica PISA 2003-2015.............. 169
Figura 5.28 Intervalos de confianas da diferena das mdias dos pases,
matemtica PISA 2015 e ciclos anteriores...................................................................................... 170
Figura 5.29 Distribuio dos escores mdios, matemtica PISA 2012 e 2015................................................... 171
Figura 5.30 Percentual de estudantes por nvel de proficincia dos pases selecionados,
matemtica PISA 2015................................................................................................................... 171
Figura 5.31 Escores mdios estimados por gnero dos pases selecionados, matemtica PISA 2015................. 172
matemtica PISA 2015................................................................................................................... 172
Figura 5.33 Mdias, intervalos de confiana e percentis dos escores por localizao,
matemtica PISA 2015................................................................................................................... 173
Figura 5.34 Mdias, intervalos de confiana e percentis dos escores por rea, matemtica PISA 2015............. 173
Figura 5.35 Mdias, intervalos de confiana e percentis dos escores por unidade da Federao, matemtica
PISA 2015....................................................................................................................................... 174
com relao ao desempenho do Brasil, matemtica PISA 2015...................................................... 175
matemtica PISA 2015................................................................................................................... 175
Figura 5.38 Percentual de estudantes por nvel de proficincia e unidade da Federao,
matemtica PISA 2015................................................................................................................... 176
Figura 5.39 Escores mdios estimados por gnero e unidade da Federao, matemtica PISA 2015................. 176
Figura 6.1 Aspectos de avaliao do contexto explorados no captulo PISA 2015........................................... 178
Figura 6.2 Percentual de estudantes que responderam Concordo ou Concordo plenamente
s questes sobre satisfao em cincias por pas e unidade da Federao PISA 2015................... 181
sumrio
Figura 6.3 Correlao entre o ndice de satisfao em cincias e desempenho mdio em cincias
por pas (A) e unidade da Federao (B) PISA 2015....................................................................... 182
Figura 6.4 Percentual de estudantes que responderam Eu me interesso ou Eu me interesso muito s
questes sobre o interesse em aprender cincias por pas e unidade da Federao PISA 2015...... 182
Figura 6.5 Correlao entre o ndice de interesse em cincias e o desempenho mdio em cincias
Figura 6.6 Percentual de estudantes que responderam Concordoou Concordo plenamente
s questes sobre a motivao instrumental por pas e unidade da Federao PISA 2015.............. 184
Figura 6.7 Correlao entre o ndice de motivao instrumental e o desempenho em cincias
Figura 6.8 Percentual de estudantes que responderam Concordoou Concordo plenamente
s questes sobre a motivao para o sucesso por pas e unidade da Federao PISA 2015........... 185
Figura 6.9 Correlao entre o ndice de motivao para o sucesso e desempenho mdio em cincias
Figura 6.10 Percentual de estudantes que responderam Regularmente ou Com muita frequncia
s questes sobre atividades em cincias por pas e unidade da Federao PISA 2015.................. 187
Figura 6.11 Correlao entre o ndice de atividades em cincias e o desempenho mdio em cincias
por pas (A) e unidade da Federao (B) PISA 2015 ...................................................................... 188
Figura 6.12 Correlao entre o ndice do tempo dedicado, em mdia, por semana ao estudo
de cincias, leitura e matemtica e o desempenho mdio em cincias por pas (A1-A3)
e unidade da Federao (B1-B3) PISA 2015................................................................................... 189
Figura 6.13 Correlao entre o ndice do tempo total dedicado ao estudo fora da escola e
o desempenho em cincias por pas (A) e unidade da Federao (B) PISA 2015............................ 190
Figura 6.14 Percentual de estudantes que responderam Eu conseguiria realizar facilmente ou
Eu conseguiria realizar com um pouco de esforo s questes sobre a autoeficcia
em cincias por pas e unidade da Federao PISA 2015............................................................... 191
Figura 6.15 Correlao entre o ndice de autoeficcia em cincias e o desempenho mdio em cincias
Figura 6.16 Percentual de estudantes que responderam Concordo ou Concordo plenamente
s questes sobre crenas epistemolgicas em cincias por pas e unidade da Federao
PISA 2015....................................................................................................................................... 192
Figura 6.17 Correlao entre o ndice de crenas epistemolgicas em cincias e o desempenho mdio
em cincias por pas (A) e unidade da Federao (B) PISA 2015.................................................... 193
Figura 6.18 Percentual de estudantes que responderam Estou familiarizado com o assunto e seria capaz
de explicar perfeitamente ou Sei alguma coisa sobre isso e poderia explicar em termos
gerais s questes sobre a percepo dos temas ambientais em cincias por pas e unidade
da Federao PISA 2015................................................................................................................. 194
Figura 6.19 Correlao entre o ndice de percepo ambiental e o desempenho mdio em cincias
Figura 6.20 Percentual de estudantes que responderam Melhorar s questes sobre otimismo ambiental
Figura 6.21 Correlao entre o ndice de otimismo ambiental e o desempenho mdio em cincias
Figura 6.22 Percentual de estudantes que responderam Em todas as aulas ou Na maioria das aulas
s questes sobre suporte do professor nas aulas de cincias por pas e unidade
da Federao PISA 2015................................................................................................................. 197
Figura 6.23 Correlao entre o ndice de suporte do professor nas aulas de cincias
e o desempenho mdio em cincias por pas (A) e unidade da Federao (B) PISA 2015............... 197
Figura 6.24 Percentual de estudantes que responderam Em todas as aulas ou em quase todas
ou Na maioria das aulas s questes sobre o retorno percebido nas aulas de cincias
sumrio
Figura 6.25 Correlao entre o ndice de percepo do retorno nas aulas de cincias
e desempenho mdio em cincias por pas (A) e unidade da Federao (B) PISA 2015.................. 199
Figura 6.26 Percentual de estudantes que responderam Em todas as aulas ou em quase todas
ou Na maioria das aulas s questes sobre adaptao da instruo nas aulas de cincias
Figura 6.27 Correlao entre o ndice de adaptao da instruo e o desempenho mdio em cincias
Figura 6.28 Percentual de estudantes que responderam Concordo plenamente ou Concordo
s questes sobre suporte dos pais por pas e unidade da Federao PISA 2015............................ 201
Figura 6.29 Correlao entre o ndice de suporte dos pais e o desempenho mdio em cincias
s questes sobre sensao de pertencimento escola por pas e unidade da Federao
PISA 2015....................................................................................................................................... 202
Figura 6.31 Correlao entre o ndice de pertencimento escola e o desempenho mdio em cincias
s questes sobre ansiedade na realizao de testes por pas e unidade da Federao
PISA 2015....................................................................................................................................... 204
Figura 6.33 Correlao entre o ndice de ansiedade na realizao de testes e o desempenho mdio
em cincias por pas (A) e unidade da Federao (B) PISA 2015.................................................... 204
Figura 7.1 Aspectos de avaliao do contexto explorados neste captulo PISA 2015...................................... 206
Figura 7.2 Percentual de estudantes que responderam Uma ou duas vezes, Trs ou quatro vezes,
Cinco ou mais vezes s questes sobre o absentesmo por pas e unidade da Federao
PISA 2015....................................................................................................................................... 208
Figura 7.3 Percentual de estudantes brasileiros que responderam Uma ou duas vezes,
Trs ou quatro vezes e Cinco ou mais vezes s questes sobre o absentesmo por tipo de
escola PISA 2015............................................................................................................................ 209
Figura 7.4 ndice de defasagem idade-srie por pas e unidade da Federao PISA 2015................................ 210
Figura 7.5 ndice de defasagem idade-srie dos estudantes brasileiros por tipo de escola PISA 2015............. 211
Figura 7.6 ndice de repetncia por pas e unidade da Federao PISA 2015.................................................. 211
Figura 7.7 ndice de repetncia por tipo de escola PISA 2015........................................................................ 212
Figura 7.8 Percentual de estudantes que responderam Em todas as aulas ou Na maioria das aulas s
questes sobre a disciplina nas aulas de cincias por pas e unidade da Federao PISA 2015...... 213
Figura7.9 Percentual de estudantes brasileiros que responderam Em todas as aulas ou Na maioria das
aulas s questes sobre a disciplina nas aulas de cincias por tipo de escola PISA 2015.............. 214
Figura 7.10 Percentual de estudantes cujos diretores reportaram Muito ou At certo ponto s questes
sobre o clima escolar entre os estudantes por pas e unidade da Federao PISA 2015................. 214
Figura 7.11 Percentual de estudantes cujos diretores reportaram Muito ou At certo ponto
s questes sobre o clima escolar entre alunos por tipo de escola PISA 2015................................ 215
sobre o clima escolar entre professores por pas e unidade da Federao PISA 2015..................... 216
Figura 7.13 Percentual de estudantes brasileiros cujos diretores reportaram Muito ou At certo ponto
s questes sobre a clima escolar entre professores por tipo de escola PISA 2015......................... 216
Figura 7.14 Tamanho mdio da escola por pas e unidade da Federao PISA 2015......................................... 217
Figura 7.15 Tamanho mdio das escolas brasileiras por tipo de escola PISA 2015............................................ 218
Figura 7.16 Percentual de estudantes por tamanho mdio da turma por pas e unidade da Federao
PISA 2015....................................................................................................................................... 218
sumrio
Figura 7.17 Percentual de estudantes brasileiros por tamanho mdio da turma por tipo de escola
PISA 2015....................................................................................................................................... 219
Figura 7.18 Razo estudantes/professor por pas e unidade da Federao PISA 2015....................................... 219
Figura 7.19 Razo estudantes/professor por tipo de escola, Brasil PISA 2015................................................... 220
sobre a falta de recursos educacionais por pas e unidade da Federao PISA 2015...................... 221
s questes sobre a falta de recursos educacionais por tipo de escola PISA 2015.......................... 221
s questes sobre a falta de pessoal por pas e unidade da Federao PISA 2015........................... 222
s questes sobre a falta de pessoal por tipo de escola PISA 2015................................................. 223
Figura 7.24 Percentual de estudantes cujos diretores reportaram Sim s questes sobre os recursos
de cincias por pas e unidade da Federao PISA 2015................................................................ 224
Figura 7.25 Percentual de estudantes cujos diretores reportaram Sim s questes sobre os recursos
de cincias por tipo de escola PISA 2015....................................................................................... 225
Figura 7.26 Percentual de estudantes cujos diretores reportaram Sim s questes sobre atividades
extracurriculares por pas e unidade da Federao PISA 2015....................................................... 225
Figura 7.27 Percentual de estudantes cujos diretores reportaram Sim s questes sobre atividades
extracurriculares por tipo de escola PISA 2015.............................................................................. 226
Figura 7.28 Proporo de computadores disponveis por pas e unidade da Federao PISA 2015................... 226
Figura 7.29 Proporo de computadores disponveis por tipo de escola PISA 2015.......................................... 227
Figura 7.30 Percentual de estudantes que reportaram Sim s questes sobre recursos tecnolgicos
Figura 7.31 Percentual de estudantes que reportaram Sim s questes sobre recursos tecnolgicos
por tipo de escola PISA 2015......................................................................................................... 229
Figura 7.32 Percentual de estudantes que reportaram Todo dia, Quase todo dia, Uma ou duas vezes
na semana, Uma ou duas vezes no ms s questes sobre o uso da tecnologia na escola
Figura 7.33 Percentual de estudantes brasileiros que reportaram Todo dia, Quase todo dia,
Uma ou duas vezes na semana, Uma ou duas vezes no ms s questes sobre
o uso da tecnologia por tipo de escola PISA 2015.......................................................................... 231
Figura 8.1 ndice do nvel educacional dos pais (PARED) por pas e unidade da Federao PISA 2015........... 235
Figura 8.2 ndice do nvel educacional dos pais (PARED) dos estudantes brasileiros por tipo de escola
PISA 2015....................................................................................................................................... 235
Figura 8.3 ndice do nvel ocupacional dos pais (HISEI) por pas e unidade da Federao PISA 2015............. 236
Figura 8.4 ndice do nvel ocupacional dos pais (HISEI) dos estudantes brasileiros por tipo de escola
PISA 2015....................................................................................................................................... 237
Figura 8.5 ndice de bens domsticos, recursos educacionais e culturais presentes no lar (HOMEPOS)
Figura 8.6 ndice de bens domsticos, recursos educacionais e culturais presentes no lar (HOMEPOS)
dos estudantes brasileiros por tipo de escola PISA 2015................................................................ 238
Figura 8.7 ndice ESCS, intervalos de confiana, percentual representado e percentis dos escores
dos pases selecionados PISA 2015................................................................................................. 240
por dependncia administrativa, Brasil PISA 2015......................................................................... 241
por localizao, Brasil PISA 2015................................................................................................... 241
sumrio
por rea da escola, Brasil PISA 2015.............................................................................................. 242
por unidade da Federao, Brasil PISA 2015.................................................................................. 243
Figura8.12 Gradiente socioeconmico para os estudantes brasileiros PISA 2015............................................ 244
Figura 8.13 Relao entre o ESCS e o desempenho em cincias para os pases selecionados PISA 2015........... 245
Figura 8.14 Gradientes socioeconmicos para os pases selecionados PISA 2015............................................. 246
Figura 8.15 Relao entre o ESCS e o desempenho em cincias por tipo de escola, Brasil PISA 2015.............. 246
Figura 8.16 Gradientes socioeconmicos por tipo de escola, Brasil PISA 2015................................................. 247
Figura 8.17 Relao entre o ESCS e o desempenho em cincias por unidade da Federao PISA 2015............. 248
Figura 8.18 Gradientes socioeconmicos por regio, Brasil PISA 2015............................................................. 249
Figura 9.1 Comparativo entre os marcos referenciais em leitura PISA 2015 e SAEB-Prova Brasil.................... 253
Figura 9.2 Comparativo entre os temas em matemtica PISA 2015 e SAEB-Prova Brasil................................. 257
Figura 9.3 Comparativo entre os contedos em matemtica PISA 2015 e SAEB-Prova Brasil.......................... 258
Figura 9.4 Estrutura da Matriz de Referncia proposta no SAEB-Prova Brasil 2013 para a avaliao
em cincias da natureza 9 ano do Ensino Fundamental................................................................ 260
Figura 9.5 Comparativo entre os marcos referenciais PISA 2015 e SAEB-Prova Brasil 2013............................ 261
Figura 9.6 Algumas diferenas metodolgicas entre as avaliaes PISA 2015 e SAEB 2015............................ 264
Figura 9.7 Anlise da correlao de Spearman dos resultados por unidade da Federao
PISA 2015 e SAEB-Aneb 2015........................................................................................................ 265
apresentao
Apresentao
O documento Brasil no PISA 2015 Anlises e reflexes sobre o desempenho dos estudantes brasileiros uma colet-
nea de informaes sobre o desempenho dos jovens de 15 anos na sexta edio do PISA Programa Internacional de
Avaliao de Estudantes , cujo foco foi cincias.
Os dados foram analisados de modo a facilitar o acesso e a compreenso dos principais resultados da avaliao por
parte de gestores, professores, pesquisadores, bem como de todos os interessados nos rumos da educao nacional.
Destaca-se que uma das inovaes deste relatrio consistiu nas anlises dos fatores que melhor contextualizam os resul-
tados do pas, como o interesse, a motivao e as crenas dos estudantes em seu aprendizado. Alm disso, so discutidos
alguns ndices sobre o ambiente escolar e as condies de aprendizagem no Brasil, e indicadores sobre equidade nas
oportunidades de aprendizagem. Analisa-se, ainda, algumas similaridades e diferenas entre o PISA e o SAEB.
Agradecemos, por fim, a todas aquelas entidades que de uma maneira ou de outra contriburam para a plena execuo
desse programa.
1
Introduo
1
introduo
O que importante os cidados saberem e serem capazes de fazer? Em resposta a essa questo e necessidade de
desenvolver evidncias comparada entre pases com base no desempenho dos estudantes, a Organizao para a Coo-
perao e Desenvolvimento Econmico (OCDE) lanou o Programa Internacional de Avaliao de Estudantes (PISA) em
1997. O PISA avalia o que alunos de 15 anos, no final da educao obrigatria, adquiriram em relao a conhecimentos
e habilidades essenciais para a completa participao na sociedade moderna.
A avaliao, trienal, foca trs reas cognitivas cincias, leitura e matemtica , alm da contextualizao dos resulta-
dos por meio de questionrios aplicados aos estudantes, diretores de escolas, professores e pais. Em 2015, foi analisado
tambm o domnio sobre resoluo colaborativa de problemas. O PISA no apenas estabelece o que os alunos podem
reproduzir de conhecimento, mas tambm examina quo bem eles podem extrapolar o que tm apreendido e aplicar o
conhecimento em situaes no familiares, ambos no contexto escolar ou no. Essa perspectiva reflete o fato de econo-
mias modernas valorizarem indivduos no pelo que sabem, mas pelo que podem fazer com o que sabem (OCDE, 2016).
A cada ciclo do PISA, os questionrios contextuais e um nmero de itens de cada rea avaliada so disponibilizados pela
OCDE para que educadores e pesquisadores compreendam melhor como os instrumentos foram construdos. Pela combinao
da apresentao do delineamento da amostra do Brasil, dos marcos referenciais, dos itens e dos questionrios oferecidos e
uma anlise exploratria do desempenho dos estudantes brasileiros nos itens, este relatrio visa fornecer a gestores, profes-
sores e sociedade uma ferramenta que contribua para o entendimento mais aprofundado sobre o PISA no contexto do Brasil.
Mais e mais gestores esto utilizando os resultados de estudos como o PISA para tomar decises sobre a educao por
exemplo, o Plano Nacional de Educao (PNE) estabelece uma meta de melhoria do desempenho dos alunos da Educao
Bsica nas avaliaes da aprendizagem no PISA, tomado como instrumento externo de referncia, internacionalmente
reconhecido (Brasil, Lei n 13.005, de 25 de junho de 2014). Dessa maneira, importante que atores do contexto esco-
lar, especialistas e a sociedade em geral entendam a avaliao e o que sustenta seus objetivos, de modo a pensar como
podero fazer a diferena nos resultados dos estudantes brasileiros. A proposta deste relatrio fornecer subsdios para
esse entendimento e incentivar a discusso sobre os resultados do Brasil no PISA 2015.
1.1 pisa: o que ?

O PISA faz parte de um conjunto de avaliaes e exames nacionais e internacionais coordenados pela Diretoria de
Avaliao da Educao Bsica (DAEB), do Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (INEP).
Atualmente, estudantes brasileiros participam de avaliaes nacionais, dos estudos regionais coordenados pelo Labora-
trio Latino-Americano de Avaliao da Qualidade da Educao (LLECE) e do PISA, coordenado pela OCDE (Figura 1.1).
Figura 1.1
Avaliaes da Educao Bsica coordenadas pelo INEP/DAEB
Nacionais:
Avaliao da Alfabetizao Infantil (Provinha Brasil)
Sistema de Avaliao da Educao Bsica (SAEB):
Avaliao Nacional da Educao Bsica (ANEB)
Avaliao Nacional do Rendimento Escolar (Anresc/Prova Brasil)
Avaliao Nacional de Alfabetizao (ANA)
Internacionais:
Estudos regionais comparados LLECE
PISA
Fonte: INEP.
Diferentemente das demais avaliaes, o estudo proposto pelo PISA permite ao Brasil aferir conhecimentos e habilidades
dos estudantes de 15 anos em leitura, matemtica e cincias, contrastando com resultados do desempenho de alunos
dos pases membros da OCDE, alm de 35 pases/economias parceiras.
1
introduo
O PISA um programa contnuo que, sob uma viso de longo prazo, tem por objetivo o desenvolvimento de um corpo
de informaes para o monitoramento de conhecimentos e habilidades dos estudantes em vrios pases, bem como em
diferentes subgrupos demogrficos de cada pas (OCDE, 2016). A Figura 1.2 apresenta os instrumentos utilizados no
Brasil desde sua primeira edio, com destaque para a rea-chave de cada ciclo.
Figura 1.2
Instrumentos avaliados no Brasil com destaque para a rea foco de cada edio
PISA 2000 2003 2006 2009 2012 2015
Leitura Leitura Leitura Leitura Leitura Leitura
Matemtica Matemtica Matemtica Matemtica Matemtica Matemtica
Testes
Cincias Cincias Cincias Cincias Cincias Cincias

Resoluo colaborativa
de problemas
Letramento financeiro
Estudante Geral Estudante Geral Estudante Geral Estudante Geral Estudante Geral Estudante Geral
Questionrios
Escola Escola Escola Escola Escola Escola

Estudante Familiaridade
com tecnologia
Professor
Fonte: OCDE, INEP.
Em suma, os instrumentos do PISA fornecem trs principais tipos de resultados (OCDE, 2016):
Indicadores que fornecem um perfil bsico de conhecimento e habilidades dos estudantes.

Indicadores derivados de questionrios que mostram como tais habilidades so relacionadas a variveis demogrficas,
sociais, econmicas e educacionais.
Indicadores de tendncias que acompanham o desempenho dos estudantes e monitoram os sistemas educacionais
ao longo do tempo.
Em cada ciclo, uma das reas cognitivas o foco principal da avaliao, com a maior parte dos itens centrada nessa
rea (aproximadamente dois teros do total do tempo do teste) e os demais voltados para as outras duas reas embora
ainda possam fornecer elementos suficientes para comparaes entre os anos. Em 2015, por exemplo, o foco do PISA
foi cincias. Com esse esquema alternativo de avaliao das reas do conhecimento, apresentam-se, a cada nove anos,
uma anlise aprofundada do desempenho dos estudantes na rea foco e, a cada ciclo, uma anlise das tendncias nas
reas de menor domnio (OCDE, 2016).
Por meio de questionrios distribudos aos estudantes, pais, diretores de escolas e professores, o PISA tambm coleta
informaes sobre o histrico familiar dos alunos, suas oportunidades e seus ambientes de aprendizagem. Os questio-
nrios contextuais gerais dos estudantes e da escola so obrigatrios a todos os pases participantes. Alm destes, quatro
diferentes tipos de questionrios foram disponibilizados como opo no PISA 2015: questionrio sobre familiaridade com
tecnologias da informao para os estudantes, questionrio sobre a carreira educacional dos estudantes, questionrio
para os pais e questionrio para os professores.
1.2 Quais so as principais caractersticas do PISA 2015?

O PISA tornou-se uma importante referncia de avaliao educacional em larga escala no contexto mundial. Desde sua
primeira edio, em 2000, o nmero de pases e economias participantes tem aumentado a cada ciclo. Em 2015, 70
pases participaram do PISA, sendo 35 deles membros da OCDE e 35 pases/economias parceiras.
A populao-alvo do PISA formada por estudantes com idade entre 15 anos e 2 meses e 16 anos e 3 meses no mo-
mento da aplicao do teste, matriculados em uma instituio educacional. Em muitos pases, em geral, 150 escolas e
45 estudantes de cada uma so selecionados aleatoriamente para participar da avaliao. Em alguns, incluindo o Brasil,
uma amostra maior de escolas e estudantes foi delineada em 2015. No caso do Brasil, uma amostra ampliada fornece
1
introduo
informaes mais precisas sobre cada unidade da Federao. A amostra brasileira para o PISA 2015 consistiu de 841
escolas, 23.141 estudantes e 8.287 professores.
Em 2015, no Brasil, pela primeira vez os testes e os questionrios contextuais do PISA foram aplicados integralmente
por computador, por meio de uma plataforma de aplicao off-line desenvolvida pelo consrcio internacional do PISA
e compatvel com computador de mesa (desktop) e porttil (notebook).
Os estudantes tiveram duas horas para responder a questes de cincias, leitura, matemtica e resoluo colaborativa de
problemas. A avaliao eletrnica trouxe benefcios especialmente para a avaliao de cincias e resoluo colaborativa
de problemas, reas que contaram com itens novos, criados para a aplicao com suporte tecnolgico.
Em 2015, para as avaliaes de leitura e matemtica, houve a transposio dos itens aplicados em papel em ciclos ante-
riores do PISA para a plataforma computadorizada. Em 2018, novos itens de leitura sero desenvolvidos exclusivamente
para a aplicao em computador, considerando habilidades de leitura no mundo digital.
De acordo com o consrcio internacional, a plaforma computadorizada forneceu informaes de alta qualidade, im-
possveis de coletar na aplicao de provas em papel, tais como detalhamento do tempo gasto pelo estudante em cada
questo ou em cada domnio avaliado, tipo e nmero de interaes e sequncias de aes realizadas (OCDE, 2016).
Os alunos tambm responderam a um questionrio contextual (35 minutos), seguido de outro sobre familiaridade com
tecnologias da informao (10 minutos). O questionrio contextual representa uma oportunidade de investigar fatores
que possam influenciar o desempenho dos estudantes e, consequentemente, contextualizar os resultados obtidos nas
avaliaes. Respostas a um conjunto-chave de questes sobre o histrico familiar (incluindo nvel socioeconmico)
foram coletadas em cada avaliao, alm de questes especficas em 2015, sobre o engajamento dos estudantes em
cincias, estratgias de aprendizado e aspectos sobre a instruo. O questionrio sobre familiaridade com tecnologias da
informao, por sua vez, buscou levantar dados sobre o uso de tecnologias digitais pelos estudantes em suas atividades
na escola e fora dela.
Informaes sobre o ambiente escolar foram obtidas no questionrio da escola. Diretores (ou outra pessoa designada
por eles) responderam, em at 45 minutos, a um conjunto de questes online relacionadas a informaes descritivas
sobre a escola e prticas institucionais
Em 2015, pela primeira vez foram coletados dados sobre os professores no PISA. At 10 professores de cincias e 15
de outras disciplinas foram selecionados em cada escola participante. Eles responderam a questes sobre qualificao
e desenvolvimento profissional, prticas de ensino, ambiente para aprendizagem, liderana e gerenciamento escolar.
A Figura 1.3 sintetiza as principais caractersticas do PISA 2015.
Vale destacar que, como os dados dos testes de resoluo colaborativa de problemas e letramento financeiro estavam
embargados pela OCDE no momento da confeco deste relatrio, o presente documento visa a apresentao dos
resultados dos testes cognitivos de cincias, leitura e matemtica, alm de alguns ndices extrados das respostas aos
questionrios contextuais.
1
introduo
Figura 1.3
Caractersticas da avaliao PISA 2015
Internacional Brasil
Participantes Em 2015, fizeram parte do PISA os 35 pases da OCDE: As 27 unidades da Federao
Alemanha, Austrlia, ustria, Blgica, Canad, Chile, participaram do PISA 2015.
Coreia do Sul, Dinamarca, Eslovquia, Eslovnia, Espanha,
Estados Unidos, Estnia, Finlndia, Frana, Grcia,
Holanda, Hungria, Irlanda, Islndia, Israel, Itlia, Japo,
Letnia, Luxemburgo, Mxico, Noruega, Nova Zelndia,
Polnia, Portugal, Reino Unido, Repblica Tcheca, Sucia,
Sua e Turquia.
Alm disso, 35 pases/economias parceiras, incluindo o
Brasil, participaram. So eles: Albnia, Arglia, Argentina,
Bulgria, Catar, Cazaquisto, Cingapura, Colmbia,
Costa Rica, Crocia, Emirados rabes Unidos, Gergia,
Hong Kong, Indonsia, Jordnia, Kosovo, Lbano,
Litunia, Macau, Macednia, Malsia, Malta, Moldvia,
Montenegro, Peru, Repblica Dominicana, Romnia,
Rssia, Tailndia, Taipei, Trinidad e Tobago, Tunsia,
Uruguai e Vietn.
Para essa anlise excluiu-se a municipalidade de Beijing
e as provncias de Jiangsu e Guangdong da China, cujos
resultados sero reportados conjuntamente a Shangai
no relatrio internacional.
Nmero de estudantes Entre 5.000 e 10.000 por pas/economia parceira, com 23.141 estudantes participaram da
participantes algumas excees, como Brasil, Itlia e Espanha, que avaliao, para produzir resultados mais
contam com uma amostra maior de escolas e estudantes confiveis por unidade da Federao.
para produzir resultados mais confiveis para grupos da
populao especficos.
reas avaliadas Domnio principal: cincias As mesmas
Domniosecundrio: leitura e matemtica
Tipo de aplicao Papel e computador. Pela primeira vez, a aplicao
15 pases/economias fizeram a prova em papel (Albnia, do PISA no Brasil foi totalmente
Arglia, Argentina, Cazaquisto, Gergia, Indonsia, computadorizada.
Jordnia, Kosovo, Lbano, Macednia, Malta, Moldvia,
Romnia, Trinidad e Tobago e Vietn); os outros 55
fizeram a prova computadorizada.
Lngua em que o teste 52 lnguas, excetuando nessa anlise as variantes de cada Lngua portuguesa
foi administrado uma. A lngua portuguesa, por exemplo, foi a lngua
de teste para Brasil, Portugal e Macau no PISA 2015.
Contudo, sabe-se que h diferenas expressivas entre
vocbulos e termos com relao a esses trs pases.
Avaliao Avaliao de cincias, leitura, matemtica e resoluo A mesma
colaborativa de problemas 2 horas
Questionrio contextual para os estudantes
35 minutos
Questionrio contextual da escola para os diretores
45 minutos
Opes internacionais Questionrio
opcional sobre familiaridade com Questionrio opcional sobre
tecnologias da informao para os estudantes familiaridade com tecnologias da
10 minutos informao para os estudantes
Questionrio
opcional sobre a carreira educacional dos 10 minutos
estudantes 10 minutos Questionrio opcional para os
Questionrio opcional para os pais 30 minutos professores 30 minutos
Questionrio opcional para os professores Avaliao de letramento financeiro
30 minutos 60 minutos
Avaliao de letramento financeiro 60 minutos
1
introduo
Figura 1.3 (continuao)

Caractersticas da avaliao do PISA 2015
Internacional Brasil
Codificao das respostas Aproximadamente um tero dos itens de cada um dos Vinte codificadores de cincias,
dos itens abertos domnios de cincias, leitura e matemtica requeriam uma doze de leitura, seis de matemtica
resposta aberta, as quais necessitaram de codificao por e seis de letramento financeiro
especialistas. Guias padronizados de codificao foram foram selecionados, com base em
desenvolvidos pelo consrcio internacional do PISA e critrios estabelecidos pelo consrcio
revisados pelos centros nacionais dos pases participantes. internacional e pelo INEP. Todos tinham
Os guias foram originalmente elaborados em ingls e formao na rea, experincia mnima
francs e traduzidos pelos pases onde outras lnguas so de dois anos no Ensino Mdio e
faladas, sob superviso do consrcio. Os codificadores experincia em correo de provas de
foram selecionados por pas, conforme o perfil exigido concurso ou avaliao em larga escala.
por rea de conhecimento. Treinamento internacional Os treinamentos foram conduzidos
foi fornecido pelo consrcio a representantes dos pases pela equipe pedaggica do INEP,
participantes, os quais, por sua vez, treinaram as equipes depois de passar por treinamento
nacionais. Durante o processo de codificao, estudos de internacional. A equipe pedaggica
confiabilidade foram conduzidos diariamente por meio tambm acompanhou o processo
de sistema padronizado desenvolvido pelo consrcio, durante aproximadamente 20 dias de
de modo a assegurar que os codificadores aplicassem trabalho de codificao, contribuindo
consistentemente os mesmos critrios de codificao das na soluo de dvidas e discrepncias.
respostas em todos os pases. A logstica de codificao foi fornecida
pelo consrcio e apoiada pela equipe da
empresa aplicadora no Brasil.
Instituies que Um conjunto de instituies internacionais trabalha, em O INEP o responsvel por todo o
coordenaram, produziram conjunto com a OCDE, para a execuo do PISA. Em planejamento e execuo e, em 2015,
e/ou aplicaram os 2015, destacaram-se: contou com a empresa Consulplan,
instrumentos Educational Testing Service ETS (Estados Unidos) contratada por licitao para a aplicao
http://www.ets.org do teste.
Lder do consrcio internacional, responsvel pela
superviso geral do projeto, desenvolvimento da
plataforma computadorizada de aplicao dos testes,
anlise e delineamento psicomtrico dos testes.
Pearson (Reino Unido) http://www.pearson.com
Responsvel pelo desenvolvimento das matrizes de
referncias.
Westat (Estados Unidos) http://www.westat.com
Responsvel pelo planejamento, delineamento e controle
das amostras dos pases participantes.
Linguistic Quality Control cApStAn (Blgica) http://
www.capstan.be
Responsvel pelo controle de qualidade das tradues
dos materiais de prova, guias de correo, formulrios e
manuais de aplicao nas mais de 40 lnguas associadas
avaliao.
Deutsches Institut fr Internationale Pdagogische
Forschung DIPF (Alemanha) http://www.dipf.de/de/
willkommenimdipf
Responsvel pelo desenvolvimento dos questionrios.
Fonte: OCDE, INEP.
1
introduo
1.3 O PISA dialoga com o SAEB?

Alm de abordar o panorama da educao brasileira sob o foco do PISA, este relatrio descreve as principais diferenas
metodolgicas e estruturantes entre esse programa e o Sistema de Avaliao da Educao Bsica (SAEB). Prope uma
reflexo sobre as semelhanas e diferenas entre seus marcos referenciais e apresenta, ainda, um estudo da correlao
entre os resultados recentes das duas avaliaes. Entender as particularidades de cada uma delas, seus fundamentos,
mtodos e resultados fundamental para melhor uso das informaes pelos atores educacionais, bem como pelos ges-
tores e pesquisadores da rea.
1.4 Quais so os objetivos e a organizao do relatrio?

Este relatrio fornece os resultados iniciais do PISA 2015 para o Brasil e suas unidades da Federao. Apresenta resultados
nacionais e regionais em cincias, leitura e matemtica, expe dados sobre o contexto nacional, que complementam as
informaes presentes no relatrio internacional do PISA 2015, e compara resultados com outros pases participantes e
entre as 27 unidades da Federao.
O Captulo 2 traz informaes sobre a participao do Brasil na avaliao e definies sobre a amostra de escolas, estu-
dantes e professores. Os Captulos 3, 4 e 5, por sua vez, so dedicados s reas avaliadas cincias, leitura e matemtica,
respectivamente. Neles, apresentam-se os marcos referenciais, a descrio de como cada domnio avaliado e como os
resultados so reportados; discutem-se, tambm, os pontos fortes e fracos dos estudantes brasileiros e apresentam-se os
resultados do PISA 2015 para cada rea. O Captulo 6 destinado apresentao de fatores de contexto associados ao
interesse, motivao e crenas dos jovens brasileiros de 15 anos no PISA 2015. O Captulo 7 fornece informaes sobre
o ambiente escolar e as condies de aprendizagem no Brasil, e o 8, indicadores sobre equidade nas oportunidades de
aprendizagem. O Captulo 9 analisa algumas similaridades e diferenas do PISA e do SAEB sero discutidas. Por fim,
em Consideraes finais h algumas anlises sobre o Brasil no PISA 2015.
Nota sobre as comparaes estatsticas
Neste relatrio, comparam-se os resultados do Brasil com os de pases da Amrica Latina que tiveram resultados vlidos
no PISA 2015 (Colmbia, Costa Rica, Chile, Mxico, Peru, Uruguai e Repblica Dominicana), com os de trs pases
que se destacam por apresentar resultados prximos mdia dos membros da OCDE (Estados Unidos, Espanha e
Portugal) e com os de trs pases com resultados superiores mdia dos da OCDE (Canad, Coreia do Sul e Finlndia).
Esses resultados so computados com base em uma amostra aleatria de estudantes de cada pas. Em consequncia,
no se pode afirmar que a mdia amostral tem o mesmo valor da mdia de toda a populao de estudantes de 15 anos.
Adicionalmente, um grau de incerteza est associado ao clculo/medio das proficincias considerando as respostas
dos alunos aos itens do teste. No PISA, adota-se uma medida estatstica chamada erro-padro para definir o grau
de incerteza associado ao erro de amostragem e ao erro de medida. O erro-padro pode ser usado para construir um
intervalo de confiana, que possibilita realizar inferncias estatsticas sobre mdias e propores populacionais de
maneira que estas reflitam as incertezas relacionadas s estimativas amostrais. Um intervalo de 95% de confiana
utilizado neste relatrio e representa uma variao, para mais ou menos, de aproximadamente dois erros-padro em
torno da mdia amostral. Com esse intervalo de confiana, pode-se inferir que a mdia e o percentual da populao
se encontram dentro do intervalo de confiana em 95 de 100 repeties dessa mesma medio, utilizando diversas
amostras selecionadas aleatoriamente na mesma populao.
Quando se comparam as proficincias entre pases, unidades da Federao ou subgrupos da populao (dependncia
administrativa, por exemplo), deve-se levar em considerao a medida de erro de cada mdia a fim de determinar
se elas so verdadeiramente distintas entre si. As medidas de erro-padro e os intervalos de confiana podem ser
utilizados como base para realizar testes estatsticos comparados. Tais testes podem identificar, com probabilidade
conhecida, se diferenas reais so suscetveis de observar nas populaes comparadas.
Por exemplo, quando uma diferena observada significativa no nvel de 0,05, isso implica que h uma probabili-
dade menor que 0,05 de que a diferena observada possa ser devida ao processo amostral ou ao erro de medio.
Quando se comparam pases e unidades da Federao, extensivo o uso de tais testes estatsticos para reduzir as
1
introduo
chances de que diferenas decorrentes de erros de amostragem ou de medio possam ser interpretadas como reais.
Se h a interseo dos intervalos de confiana, as diferenas so definidas como estatisticamente no significativas.
Este relatrio apresenta dois tipos de intervalos de confiana. O primeiro o intervalo de confiana das mdias. Para
cada pas, unidade da Federao ou subgrupo da populao, h um grfico da distribuio das proficincias tal como
exemplificado abaixo. Nele indicam-se os percentis das proficincias (P10, P25, P75 e P90) para o grupo analisado,
alm do intervalo de confiana da mdia do grupo (LI: limite inferior do intervalo e LS: limite superior).
Mdia brasil
P10 P95
P25 P75
LI LS
Quando se comparam os resultados ao longo do tempo, utiliza-se outro intervalo de confiana: o das diferenas entre
as mdias, como ilustrado a seguir. No PISA, ao avaliar dois ciclos diversos, necessrio agregar s medidas de erro
os erros de ligao (linking errors) para contabilizar o fato de que diferentes coortes de estudantes foram testadas ao
longo dos ciclos da avaliao com instrumentos tambm variveis no tempo (OCDE, 2016). O valor de referncia
dessa anlise y = 0 (a mdia do ciclo anterior igual mdia do PISA 2015). Intervalos de confiana que cruzam
esse valor indicam que o desempenho mdio do pas em determinado ano no estatisticamente distinto do desem-
penho no PISA 2015.
LS
Mdia Ciclo Anterior Mdia 2015
LI
Alm da anlise temporal, os intervalos de confiana de diferenas das mdias servem para comparar o desempenho
mdio dos estudantes de cada unidade da Federao com o resultado nacional. Aqui o valor de referncia tambm
y = 0, indicando que a mdia da unidade da Federao no estatisticamente distinta da mdia do Brasil.
Abreviaes dos pases e unidades da Federao comparadas neste relatrio
BRA Brasil AC Acre PB Paraba

CAN Canad AL Alagoas PE Pernambuco
CHL Chile AM Amazonas PI Piau
COL Colmbia AP Amap PR Paran
CRI Costa Rica BA Bahia RJ Rio de Janeiro
DOM Repblica Dominicana CE Cear RN Rio Grande do Norte
ESP Espanha DF Distrito Federal RO Rondnia
FIN Finlndia ES Esprito Santo RR Roraima
KOR Coreia do Sul GO Gois RS Rio Grande do Sul
MEX Mxico MA Maranho SC Santa Catarina
PER Peru MG Minas Gerais SE Sergipe
PRT Portugal MS Mato Grosso do Sul SP So Paulo
URY Uruguai MT Mato Grosso TO Tocantins
USA Estados Unidos PA Par
2
A participao do
Brasil no PISA 2015
2
A participao do Brasil no PISA 2015
2.1 Aspectos gerais

O PISA reconhecido por ser uma avaliao amostral externa de larga escala que permite obter informaes acuradas
sobre os sistemas educacionais dos pases/economias participantes. Para cumprir tal propsito, a preciso dos resultados
da avaliao depende da qualidade da informao populacional em que a amostra se baseia, bem como da definio
dos procedimentos de amostragem.
O objetivo deste captulo fornecer informaes sobre as caractersticas da amostra brasileira ao longo das seis edies do
programa j realizadas (Seo 2.2) e apresentar onde esto e quem so os estudantes elegveis do PISA 2015 (Seo 2.3).
Dada a complexidade da avaliao, a OCDE, em conjunto com a Westat, empresa do consrcio internacional responsvel
pelo planejamento, delineamento e controle das amostras dos pases participantes, estabelece critrios padronizados e
rgidos sobre a cobertura da populao-alvo, taxa de resposta e procedimentos para a seleo das amostras nacionais.
O Brasil tem obtido xito no cumprimento desses critrios desde sua primeira participao na avaliao. Em 2015, no
foi diferente. Contando com uma amostra de 841 escolas e 23.141 estudantes avaliados, o PISA permite a produo de
resultados confiveis por unidade da Federao, alm de gerar um conjunto de dados importantes para a discusso da
educao do Brasil no contexto internacional.
2.2 Quais so os antecedentes e as caractersticas da amostra do PISA

no Brasil?
Basicamente, h trs elementos importantes na caracterizao de uma amostra: a definio da populao-alvo, o sistema
de referncia a ser utilizado e a definio do plano amostral. Esta e a prxima seo tm por finalidade descrever cada
um desses elementos sob a perspectiva da participao do Brasil nos ciclos avaliativos do PISA.
Populao de referncia
Com o objetivo de comparar diferentes sistemas educacionais, o universo de estudantes participantes do PISA se carac-
teriza por ser uma coorte de idade aplicada uniformemente a todos os pases participantes. A definio de idade surgiu
em comum acordo entre a OCDE e os pases participantes para a efetivao da primeira avaliao, em 2000. Pela faci-
lidade de implementao e pela constatao de que 15 anos a idade mdia em que os jovens, na maioria dos pases
da OCDE, esto prximos do trmino da educao compulsria, decidiu-se que a populao a ser pesquisada em abril
de 2000 seria a de estudantes nascidos em 1984 (OCDE, 2015).
A Figura 2.1 apresenta a definio completa da populao elegvel no PISA. Em nome da clareza, adota-se neste relatrio
a expresso estudantes elegveis de 15 anos em referncia ao grupo de estudantes definido.
Figura 2.1
Definio internacional dos estudantes elegveis ao PISA
Estudantes entre 15 anos e 3 meses (completos) e 16 anos e 2 meses

(completos) no incio do perodo de aplicao da avaliao, matricu-
lados em instituies educacionais localizadas no pas participante,
a partir da 7 srie/7 ano.
O Brasil o nico pas sul-americano que participou de todas as edies do PISA desde sua primeira aplicao. No pas,
a primeira edio ocorreu em outubro de 2000. Como destacado por Klein (2014), a estabilidade das datas de aplicao
da avaliao importante para melhor comparabilidade dos resultados e um fiel diagnstico da composio do alunado
entre as sries avaliadas no PISA. Graas parceria com os estados, desde 2009 o Brasil tem conseguido aplicar o PISA
no mesmo ms, como apresentado na Figura 2.2.
2
Figura 2.2
Data de aplicao e definio da populao de referncia do PISA no Brasil
Ms e ano de aplicao Estudantes elegveis
Nascidos em 1 de julho de 1984 a 30 de junho de 1985 cursando a partir da 7 srie/8 ano
Outubro de 2000
do Ensino Fundamental
Nascidos em 1 de maio de 1987 a 30 de abril de 1988 cursando a partir da 7 srie/8 ano
Agosto de 2003
Nascidos em 1 de maio de 1990 a 30 de abril de 1991 cursando a partir da 7 srie/8 ano
Agosto de 2006
Nascidos em 1 de janeiro de 1993 a 31 de dezembro de 1993 cursando a partir
Maio de 2009
da 7 srie/8 ano do Ensino Fundamental
Maio de 2012
da 7 srie/8 ano do Ensino Fundamental
Maio de 2015
do 7 ano do Ensino Fundamental de nove anos de durao
Fonte: OCDE, INEP.
Ao longo desses 15 anos desde a primeira aplicao no Brasil, o pas tem aumentado significativamente a qualidade no
desenvolvimento de estatsticas oficiais em educao. At 2006, por exemplo, a unidade bsica da coleta de dados do
Censo Escolar era a escola. Com a adoo do Educacenso (Portaria MEC n 316, de 4 de abril de 2007), que estabelece
como unidades de investigao, alm da escola, o aluno e o professor, passaram a ser utilizadas informaes mais pre-
cisas sobre os estudantes elegveis de 15 anos para o PISA.
Com a ampliao do Ensino Fundamental para nove anos de durao (Lei n 11.274, de 6 de fevereiro de 2006), todos
os estudantes elegveis a partir do 7 ano foram includos no PISA 2015. A Figura 2.3 apresenta o percentual de alunos
representados na amostra dos ltimos trs ciclos da avaliao. Essa transio do sistema de oito para nove anos do Ensino
Fundamental incluiu o perodo de trs ciclos do PISA; contudo, no se observam diferenas expressivas na distribuio
de estudantes nesses ciclos mesmo com a incluso do 7 ano na amostra de 2015.
Figura 2.3
Percentual de estudantes brasileiros por ano escolar nas trs ltimas edies do PISA
7 8 9 10 11 12
2009 6,8% 18,0% 37,5% 35,7% 2,1%
2012 6,9% 13,5% 34,9% 42,0% 2,6%
2015 3,5% 6,4% 12,5% 35,9% 39,2% 2,5%
Fonte: OCDE, INEP.
2
A Figura 2.4 indica o percentual de matrculas de jovens de 15 anos nas sries de estudo e a taxa de cobertura (nmero
de estudantes representado na avaliao dividido pelo nmero total estimado de brasileiros com 15 anos) em cada edio
do PISA. Por meio dessa anlise, verifica-se um aumento de jovens de 15 anos matriculados nas sries elegveis e maior
cobertura da avaliao no pas. Enquanto, em 2003, um total de 2.359.854 jovens de 15 anos estavam matriculados a partir
da 7 srie/8 ano do Ensino Fundamental, em 2015, mais de 2,8 milhes cursavam as sries elegveis para a avaliao.
Apesar do avano, os nmeros tambm refletem que o trabalho educacional de incluso de jovens de 15 anos no sistema
escolar ainda um desafio ao pas. Com base nos dados de 2015, em torno de 17% deles estavam fora da escola ou
matriculados no 6 ano ou em sries inferiores. Devido a esse quantitativo e s excluses e perdas amostrais, a cobertura
do PISA 2015 correspondeu a 71% do total de jovens brasileiros de 15 anos.
Em comum acordo com o consrcio internacional e por dificuldades logsticas de aplicao da avaliao ou pelo fato
de certos grupos populacionais no terem necessariamente a lngua portuguesa como lngua de instruo, nenhum ciclo
avaliativo do PISA no pas contemplou estudantes elegveis de escolas indgenas, de escolas rurais da regio Norte ou
de escolas internacionais. Pelos mesmos motivos, alunos de escolas situadas em assentamentos rurais, comunidades
quilombolas ou unidades de conservao sustentvel tambm no fizeram parte do estudo do PISA 2015.
Figura 2.4
Percentual de estudantes brasileiros elegveis e taxa de cobertura
da populao de 15 anos em cinco edies do PISA
Estudantes elegveis Cobertura do PISA

90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
2003 2006 2009 2012 2015
Nota:
1. Taxa de cobertura: nmero de estudantes representado na avaliao divido pelo nmero total estimado de brasileiros com 15 anos.
Fonte: OCDE, INEP.
Sistema de referncia
No PISA, cada pas participante responsvel por fornecer ao consrcio internacional um sistema de referncia (tambm
conhecido como cadastro). Salvo em casos particulares, as unidades desse sistema devem ser as escolas. Essas mesmas
unidades so utilizadas no pr-teste, bem como na aplicao principal (OCDE, 2015).
No Brasil, o sistema de referncia do PISA o Censo Escolar. Uma lista de escolas com possveis estudantes elegveis
encaminhada ao consrcio internacional a cada edio para a seleo da amostra. Para o PISA 2015, utilizou-se o
Censo Escolar 2013.
2
Plano amostral
Alm da delimitao da populao de referncia e da anlise dos sistemas de referncia dos pases participantes, o plano
amostral do PISA definido pela OCDE de modo a permitir a comparabilidade dos resultados entre pases.
Pesquisas em educao, sobretudo as internacionais, raramente selecionam estudantes por um esquema de amostragem
aleatria simples. Em vez disso, o plano amostral adotado tem como base, em uma primeira etapa, a seleo de escolas
e, dentro de cada escola selecionada, turmas ou estudantes so amostrados aleatoriamente. Esse plano de amostragem
normalmente referido como amostragem por conglomerado em duas etapas. Tal como realizado na maioria dos pases
participantes, a amostra do PISA 2015 para o Brasil baseou-se em um delineamento amostral estratificado e conglome-
rado em duas etapas.
A primeira etapa consistiu na seleo amostral de escolas com possveis estudantes elegveis. Para tanto, consideraram-se
variveis de estratificao (explcita e implcita) para a seleo da amostra brasileira. Como estratos explcitos, adotaram-
se as unidades da Federao e tipo de escola (escola com ou sem Ensino Mdio), varivel recomendada pelo consrcio
internacional para a aplicao dos questionrios dos professores. Como estratos implcitos, definiram-se a dependncia
administrativa (federal, estadual, municipal e privada), quintis do ndice de Desenvolvimento Humano Municipal, a
localizao (urbana/rural), a rea (capital/interior) e os nveis de ensino oferecidos (escolas de Ensino Fundamental, de
Ensino Mdio, de Ensino Fundamental e Ensino Mdio, de Ensino Mdio Profissionalizante).
No PISA, um nmero mnimo de 150 escolas requerido para cada pas participante. O Brasil, por sua vez, conta,
desde 2006, com uma amostra maior para obter resultados mais confiveis por unidade da Federao, com nveis de
preciso aceitveis. Com o cadastro encaminhado ao consrcio internacional, determinou-se um quantitativo de 964
escolas para a amostra brasileira no PISA 2015, com especial destaque para Minas Gerais e So Paulo, devido a sua
maior concentrao populacional de estudantes de 15 anos.
Aps a definio do tamanho da amostra, as escolas nos estratos explcitos foram ordenadas pelos estratos implcitos e
aleatoriamente selecionadas pelo consrcio internacional, com probabilidade proporcional ao tamanho (tendo como
medida de tamanho o nmero estimado de estudantes elegveis). Com base nesse delineamento, os estratos para os quais
possvel produzir estimativas com preciso garantida so os explcitos, embora neles se adote uma alocao proporcional
da amostra. Os estratos implcitos so utilizados com o objetivo de aumentar a eficincia do desenho amostral por meio
de uma ordenao do cadastro pelas variveis de estratificao implcita e posterior aplicao do mtodo de amostragem
aleatria sistemtica com probabilidade proporcional ao tamanho das escolas (denominado PPS systematic sampling).
Enquanto nos ciclos anteriores a segunda etapa consistia na seleo de estudantes dentro das escolas selecionadas, no
PISA 2015, alm desta, uma amostra de professores caracteriza o segundo estgio do plano amostral. Para aplicao
eletrnica da avaliao, selecionou-se um nmero maior de estudantes por escola, passando de 35 no PISA 2012 para
42 em 2015.
A seleo de escolas foi conduzida da seguinte maneira: para as escolas selecionadas que no possuam Ensino Mdio,
obteve-se uma amostra de at 42 estudantes; para as escolas com Ensino Mdio, uma amostra de at 42 estudantes,
uma de at 10 professores de cincias e outra de at 15 professores de outras disciplinas. Em ambos os casos, a listagem
de todos os estudantes elegveis de 15 anos, bem como a de todos os professores que lecionavam no Ensino Mdio
(quando era o caso), foi fornecida pelas escolas selecionadas. A amostra de estudantes e a de professores foram aleat-
rias, com igual probabilidade de seleo, e realizadas por meio do software Keyquest, cedido ao INEP pelo consrcio
internacional e monitorado por este em toda a fase de seleo amostral. Se em determinada escola o quantitativo de
estudantes elegveis e/ou professores era menor que o nmero estabelecido, todos os estudantes e/ou professores foram
considerados na avaliao.
2.3 Quem so e onde esto os estudantes brasileiros elegveis do PISA 2015?

O planejamento amostral do PISA 2015 iniciou-se em 2013. Em deciso conjunta com a equipe de amostragem do
consrcio internacional, a populao-alvo definida e a populao desejada foram estabelecidas conforme apresentado
na Figura 2.5 e discutido em seguida.
2
Figura 2.5
Total de estudantes e escolas no planejamento amostral PISA 2015
Populao definida no sistema de referncia
Populao estimada de jovens brasileiros com 15 anos em 2015 3.430.255
Populao brasileira de 15 anos matriculada em instituies de ensino no 6 ano ou em ano inferior 400.438
Populao brasileira de 15 anos matriculada em instituies de ensino a partir do 7 ano (estudantes elegveis) 2.853.388
Nmero de escolas com estudantes elegveis para o PISA 2015 67.768
Excluso
Nmero de escolas excludas devido inacessibilidade geogrfica ou por incompatibilidade entre a lngua de
6.431
instruo e a lngua portuguesa
Nmero esperado de estudantes das instituies excludas 62.763
Populao desejada na avaliao
Nmero de escolas associadas populao desejada (aps excluses) 61.337
Populao estimada de estudantes elegveis para o PISA 2015 (aps excluses) 2.790.625
Fonte: OCDE, INEP.
Para a primeira etapa do delineamento amostral, consolidou-se um sistema de referncia de escolas com possveis es-
tudantes elegveis para a aplicao da avaliao. Segundo a projeo populacional de 2013 do Instituto Brasileiro de
Geografia e Estatstica (IBGE), a populao estimada de jovens brasileiros de 15 anos (matriculados ou no em institui-
es de ensino) em 2015 era de 3.430.255. Utilizando o Censo Escolar 2013, estimou-se que em 2015 2.853.388 deles
estariam matriculados a partir do 7 ano (estudantes elegveis para o PISA) em 67.768 escolas.
Sob orientao do consrcio internacional, todos os pases tentam maximizar a cobertura dos estudantes elegveis de
15 anos em sua amostra nacional. De acordo com os padres de amostragem do PISA, permite-se aos pases a excluso
de 5% do total da populao, seja de escolas, seja de estudantes dentro das escolas. Tal como nas edies passadas, no
Brasil optou-se pela no aplicao nas escolas indgenas, nas escolas rurais da regio Norte e nas escolas internacionais.
Alm delas, escolas situadas em assentamentos rurais, comunidades quilombolas e unidades de conservao sustentvel
no fizeram parte da definio do pblico-alvo do PISA 2015. Essas no aplicaes esto dentro da margem prevista
pelo PISA, ou por no terem necessariamente a lngua portuguesa como lngua de instruo (ou lngua-me), ou pela
dificuldade logstica de aplicao, totalizando 6.431 escolas excludas e um percentual estimado de 2,2% em relao
populao de estudantes elegveis com base no Censo Escolar 2013.
Aps o processo de excluso de escolas, encaminhou-se ao consrcio naciomal uma base de 61.337 escolas com um
total estimado de 2.790.625 estudantes elegveis. Dentre elas, 964 foram selecionadas na amostra do PISA 2015. A Figura
2.6 apresenta a distribuio de escolas, professores e estudantes da populao desejada, bem como os dados da amostra
inicial do PISA 2015 por unidade da Federao.
Figura 2.6
Quantitativo de escolas, professores e estudantes da populao e da amostra inicial PISA 2015
Universo Amostra inicial
UF Professores1 Professores1
Escolas Estudantes2 Escolas Estudantes2
Cincias Outras Cincias Outras
AC 162 555 3.049 11.323 31 191 403 1.162
AL 940 1.675 8.184 45.159 34 109 291 1.197
AM 721 2.551 13.344 51.904 28 159 330 1.006
AP 139 468 3.036 10.192 29 187 390 1.142
BA 4.664 12.289 41.231 186.210 35 150 309 1.164
CE 4.072 6.899 24.203 134.001 39 167 308 1.076
DF 448 1.644 9.976 40.374 28 198 345 1.148
ES 1.129 3.025 16.794 50.173 34 174 356 1.081
GO 2.021 5.496 22.750 90.069 31 172 381 1.101
MA 4.144 5.977 19.867 101.161 43 158 289 1.178
MG 5.813 17.285 92.262 293.416 39 200 465 1.327
MS 806 2.260 12.576 35.094 34 162 353 1.091
2

Quantitativo de escolas, professores e estudantes da populao e da amostra inicial PISA 2015
Universo Amostra inicial
UF Professores1 Professores1
Escolas Estudantes2 Escolas Estudantes2
Cincias Outras Cincias Outras
MT 1.135 3.154 13.657 46.451 37 199 409 1.187
PA 1.584 5.027 20.938 87.301 30 175 321 1.095
PB 1.460 3.352 15.047 50.958 35 150 323 1.126
PE 2.734 7.426 29.827 123.727 33 170 360 1.124
PI 2.002 3.927 15.117 45.339 43 147 323 1.104
PR 2.703 10.685 65.478 156.899 32 183 418 1.176
RJ 4.700 14.960 77.611 221.757 33 185 360 1.125
RN 1.267 2.357 10.002 42.971 36 123 309 1.090
RO 351 1.226 6.266 21.891 29 165 372 1.003
RR 100 435 2.134 6.952 29 187 390 1.065
RS 4.686 8.315 47.494 140.283 41 164 346 1.118
SC 2.271 5.083 28.364 94.304 37 164 390 1.079
SE 799 1.375 7.592 28.516 36 127 290 1.112
SP 9.969 36.736 217.699 651.677 75 446 983 2.800
TO 517 1.235 5.637 22.523 33 140 354 1.016
Brasil 61.337 165.417 830.135 2.790.625 964 4.752 10.168 31.893
Notas:
1. Nmero estimado de professores que poderiam ministrar aulas no Ensino Mdio em 2015.
2. Nmero estimado de estudantes elegveis em 2015 com base no Censo Escolar 2013.
Fonte: OCDE, INEP.
Como nem todos os estudantes elegveis das escolas selecionadas participam da avaliao, entre fevereiro e abril de
2015, as escolas selecionadas repassaram ao INEP a listagem de todos os estudantes e professores (do Ensino Mdio)
elegveis para a segunda etapa do delineamento amostral. Na coleta dessas informaes, 127 escolas foram excludas
do estudo pelos motivos apontados na Figura 2.7.
Figura 2.7
Quantitativo de escolas selecionadas, mas no participantes PISA 2015
Motivo da no participao Frequncia
Escola com somente um aluno elegvel 7
Escola fechada 20
Escola no elegvel pelo delineamento (por exemplo: localizada em assentamento rural) 2
Escola sem estudantes elegveis 46
Escola com recusa 12
Escola participante, mas nenhum estudante foi avaliado 4
Escola no participante por outras razes (por exemplo: greve, estrutura inadequada para a avaliao computadorizada) 36
Total 127
Fonte: OCDE, INEP.
Um rgido controle de qualidade feito nas amostras encaminhadas pelos pases/economias participantes do PISA com
o objetivo de reduzir os possveis vcios causados por no resposta. No nvel nacional, exige-se uma taxa de resposta
mnima de 85% para as escolas da amostra inicial. Sob padres internacionais, considera-se aceitvel uma taxa de
resposta das escolas da amostra inicial entre 65% e 85%; contudo, uma listagem de escolas substitutas entregue aos
pases para que se possa obter uma taxa de resposta por escola de 85% ou superior.
Escolas que recusaram participao, que estavam em greve ou que no possuam estrutura adequada para a avaliao
computadorizada poderiam ser substitudas segundo os critrios internacionais. Dadas as especificidades da logstica
de aplicao, apenas nove escolas foram efetivamente substitudas no perodo de realizao da avaliao no Brasil, no
prejudicando o nvel da taxa de resposta por escola determinado pela OCDE.
2
No PISA 2015, tambm se exigiu uma taxa mnima de 80% de participao dos estudantes em cada escola (da amostra
inicial ou da listagem de substituio) no mbito nacional. Alm das 127 escolas excludas, cinco foram retiradas do
estudo por apresentar taxa de resposta dos estudantes inferior a 25%.
A Figura 2.8 apresenta o quantitativo final de escolas, estudantes e professores participantes da amostra efetiva, bem
como as taxas de resposta de escolas e estudantes por unidade da Federao.
Figura 2.8
Quantitativo de escolas, professores e estudantes da amostra efetiva e ponderados
e taxas de resposta por unidade da Federao PISA 2015
Amostra efetiva Taxas de resposta (aps reposio)4
UF Professores1 Estudantes Estudantes Escolas5 Estudantes6
Escolas Geral7
Cincias Outras participantes2
ponderados 3
Sem peso Com peso Sem peso Com peso
AC 29 89 237 914 9.957 96,7% 97,8% 87,7% 88,3% 86,3%
AL 27 62 139 756 41.998 83,9% 85,0% 78,7% 79,4% 67,5%
AP 21 51 124 482 8.515 60,7% 59,5% 66,5% 66,7% 39,7%
AM 25 82 163 816 42.986 100,0% 100,0% 91,8% 92,4% 92,4%
BA 34 77 165 1.018 196.809 100,0% 100,0% 84,7% 85,0% 85,0%
CE 35 148 214 934 126.240 100,0% 100,0% 93,3% 93,6% 93,6%
DF 28 103 152 907 39.567 100,0% 100,0% 84,4% 83,6% 83,6%
ES 31 122 167 911 50.142 96,9% 98,8% 87,4% 88,2% 87,1%
GO 30 64 125 839 87.434 96,8% 96,1% 82,7% 84,2% 80,9%
MA 30 73 85 770 89.261 93,8% 95,0% 87,3% 87,5% 83,2%
MT 30 122 251 754 39.041 87,9% 91,1% 86,1% 85,5% 77,9%
MS 30 92 288 829 29.960 100,0% 100,0% 88,5% 88,6% 88,6%
MG 36 181 369 1.101 245.393 97,3% 96,8% 92,3% 92,6% 89,6%
PA 27 58 105 752 73.553 86,2% 85,0% 83,3% 82,4% 70,1%
PB 32 94 179 749 39.809 90,6% 93,3% 80,5% 79,2% 73,9%
PR 21 41 77 517 141.894 50,0% 51,1% 75,4% 75,6% 38,7%
PE 32 116 263 840 117.491 96,9% 96,3% 82,6% 82,6% 79,6%
PI 32 47 119 713 37.136 75,6% 83,8% 89,7% 90,1% 75,5%
RJ 31 149 253 758 155.113 96,9% 96,4% 90,1% 90,4% 87,1%
RN 33 64 137 848 36.785 100,0% 100,0% 84,9% 85,7% 85,7%
RS 35 121 232 900 127.513 97,2% 99,1% 89,9% 89,7% 88,9%
RO 26 92 266 781 16.939 89,3% 93,8% 86,3% 86,6% 81,3%
RR 26 91 185 801 6.999 89,3% 90,3% 82,4% 83,8% 75,6%
SC 34 105 270 870 92.380 94,1% 95,3% 85,3% 85,4% 81,4%
SP 66 303 586 2.037 531.588 98,5% 99,8% 87,4% 87,9% 87,8%
SE 32 82 163 707 22.637 87,9% 83,8% 82,5% 83,2% 69,7%
TO 28 101 243 837 18.821 100,0% 100,0% 89,2% 89,5% 89,5%
Brasil 841 2.730 5.557 23.141 2.425.961 91,7% 94,1% 85,7% 87,3% 82,1%
Notas:
1. Nmero de professores que ministraram aulas no Ensino Mdio das escolas selecionadas em 2015.
2. Nmero de estudantes que foram amostrados com base na lista encaminhada pelas escolas com pelo menos uma resposta nos testes cognitivos ou que responde-
ram a pelo menos um item do questionrio do estudante do PISA 2015.
3. Correspondncia dos estudantes da amostra na representatividade nacional dos estudantes elegveis do PISA.
4. Percentual de estudantes participantes com relao ao quantitativo esperado de cada estrato.
5. A taxa de resposta das escolas calculada com base no nmero de estudantes elegveis presente no sistema de referncia.
6. A taxa de resposta dos estudantes calculada da seguinte maneira: no numerador esto os estudantes avaliados no PISA 2015 que foram includos nos resultados
menos as escolas com taxa de participao de 25% a 50%; no denominador est o nmero de estudantes amostrados que eram elegveis no PISA 2015.
7. A taxa de resposta geral o produto das taxas de respostas (com peso) das escolas e dos estudantes. Ela indica o percentual da populao de estudantes represen-
tados na amostra do PISA 2015 antes dos ajustes causados por no resposta.
Fonte: OCDE, INEP.
2
O quantitativo final de escolas e estudantes avaliados no PISA 2015 foi 841 e 23.141, respectivamente. Tais valores
representam taxas ponderadas de resposta das escolas e estudantes de aproximadamente 94% e 87%, atendendo aos
padres especificados pelo PISA.
Na Figura 2.8, verifica-se que Amap e Paran foram as nicas unidades da Federao que no alcanaram os percentuais
requeridos (mnimo de 80% para os estudantes e de 85% para as escolas). Portanto, deve-se tomar maior cuidado na
anlise dos resultados do PISA 2015 para esses dois estados, em razo da baixa representatividade de seus estudantes
na avaliao.
Perfil dos estudantes brasileiros no PISA 2015

Por ser uma avaliao amostral baseada na idade e no na etapa escolar, verifica-se que os estudantes brasileiros elegveis
para o PISA esto em distintas sries/anos do percurso escolar. Uma vez que o desempenho dos alunos est fortemente
condicionado srie que eles cursam, uma anlise por ano escolar e unidade da Federao apresentada na Figura 2.9.
Figura 2.9
Quantitativo de estudantes ponderados
por unidade da Federao, gnero e ano escolar PISA 2015
Ano escolar
UF Distribuio percentual por gnero e etapa
7 8 9 10 11 12
EF: Menina EF: Menino EM: Menina EM: Menino
Brasil 3,5% 6,4% 12,5% 35,9% 39,2% 2,5% Brasil 10% 13% 42% 36%
AC 1,5% 1,7% 8,0% 39,5% 43,3% 5,9% AC 4% 7% 47% 42%
AL 11,2% 13,7% 17,0% 27,0% 25,3% 5,9% AL 18% 24% 34% 24%
AP 3,9% 9,9% 16,0% 33,2% 35,0% 2,0% AP 11% 19% 42% 28%
AM 0,0% 4,6% 17,7% 41,5% 32,9% 3,3% AM 9% 13% 42% 36%
BA 9,3% 14,6% 20,3% 29,5% 22,6% 3,7% BA 21% 23% 33% 22%
CE 3,6% 7,2% 12,4% 38,3% 34,1% 4,4% CE 10% 13% 41% 36%
DF 3,0% 8,9% 16,4% 39,2% 30,3% 2,2% DF 10% 18% 39% 33%
ES 4,1% 6,4% 11,6% 43,3% 33,5% 1,1% ES 10% 12% 42% 36%
GO 0,8% 4,1% 13,0% 44,4% 34,8% 2,8% GO 7% 11% 44% 38%
MA 5,3% 8,7% 14,5% 34,9% 32,2% 4,4% MA 11% 17% 42% 29%
MT 0,1% 0,2% 6,7% 52,1% 38,6% 2,3% MT 3% 4% 49% 44%
MS
MS 6,2% 6,7% 14,1% 30,4% 37,9% 4,8% 12% 15% 39% 34%
MG 10% 44% 39%

MG 1,6% 4,1% 11,0% 48,1% 34,6% 0,7% 7%
PA 13% 20% 40% 27%

PA 7,1% 8,7% 17,5% 37,7% 27,1% 1,9%
PB 12% 21% 38% 29%
PB 7,5% 10,0% 15,2% 30,7% 30,0% 6,5%
PR 5% 11% 44% 40%
PR 1,8% 5,4% 8,6% 26,9% 51,9% 5,5%
PE 10% 14% 43% 32%
PE 3,1% 6,9% 14,6% 34,8% 35,2% 5,4%
PI 13% 17% 40% 31%
PI 10,2% 8,9% 10,6% 34,8% 32,2% 3,3%
RJ 17% 18% 36% 29%
RJ 4,4% 8,5% 22,5% 43,0% 21,1% 0,4%
RN 15% 21% 36% 28%
RN 6,0% 12,6% 17,6% 37,5% 22,9% 3,4%
RS 12% 12% 44% 32%
RS 4,7% 8,5% 10,2% 32,3% 40,7% 3,6%
RO 15% 19% 37% 29%
RO 4,2% 9,0% 20,8% 37,2% 26,5% 2,2%
RR 7% 15% 43% 35%
RR 2,2% 5,5% 14,3% 45,7% 29,9% 2,4%
SC 7% 9% 42% 42%
SC 1,9% 5,0% 9,3% 25,2% 55,1% 3,4%
SP 4% 5% 46% 45%
SP 0,4% 1,7% 6,5% 32,7% 58,5% 0,2%
SE 17% 22% 35% 25%
SE 12,0% 14,0% 13,3% 31,3% 27,1% 2,3%
TO 10% 14% 42% 33%
TO 3,9% 8,0% 12,2% 37,1% 35,8% 2,9%
Notas:
1. EF: Ensino Fundamental; EM: Ensino Mdio.
2. Devido aos arredondamentos, os totais podero divergir da soma das parcelas.
Fonte: OCDE, INEP.
2
Aproximadamente 22% dos jovens brasileiros elegveis no PISA estavam ainda no Ensino Fundamental em 2015, 9,5%
deles do sexo feminino e 12,8% do masculino. Bahia a unidade da Federao com maior nmero de estudantes
nessa etapa (44,2%), e Mato Grosso, com menor (7,0%).
O perfil tpico de um estudante brasileiro no PISA 2015 do sexo feminino (51,5%), matriculado no Ensino Mdio
(77,7%) de uma rede de ensino estadual (73,8%) localizada em rea urbana (95,4%) e no interior (76,7%). A Figura 2.10
apresenta o quantitativo de escolas e estudantes representados na amostra de 2015 por essas categorias.
Figura 2.10
Quantitativo e percentual de escolas e estudantes da amostra e o ponderado
por dependncia administrativa, localizao e rea PISA 2015
Amostra efetiva Ponderado1
Variveis Categorias
Escolas Estudantes Estudantes Percentual
Federal 13 442 38.470 1,60%
Dependncia Estadual 569 17.500 1.789.892 73,80%
administrativa Municipal 156 2.280 275.714 11,40%
Privada 103 2.919 321.884 13,30%
Urbana 778 22.201 2.314.532 95,40%
Localizao
Rural2 63 940 111.429 4,60%
Capital 239 6.905 564.153 23,30%
rea
Interior 602 16.236 1.861.808 76,70%
Notas:
1. Correspondncia dos estudantes da amostra na representatividade nacional dos estudantes elegveis do PISA.
2. Escolas rurais do Norte no foram contempladas no delineamento amostral do PISA.
Fonte: OCDE, INEP.
3
A avaliao de cincias
no PISA 2015
3
a Avaliao de cincias no PISA 2015
3.1 Aspectos gerais

A compreenso de cincia e tecnologia fundamental na formao de um jovem para a vida na sociedade moderna.
Nesse esprito, pela segunda vez, desde a primeira edio, em 2000, o domnio cincias o foco da avaliao do PISA.
Neste captulo, explora-se em detalhe a matriz de referncia de cincias do PISA 2015 com base na traduo dos docu-
mentos oficiais da OCDE. Enquanto nas sees 3.2 e 3.3 discutem-se os aspectos do construto avaliado nesse domnio,
apresentando a definio de letramento cientfico, as competncias, os conhecimentos e os contextos determinados na
matriz de referncia (OCDE, 2016), a Seo 3.4 aborda a composio do teste cognitivo aplicado em 2015, mostrando
a distribuio dos itens nas competncias, conhecimentos, sistemas e formatos de resposta. A Seo 3.5, por sua vez,
trata da escala de proficincia, com a definio dos nveis construdos segundo os testes aplicados.
Alm de fornecer informaes sobre a avaliao de cincias do PISA que possam atender tanto os leitores que j a
conhecem como aqueles que tomam o primeiro contato com ela, este captulo apresenta os resultados de desempenho
dos estudantes brasileiros com foco no nvel de dificuldade dos itens aplicados no teste, indicando os pontos fortes e
fracos dos alunos (Seo 3.6). So oferecidos, ainda, alguns exemplos de itens aplicados em 2015, acompanhados de
comentrios pedaggicos embasados em informaes estatsticas geradas com base no desempenho dos estudantes.
Por fim, na Seo 3.7, apresentam-se os resultados nacionais na escala contnua e interpretada do PISA 2015, contrastan-
do com o desempenho da mesma coorte de estudantes de 15 anos em 13 pases selecionados, bem como o panorama
das 27 unidades da Federao.
3.2 Como o letramento cientfico definido no PISA?

Segundo o PISA, tornar-se letrado cientificamente envolve a ideia de que os propsitos da educao na cincia devem ser
amplos e aplicados; portanto, o conceito de letramento cientfico se refere tanto ao conhecimento da cincia como ao
da tecnologia pautada na cincia. A cincia e a tecnologia diferem em seus propsitos, processos e produtos: enquanto
a tecnologia visa solues timas para problemas humanos, a cincia busca a resposta para questes especficas sobre
o mundo natural. Contudo, ambas esto intimamente relacionadas.
O letramento cientfico requer no apenas o conhecimento de conceitos e teorias da cincia, mas tambm o dos pro-
cedimentos e prticas comuns associados investigao cientfica e de como eles possibilitam o avano da cincia.
Assim, indivduos cientificamente letrados tm o conhecimento das principais concepes e ideias que formam a base
do pensamento cientfico e tecnolgico, de como tal conhecimento obtido e justificado por evidncias ou explicaes
tericas. Portanto, define-se o letramento cientfico em termos da capacidade de uso do conhecimento e da informao
de maneira interativa.
Nos ciclos de 2000 e de 2003 do PISA, o letramento cientfico foi descrito como a capacidade de usar o conhecimento
cientfico para identificar questes e tirar concluses baseadas em evidncias, a fim de compreender e ajudar a tomar
decises sobre o mundo natural e as mudanas feitas a ele por meio da atividade humana (OCDE, 2000, 2003).
Em 2006, primeiro ciclo no qual o domnio cincias foi o foco do estudo, desdobrou-se o termo conhecimento cient-
fico em dois componentes: conhecimento de cincias e conhecimento sobre cincias (OCDE, 2006). Nesse ciclo,
reforou-se o conceito com a adio do conhecimento da relao entre cincia e tecnologia aspecto que havia sido
assumido na descrio de 2003, embora no incorporado explicitamente a ela.
A definio de letramento cientfico praticamente no mudou nos ciclos de 2009 e 2012, mas em 2015, novo ciclo no
qual o domnio cincias aparece no foco do estudo, sofreu algumas alteraes que representam a evoluo das ideias
apresentadas nos ciclos anteriores (Figura 3.1). A principal diferena que a noo de conhecimento sobre cincias
foi explicitada com base em sua diviso em dois componentes: conhecimento procedimental e conhecimento epis-
temolgico.
As competncias e conhecimentos so avaliados em contextos especficos que buscam evidenciar a utilizao bem-suce-
dida das trs competncias requeridas para o letramento cientfico. Alm disso, a perspectiva centrada em competncias
reconhece que h um elemento afetivo para que o estudante as mostre. Esse elemento representado por suas atitudes
ou disposio para a cincia.
3
Para o ciclo de 2015, houve tambm uma pequena alterao em relao aos contextos, que passaram de pessoal, social
e global (utilizados nos ciclos de 2006 a 2012) para pessoal, local/nacional e global, com a finalidade de tornar os
ttulos mais coerentes.
Os aspectos atitudinais dos estudantes diante das questes cientficas, no ciclo de 2006, estavam incorporados matriz e
foram medidos por meio do questionrio do estudante e de itens includos no teste cognitivo. Em 2015, tal mensurao
se deu apenas por meio do questionrio do estudante.
Essa viso do letramento cientfico constituiu a base para a avaliao internacional de jovens de 15 anos em 2015 e pode
ser resumida na seguinte pergunta: O que importante que os jovens saibam, valorizem e sejam capazes de realizar
em situaes que envolvem a cincia e tecnologia?.
Figura 3.1
A definio de letramento cientfico PISA 2015
Letramento cientfico a capacidade de se envolver com as questes relacionadas com a cincia e com a ideia da
cincia, como cidado reflexivo. Uma pessoa letrada cientificamente, portanto, est disposta a participar de discusso
fundamentada sobre cincia e tecnologia, o que exige as competncias para:
1. explicar fenmenos cientificamente: reconhecer, oferecer e avaliar explicaes para fenmenos naturais e
tecnolgicos;
2. avaliar e planejar investigaes cientficas: descrever e avaliar investigaes cientficas e propor formas de
abordar questes cientificamente;
3. interpretar dados e evidncias cientificamente: analisar e avaliar os dados, afirmaes e argumentos, tirando
concluses cientficas apropriadas.
Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy.
3.3 Como o letramento cientfico foi avaliado no PISA 2015?

Para fins da avaliao, o letramento cientfico no PISA 2015 caracteriza-se como constitudo de quatro componentes (ou
dimenses) inter-relacionados, conforme mostrado na Figura 3.2.
Figura 3.2
As inter-relaes entre as dimenses do letramento cientfico PISA 2015
Competncias
Exigem que
Contextos Explicar
fenmenos
os indivduos A demonstrao das
cientificamente competncias dependem de
Pessoal demonstrem
Avaliar
e planejar
Local/nacional
experimentos cientficos
Global
Interpretar
dados e
evidncias cientificamente
Atitudes Conhecimentos
Interesse Conceitos/contedos
Valorizaoda (de cincias)

investigao cientfica Procedimentale
Responsabilidade epistemolgico (sobre
ambiental cincias)
3
Os componentes (ou dimenses) do construto
As competncias
Explicar fenmenos cientificamente

A competncia para explicar fenmenos cientficos e tecnolgicos depende do conhecimento das ideias explicativas
da cincia (Figura 3.3a). Entretanto, requer mais do que a capacidade de recordar e usar teorias, informaes e fatos
(conhecimento de contedo). Fornecer explicao cientfica tambm exige a compreenso de como esse conhecimento
foi derivado e do nvel de confiana que se pode assegurar a quaisquer afirmaes cientficas. Portanto, necessrio
saber as formas e procedimentos-padro utilizados na investigao cientfica para obter tal conhecimento (conhecimento
procedimental) e compreender seu papel e funo para justificar o conhecimento produzido pela cincia (conhecimento
epistemolgico).
Figura 3.3a
As competncias do PISA 2015 Explicar fenmenos cientificamente
Reconhecer, oferecer e avaliar explicaes para fenmenos naturais e tecnolgicos, demonstrando capacidade de:
lembrar e aplicar conhecimento cientfico apropriado;

identificar, utilizar e gerar modelos explicativos e representaes;
fazer e justificar previses apropriadas;
oferecer hipteses explicativas;
explicar as implicaes potenciais do conhecimento cientfico para a sociedade.
Avaliar e planejar investigaes cientficas

O letramento cientfico implica que os sujeitos tenham algum entendimento sobre o objetivo da investigao cient-
fica de gerar conhecimento confivel sobre o mundo natural (Ziman, 1979, apud OCDE, 2016). Os dados coletados
e obtidos por observao e experimentao, seja em laboratrio, seja em campo, propiciam o desenvolvimento de
modelos e hipteses explicativos que permitem fazer previses que podem ser testadas experimentalmente. Novas
ideias so comumente construdas com base em conhecimento prvio. Os prprios cientistas raras vezes trabalham
isolados; ao contrrio, so em geral membros de grupos de pesquisa ou equipes que se dedicam extensa colabora-
o com colegas, tanto nacional como internacionalmente. Novas alegaes de conhecimento so sempre percebidas
como provisrias e podem no ter justificativa quando submetidas reviso por pares crticos mecanismo que a
comunidade cientfica tem estabelecido para assegurar a objetividade do conhecimento cientfico (Longino, 1990,
apud OCDE, 2016). Com isso, os cientistas tm o compromisso de publicar ou relatar suas descobertas e os mtodos
utilizados na obteno das evidncias. Tal ao permite que se realizem estudos empricos para confirmar ou rejeitar
os resultados. Medidas, entretanto, no so absolutamente precisas; todas elas contm algum grau de erro. Grande
parte do trabalho do cientista experimental , portanto, dedicado resoluo de incertezas, repetindo as medies,
coletando amostras maiores, construindo instrumentos mais precisos e usando tcnicas estatsticas para avaliar o grau
de confiana de qualquer resultado.
A cincia tem procedimentos estabelecidos. Por exemplo, o uso de controles base do argumento lgico para estabe-
lecer causa e efeito, permitindo ao cientista justificar que qualquer alterao na percepo de um resultado pode ser
atribuda mudana de uma caracterstica especfica. A no utilizao de tais tcnicas leva a resultados cujos efeitos
so confundidos e podem no ser confiveis. Da mesma forma, estudos duplamente cegos possibilitam aos cientistas
afirmar que os resultados no foram influenciados nem pelos sujeitos do experimento nem pelo experimentador. Al-
guns cientistas, como taxonomistas e eclogos, esto envolvidos no processo de identificao de padres e interaes
no mundo natural em busca de explicaes. Em outros casos, como a evoluo, as placas tectnicas ou as alteraes
climticas, a cincia se fundamenta em argumentos que so uma inferncia da melhor explicao, analisando diversas
hipteses e eliminando aquelas que no se ajustam s evidncias.
3
Essa competncia se baseia no conhecimento de contedo, no dos procedimentos comuns usados na cincia (conhe-
cimento procedimental) e no da funo desses procedimentos para justificar quaisquer alegaes desenvolvidas pela
cincia (conhecimento epistemolgico). Os conhecimentos procedimental e epistemolgico servem para avaliar as
investigaes cientficas a fim de decidir se os procedimentos adequados foram seguidos e se as concluses so justifi-
cadas. Alm disso, as pessoas que tm esse conhecimento devem ser capazes de propor, pelo menos em termos gerais,
como uma questo cientfica pode ser investigada de maneira adequada (Figura 3.3b).
Figura 3.3b
As competncias do PISA 2015 Avaliar e planejar experimentos cientficos
Descrever e avaliar investigaes cientficas e propor meios para responder cientificamente a questes, demonstrando
capacidade de:
identificar a questo explorada em dado estudo cientfico;

diferenciar questes possveis de investigar cientificamente;
propor formas de explorar dada questo cientificamente;
avaliar formas de explorar dada questo cientificamente;
descrever e avaliar os vrios caminhos que os cientistas usam para assegurar a confiabilidade dos dados e a obje-
tividade e generalizao das explicaes.
Interpretar dados e evidncias cientificamente

A interpretao de dados uma atividade to central para todos os cientistas que alguma compreenso (mesmo que
rudimentar) do processo essencial para o letramento cientfico. Ela comea com a procura de padres, construo
de tabelas simples e visualizaes grficas. Em um nvel mais elevado, exige a utilizao de conjuntos de dados
mais complexos e de ferramentas analticas oferecidas por planilhas e pacotes estatsticos. Seria um erro, no entanto,
conceber essa competncia meramente como uma habilidade. Um corpo substancial de conhecimentos necess-
rio para reconhecer o que constitui uma prova de confiana e validade e saber como apresentar os dados de modo
adequado. Os cientistas fazem escolhas sobre como representar os dados em grficos, tabelas ou, cada vez mais,
simulaes complexas ou visualizaes 3D. Quaisquer relaes ou padres tm, ento, de ser lidos com base no
conhecimento dos padres considerados normais. Tambm se deve levar em conta se a incerteza minimizada por
meio de tcnicas estatsticas padronizadas. Tudo isso se baseia em um corpo de conhecimento procedimental. Assim,
espera-se que o indivduo cientificamente letrado entenda que a incerteza uma caracterstica inerente a todas as
medies e que um dos critrios de confiabilidade de um resultado expresso em funo da probabilidade de que
ele possa ter ocorrido por acaso.
No suficiente, contudo, entender os procedimentos que foram aplicados para obter qualquer conjunto de dados. O
indivduo letrado cientificamente precisa ser capaz de julgar se eles so apropriados e se as alegaes que se seguiram
so justificadas (conhecimento epistemolgico). Por exemplo, muitos conjuntos de dados podem ser interpretados de
vrias maneiras. Argumentao e crtica so, portanto, essenciais para determinar qual a concluso mais adequada.
Quer se trate de novas teorias, quer de novas formas de coleta de dados, quer de novas interpretaes de dados antigos,
a argumentao o meio que os cientistas e tecnlogos usam para defender novas ideias. O desacordo entre os cientistas
normal, no extraordinrio. A escolha da melhor interpretao requer conhecimento de cincias (conhecimento de
contedo) e capacidade crtica. O indivduo cientificamente letrado tem de entender a funo e a finalidade do argu-
mento e da crtica e por que so essenciais para a construo do conhecimento. Alm disso, deve ter a competncia
tanto para construir argumentos que sejam justificados por dados como para identificar eventuais falhas nos argumentos
dos outros (Figura 3.3c).
3
Figura 3.3c
As competncias do PISA 2015 Interpretar dados e evidncias cientificamente
Analisar e avaliar dados, suposies e argumentos em representaes variadas e tecer concluses cientficas apro-
priadas ao contexto, demonstrando capacidade de:
transformar dados de uma representao para outra;

analisar e interpretar dados e tirar concluses apropriadas;
identificar as premissas, evidncias e argumentos em textos relacionados s cincias;
distinguir entre argumentos, quais so baseados em evidncia cientfica e quais so baseados em outras consideraes;
avaliar argumentos cientficos e evidncias de diferentes fontes (por exemplo: jornais, internet, revistas cientficas).
O conhecimento cientfico
As trs competncias requeridas para o letramento cientfico exigem trs formas de conhecimento:
Conhecimento de contedo
Refere-se ao conhecimento dos fatos, conceitos, ideias e teorias sobre o mundo natural estabelecido pela cincia por
exemplo, de que modo os vegetais sintetizam molculas complexas usando luz e dixido de carbono. Para efeitos da
avaliao do PISA, as competncias so testadas usando o conhecimento que se pode esperar de estudantes de 15 anos.
Assim, o conhecimento de contedo foi selecionado com base nos principais campos da fsica, qumica, biologia, cincias
da Terra e do espao (Figura 3.4), de acordo com duas premissas: ter relevncia em situaes da vida real e representar
um conceito ou uma teoria duradoura.
O uso do termo sistemas em vez de cincias nos descritores do conhecimento de contedo tem a inteno de
reforar a ideia da necessidade de compreender que os conceitos das cincias fsicas, da vida, da Terra e do espao,
bem como sua aplicao, so interdependentes ou interdisciplinares. Ademais, assuntos tratados como subsistemas em
determinada escala podem ser considerados sistemas inteiros em escala menor. Por exemplo, o sistema circulatrio
pode ser visto como uma entidade em si ou como um subsistema do corpo humano; uma molcula pode ser estudada
como uma configurao estvel de tomos, mas tambm como um subsistema de uma clula ou de um gs. Assim, a
aplicao de conhecimentos cientficos e a implantao de competncias cientficas requerem a considerao de qual
sistema e quais limites se aplicam em qualquer contexto particular.
Figura 3.4
O conhecimento no PISA 2015 Os sistemas do conhecimento de contedo
Contedo dos sistemas fsicos
Estrutura da matria (modelo de partculas, ligaes)
Propriedades da matria (mudanas de estado, condutividade trmica e eltrica)
Mudanas qumicas da matria (reaes qumicas, transferncia de energia, cidos/bases)
Movimento e foras (velocidade, frico) e ao em distncia (magnetismo, gravitao e foras eletrostticas)
Energia e transformao (conservao, dissipao, reaes qumicas)
Interaes entre energia e matria (ondas sonoras e luminosas, som e ondas ssmicas)
Contedo dos sistemas vivos
Clulas (estrutura e funo, DNA)
Conceito de organismo (unicelular e pluricelular)
Seres humanos (sade, nutrio, subsistemas digestrio, respiratrio, excretor, reprodutivo e suas relaes)
Populaes (espcies, diversidade, variabilidade, evoluo)
Ecossistemas (cadeias e teias alimentares, fluxo de matria e energia)
Biosfera (sustentabilidade)
3

O conhecimento no PISA 2015 Os sistemas do conhecimento de contedo
Contedo do sistema Terra e espao
Estruturas do sistema Terra (litosfera, hidrosfera, atmosfera)

Energia no sistema Terra (fontes, clima global)
Mudanas no sistema Terra (placas tectnicas, ciclos geoqumicos, foras construtivas e destrutivas)
Histria da Terra (origem e evoluo, fsseis)
Terra no espao (gravidade, Sistema Solar e galxias)
Histria e escala do Universo (ano-luz, teoria do Big Bang)
Conhecimento procedimental
Um objetivo fundamental da cincia gerar explicaes sobre o mundo material, e as tentativas de explicaes so, primei-
ro, desenvolvidas para, em seguida, serem testadas por meio de pesquisa emprica. Esta depende de certos conceitos esta-
belecidos, como a noo de variveis dependentes e independentes, o controle de variveis, tipos de medio, formas de
erro, mtodos para a reduo do erro, padres comuns observados e mtodos de apresentao de dados. Esse conhecimento
dos conceitos e procedimentos essencial para a investigao cientfica, pois sustenta a coleta, anlise e interpretao
de dados. Tais ideias formam um corpo de conhecimento procedimental, tambm chamado de conceitos de evidncias
(OCDE 2016, Frameworks). Pode-se definir conhecimento procedimental como o conhecimento dos procedimentos-
padro que os cientistas usam para obter dados confiveis e vlidos. Tal conhecimento necessrio tanto para realizar
investigao cientfica e se envolver em reviso crtica da evidncia como para apoiar alegaes cientficas especficas.
Espera-se, por exemplo, que o estudante saiba que o conhecimento cientfico tem diferentes graus de confiana asso-
ciados e que possa explicar por que h diferena entre a confiana associada s medies da velocidade da luz (feitas
com instrumentos cada vez mais precisos) e aquela relacionada com medidas de populaes de tartarugas marinhas
no litoral do oceano Atlntico e araras-azuis na regio amaznica. Os exemplos listados na Figura 3.5 transmitem as
caractersticas gerais do conhecimento procedimental que podem ser testadas.
Figura 3.5
O conhecimento procedimental PISA 2015
Conceitos de variveis dependentes e independentes

Conceitos de medidas: qualitativas e quantitativas, escalas, variveis contnuas e discretas
Formas de avaliar e minimizar incertezas: repeties, medidas mdias
Mecanismos para gerar replicao
Ferramentas de representao de dados: grficos, tabelas, mapas, histogramas
Controle de variveis: desenho experimental, randomizao
Natureza de desenhos especficos: observao, busca de padres, experimentao
Conhecimento epistemolgico
Trata-se de um conhecimento que define as caractersticas essenciais para o processo de construo do conhecimento
cientfico. Pessoas que o tm podem explicar, com exemplos, a distino entre uma teoria cientfica e uma hiptese
ou entre um fato cientfico e uma observao. Sabem que a construo de modelos, sejam eles diretamente represen-
tativos, abstratos ou matemticos, uma caracterstica fundamental da cincia e que tais modelos so semelhantes
aos mapas e no imagens precisas do mundo material. Elas devem, por exemplo, reconhecer que qualquer modelo
de partculas da matria uma representao idealizada da matria e conseguir explicar como o modelo de Bohr
um modelo limitado do que se sabe sobre o tomo e suas partes constituintes. Elas depreendem que a concepo
de teoria usada na cincia no o mesmo que a noo de uma teoria na linguagem cotidiana, em que empre-
gada como sinnimo de palpite ou chute. Assim, considerando que necessrio conhecimento procedimental
3
para explicar o que se entende por estratgia de controle de variveis, a capacidade de explicar por que o uso dessa
estratgia fundamental para a implantao do conhecimento na cincia traduz o que se define por conhecimento
epistemolgico (Figura 3.6).
Indivduos letrados cientificamente devem compreender, ainda, que os cientistas extraem dados para comprovar as
alegaes ao conhecimento e que o argumento uma caracterstica usual da cincia. Em particular, precisam saber
que alguns argumentos da cincia so hipottico-dedutivos (por exemplo, o argumento de Coprnico para o sistema
heliocntrico), outros, indutivos (como a conservao de energia), e alguns, inferncias para a melhor explicao
(Teoria da Evoluo de Darwin ou argumento de Wegener para continentes em movimento). Tambm entendem o
papel e a importncia da reviso pelos pares como o mecanismo que a comunidade cientfica tem estabelecido para
testar as declaraes de novos conhecimentos. Como tal, o conhecimento epistemolgico fornece uma base racional
para os processos e prticas aos quais os cientistas se dedicam, um conhecimento das estruturas e caractersticas
definidoras que orientam a investigao cientfica e a base para a crena nos postulados que a cincia faz a respeito
do mundo natural.
Figura 3.6
O conhecimento epistemolgico PISA 2015
Os construtos e recursos da cincia:
Natureza das observaes cientficas, fatos, hipteses, modelos e teorias

Propsitos e objetivos das observaes cientficas: produo de explicaes do mundo natural, produo de solu-
es para as necessidades humanas (tecnologia)
Valores da cincia: compromisso, objetividade, eliminao de vis
Natureza do raciocnio cientfico: deduo, induo, inferncia, analogias e uso de modelos
O papel dos construtos e recursos para justificar a produo do conhecimento cientfico:
Como afirmaes cientficas so apoiadas por dados e raciocnio na cincia

Funo das diferentes formas de investigao para produo de conhecimentos
Como as medidas de erro afetam o grau de confiabilidade do conhecimento cientfico
Uso e limites de uso dos modelos fsicos, sistmicos e abstratos
Papel dos pares no estabelecimento de confiabilidade nas comunidades cientficas
Papel do conhecimento cientfico e de outras formas de conhecimento na identificao de questes sociais e
tecnolgicas
Contextos
As competncias e conhecimentos so avaliados em contextos especficos, selecionados de acordo com o conhecimento
e compreenso condizentes com a faixa etria dos estudantes, ou seja, 15 anos de idade. Os contextos buscam evidenciar
a utilizao bem-sucedida das trs competncias do letramento cientfico em situaes que refletem contextos pessoais,
locais, nacionais e globais (Figura 3.7). Portanto, os itens no so limitados aos contextos escolares, mas, ao contrrio,
evidenciam situaes relacionadas com o indivduo, famlia e grupos de amigos (pessoais), com a comunidade (local e
nacional) e com a vida em todo o mundo (global).
Figura 3.7
Os contextos para o letramento cientfico PISA 2015
Pessoal Local/nacional Global
Manuteno da sade, Controle de doenas, transmisso, Epidemias, propagao
Sade e doena acidentes, nutrio escolhas alimentares e sade de doenas infecciosas
da comunidade
3

Os contextos para o letramento cientfico PISA 2015
Pessoal Local/nacional Global
Consumo individual de material Manuteno das populaes Sistemas naturais renovveis
e energia humanas, qualidade de vida, e no renovveis, crescimento
Recursos naturais segurana, produo e distribuio populacional, uso sustentvel
de alimentos, suprimento de energia de espcies
Aes ambientalmente Distribuio da populao, descarte Biodiversidade, sustentabilidade

amigveis, uso e descarte de lixo e impacto ambiental ecolgica, controle da poluio,
Qualidade ambiental
de materiais e dispositivos produo e perda de solo/
biomassa
Avaliao de riscos e Mudanas rpidas (por exemplo: Mudanas climticas, impactos
escolha de estilo de vida terremotos, clima severo), mudanas da comunicao moderna
Riscos lentas e progressivas (por exemplo:
eroso de encostas, sedimentao),
avaliao de riscos
Aspectos cientficos de Novos materiais, dispositivos e Extino de espcies, explorao
Fronteira entre passatempos, tecnologia processos, modificaes genticas, do espao, origem e estrutura
cincia e tecnologia pessoal, msica e atividades tecnologias da sade e dos do Universo
esportivas transportes
Atitudes
As atitudes de uma pessoa em relao s cincias desempenham um papel significativo em seu interesse, ateno e
respostas cincia e tecnologia e a outras questes. Um dos objetivos do ensino de cincias desenvolver atitudes
que levem os estudantes a se envolver com questes cientficas. O letramento cientfico inclui certas atitudes, crenas,
orientaes motivacionais, autoeficcia e valores.
No PISA 2015, as atitudes dos estudantes em relao s cincias foram avaliadas em trs reas o interesse em cincia
e tecnologia, a conscincia ambiental e a valorizao da abordagem cientfica na pesquisa (Figura 3.8) consideradas
fundamentais para a construo do letramento cientfico. Essas reas foram selecionadas porque uma atitude positiva
em relao cincia, a preocupao com o meio ambiente e com a sustentabilidade, bem como a disposio de va-
lorizar a abordagem cientfica na pesquisa, so caractersticas de um indivduo cientificamente letrado. Assim, o grau
em que cada estudantes se interessa ou no por cincia e reconhece seu valor e suas implicaes considerado uma
importante medida do resultado da escolaridade obrigatria. Em 2006, em 52 dos pases participantes (incluindo todos
os da OCDE), os alunos com maior interesse geral em cincias tiveram melhor desempenho na avaliao desse domnio
(OCDE, 2007, p. 143).
No PISA 2015, essas atitudes especficas em relao s cincias foram medidas por meio do questionrio do estudante.
A Figura 3.8 fornece os detalhes dos subconstrutos especficos de cada atitude medida.
Figura 3.8
As reas para a avaliao de atitudes e interesse em cincias PISA 2015
Essa uma atitude indicada por:

curiosidade em cincias e assuntos relacionados com a cincias;
desejo de adquirir conhecimentos e habilidades adicionais em cincias, utilizando recursos e mtodos variados;
interesse crescente em cincias, incluindo a considerao de seguir uma carreira cientfica.
Essa dimenso de interesse em cincia ser medida por meio dos seguintes construtos:
Interesse em aprender cincias: uma medida de quanto os alunos se interessam por aprender sobre a fsica, a biologia
humana, a geologia e os processos e produtos da investigao cientfica.
3

As reas para a avaliao de atitudes e interesse em cincias PISA 2015
Satisfao com cincias: uma medida de quanto os estudantes gostam de aprender sobre cincias, tanto dentro como
fora da escola.
Futuro orientado para atividades em cincias: uma medida do nvel de desejo dos alunos em seguir carreira cientfica
ou estudar cincias depois da escola.
Motivao instrumental para aprender cincias: uma medida de quanto da motivao dos estudantes para aprender
sobre cincias est extrinsecamente relacionada com as oportunidades de emprego nessa rea.
Valor geral das cincias: uma medida do grau de prestgio que os alunos do a uma gama de diferentes carreiras,
incluindo as cientficas.
Autoeficcia em cincias: uma medida de quo capazes os estudantes se percebem com relao s cincias.
Prestgio ocupacional de carreiras especficas: uma medida do valor que os alunos do para a cincia como ocu-
pao para si.
Uso da tecnologia: uma medida de como os estudantes utilizam as novas tecnologias.
Experincias em cincia fora da escola: uma medida das atividades extracurriculares de cincias com as quais os
alunos se envolvem.
Aspiraes de carreira: uma ampla medida da disposio que os estudantes tm para as carreiras cientficas.
Preparao da escola para a carreira em cincia: uma medida de quo bem os alunos se sentem com relao
educao cientfica formal fornecida por sua escola, ou seja, dos conhecimentos e habilidades recebidos para uma
carreira cientfica.
Informao que os estudantes tm sobre as carreiras em cincias: uma medida de quo bem informados os alunos
se sentem sobre as possveis carreiras cientficas.
Valorizao das abordagens cientficas na pesquisa
compromisso com o fato de que a evidncia a base da crena para as explicaes sobre o mundo material;
compromisso com o enfoque na pesquisa cientfica, quando for o caso;
valorizao da crtica como um meio de estabelecer a validade de qualquer ideia.
Conscincia ambiental

preocupao com o meio ambiente e a vida sustentvel;
disposio em assumir e promover comportamentos ambientalmente sustentveis.
Esses elementos de conscientizao ambiental so medidos por meio dos seguintes construtos:
Sensibilizao para as questes ambientais: uma medida de como os estudantes so informados sobre as questes
ambientais atuais.
Percepo das questes ambientais: uma medida de quanto os alunos se preocupam com questes ambientais.
Otimismo ambiental: uma medida da crena dos estudantes sobre a contribuio de suas aes ou de outros para a
manuteno e melhoria do ambiente.
3
3.4 Qual foi a estrutura da avaliao do letramento cientfico

no PISA 2015?
O teste de cincias
As provas do PISA so constitudas de unidades que apresentam um ttulo e o estmulo que abrange um conjunto de
questes (itens) associadas. A avaliao de 2015 foi inteiramente aplicada em computador, e os novos itens de cincias,
construdos no formato eletrnico, possibilitando a elaborao de unidades interativas com estmulos na forma de vdeos
animados e algumas simulaes, alm das unidades-padro (material esttico como textos, figuras, grficos, tabelas etc.).
A fim de criar uma avaliao equilibrada que cobrisse toda a matriz, as tarefas usadas para avaliar o desempenho dos
estudantes foram delineadas com base em duas categorias/dimenses adicionais: formato de resposta e demanda cogni-
tiva, conforme mostrado na Figura 3.9. Competncias cientficas, Tipos de conhecimento e Sistemas de contedo
so categorias de referncia, ou seja, permitem a comparao do desempenho do estudante em subcategorias por meio
do uso de subescalas.
Figura 3.9
Categorias que descrevem os itens formulados para a avaliao em cincias PISA 2015
Outras categorias que asseguram
Categorias de referncia
uma avaliao balanceada
Competncias Tipos de Sistemas de Formatos de Demanda
Contextos
cientficas conhecimento contedo resposta cognitiva
Explicar fenmenos Mltipla escolha

Contedo Sistemas fsicos Baixa Pessoal
cientificamente simples
Avaliar e planejar
Mltipla escolha
experimentos Procedimental1 Sistemas vivos Mdia Local/nacional
complexa
cientficos
Interpretar dados
Sistema
e evidncias Epistemolgico1 Resposta construda Alta Global
Terra e espao
cientificamente
Nota:
1. Embora distintas do ponto de vista terico, as categorias de conhecimento procedimental e epistemolgico formam uma nica categoria de referncia.
Fonte: OCDE (2016b), PISA 2015 Results (Volume I): Excellence and Equity in Education, OCDE Publishing, Paris.
O uso do computador gerou novas possibilidades de respostas, entre elas a seleo de textos em uma lista para completar
uma frase e o movimento de elementos grficos na tela para preencher lacunas ou orden-los. Alm disso, em 2015,
alguns itens demandaram a execuo de tarefas interativas para chegar resposta, como a manipulao de variveis em
uma pesquisa cientfica simulada. Os formatos de resposta s tarefas propostas pelos itens do PISA foram:
Mltipla escolha simples: seleo de uma nica alternativa de quatro dadas; seleo de um elemento dentro de um
grfico ou texto.
Mltipla escolha complexa: sries de perguntas do tipo Sim ou No; seleo de mais de uma opo de uma lista
predefinida (menu suspenso) para completar; movimento de elementos de texto ou grficos na tela (arrastar e colar)
para completar uma tarefa, ordenar ou categorizar; seleo de dados gerados em simulaes.
Respostas construdas ou abertas: itens que solicitam a elaborao de resposta escrita curta (uma frase ou pargrafo)
ou desenho (grfico ou diagrama).
Em 2015, o teste de letramento cientfico teve seis blocos de itens comuns (j aplicados em ciclos anteriores) e seis de
itens novos (construdos para aplicao no ciclo de 2015). A distribuio dos itens segundo o formato e dimenses do
construto pode ser conferida na Figura 3.10. Foram 184 itens, dos quais 85 comuns e 99 novos.
3
Figura 3.10
Distribuio dos itens no instrumento cognitivo de letramento cientfico,
segundo as dimenses do construto e o formato PISA 2015
Dimenso Nmero de itens Formato dos itens
Mltipla escolha Mltipla escolha Resposta
Competncia Comuns Novos Total Total
simples complexa aberta
Explicar fenmenos
41 47 88 30 26 32 88
cientificamente
Avaliar e planejar
16 23 39 8 16 15 39
experimentos cientficos
Interpretar dados
28 29 57 16 24 17 57
e evidncias cientificamente
Total 85 99 184 54 66 64 184
Conhecimento de contedo 51 47 98 33 34 31 98
Sistemas fsicos 20 18 38 16 10 12 38
Sistemas vivos 19 15 34 12 10 12 34
Sistema Terra e espao 12 14 26 5 14 7 26
Conhecimento
24 36 60 21 19 20 60
procedimental
Conhecimento
10 16 26 00 13 13 26
epistemolgico
Total 85 99 184 54 66 64 184
Contexto
Global 16 38 54 54
Local/nacional 59 50 109 109
Pessoal 10 11 21 21
Total 85 99 184 54 66 64 184
Fonte: OCDE, INEP.
Os itens foram tambm classificados em nveis de demanda cognitiva (ou profundidade de conhecimento), que se
refere ao tipo de processo mental necessrio resoluo do item. A demanda cognitiva determina o nvel de dificuldade
de um item, mais do que o formato da resposta e a familiaridade do estudante com o conhecimento cientfico latente.
influenciada por quatro fatores:
O nmero e o grau de complexidade dos elementos do conhecimento.

O nvel de familiaridade do estudante com o conhecimento (de contedo, procedimental e epistemolgico) envolvido.
A operao cognitiva exigida pelo item, como lembrar, analisar e/ou avaliar.
Em que medida a resoluo do item depende de modelos ou abstrao de ideias cientficas.
No PISA 2015, foram determinados trs nveis de demanda cognitiva:
Baixa: itens que exigem procedimentos em uma nica etapa, como recordar um fato, termo, princpio, conceito ou
localizao de uma nica informao em um grfico ou tabela.
Mdia: itens que exigem o uso e aplicao de conhecimento conceitual para descrever ou explicar fenmenos, a
seleo de procedimentos apropriados em duas ou mais etapas, a organizao/exibio de dados ou a interpretao
e uso de um conjunto de dados simples e de grficos.
Alta: itens que exigem a anlise de informao complexa ou de dados, a sntese ou avaliao de evidncias, justifica-
tivas e argumentos com base em vrias fontes ou o planejamento de estratgias para resolver um problema.
Dos 184 itens aplicados no teste de 2015, 56 foram classificados na categoria demanda cognitiva baixa, 113, na de
demanda cognitiva mdia, e 15, na de demanda cognitiva alta (Figura 3.11).
3
Figura 3.11
Distribuio dos itens no instrumento cognitivo de letramento cientfico,
segundo a demanda cognitiva requerida PISA 2015
Nmero de itens Formato dos itens
Demanda
Mltipla escolha Mltipla escolha Resposta
cognitiva Comuns Novos Total Total
simples complexa aberta
Baixa 30 26 56 24 22 10 56
Mdia 48 65 113 26 43 44 113
Alta 7 8 15 4 1 10 15
Total 85 99 184 54 66 64 184
Fonte: OCDE, INEP.
3.5 Como o letramento cientfico reportado no PISA?

O PISA 2015 fornece uma escala que se baseia em todas as questes de cincias da avaliao. Tambm apresenta escalas
para as trs competncias cientficas, as trs reas de conhecimento de contedo e as duas categorias de conhecimento
definidas anteriormente. A mtrica para a escala global de cincias toma como referncia a mdia dos pases da OCDE
de 500 pontos e o desvio-padro de 100 pontos, estabelecidos no PISA 2006, quando a escala de cincias foi desen-
volvida pela primeira vez. Os itens comuns a ambos os instrumentos de teste (2006 e 2015) permitem que se faa a
ligao entre as escalas.
Destaca-se, ainda, que o grande diferencial do PISA 2015 em relao s outras edies foi a aplicao da avaliao em
computador. A verso eletrnica em 2015 permitiu expandir o que o teste de cincias pode avaliar, em comparao
com as verses em papel anteriores. Por exemplo, no PISA 2015, foi possvel avaliar pela primeira vez, graas ao uso
de apresentaes interativas, a capacidade dos jovens de 15 anos na realizao de investigao cientfica, pedindo-
lhes que planejassem experimentos (simulados) e interpretassem as evidncias resultantes. Os resultados dessa edio
so diretamente comparveis com os das edies passadas. O quadro a seguir apresenta as justificativas tcnicas que
possibilitam tal comparao.
Os resultados do teste computadorizado de cincias do PISA 2015

podem ser comparados com os resultados das edies anteriores?
O PISA visa medir, em cada ponto no tempo, os conhecimentos e as habilidades necessrios para participar plenamente
da sociedade e da economia. Dado que esses conhecimentos e habilidades evoluem lentamente, a cada nove anos
o PISA revisita as matrizes de referncias e os instrumentos utilizados para medir os domnios de leitura, matemtica
e cincias. Essa reviso peridica dos domnios e instrumentos tambm oferece uma oportunidade para alinhar o
PISA com os novos desenvolvimentos em tcnicas de avaliao e com o mais recente entendimento dos processos
cognitivos subjacentes s proficincia em cada domnio.
A avaliao de 2015 coincidiu com a reviso do marco terico para cincias, sendo que o domnio principal contou
com o desenvolvimento de novos itens para capturar todos os aspectos dessa matriz atualizada. Os itens comuns (itens
de tendncia) utilizados no PISA 2006, 2009 e 2012 tambm foram revisados com base nesse novo delineamento.
Uma das principais diferenas com as avaliaes anteriores do domnio de cincias foi a aplicao dos itens do teste
em computador. A maioria dos pases/economias participantes do PISA 2015, incluindo todos os da OCDE, avaliou
os estudantes na verso eletrnica (ver Captulo 1, Figura 1.3). A fim de comparar os resultados desse teste com os
obtidos pelas coortes de estudantes que fizeram os testes do PISA em papel no passado, era necessrio estabelecer
primeiro a equivalncia dos instrumentos em papel e os baseados em computador (PISA 2015 Results, Volume I).
Os testes em papel e em computador do PISA esto ligados por itens comuns, todos eles desenvolvidos, inicialmente,
para os testes baseados em papel em ciclos anteriores da avaliao. O pr-teste do PISA 2015 analisou a equivalncia
dos itens comuns entre os testes em computador e os baseados em papel. Distinguiram-se dois nveis de equivalncia:
equivalncia escalar (forte) e equivalncia mtrica (fraca) (Davidov, Schmidt and Billet, 2011; Meredith, 1993, apud
OCDE, 2016b). Somente os itens que passaram nos testes de equivalncias foram retidos para o estudo principal de
2015, e, entre eles, a maioria (61 de 85 itens em cincias) atingiu o mais alto nvel de invarincia.
3
possvel a comparao dos escores do PISA 2015 com os dos ciclos passados, bem como a dos escores do PISA em
um pas com os de outro pas, graas ao grande nmero de itens comuns que atingem o mais alto nvel de equivalncia
(invarincia escalar). O Anexo AT do relatrio internacional, Volume I, e o Relatrio Tcnico do PISA 2015 (OCDE,
em desenvolvimento) fornecem detalhes sobre o nmero de itens invariantes escalares e sobre o estudo relativo ao
efeito do computador no contexto do pr-teste do PISA 2015.
A escala de cincias para o PISA 2015 foi dividida em sete nveis de proficincia, seis deles alinhados com os nveis
definidos em 2006 (ordenados do maior, nvel 6, para o menor, nvel 1a, anteriormente designado nvel 1). base da
escala, adicionou-se um novo nvel (1b), contemplando a descrio das tarefas mais fceis da avaliao, para indicar as
habilidades dos estudantes com desempenho abaixo do nvel 1a.
A descrio de cada nvel define os conhecimentos e habilidades necessrios para completar as tarefas e foi feita com
base nas demandas cognitivas exigidas. Os estudantes com proficincia no nvel 1b provavelmente conseguem resolver
as tarefas desse nvel, mas tm baixa probabilidade de completar as dos nveis superiores da escala. O nvel 6 inclui
as tarefas mais desafiadoras em termos de conhecimentos e habilidades. Os estudantes com valores de proficincia
localizados nesse nvel tm alta probabilidade de realizar as tarefas desse e dos outros nveis da escala (Figura 3.12).
Figura 3.12
Relao entre as questes e o desempenho dos estudantes em uma escala de proficincia
Escala de cincias
esperado que o estudante

Estudante A,
A acerte os itens I a V e
com proficincia
Item VI provavelmente o item VI
relativamente alta
tambm.
Itens com dificuldade
relativamente alta
Item V
esperado que o estudante

Estudante B, B acerte os itens I e II e
Item IV com proficincia provavelmente o item III,
Itens com dificuldade moderada mas no os itens V e VI e
moderada provavelmente no o item IV.
Item III
Item II
Itens com dificuldade
relativamente baixa Estudante C, esperado que o estudante
Item I com proficincia C no acerte os itens II a VI e
relativamente que provavelmente tambm
baixa no acerte o item I.
Fonte: OCDE (2016), PISA 2015 Results (Volume I): Excellence and Equity in Education.
A descrio dos nveis da escala de cincias foi atualizada para incluir as novas categorias definidas na matriz de 2015
e os novos itens desenvolvidos para essa edio.
3
A Figura 3.13 apresenta as competncias cientficas, conhecimentos e entendimentos exigidos nos nveis da escala de
letramento cientfico do PISA 2015, bem como o percentual de estudantes dos pases da OCDE e do Brasil em cada nvel.
Figura 3.13
Descrio resumida e percentual de estudantes nos sete nveis de proficincia em cincias PISA 2015
Percentual
Escore
Nvel de estudantes Caractersticas das tarefas
mnimo
no nvel
No nvel 6, os estudantes podem recorrer a uma srie de ideias e conceitos cientficos interligados
de fsica, cincias da vida, Terra e espao e usar conhecimentos de contedo, procedimental e
epistemolgico para formular hipteses explicativas para novos fenmenos cientficos, eventos
OCDE: 1,06% e processos ou para fazer suposies. Ao interpretar dados e evidncias, conseguem fazer a dis-
6 708
Brasil: 0,02% criminao entre informao relevante e irrelevante e podem recorrer a conhecimento externo
ao currculo escolar. Podem distinguir argumentos baseados em teorias e evidncia cientfica dos
baseados em outros fatores. Os estudantes do nvel 6 podem avaliar projetos concorrentes de
experimentos complexos, estudos de campo ou simulaes e justificar suas escolhas.
No nvel 5, os estudantes podem usar ideias ou conceitos cientficos abstratos para explicar
fenmenos incomuns e mais complexos, eventos e processos que envolvam relaes causais ml-
tiplas. Eles conseguem aplicar conhecimento epistemolgico mais avanado para avaliar projetos
OCDE: 6,67%
5 633 experimentais alternativos, justificar suas escolhas e usar conhecimento terico para interpretar
Brasil: 0,65%
informaes e fazer suposies. Os estudantes do nvel 5 podem avaliar formas de explorar de-
terminado problema cientificamente e identificar limitaes na interpretao de dados, incluindo
fontes e os efeitos de incerteza dos dados cientficos.
No nvel 4, os estudantes conseguem usar conhecimento de contedo mais complexo e mais
abstrato, proporcionado ou recordado, para construir explicaes de eventos e processos mais com-
plexos ou pouco conhecidos. Podem conduzir experimentos que envolvam duas ou mais variveis
OCDE: 19,01%
4 559 independentes em contextos restritos. Conseguem justificar um projeto experimental recorrendo
Brasil: 4,22%
a elementos de conhecimento procedimental e epistemolgico. Os estudantes do nvel 4 podem
interpretar dados provenientes de um conjunto moderadamente complexo ou de contexto pouco
conhecido, chegar a concluses adequadas que vo alm dos dados e justificar suas escolhas.
No nvel 3, os estudantes podem recorrer a conhecimento de contedo de moderada complexidade
para identificar ou formular explicaes de fenmenos conhecidos. Em situaes mais complexas
OCDE: 27,23% ou menos conhecidas, podem formular explicaes desde que com apoio ou dicas. Podem recor-
3 484
Brasil: 13,15% rer a elementos de conhecimento procedimental e epistemolgico para realizar um experimento
simples em contexto restrito. Os estudantes do nvel 3 conseguem fazer distino entre questes
cientficas e no cientficas e identificar a evidncia que apoia uma afirmao cientfica.
No nvel 2, os estudantes conseguem recorrer a conhecimento cotidiano e a conhecimento proce-
dimental bsico para identificar um explicao cientfica adequada, interpretar dados e identificar a
OCDE: 24,80% questo abordada em um projeto experimental simples. Conseguem usar conhecimento cientfico
2 410
Brasil: 25,36% bsico ou cotidiano para identificar uma concluso vlida em um conjunto simples de dados. Os
estudantes do nvel 2 demonstram ter conhecimento epistemolgico bsico ao conseguir identificar
questes que podem ser investigadas cientificamente.
No nvel 1a, os estudantes conseguem usar conhecimento de contedo e procedimental bsico
ou cotidiano para reconhecer ou identificar explicaes de fenmenos cientficos simples. Com
OCDE: 15,74% apoio, conseguem realizar investigaes cientficas estruturadas com no mximo duas variveis.
1a 335
Brasil: 32,37% Conseguem identificar relaes causais ou correlaes simples e interpretar dados em grficos e
em imagens que exijam baixo nvel de demanda cognitiva. Os estudantes do nvel 1a podem sele-
cionar a melhor explicao cientfica para determinado dado em contextos global, local e pessoal.
No nvel 1b, os estudantes podem usar conhecimento cientfico bsico ou cotidiano para reco-
OCDE: 4,91% nhecer aspectos de fenmenos simples e conhecidos. Conseguem identificar padres simples em
1b 261
Brasil: 19,85% fontes de dados, reconhecer termos cientficos bsicos e seguir instrues explcitas para executar
um procedimento cientfico.
Abaixo OCDE: 0,59%
A OCDE no especifica as habilidades desenvolvidas.
de 1b Brasil: 4,38%
Fonte: OCDE, INEP.
3
3.7 Quais foram os pontos fortes e fracos dos estudantes brasileiros

em cincias no PISA 2015?
Esta seo tem por objetivo apresentar um estudo dos pontos fortes e fracos dos estudantes brasileiros no PISA 2015
com base na deteco de padres de respostas aos itens quando comparados aos de um grupo de pases selecionados.
Como o foco da avaliao do PISA 2015 foi cincias, aplicou-se um quantitativo maior de itens, sendo que, dos 184 itens
avaliados, utilizaram-se neste estudo os 181 comuns aos seguintes pases analisados: Canad, Colmbia, Costa Rica,
Chile, Mxico, Peru, Uruguai, Estados Unidos, Espanha, Portugal, Coreia do Sul, Finlndia e Repblica Dominicana.
O percentual de estudantes que responderam corretamente a cada um desses itens variou consideravelmente. No Brasil, o
percentual de respostas corretas aos 181 itens de cincias foi de 30,6%, em mdia, sendo o Esprito Santo a unidade da
Federao com o maior percentual de acerto (30,5%) e Alagoas com o menor (23,6%). No contexto internacional, a Fin-
lndia apresentou, em geral, o melhor resultado (56,4% de respostas corretas), e a Repblica Dominicana, o pior (19,9%).
Entender as potencialidades e deficincias relativas aos pases avaliados uma das propostas deste estudo. Enquanto
aqui se discute o nvel de dificuldade dos itens conforme a Teoria Clssica dos Testes (Pasquali, 2009), na Seo 3.8, o
foco so os resultados sob a Teoria de Resposta ao Item. Segundo Pasquali,
De um modo geral, a psicometria procura explicar o sentido que tm as respostas dadas pelos sujeitos a uma srie
de tarefas, tipicamente chamadas de itens. A Teoria Clssica dos Testes (TCT) se preocupa em explicar o resultado
final total, isto , a soma das respostas dadas a uma srie de itens, expressa no chamado escore total (T). Por exem-
plo, o T em um teste de 30 itens de aptido seria a soma dos itens corretamente acertados. Se for dado 1 para um
item acertado e 0 para um errado, e o sujeito acertou 20 itens e errou 10, seu escore T seria de 20. A TCT, ento, se
pergunta: o que significa este 20 para o sujeito? A Teoria de Resposta ao Item, por outro lado, no est interessada
no escore total em um teste; ela se interessa especificamente por cada um dos 30 itens e quer saber qual a proba-
bilidade e quais so os fatores que afetam esta probabilidade de cada item individualmente ser acertado ou errado.
Nesta seo, tambm se estudam as propores de respostas omitidas aos itens do PISA 2015 e os nveis de dificuldade
dos itens para todas as unidades da Federao brasileiras e os 13 pases alm do Brasil. Ao longo do texto, so apresen-
tados, ainda, itens pblicos do PISA 2015 com comentrios pedaggicos sobre o desempenho dos estudantes brasileiros
nesses itens.
Como identificar pontos fracos e fortes em cincias?
O nvel de dificuldade aqui considerado o ndice Delta, uma medida transformada do percentual de acerto dos itens
utilizada pelo Educational Testing Service (ETS) (Matsumoto; Van de Vijver, 2010). Optou-se por adotar essa mtrica
porque, ao avaliar diretamente o percentual de acerto de um item, pode-se encontrar uma relao distorcida quando
se observam itens com percentuais de acerto relativamente muito altos ou muito baixos. Por exemplo, uma diferena
de 10% entre percentuais de acerto de 95% e 85% menos notvel do que entre 55% e 45% em outras palavras,
a relao entre o percentual de acerto e o nvel de dificuldade dos itens no linear.
Sendo assim, faz-se necessria a transformao do percentual de respostas corretas em uma mtrica linear. O ndice
Delta, bem como a transformao logit (OCDE, 2013), tem o efeito de esticar percentuais de acerto muito baixos e
muito altos em comparao com o percentual de acerto de 50%. A fim de evitar nmeros negativos, fixou-se a mdia
do ndice Delta em 13 e o desvio-padro em 4 (Matsumoto, 2010). Portanto, um valor de Delta de 13 (referncia)
significa que o percentual de acerto do item de 50%. Em geral, o Delta varia entre 1 e 25; quanto maior o ndice,
mais difcil o item para determinada populao.
A primeira anlise de identificao dos pontos fortes e fracos em cincias exploratria dos itens segundo os ndices
Delta por componente da matriz de referncia de cincias (competncia, conhecimento, sistemas e contexto), por
tipo de item e por demanda cognitiva.
Em seguida, realiza-se um estudo sobre a omisso aos itens do PISA 2015. Entendendo que a omisso pode ser con-
siderada um ponto fraco na avaliao, empreende-se uma anlise geral dos itens com maior percentual de omisso
pelos estudantes brasileiros.
3
Por fim, so examinados itens que se destacaram como pontos fortes e fracos dos jovens de 15 anos, levando em conta
a diferena entre o valor mdio do ndice Delta dos pases selecionados e o do Brasil. Tal metodologia se aproxima
anlise de itens conspcuos apresentada no relatrio Lessons from PISA 2012 for the United States (OCDE, 2013).
Aqui os itens foram considerados destaques quando a diferena entre a mdia do nvel de dificuldade dos itens do
Brasil e a dos pases observados era de pelo menos um desvio-padro (para ambos os lados). Uma vez que os itens
com maior omisso foram avaliados anteriormente, eles no entraram nessa anlise.
Na comparao entre os pases latino-americanos, a mdia das diferenas dos ndices Delta foi 0,05, e o desvio-pa-
dro, 0,77, resultando nos pontos de corte -0,71 e 0,82, respectivamente. Logo, os itens com mdia das diferenas
menor que -0,71 foram considerados pontos fortes, e os com mdia maior que 0,82, pontos fracos. Na anlise
comparada dos pases com alto desempenho, por sua vez, a mdia das diferenas foi 2,41, e o desvio-padro, 0,93,
resultando nos pontos de corte 1,49 e 3,34, respectivamente.
Embora se entenda que o desempenho dos jovens de pases da Amrica Latina no alto em comparao com a
mdia dos da OCDE, essa anlise pretende mostrar que h itens do PISA 2015 que se destacam por serem mais fceis
aos estudantes brasileiros do que aos dos sete pases latino-americanos selecionados. O item S643Q05, por exemplo,
apresentou diferena de 2,3 pontos na escala do Delta em relao a esses pases, podendo indicar que o que foi
medido pelo item no PISA 2015 foi mais bem assimilado pelos alunos brasileiros do que pelo mesmo pblico nos
pases vizinhos (ponto forte). J o item S466Q07 registrou diferena de quase 2 pontos, indicando que, em geral, os
jovens desses pases tiveram melhor desempenho do que os do Brasil nessa tarefa especfica (ponto fraco).
certo que, ao comparar o desempenho dos brasileiros com o dos estudantes de pases com alto desempenho no
PISA, o nvel de dificuldade dos itens para o Brasil ser mais elevado. Contudo, a anlise comparada dos itens-desta-
que pretende apontar itens em que o desempenho dos jovens brasileiros no foi muito diferente do dos estudantes de
pases avaliados (pontos fortes) e outros que se mostraram bastante desafiadores para eles (pontos fracos).
3.7.1 A dificuldade dos itens

Como visto antes, a aplicao do PISA 2015 no Brasil foi completamente computadorizada. A Figura 3.14 ilustra o nvel de
dificuldade de todos os itens de cincias aplicados aos estudantes brasileiros. Apenas 15,8% dos itens apresentaram ndice
Delta menor ou igual a 13, ou seja, aproximadamente 3 itens em cada 20 com percentual de acerto igual ou superior a 50%.
Figura 3.14
ndice de dificuldade (Delta) dos 183 itens de cincias para os estudantes brasileiros PISA 2015
24
22
20
18
16
14
12
10
Nota:
1. H 184 itens de cincias no PISA 2015. Pelas anlises psicomtricas realizadas, o item S465Q04 foi excludo do resultado final do Brasil.
Fonte: OCDE, INEP.
3
Para os estudantes brasileiros, metade dos itens na edio de 2015 se concentrou entre os valores 13,85 (percentual de
acerto de 41,6%) e 16,55 (aproximadamente 18,7% de acerto).
A Figura 3.15 mostra a distribuio do ndice Delta segundo o desempenho geral dos jovens brasileiros por unidade
da Federao, bem como o de estudantes de um conjunto de pases (destacados em negrito). Como na montagem dos
testes do PISA nem todos os alunos so submetidos a todos os itens, para comparar os resultados entre os estados e
pases avaliados, a partir de agora sero considerados os 181 itens comuns entre eles. Vale lembrar, ainda, que os itens
foram apresentados aos estudantes dos pases aqui selecionados na forma computadorizada, bem como que a escala do
Delta contnua e, devido prpria natureza da medida, quanto maior o ndice, menor o percentual de estudantes
respondendo corretamente aos itens (apresentado em parnteses).
Verifica-se que, em mdia, o nvel de dificuldade dos 181 itens do PISA 2015 para os jovens brasileiros (15,03) foi maior
que para os de outros pases, exceto os da Repblica Dominicana e do Peru. Em geral, os alunos do Uruguai e do Chile
foram os que obtiveram os maiores percentuais de acerto em comparao com os outros da Amrica Latina, com ndices
Delta de 14,36 e 14,13, respectivamente. Dentre as unidades da Federao brasileiras, os jovens do Esprito Santo e
do Distrito Federal apresentaram as mdias de respostas corretas mais prximas desses dois pases latino-americanos.
Figura 3.15
ndices de dificuldade (percentual de acerto e Delta) dos 181 itens comuns
de cincias por pas e unidade da Federao PISA 2015
Alta dificuldade
Repblica Dominicana (19,9%) 16,38

Alagoas (23,6%)
Amap (24,8%)
Tocantins (25%)
Sergipe (25,2%)
Bahia (25,4%)
Maranho (25,6%)
Rio Grande do Norte (25,8%) 15,59
Paraba (26,8%)
Rondnia (27%)
Pernambuco (27,1%)
Piau (27,2%)
Par (28,5%)
Rio de Janeiro (28,7%) 15,25
Mato Grosso (29,1%)
Roraima (29,1%)
Amazonas (29,3%)
Peru (29,4%)
Acre (29,9%)
Cear (30,1%)
Mato Grosso do Sul (30,2%)
Brasil (30,6%) 15,03
So Paulo (31,7%)
Gois (31,9%)
Mxico (32,3%)
Rio Grande do Sul (32,5%)
Colmbia (32,7%)
Santa Catarina (33,6%) 14,69
Costa Rica (34,1%)
Paran (34,9%)
Minas Gerais (34,9%)
Distrito Federal (35,8%)
Uruguai (36,7%)
Esprito Santo (38,0%)
Chile (38,9%) 14,13
Espanha (48,7%) 13,14
Estados Unidos (48,8%)
Portugal (49,4%) 13,06
Coreia do Sul (52,7%) 12,73
Canad (55,1%)
Finlndia (56,4%) 12,36
Baixa dificuldade
Fonte: OCDE, INEP.
3
Considerando os pases aqui avaliados com desempenho prximo ou superior mdia dos membros da OCDE, percebe-
se que h uma diferena maior em relao ao Brasil, sendo seus Deltas significativamente mais baixos e seus percentuais
de respostas corretas mais elevados. A diferena entre os nveis de dificuldade dos itens do PISA 2015 para os estudantes
brasileiros (15,03) e para os da Finlndia (12,36) foi de 2,67 pontos, mais de meio desvio-padro. A Finlndia se localiza
no topo dos valores, tendo, em mdia, 56,3% de respostas corretas, enquanto os pases da Amrica Latina possuem
mdia de aproximadamente 31,8%.
A seguir, analisam-se os ndices de dificuldade Delta segundo as categorias dos diferentes aspectos da matriz de cincias
(competncia, conhecimento, sistemas e contexto), por tipo de item (questo de mltipla escolha ou resposta aberta) e
por demanda cognitiva.
ndice Delta por competncia

Em relao s competncias definidas para avaliar o construto letramento cientfico, os itens da competncia Interpretar
dados e evidncias cientificamente obtiveram o maior percentual de respostas corretas, seguidos dos das competncias
Explicar fenmenos cientificamente e Avaliar e planejar experimentos cientficos. A Figura 3.16 mostra que essa
tendncia foi observada em todos os pases considerados nesta anlise.
Figura 3.16
Dificuldade dos itens de cincias segundo competncia por pas e unidade da Federao PISA 2015
Avaliar e planejar experimentos (n=39) Explicar fenmenos (n=86) Interpretar dados e evidncias (n=56)
19
17
15
13
11
Fonte: OCDE, INEP.
Nos pases em que os valores de Delta esto muito prximos ou abaixo da mdia da escala (13), a diferena entre o
nvel de dificuldade dos itens da competncia Interpretar e o dos da competncia Avaliar foi ao redor de 1 ponto,
refletindo variaes de cerca de 10% no percentual de respostas corretas. Os estudantes da Coreia do Sul, por exemplo,
acertaram, em mdia, 60,0% dos itens da competncia Interpretar e 47,4% da competncia Avaliar, uma reduo
de quase 13%. No Canad, Finlndia e Estados Unidos, essa diferena foi de 8,8%, 10,6% e 8,1%, respectivamente, e,
entre os pases da Amrica Latina, essa diferena foi menor na Repblica Dominicana (6,0%) e maior no Chile (10,6%).
Para os estudantes do Brasil, a mdia do nvel de dificuldade dos itens da competncia Interpretar foi de 14,7 (33,7%
de acerto), seguida das competncias Explicar e Avaliar, com mdias de 15,02 (30,7% de acerto) e 15,53 (26,3%),
respectivamente. Nas unidades da Federao, a maior diferena entre os percentuais de acerto dos itens das competn-
cias Interpretar e Avaliar ocorreu no Esprito Santo e no Paran, ambos com 9,4%, e a menor, na Bahia, com 5,1%.
ndice Delta por conhecimento

A Figura 3.17 mostra o nvel de dificuldade dos itens segundo os tipos de conhecimento. Os itens de conhecimento
epistemolgico (por exemplo: natureza e objetivo das observaes cientficas, raciocnio cientfico: deduo, induo,
inferncia, medidas de erro e grau de confiabilidade do conhecimento cientfico) apresentaram maior mdia de difi-
culdade do que os que abordam os outros dois tipos de conhecimento. J as diferenas de dificuldade entre os itens de
conhecimento procedimental (por exemplo: coleta, anlise e interpretao de dados, conceitos de variveis dependentes
3
e independentes, formas de avaliar e minimizar incertezas, ferramentas de representao de dados, controle de variveis)
e de contedo (fatos, conceitos, ideias e teorias sobre o mundo natural estabelecido pela cincia) foram menores. Os
itens de conhecimento de contedo tiveram, em geral, os menores valores de Delta, tanto para os pases considerados
neste estudo como para as unidades da Federao brasileiras.
Figura 3.17
Dificuldade dos itens de cincias segundo conhecimento por pas e unidade da Federao PISA 2015
Conceitos/Contedo (n=95) Epistemolgico (n=26) Procedimental (n=60)

19
17
15
13
11
Fonte: OCDE, INEP.
Mesmo para os estudantes dos pases com melhor desempenho no teste, o valor de Delta dos itens de conhecimento
epistemolgico foi superior ao valor de referncia (Delta igual a 13). A diferena entre o percentual de acerto dos itens
desse tipo de conhecimento e o dos de conhecimento procedimental variou de 12,7 na Finlndia a 17,3% na Coreia do
Sul, e entre o dos itens de conhecimento epistemolgico e o dos de contedo, de 10,0% nos Estados Unidos a 13,4%
na Finlndia.
Nos pases da Amrica Latina, observou-se tendncia similar em relao ao tipo de conhecimento. No Chile, o per-
centual de acerto dos itens de conhecimento de contedo e procedimental foi de cerca de 15% superior ao dos de
conhecimento epistemolgico.
No Brasil, os itens de conhecimento de contedo apresentaram a maior mdia de acerto (32,6%), e os de conhecimento
procedimental, mdia de 31,3%. J em relao aos itens de conhecimento epistemolgico, a dificuldade mdia foi de
16,08, com mdia de acerto de 22,1%. Os estudantes do Esprito Santo, de outro lado, tiveram a melhor mdia de acerto
(28,6%) nos itens de conhecimento epistemolgico dentre as unidades da Federao, valor maior que o dos jovens do
Chile, pas latino-americano de melhor desempenho (26,0%).
ndice Delta por sistemas

Os sistemas so subcategorias do conhecimento de contedo. Esses conhecimentos foram selecionados dos principais
campos da fsica e da qumica (por exemplo: estrutura, propriedades e mudanas qumicas da matria, movimento e
foras, energia e transformao, interaes entre energia e matria), biologia (por exemplo: clulas, organismo unice-
lular e pluricelular, seres humanos, espcies, diversidade, variabilidade, evoluo, cadeias e teias alimentares, fluxo
de matria e energia, biosfera) e cincias da Terra e do espao (por exemplo: histria, estruturas, energia e mudanas
do sistema Terra, gravidade, Sistema Solar e galxias, histria e escala do Universo). A Figura 3.18 apresenta o nvel de
dificuldade dos itens nesses sistemas.
3
Figura 3.18
Dificuldade dos itens de cincias segundo sistemas por pas e unidade da Federao PISA 2015
Sistema Terra e espao (n=48) Sistemas vivos (n=72) Sistemas fsicos (n=61)
19
17
15
13
11
Fonte: OCDE, INEP.
Nota-se que, independentemente da mdia de desempenho geral do pas, as diferenas de dificuldade dos itens dos trs
sistemas so pequenas. Os itens do sistema Terra e espao apresentaram o ndice de dificuldade Delta menor que o dos
demais sistemas em todos os pases considerados nesta anlise, exceto na Finlndia, onde os itens dos sistemas fsicos
tiveram o valor de Delta ligeiramente maior.
No Brasil, os ndices Delta dos itens dos trs sistemas ficaram prximos de 15, com variaes muito pequenas no percentual
de acerto: 31,5%, 30,0% e 30,6% dos itens do sistema Terra e espao, sistemas vivos e sistemas fsicos, respectivamente.
ndice Delta segundo contexto

Os contextos definidos no PISA 2015 evidenciam situaes relacionadas com o indivduo, famlia e grupos de amigos
(contexto pessoal manuteno da sade, nutrio, consumo individual de material e energia, aes ambientalmente
amigveis), com a comunidade (contexto local/nacional controle e transmisso de doenas, sade da comunidade,
distribuio da populao, novos materiais, dispositivos e processos, modificaes genticas, tecnologias da sade e dos
transportes) e com a vida em todo o mundo (contexto global epidemias, propagao de doenas infecciosas, controle
da poluio, mudanas climticas, impactos da comunicao moderna). A Figura 3.19 apresenta o nvel de dificuldade
dos itens segundo essa categoria.
Figura 3.19
Dificuldade dos itens de cincias segundo contexto por pas e unidade da Federao PISA 2015
Global (n=54) Local/Nacional (n=106) Pessoal (n=21)

19
17
15
13
11
Fonte: OCDE, INEP.
3
Os itens de contexto pessoal apresentaram o menor valor de Delta em todos os pases e unidades da Federao consi-
derados nesta anlise, seguidos dos de contexto local/nacional e global, o qual teve o maior ndice Delta. As diferenas,
entretanto, variaram entre os pases e estados.
Nos trs pases com melhor desempenho no teste (Finlndia, Canad e Coreia do Sul), a diferena na dificuldade dos
itens de contexto pessoal e global foi menor que 0,5 ponto no valor de Delta, refletindo uma diferena no percentual de
acerto inferior a 5%. Os demais pases considerados no apresentaram grandes variaes nessa diferena.
Para os estudantes brasileiros, o ndice de dificuldade dos itens de contexto pessoal foi de 14,67, com 33,8% de acerto.
J os itens de contexto global tiveram Delta de 15,44, com uma reduo de cerca de 7 pontos no percentual de acerto,
que foi de 27,1%. As maiores diferenas ocorreram no Distrito Federal e no estado do Paran, nos quais a queda no per-
centual de acerto devida ao contexto (diferena entre contexto pessoal e global) foi de 8,5 e 9,4 pontos, respectivamente.
ndice Delta por tipo de item

So trs os formatos de resposta s tarefas propostas pelos itens do PISA: mltipla escolha simples, mltipla escolha com-
plexa e respostas construdas ou abertas. A Figura 3.20 apresenta a dificuldade dos itens segundo cada um dos formatos.
Figura 3.20
Dificuldade dos itens de cincias segundo tipo de item por pas e unidade da Federao PISA 2015
Multpla Escolha Complexa (n=65) Resposta Aberta (n=64) Multpla Escolha Simples (n=52)
19
17
15
13
11
Fonte: OCDE, INEP.
Os itens de resposta aberta foram os que apresentaram os maiores valores de Delta, seguidos dos de mltipla escolha
complexa e simples, estes ltimos considerados os mais fceis pelos estudantes de todos os pases analisados. Nos pases
de melhor desempenho global, a diferena entre os valores de Delta dos itens de resposta aberta e dos de mltipla escolha
simples variou de 1,82 no Canad a 2,34 na Coreia do Sul, o que corresponde a uma diferena de 17,7% e 22,9% no
percentual de acerto, respectivamente.
No Brasil, a diferena entre o ndice de dificuldade dos itens de resposta aberta (16,34) e o dos de mltipla escolha
simples (13,71) indica uma diferena de 22,8% no percentual de acerto.
Observa-se, ainda, uma diferena considervel entre os valores de Delta de membros da OCDE e de pases e estados
brasileiros com pior desempenho. Por exemplo, enquanto a Finlndia apresentou ndice de dificuldade de 11,1 para
os itens de mltipla escolha simples, na Repblica Dominicana e em alguns estados brasileiros o Delta ultrapassou os
14,0 pontos.
3
ndice Delta por demanda cognitiva

A demanda cognitiva (processo mental necessrio resoluo da tarefa de um item) est fortemente associada dificul-
dade do item, pois influenciada por fatores como a complexidade dos elementos do conhecimento, a familiaridade
do estudante com o conhecimento envolvido, o grau de abstrao e a operao cognitiva exigida. Os trs nveis de
demanda cognitiva do PISA esto definidos na Seo 3.5. A Figura 3.21 mostra o nvel de dificuldade dos itens segundo
a demanda cognitiva.
Figura 3.21
Dificuldade dos itens de cincias segundo a demanda cognitiva por pas e unidade da Federao PISA 2015
Alto (n=15) Mdio (n=113) Baixo (n=53)

19
17
15
13
11
Fonte: OCDE, INEP.
Nota-se que, de fato, os itens de demanda cognitiva alta (exigem a anlise de informao complexa ou de dados, a sntese
ou avaliao de evidncias, justificativas e argumentos com base em vrias fontes ou o planejamento de estratgias para
resolver um problema) apresentaram maior dificuldade para os estudantes de todos os pases e unidades da Federao
analisados. Mesmo nos trs pases com melhor desempenho (Finlndia, Canad e Coreia do Sul), os ndices Delta desses
itens foram superiores ao valor de referncia (13).
Para os estudantes brasileiros, os itens cuja resoluo exigia demanda cognitiva alta tiveram a maior mdia de Delta
(16,03, com percentual de acerto de 22,4%), enquanto nos de demanda cognitiva baixa o nvel de dificuldade foi de
13,95, correspondendo a cerca de 40% de acerto. Em alguns estados, o valor de Delta desse conjunto de itens ultrapassou
os 16 pontos, com percentuais de acerto inferior a 20%.
Apresentam-se, a seguir, exemplos de itens liberados para divulgao que representam os trs nveis de demanda cog-
nitiva (baixa, mdia e alta) que explicitam a relao entre a complexidade dos componentes do item (elementos do
conhecimento, tipo de conhecimento, operao cognitiva exigida, grau de abstrao), a demanda cognitiva e, conse-
quentemente, o grau de dificuldade.
3
Demanda cognitiva baixa

Unidade1 601 Fazenda sustentvel de peixes
Viso geral da unidade: essa unidade abordou desafios da criao sustentvel de peixes com gua do mar. O estmu-
lo inicial incluiu um texto que descrevia o fluxo de gua e nutrientes em um viveiro de criao de linguado. Nessa
unidade, foram liberados trs itens para divulgao, um dos quais apresentado como exemplo de item que exigia
demanda cognitiva baixa (S601Q02).
Nota: este um fac-smile da prova de cincias, extrada do sistema eletrnico do PISA 2015. Serve apenas como
referncia visual. A verso em ingls pode ser visualizada no relatrio internacional (OCDE, 2016).
Item S601Q02
1. As regras do Novo Acordo Ortogrfico da Lngua Portuguesa no foram adotadas nas questes do PISA 2015.
3
Formato de resposta Mltipla escolha simples

Competncia Interpretar dados e evidncias cientificamente
Conhecimento Sistema Contedo Sistemas fsicos
Contexto Local/nacional
Demanda cognitiva Baixa
Figura 3.22
Anlise comparada dos Deltas dos pases latino-americanos,
item S601Q02, cincias PISA 2015
Item Brasil Costa Rica Uruguai Chile Mxico Colmbia Peru Repblica Dominicana
S601Q02 13,38 12,32 12,74 12,38 12,28 12,63 13,27 15,07
Fonte: OCDE, INEP.
Figura 3.23
Anlise comparada dos Deltas dos pases com desempenho prximo ou superior ao da OCDE,
Item Brasil Estados Unidos Portugal Coreia do Sul Espanha Canad Finlndia
S601Q02 13,38 11,22 10,47 10,35 10,82 10,16 10,20
Fonte: OCDE, INEP.
Para responder tarefa, os estudantes deveriam selecionar, entre quatro opes, o organismo que contribui para a
reduo dos nutrientes presentes na gua lanada ao mar. Para receber o crdito completo, teriam de assinalar a
opo Gramas de pntano.
A demanda cognitiva foi baixa porque, apesar de exigir que o estudante demonstrasse capacidade de associar a redu-
o de nutrientes ao aumento da populao do organismo responsvel pela absoro deles, a informao necessria
para tal associao estava disponvel no texto que compunha o estmulo do item.
Embora o item apresentasse um diagrama complexo e vrias informaes textuais, a soluo do problema proposto
requeria apenas a interpretao do texto verbal, no sendo necessria a interpretao do diagrama.
Com base na anlise comparada dos Deltas, os estudantes brasileiros apresentaram maior dificuldade na compreenso
desse item do que o mesmo pblico dos pases selecionados, com exceo da Repblica Dominicana.
3
Demanda cognitiva mdia

Unidade 656 Migrao de aves
Viso geral da unidade: essa unidade abordou aspectos da migrao de aves. O estmulo inicial incluiu um texto
verbal que definia migrao e apresentava mecanismos utilizados por cientistas para estudar o fenmeno.
Item S656Q01

Competncia Explicar fenmenos cientificamente
Conhecimento Sistema Contedo Sistemas vivos
Contexto Global
Demanda cognitiva Mdia
Figura 3.24
Anlise comparada dos Deltas dos pases latino-americanos, item S656Q01, cincias PISA 2015
S656Q01 14,23 13,72 13,39 13,11 13,77 13,63 14,32 14,68
Fonte: OCDE, INEP.
Figura 3.25
S656Q01 14,23 12,06 12,01 12,03 12,14 11,88 11,64
Fonte: OCDE, INEP.
A tarefa constituiu-se de um texto explicativo relacionando aspectos da migrao de aves evoluo desse compor-
tamento. Para responder a essa questo, os estudantes deveriam selecionar, entre quatro opes, aquela que melhor
explicava a evoluo desse comportamento: As aves que migravam individualmente ou em pequenos grupos eram
menos propensas a sobreviver e ter filhotes.
3
A demanda cognitiva foi mdia porque exigia a aplicao de um conhecimento conceitual (evoluo) para explicar
um fenmeno (comportamento migratrio de aves). No bastava reconhecer o conceito de evoluo; era necessrio
que o estudante tambm conseguisse identificar a vantagem proporcionada pela migrao em bandos para a espcie.
O percentual de acerto do item dos estudantes brasileiros foi de 38%. A quarta alternativa teve percentual de escolha
alto. Supe-se que a redao da primeira e da quarta alternativas tenha contribudo para essa escolha, uma vez que
a primeira apresentava uma vantagem evolutiva por meio da demonstrao de uma desvantagem (o que acontece
quando as aves no migram em grandes grupos) e a quarta indicava como vantagem algo que, na verdade, uma
desvantagem, pois o maior nmero de aves acirra a disputa por locais para construo dos ninhos.
Com base na anlise comparada dos Deltas, os estudantes brasileiros apresentaram maior dificuldade na compreenso
desse item do que os dos pases selecionados, com exceo da Repblica Dominicana e do Peru.
Demanda cognitiva alta

Unidade 656 Migrao de aves
Viso geral da unidade: essa unidade abordou aspectos da migrao de aves. O estmulo inicial incluiu um texto
verbal que definia migrao e apresentava mecanismos utilizados por cientistas para estudar o fenmeno.
Item S656Q02
Formato de resposta Resposta aberta

Competncia Avaliar e planejar experimentos cientficos
Conhecimento Sistema Procedimental Sistemas vivos
Contexto Global
Demanda cognitiva Alta
3
Figura 3.26
S656Q02 17,84 18,61 17,70 18,85 17,47 19,07 21,00 20,79
Fonte: OCDE, INEP.
Figura 3.27
S656Q02 17,84 14,09 14,93 15,21 15.27 13,44 13,78
Fonte: OCDE, INEP.
A tarefa constituiu-se de um texto explicativo da metodologia utilizada por cientistas e voluntrios para contagem de
aves avistadas durante processos migratrios a fim de determinar a rota e o fluxo de migrao. Para responder a essa
questo, os estudantes deveriam citar um fator que deixaria imprecisa a contagem de aves migratrias por voluntrios,
justificando sua escolha. Para receber o crdito completo, teriam de identificar pelo menos um fator especfico que
poderia afetar a preciso da contagem dos observadores voluntrios. Por exemplo:
Os observadores podem deixar de contar algumas aves porque elas voam alto.
Se as mesmas aves forem contadas mais de uma vez, isso poder tornar o nmero muito alto.
Para aves em grandes grupos, os voluntrios podem apenas estimar quantas aves h.
Os observadores podem estar errados sobre qual tipo de aves elas so; portanto, os nmeros desse tipo de aves
estaro errados.
As aves migram noite.
Voluntrios no estaro em todos os locais para onde as aves migrarem.
Os observadores podem cometer erros ao contar.
Nuvens e chuva escondem alguns dos pssaros.
A competncia demandava a anlise de informao sobre os mtodos de contagem das aves nas rotas migratrias e a
identificao de possibilidades de falhas na coleta de dados associadas ao trabalho dos observadores voluntrios. O
percentual de acerto do item dos brasileiros foi de 11%. A dificuldade pode ser associada ao alto grau de demanda
cognitiva, que envolvia elaborao de argumentos vlidos que justificassem os erros de contagem pelos voluntrios.
Esse item teve alto percentual de respostas omitidas pelos estudantes brasileiros (28,5%). Em relao anlise dos
Deltas, o Canad apresentou o menor ndice (13,44), e o Peru, o maior (21,00).
3.7.2 A omisso aos itens

No PISA 2015, um item deixado em branco pelos estudantes seguido de outro com resposta vlida foi considerado
como resposta omitida, e esta, tomada como erro. A alta ocorrncia desses casos pode prejudicar uma justa anlise dos
resultados de um pas. A Figura 3.28 apresenta a mdia dos percentuais de respostas omitidas pelos estudantes no teste
de cincias nos pases analisados e nas unidades da Federao brasileiras.
3
Figura 3.28
Mdia dos percentuais de casos omitidos em cincias por pas e unidade da Federao PISA 2015
14%
12%
10%
8%
6%
4%
2%
0%
Fonte: OCDE, INEP.
Os Estados Unidos apresentaram a menor mdia de percentual de omisso (1,6%), enquanto na Repblica Dominicana
esse valor foi de 9,8%. Os estudantes do Brasil omitiram a resposta, em mdia, em 7,2% dos itens, segundo maior per-
centual entre os pases analisados neste estudo. Em alguns estados, a mdia ultrapassou 10%. A Figura 3.29 mostra o
percentual de omisso pelos brasileiros em cada um dos itens do teste. Esse percentual variou de 0% a 40%.
Figura 3.29
Percentuais de casos omitidos por item de cincias, Brasil PISA 2015
45%
40%
35%
30%
25%
20%
15%
10%
5%
0%
Fonte: OCDE, INEP.
Realizou-se uma anlise das caractersticas especficas dos 20 itens com percentual de respostas omitidas pelos estudantes
brasileiros superior a 20%. A maior parte (14) pertence competncia Explicar fenmenos cientificamente, seguida
de Avaliar e planejar experimentos cientficos, com quatro itens, e Interpretar dados e evidncias cientificamente,
com dois (Figura 3.30).
3
Figura 3.30
Distribuio dos 20 itens com maior percentual de omisso,
por competncia e tipo de conhecimento, cincias PISA 2015
Conceitos/contedo Epistemolgico Procedimental
Explicar fenmenos, 14
Avaliar e planejar
experimentos, 3
Avaliar e planejar Interpretar dados e

experimentos, 1 evidncias, 2
Fonte: OCDE, INEP.
Embora a distribuio desses itens por competncia e tipo de conhecimento seja proporcional quantidade de itens
em cada dimenso disponvel no teste, a questo que se coloca relativa aos fatores que levaram omisso de suas
respostas e no da de outros itens nas mesmas dimenses. Assim, comparando itens com caractersticas similares (mesma
competncia, tipo de conhecimento, sistema de contedo, formato de resposta e demanda cognitiva) que tiveram alto
percentual de respostas omitidas com aqueles que no tiveram (mais de 80% de respostas vlidas), verifica-se que, embora
seja difcil traar um padro nico, os fatores so basicamente os mesmos relacionados aos altos ndices de dificuldade.
Por exemplo, um fator fortemente associado ao alto percentual de respostas omitidas foi a necessidade de formulao de
respostas; dos 20 itens, 18 eram de resposta construda (ou aberta). O contexto do item tambm outro fator que parece
contribuir para a taxa de omisso de respostas; dos 20 itens analisados, 85% abordavam contextos de ordem local e global.
Verifica-se, ainda, que, para alm da dificuldade inerente construo de resposta aberta e ao contexto, a presena de
grficos de barras, esquemas complexos e textos com muitas informaes (fatores determinantes do grau de demanda
cognitiva exigida) representam componentes associados taxa de omisso.
Apresenta-se, a seguir, o exemplo de um item liberado para divulgao que teve a segunda maior porcentagem de omisso
para os jovens brasileiros (32%), pontuando algumas caractersticas que podem estar associadas a esse comportamento.
Trata-se de um dos dois itens de mltipla escolha complexa.
3
Unidade S601 Fazenda sustentvel de peixes
Viso geral da unidade: essa unidade abordou desafios da criao sustentvel de peixes com gua do mar. O estmulo
inicial incluiu um texto que descrevia o fluxo de gua e nutrientes em um viveiro de criao de linguado.
Item S601Q01
3
Formato de resposta Mltipla escolha complexa

Conhecimento Sistema Contedo Sistemas vivos
Contexto Local/nacional Qualidade ambiental
Figura 3.31
S601Q01 21,56 21,50 20,75 21,46 21,17 22,14 21,67 24,05
Fonte: OCDE, INEP.
Figura 3.32
S601Q01 21,56 19,21 19,71 18,94 19,66 18,84 18,62
Fonte: OCDE, INEP.
A tarefa do item apresentou um diagrama do projeto experimental de uma fazenda de criao de linguado e des-
crevia os hbitos alimentares dos organismos componentes dos tanques do sistema. Para responder a essa questo,
os estudantes deveriam mover os organismos para os tanques apropriados, considerando as informaes sobre seus
hbitos alimentares e respectivas contribuies na manuteno da sustentabilidade do sistema. Para receber o crdito
completo, os componentes teriam de estar dispostos nos tanques, conforme consta na ilustrao.
A competncia avaliada na questo no se restringiu ao conhecimento do contedo (cadeia alimentar); envolveu

tambm a capacidade de associar esse conhecimento a uma situao hipottica. possvel que a forma de apre-
sentao da tarefa tenha agregado dificuldade, pois mais de 30% dos estudantes brasileiros omitiram a resposta e,
dos que responderam, menos de 2% receberam crdito (Delta igual a 21,56). De fato, a estrutura textual do item era
complexa composta por linguagem verbal e no verbal , com muitas informaes que deveria ser integradas para
a produo da resposta. Embora essas informaes fossem necessrias resoluo da questo, a forma como estavam
dispostas pode ter dificultado o entendimento. O texto verbal descrevia adequadamente o funcionamento do viveiro
e a funo trfica dos organismos componentes dos tanques. Entretanto, sua associao com o diagrama exigia a
decodificao de setas com funes distintas (indicaes do fluxo da gua nos tanques e localizao de elementos
do diagrama) e o entendimento de informaes textuais complementares situadas no prprio diagrama (legenda e
textos explicativos dos componentes).
3.7.3 Anlise de itens-destaque

O estudo a seguir tem por objetivo a identificao de itens-destaque, ou seja, aqueles que se singularizam como indi-
cadores dos pontos fortes e fracos do desempenho dos estudantes brasileiros em cincias no PISA 2015, em comparao
com o dos alunos de pases membros da OCDE e tambm dos de pases da Amrica Latina. Diferentes abordagens
poderiam ser usadas para a identificao desses itens; no entanto, aqui se utiliza a anlise comparada dos ndices Delta.
Pontos fortes
A Figura 3.33 apresenta a anlise comparada dos Deltas dos pases latino-americanos. Nela, 21 itens se destacam como
pontos fortes. Os Deltas assinalados em cinza correspondem aos valores do ndice mais altos que o nvel de dificuldade
dos itens para os estudantes brasileiros.
3
Figura 3.33
Anlise comparada dos Deltas dos pases latino-americanos, pontos fortes, cincias PISA 2015
Repblica
Item Brasil Mdia Diferena Costa Rica Uruguai Chile Mxico Colmbia Peru
Dominicana
S643Q05 15,15 17,44 -2,29 18,55 14,70 16,89 16,97 16,48 18,56 19,93
S648Q01 14,82 16,87 -2,05 16,64 16,00 15,39 15,90 16,39 18,37 19,37
S408Q03 16,30 18,19 -1,89 17,85 17,23 17,28 17,22 19,44 18,21 20,09
S458Q01 18,21 20,07 -1,86 21,31 18,56 19,08 20,10 19,20 20,39 21,86
S646Q04 16,56 18,38 -1,82 21,00 17,29 17,36 17,82 16,13 16,44 22,60
S657Q04 15,42 17,16 -1,73 16,23 16,17 15,52 17,71 16,87 18,41 19,18
S478Q03 12,23 13,77 -1,54 14,23 12,86 13,75 13,20 13,09 14,29 14,98
S603Q02 15,92 17,45 -1,53 17,27 16,45 17,03 18,45 17,39 16,96 18,60
S638Q05 14,16 15,60 -1,45 15,04 13,49 13,13 17,71 15,55 15,29 19,00
S637Q051 15,09 16,47 -1,38 16,57 15,46 15,88 15,71 15,98 16,94 18,74
S252Q01 13,55 14,91 -1,36 14,80 13,66 14,20 15,28 15,11 15,04 16,30
S428Q05 15,56 16,84 -1,28 16,04 15,87 15,62 17,87 15,43 16,86 20,18
S646Q05 20,05 21,30 -1,25 21,21 19,02 21,89 20,13 19,97 23,47 23,40
S437Q04 14,40 15,51 -1,11 15,56 14,48 14,02 16,52 15,14 16,11 16,76
S625Q02 13,59 14,65 -1,05 13,94 14,35 13,88 14,01 15,20 15,48 15,65
S605Q04 13,62 14,64 -1,02 14,08 12,61 13,14 14,57 15,25 15,77 17,08
S602Q02 15,31 16,31 -1,00 15,62 15,80 15,81 15,69 16,02 17,43 17,84
S425Q05 11,99 12,85 -0,86 12,90 12,43 12,33 12,50 12,70 13,05 14,06
S634Q03 18,06 18,90 -0,84 17,37 18,80 17,94 19,08 18,79 19,44 20,85
S326Q04 18,02 18,83 -0,81 18,33 17,88 17,89 19,37 19,24 18,66 20,46
S608Q03 15,00 15,75 -0,76 16,40 15,60 15,31 15,58 14,82 16,07 16,48
Nota:
1. Item pblico do PISA 2015.
Fonte: OCDE, INEP.
A Figura 3.34 apresenta a anlise comparada dos Deltas dos pases com desempenho igual ou superior aos da OCDE.
Nela, 17 novos itens se destacam como pontos fortes.
Figura 3.34
pontos fortes, cincias PISA 2015
Estados Coreia
Item Brasil Mdia Diferena Portugal Espanha Canad Finlndia
Unidos do Sul
S643Q052 15,15 15,74 -0,60 16,65 15,47 16,96 14,77 15,51 15,08
S519Q02 13,25 12,94 0,32 12,62 13,05 14,27 12,58 12,78 12,33
S602Q022 15,31 14,96 0,36 15,08 15,24 15,69 14,58 14,79 14,36
S657Q042 15,42 15,01 0,41 14,90 15,52 16,38 14,64 13,84 14,80
S458Q012 18,21 17,61 0,59 18,30 19,76 17,56 17,03 16,53 16,51
S649Q01 16,75 16,14 0,61 15,36 17,47 17,84 15,56 15,72 14,89
S498Q03 14,39 13,77 0,62 13,23 14,23 14,51 13,86 13,42 13,37
S252Q012 13,55 12,89 0,67 14,07 13,09 12,88 12,86 13,45 10,98
S637Q02 17,86 17,15 0,71 16,63 17,67 17,82 18,04 16,63 16,12
S498Q02 14,82 13,88 0,93 14,41 13,51 13,95 13,78 13,65 14,02
S601Q041 14,79 13,84 0,94 14,83 13,48 13,76 13,53 13,93 13,52
S637Q051,2 15,09 14,12 0,97 14,46 14,45 13,98 14,60 13,69 13,56
S478Q032 12,23 11,25 0,98 12,39 10,85 11,18 11,07 11,62 10,39
S425Q052 11,99 10,97 1,02 11,05 10,72 10,26 11,45 10,81 11,55
S657Q02 15,06 14,01 1,05 13,55 14,24 15,19 14,41 13,08 13,58
S421Q02 16,41 15,33 1,08 15,58 16,45 15,38 15,03 14,58 14,97
S437Q03 13,96 12,78 1,18 13,06 13,34 12,76 12,79 13,24 11,49
3

pontos fortes, cincias PISA 2015
Estados Coreia
Unidos do Sul
S252Q02 12,80 11,59 1,22 11,75 11,51 11,97 12,32 10,86 11,11
S408Q032 16,30 15,02 1,28 14,08 16,40 14,83 15,01 14,37 15,42
S648Q03 13,11 11,81 1,30 11,27 11,87 12,72 11,83 11,44 11,71
S638Q052 14,16 12,83 1,32 13,93 12,27 15,24 11,03 13,00 11,53
S415Q08 13,07 11,74 1,33 12,90 12,16 10,34 11,80 11,97 11,24
S425Q03 15,21 13,88 1,34 14,50 13,94 13,69 14,05 13,67 13,42
S626Q01 12,98 11,61 1,37 11,71 12,05 12,17 12,15 10,82 10,79
S252Q03 13,72 12,32 1,40 12,78 11,78 11,44 12,76 12,42 12,73
S648Q012 14,82 13,39 1,43 13,23 12,81 13,36 14,03 13,14 13,77
S603Q03 12,12 10,66 1,46 10,72 10,91 10,06 11,88 10,33 10,06
S415Q07 11,81 10,33 1,48 10,15 10,47 11,26 9,89 9,84 10,36
Notas:
2. Item tambm destaque na anlise comparada com os pases da Amrica Latina.
Fonte: OCDE, INEP.
A Figura 3.35 apresenta um resumo da relao entre os 38 itens destacados como pontos fortes por competncia e tipo
de conhecimento.
Figura 3.35
Distribuio dos 38 itens por competncia e tipo de conhecimento,
anlise dos pontos fortes, cincias PISA 2015
Interpretar dados e
evidncias, 2


Fonte: OCDE, INEP.
Dos 39 itens que representam os pontos fortes dos estudantes brasileiros, a maior parte pertence competncia Explicar
fenmenos cientificamente (23) e ao tipo de conhecimento de contedo (22). Itens da competncia Interpretar dados
e evidncias cientificamente e que abordam conhecimento epistemolgico correspondem menor parcela. Quanto
ao formato de resposta a esses itens, 15 so de resposta aberta e 23 de mltipla escolha, sendo 12 de mltipla escolha
simples e 11 de complexa. A maioria (22 itens) exige demanda cognitiva mdia, e quatro, alta.
Apresentam-se, a seguir, dois exemplos de itens liberados para divulgao que ilustram os pontos fortes dos estudantes
brasileiros.
3
Unidade 637 Investigao da encosta do declive
Viso geral da unidade: essa unidade abordou uma investigao cientfica. O estmulo inicial incluiu um texto que
descrevia a diferena de vegetao em dois ambientes com declividades distintas e propunha um mtodo de investi-
gao para determinar as causas das diferenas observadas. Alm do texto verbal, o estmulo apresentou uma figura
representativa dos declives.
Item S637Q05
3

Conhecimento Sistema Epistemolgico Sistema Terra e espao
Contexto Local/nacional Recursos naturais
Demanda cognitiva Alta
Figura 3.36
S637Q05 15,09 16,57 15,46 15,88 15,71 15,98 16,94 18,74
Fonte: OCDE, INEP.
Figura 3.37
S637Q05 15,09 14,46 14,45 13,98 14,60 13,69 13,56
Fonte: OCDE, INEP.
A tarefa constituiu-se de dois textos: um que informava sobre a anlise dos dados coletados nos declives A e B e outro
texto que propunha duas hipteses para justificar a diferena de umidade do solo entre os declives. Para responder
a essa questo, os estudantes deveriam selecionar a hiptese correta e justific-la. Para receber o crdito completo,
teriam de assinalar a opo Estudante 1, apresentar uma explicao que indicasse que havia diferena de radiao
solar entre os dois declives e/ou que a precipitao no mostrava diferena. Por exemplo:
O declive B recebe muito mais radiao solar do que o A, mas a mesma quantidade de chuva.
No h diferena na quantidade de chuva que os dois declives recebem.
H grande diferena na quantidade de radiao solar que os dois declives recebem.
A competncia avaliada na questo demandava dos alunos a capacidade de julgar a validade das hipteses de dois
estudantes com base nos resultados do experimento, demonstrando que entendiam como os erros de medida afetam
o grau de confiana associado a medies cientficas, um dos mais importantes aspectos do conhecimento epistemo-
lgico. Para tanto, deveriam detectar que as variaes da mdia de precipitao nos dois declives no eram suficientes
para explicar a diferena de umidade entre eles, o que no ocorria com a radiao solar.
3
Unidade 601 Fazenda sustentvel de peixes
Viso geral da unidade: essa unidade abordou desafios da criao sustentvel de peixes com gua do mar. O estmulo
inicial incluiu um texto que descrevia o fluxo de gua e nutrientes em um viveiro de criao de linguado.
Item S601Q04

Contexto Local/nacional Qualidade ambiental
Demanda cognitiva Baixa
Figura 3.38
S601Q04 14,79 14,19 14,94 15,06 16,31 15,34 15,15 16,60
Fonte: OCDE, INEP.
Figura 3.39
S601Q04 14,79 14,83 13,48 13,76 13,53 13,93 13,52
Fonte: OCDE, INEP.
O enunciado da tarefa demandava dos estudantes recuperar o conceito de sustentabilidade e reconhec-lo em uma
situao prtica. Para responder a essa questo, eles deveriam selecionar, entre quatro opes, a que correspondia
a uma estratgia adequada para ampliar a sustentabilidade do sistema: Usar resduos produzidos pelos organismos
para gerar combustvel para movimentar as bombas de gua.
A tarefa era composta apenas pelo enunciado e, embora no apresentasse nenhum texto de suporte, as tarefas ante-
riores poderiam contribuir para a compreenso do problema proposto. O percentual de acerto do item foi de 33%.
3
Os percentuais de escolha das outras opes sugerem confuso entre os conceitos de sustentabilidade e produtividade.
Na anlise comparada dos Deltas, o item se destaca por apresentar um nvel de dificuldade para os jovens brasileiros
prximo mdia dos Deltas dos alunos dos pases com desempenho prximo ou superior ao dos da OCDE. Por
exemplo, observou-se maior percentual de acerto desse item pelos estudantes brasileiros (Delta igual a 14,79) do que
pelo mesmo pblico dos Estados Unidos (14,83).
Pontos fracos
A Figura 3.40 apresenta a anlise comparada dos Deltas dos pases latino-americanos. Nela, 20 itens se destacam como
pontos fracos. Os Deltas assinalados em cinza correspondem aos valores do ndice mais altos que o nvel de dificuldade
Figura 3.40
Anlise comparada dos Deltas dos pases latino-americanos, pontos fracos, cincias PISA 2015
Repblica
Dominicana
S615Q05 18,32 17,47 0,85 17,49 17,23 17,74 17,47 17,20 17,35 17,80
S641Q041 13,52 12,63 0,89 12,31 12,00 11,03 12,58 12,38 12,87 15,27
S648Q05 17,82 16,92 0,91 16,72 15,19 15,64 17,61 16,79 18,09 18,37
S615Q01 12,57 11,63 0,94 11,33 11,09 10,60 11,18 11,60 12,25 13,34
S646Q03 13,91 12,93 0,98 12,55 12,27 11,80 12,94 13,02 12,66 15,24
S620Q01 11,81 10,82 0,99 10,26 10,78 9,69 10,86 10,71 10,71 12,70
S645Q01 15,46 14,45 1,01 14,35 14,41 13,72 14,21 14,12 14,83 15,50
S657Q01 12,91 11,85 1,06 11,07 11,89 10,82 10,95 12,39 12,64 13,20
S438Q02 14,42 13,36 1,06 13,31 13,27 12,48 13,36 13,01 13,20 14,88
S638Q02 12,58 11,52 1,06 10,53 11,40 10,70 11,12 11,78 11,43 13,68
S603Q05 14,77 13,66 1,11 13,54 13,09 12,78 14,32 13,61 14,28 13,99
S641Q01 13,83 12,59 1,24 11,92 11,88 11,30 13,14 12,85 12,61 14,45
S458Q02 15,58 14,23 1,35 14,58 14,02 12,95 14,38 13,90 14,60 15,16
S524Q06 14,36 13,00 1,36 12,36 12,61 13,11 12,75 12,24 12,57 15,34
S521Q06 10,56 9,20 1,37 8,77 8,17 7,66 8,97 9,22 9,60 11,99
S438Q01 12,87 11,49 1,38 11,34 11,55 10,57 10,63 9,81 12,05 14,49
S629Q01 14,42 12,95 1,47 11,98 11,74 11,80 13,11 12,53 14,18 15,30
S641Q02 14,54 13,05 1,49 13,52 11,96 11,95 12,48 13,15 13,26 15,05
S416Q01 17,25 15,74 1,52 15,04 15,20 14,52 15,49 16,65 16,03 17,22
S466Q07 14,53 12,67 1,86 11,13 11,81 13,76 12,10 10,77 13,41 15,71
Nota:
Fonte: OCDE, INEP.
A Figura 3.41 apresenta a anlise comparada dos Deltas dos pases com desempenho prximo ou superior aos da OCDE.
Nela, 20 novos itens se destacam como pontos fracos.
Figura 3.41
pontos fracos, cincias PISA 2015
Estados Coreia
Unidos do Sul
S641Q041 13,52 10,17 3,35 10,60 10,49 10,19 10,04 9,79 9,93
S638Q01 15,37 12,02 3,35 12,93 12,74 10,89 13,03 11,94 10,60
S615Q012 12,57 9,19 3,38 9,24 9,94 8,43 9,78 8,79 8,96
S425Q04 18,12 14,73 3,39 16,18 14,27 16,42 13,68 14,52 13,31
S514Q04 15,57 12,14 3,42 13,33 12,25 10,40 12,57 11,99 12,33
3

pontos fracos, cincias PISA 2015
Estados Coreia
Unidos do Sul
S641Q02 1
14,54 11,09 3,46 11,03 11,82 11,14 11,48 10,92 10,11
S604Q04 18,51 15,01 3,49 15,10 15,26 15,01 15,75 13,95 15,01
S510Q04 17,61 14,11 3,50 14,13 15,02 14,46 14,50 13,97 12,55
S646Q032 13,91 10,38 3,53 10,91 10,77 10,25 10,50 10,07 9,81
S605Q02 17,88 14,34 3,54 14,94 15,30 13,20 15,13 13,99 13,48
S629Q03 15,36 11,82 3,54 12,80 12,67 10,99 11,59 11,63 11,24
S131Q02 16,20 12,64 3,56 13,19 13,71 11,25 14,05 12,38 11,27
S421Q03 14,67 10,93 3,74 11,31 10,67 11,13 10,27 10,79 11,40
S437Q06 13,72 9,93 3,78 10,67 10,66 9,92 10,93 9,15 8,27
S607Q02 16,02 12,18 3,84 11,43 12,45 11,78 12,70 11,49 13,25
S635Q03 17,20 13,33 3,87 13,24 12,83 13,17 13,85 12,58 14,32
S643Q02 15,76 11,89 3,87 12,48 11,99 11,15 12,92 11,80 11,01
S608Q04 16,48 12,57 3,92 12,85 13,79 12,43 12,74 11,86 11,73
S643Q01 14,17 10,25 3,92 10,31 10,35 9,84 11,34 9,59 10,07
S646Q01 12,72 8,80 3,92 8,58 9,36 8,13 9,86 7,76 9,10
S637Q011 16,40 12,45 3,95 12,30 13,26 11,76 13,13 11,53 12,73
S466Q072 14,53 10,52 4,01 10,36 10,54 11,70 9,58 10,08 10,86
S615Q02 17,30 13,24 4,06 13,11 13,40 12,86 13,99 12,63 13,46
S416Q012 17,25 13,13 4,12 13,47 13,60 12,78 13,76 12,69 12,49
S626Q04 15,94 11,77 4,17 11,93 11,96 12,01 12,22 11,00 11,49
S643Q04 18,84 14,64 4,20 14,60 14,96 14,28 15,57 13,94 14,48
S648Q052 17,82 13,39 4,43 15,32 13,11 12,54 13,65 12,95 12,78
Notas:
2. Item tambm destaque da anlise comparada com os pases da Amrica Latina.
Fonte: OCDE, INEP.
A Figura 3.42 apresenta um resumo da relao entre os 40 itens destacados como pontos fracos por competncia e tipo
de conhecimento.
Figura 3.42
Distribuio dos 40 itens por competncia e tipo de conhecimento,
anlise dos pontos fracos, cincias PISA 2015
Interpretar dados e
evidncias, 5


Fonte: OCDE, INEP.
3
Dos 40 itens que representam os pontos fracos dos estudantes brasileiros, a maior parte (15) pertence competncia
Interpretar dados e evidncias cientificamente e ao tipo de conhecimento procedimental (16). Quanto ao formato de
resposta a esses itens, 16 so de resposta aberta e 16 de mltipla escolha complexa. A maioria (27 itens) exige demanda
cognitiva mdia, e apenas um, alta.
Apresentam-se, a seguir, quatro exemplos de itens liberados para divulgao que ilustram os pontos fracos dos estudantes
brasileiros.
Unidade 637 Investigao da encosta do declive
Viso geral da unidade: essa unidade abordou uma investigao cientfica. O estmulo inicial incluiu um texto que
descrevia a diferena de vegetao em dois ambientes com declividades distintas e propunha um mtodo de investi-
gao para determinar as causas das diferenas observadas. Alm do texto verbal, o estmulo apresentou uma figura
representativa dos declives.
Item S637Q01

Competncia Avaliar e planejar investigaes cientficas
Conhecimento Sistema Epistemolgico Sistema Terra e espao
Contexto Local/nacional Recursos naturais
Figura 3.43
S637Q01 16,40 15,51 15,01 15,11 16,54 15,67 18,31 18,72
Fonte: OCDE, INEP.
3
Figura 3.44
S637Q01 16,40 12,30 13,26 11,76 13,13 11,53 12,73
Fonte: OCDE, INEP.
A tarefa constituiu-se de um texto explicativo do mtodo utilizado para coleta de dados nos declives A e B. Para
responder a essa questo, os estudantes deveriam justificar o uso de pares de instrumentos de medio instalados
em cada declive. Para receber o crdito completo, teriam de dar uma explicao que identificasse uma vantagem
cientfica do uso de mais de um instrumento de medio em cada declive.
Assim, eles poderiam determinar se uma diferena entre os declives significante.

Aumentar a preciso na medida de cada declive.
Detectar variaes de condies em um declive.
No caso de um dos dois falhar.
Os dados sero mais precisos.
Para aumentar a preciso das medidas de cada declive.
Porque pode haver variaes dentro de um declive.
A competncia demandava a aplicao de conhecimento epistemolgico para explicar a compreenso de mtodos

de coleta de dados para a construo do conhecimento cientfico. Esse item foi destaque na anlise comparada com
os pases com desempenho igual ou superior mdia da OCDE. O percentual de acerto dos alunos brasileiros foi de
20%. fato que os estudantes apresentam maior dificuldade em questes de resposta construda, o que se reflete no
percentual de respostas omitidas para o Brasil de 18%.
3
Unidade 641 Meteoroides e crateras
Viso geral da unidade: essa unidade teve como estmulo inicial um texto que descrevia a entrada de um meteoroide
na atmosfera da Terra e o que ocorreria caso ele atingisse a superfcie. Alm do texto verbal, o estmulo apresentou
uma figura representativa da passagem de um meteoroide pela atmosfera.
Item S641Q01

Contexto Global Fronteiras
Figura 3.45
S641Q01 13,83 11,92 11,88 11,30 13,14 12,85 12,61 14,45
Fonte: OCDE, INEP.
Figura 3.46
S641Q01 13,83 13,43 10,43 13,72 10,39 12,93 9,78
Fonte: OCDE, INEP.
A tarefa constituiu-se de um enunciado que perguntava a causa da acelerao de um meteoroide em direo Terra.
Para responder a essa questo, os estudantes deveriam selecionar, entre as quatro opes, aquela que explicava essa
acelerao: O meteoroide atrado pela massa da Terra.
3
A competncia avaliada demandava a compreenso da interao gravitacional entre a Terra e o meteoroide. Apesar de
o percentual de acerto dos brasileiros ter sido relativamente alto (42%), o item figura como ponto fraco porque alunos
dos demais pases analisados acertaram em percentual maior. Os erros podem ter sido provocados pelo fato de os distra-
tores apresentarem algumas concepes comuns para os estudantes sobre causas de movimento de objetos no espao.
Item S641Q02

Conhecimento Sistema Contedo Sistema Terra e espao
Figura 3.47
S641Q02 14,54 13,52 11,96 11,95 12,48 13,15 13,26 15,05
Fonte: OCDE, INEP.
Figura 3.48
S641Q02 14,54 11,03 11,82 11,14 11,48 10,92 10,11
Fonte: OCDE, INEP.
3
A tarefa constituiu-se de um enunciado que conduzia os estudantes a relacionar a espessura da atmosfera de um

planeta ao nmero de crateras metericas em sua superfcie. Para responder a essa questo, eles deveriam selecionar,
em um menu suspenso, as alternativas que completavam corretamente a sentena explicativa de tal relao: Quanto
mais espessa a atmosfera de um planeta for, menos crateras sua superfcie ter porque mais meteoroides queimaro
na atmosfera.
A competncia avaliada demandava a compreenso da relao entre a espessura da atmosfera e a probabilidade

de um meteoroide atingir a superfcie de um planeta. O percentual de acerto dos jovens brasileiros foi de 35% e,
da mesma forma que o item anterior, apesar de relativamente alto para o Brasil, configura-se como ponto fraco em
comparao com os demais pases analisados.
Itens S641Q3 e S641Q4
Essa questo foi dividida em duas partes:
Parte 1: item S641Q3 (os estudantes precisavam ordenar as crateras pelo tamanho).
Formato de resposta Mltipla escolha mltipla complexa

3
Figura 3.49
S641Q03 9,98 8,77 8,68 8,86 8,97 8,91 9,73 11,95
Fonte: OCDE, INEP.
Figura 3.50
S641Q03 9,98 7,59 7,54 8,04 7,40 6,82 7,26
Fonte: OCDE, INEP.
Essa primeira parte tratou apenas de uma interpretao bsica dos dados, sendo o item mais fcil de cincias no
PISA 2015. Os alunos brasileiros tiveram um nvel de dificuldade Delta de 9,98, correspondendo a um percentual
de acerto de 78%.
Parte 2: item S641Q4 (os estudantes precisavam ordenar as crateras segundo a antiguidade).

Figura 3.51
S641Q04 13,52 12,31 12,00 11,03 12,58 12,38 12,87 15,27
Fonte: OCDE, INEP.
Figura 3.52
S641Q04 13,52 10,60 10,49 10,19 10,04 9,79 9,93
Fonte: OCDE, INEP.
A tarefa da parte 2 constituiu-se de um enunciado que conduzia os alunos a relacionar uma imagem de crateras so-
brepostas sequncia de queda dos objetos que as causaram. Para responder a essa questo, eles deveriam classificar,
em ordem crescente de chegada, os meteoroides que formaram as crateras: C, A, B.
A competncia avaliada demandava a associao da sobreposio das bordas das crateras cronologia de impacto
dos meteoroides, da mais antiga para a mais recente. Para isso, os estudantes teriam de se basear na sobreposio
das crateras mostradas na figura e entender que a cratera C se formou primeiro porque a cratera A se sobrepe a ela
e a B est dentro da A. Tambm nesse item, o percentual de acerto dos brasileiros foi relativamente superior mdia
nacional (45%), porm, segundo os critrios adotados, configura-se como item-destaque de ponto fraco pelo baixo
percentual de acerto em comparao com os pases selecionados.
3
3.8 Quais foram os resultados dos estudantes brasileiros em cincias

no PISA 2015?
Nesta seo, apresentam-se os resultados do PISA 2015 na escala interpretada segundo a Teoria de Resposta ao Item
(Pasquali, 2009). Primeiro, compara-se o desempenho dos estudantes brasileiros com o dos alunos dos pases da Amrica
Latina que tiveram resultados vlidos (Colmbia, Costa Rica, Chile, Mxico, Peru, Uruguai e Repblica Dominicana),
com o dos de trs pases que se destacaram por apresentar resultados prximos aos dos membros da OCDE (Estados
Unidos, Espanha e Portugal) e com o dos de trs pases com resultados superiores mdia dos da OCDE (Canad, Coreia
do Sul e Finlndia).
Em seguida, realiza-se, sob essa mesma teoria, a anlise do desempenho dos estudantes por unidade da Federao, tipo
de dependncia e localizao das escolas, configurando, assim, o panorama do Brasil no PISA 2015.
A escala interpretada de cincias do PISA 2015
Aps a aplicao dos testes, o consrcio internacional do PISA realizou vrios estudos sobre a qualidade das bases
de respondentes das amostras nacionais para, assim, iniciar a anlise psicomtrica dos itens e gerar os resultados dos
70 pases/economias participantes do PISA 2015.
A primeira etapa da anlise psicomtrica est associada Teoria Clssica dos Testes (TCT), ilustrada na Seo 3.8.
Nela, avaliam-se os itens pelos nveis de dificuldade (percentual de acerto, ndice Delta), ndices de correlao bis-
serial, entre outros.
A fase seguinte refere-se anlise pelos modelos da Teoria de Resposta ao Item (TRI), bem como aplicao da
metodologia de valores plausveis para a estimativa dos escores relacionados escala de cincias. por meio dessa
teoria que se torna possvel comparar as respostas dos diferentes estudantes a diversos itens e em vrios ciclos de
avaliao do PISA.
A construo de uma escala contnua de proficincia em cincias permite associar o desempenho dos estudantes a
um ponto especfico da escala em que sua proficincia foi estimada (valores mais elevados na escala indicam maior
proficincia). A mtrica para a escala global de cincia baseia-se na mdia dos pases da OCDE de 500 pontos e no
desvio-padro de 100 pontos, definidos no PISA 2006, quando a escala de cincias foi desenvolvida pela primeira
vez. Os itens comuns a ambos os instrumentos de teste (2006 e 2015) permitem que faa a ligao entre as escalas.
Mais detalhes sobre esse procedimento podero ser encontrados no Relatrio Tcnico do PISA 2015 (OCDE, em
desenvolvimento).
Para ajudar a interpretao dos resultados advindos desse tipo de modelagem, a escala do PISA dividida em nveis
de proficincias interpretadas. Na edio de 2015, a dificuldade das tarefas associadas aos itens de cincias foi re-
presentada por sete nveis de proficincia, seis deles alinhados com os nveis descritos no PISA 2006 (do nvel 1a,
antes designado nvel 1, ao nvel 6) e um novo, o 1b. O nvel 1b baseia-se nas tarefas mais fceis da avaliao e, para
indicar o conhecimento e habilidades de alguns estudantes que tiveram desempenho inferior a esse nvel, tambm
se incluiu em 2015 o nvel abaixo de 1b.
Para a OCDE, o percentual de estudantes em cada pas/economia que atingem cada nvel de proficincia indica quo
bem os pases conseguem fomentar a excelncia em seus sistemas educativos. Atingir pelo menos o nvel 2 particu-
larmente importante, segundo a OCDE, uma vez que ele considerado o nvel bsico de proficincia que se espera
de todos os jovens, a fim de tirar proveito de novas oportunidades de aprendizagem e de participar plenamente da
vida social, econmica e cvica da sociedade moderna em um mundo globalizado (OCDE, 2016).
Em cincias, a diferena entre a proficincia abaixo do nvel 2 e a proficincia igual ou superior ao a esse nvel
corresponde, de acordo com a OCDE, a uma distino qualitativa entre ser capaz de aplicar um conhecimento
cientfico limitado apenas em contextos conhecidos (ou seja, do conhecimento comum) e demonstrar, pelo
menos, um nvel mnimo de raciocnio autnomo de compreenso das caractersticas bsicas de cincias, o que
permite que os estudantes se envolvam com questes relacionadas com a cincia como cidados crticos e infor-
mados (OCDE, 2016).
3
Desempenho do Brasil sob a perspectiva internacional

A nota mdia dos jovens brasileiros em cincias no PISA 2015 foi de 401 pontos, significativamente inferior s dos es-
tudantes dos pases da OCDE (493). A Figura 3.53 apresenta os resultados mdios dos estudantes de 15 anos do Brasil
e dos 13 pases selecionados na escala interpretada do PISA 2015.
Figura 3.53
Mdias, intervalos de confiana e percentis das proficincias dos pases selecionados, cincias PISA 2015
Pas Mdia EP1 IC2 Interdecil3 Distribuio das proficincias4
225 275 325 375 425 475 525 575 625 675
Finlndia
Finlndia 531 2,4 526-535 402-651
Canad 528 2,1 524-532 404-644 Canad
Coreia do Sul 516 3,1 510-522 388-636 Coreia do Sul
Portugal 501 2,4 496-506 379-620 Portugal
Estados Unidos 496 3,2 490-502 368-626 Estados Unidos
Espanha 493 2,1 489-497 374-605 Espanha
Chile 447 2,4 442-452 336-560 Chile
Uruguai 435 2,2 431-440 326-552 Uruguai
Costa Rica
Costa Rica 420 2,1 416-424 332-514
Colmbia
Colmbia 416 2,4 411-420 315-524
Mxico
Mxico 416 2,1 412-420 325-510
Brasil
Brasil 401 2,3 396-405 291-522
Peru
Peru 397 2,4 392-401 301-500
Repblica Dominicana
Repblica Dominicana 332 2,6 327-337 244-429
Notas:
1. EP: estimativa de erro-padro da mdia.
2. IC: intervalo de confiana da mdia.
3. Intervalo interdecil: intervalo em que o limite inferior o percentil 10, e o superior, o percentil 90.
4. O grfico apresenta a distribuio das proficincias pelos percentis (P10, P25, P75, P90) e pelos intervalos de confiana das mdias.
Mdia brasil
P10 P90
P25 P75
LI LS
Fonte: OCDE, INEP.
Verifica-se que h uma grande diferena de escores entre os pases avaliados. Os 10% dos estudantes brasileiros com
pior desempenho no PISA 2015 obtiveram nota mdia igual a 291, e os 10% de maior nota, 522. Costa Rica o que
apresenta menor diferena entre esses grupos de alunos (182 pontos).
A Figura 3.54 mostra a srie histrica do PISA 2015 em cincias desde 2006, quando a escala desse domnio foi desen-
volvida pela primeira vez. Quando se faz o estudo de tendncias no PISA, no se podem avaliar somente os resultados
mdios dos pases/economias. Uma fonte adicional de incerteza deve ser levada em considerao devido s flutuaes
amostrais e metodologias aplicadas.
Figura 3.54
Mdias e medidas de erro-padro por edio dos pases selecionados, cincias PISA 2006-2015
2006 2009 20123 2015
Pas
Mdia EP1 EP 2
Mdia EP1 EP 2
Mdia EP1 EP2 Mdia EP1
Finlndia 563 2 4,9 554 2,3 5,0 545 2,2 5,0 531 2,4
Canad 534 2 4,9 529 1,6 4,8 525 1,9 4,9 528 2,1
Coreia do Sul 522 3,4 5,6 538 3,4 5,6 538 3,7 5,8 516 3,1
Portugal 474 3 5,4 493 2,9 5,3 489 3,7 5,8 501 2,4
Estados Unidos 489 4,2 6,1 502 3,6 5,7 497 3,8 5,9 496 3,2
Espanha 488 2,6 5,2 488 2,1 4,9 496 1,8 4,8 493 2,1
Chile 438 4,3 6,2 447 2,9 5,3 445 2,9 5,3 447 2,4
3

Mdias e medidas de erro-padro por edio dos pases selecionados, cincias PISA 2006-2015
2006 2009 20123 2015

Pas
Mdia EP1 EP 2
Mdia EP1 EP 2
Mdia EP1 EP2 Mdia EP1
Uruguai 428 2,7 5,2 427 2,6 5,2 416 2,8 5,3 435 2,2
Costa Rica 430 2,8 5,3 429 2,9 5,3 420 2,1
Colmbia 388 3,4 5,6 402 3,6 5,7 399 3,1 5,4 416 2,4
Mxico 410 2,7 5,2 416 1,8 4,8 415 1,3 4,7 416 2,1
Brasil 390 2,8 5,3 405 2,4 5,1 402 2,1 4,9 401 2,3
Peru 369 3,5 5,7 373 3,6 5,7 397 2,4
Repblica Dominicana 332 2,6
Notas:
1. EP1: estimativa de erro-padro da mdia na edio avaliada.
2. EP2: estimativa de erro-padro da mdia considerando os linking errors do PISA 2015.
3. Para manter a comparabilidade entre os ciclos, foram includos os resultados das escolas rurais do PISA 2012.
Fonte: OCDE, INEP.
Mesmo que em diferentes avaliaes do PISA se utilize a mesma mtrica para medir o desempenho dos estudantes,
fatores associados aos instrumentos utilizados em cada ciclo, assim como as flutuaes das amostras de calibrao e,
por vezes, os modelos estatsticos usados, precisam ser mensurados na anlise. Para tornar os resultados comparveis
diretamente no tempo, as escalas tm de ser equiparadas, ou seja, preciso transformar os resultados para que possam
ser expressos na mesma mtrica. No caso do PISA, as medidas de linking error so agregadas s medidas de erro-padro
(OCDE, 2016), quantificando a incerteza em torno do equacionamento de escalas, o que permite a correta avaliao do
desempenho mdio dos pases/economias ao longo das edies.
Para comparaes entre os resultados de cincias no PISA 2015 e 2006, o linking error corresponde a cerca de 4,5 pontos
de escore (OCDE, 2016). A Figura 3.55 agrega essa fonte de erro e permite avaliar o desempenho dos pases que tiveram
resultados nas ltimas trs avaliaes.
Figura 3.55
Intervalos de confiana da diferena das mdias dos pases, cincias PISA 2015 e ciclos anteriores
Coreia do Sul Canad Finlndia
50 50 50
40 40 40
30 30 30
20 20 20
10 10 10
0 0 0
-10 -10 -10
-20 -20 -20
-30 -30 -30
-40 -40 -40
-50 -50 -50
2006 2009 2012 2006 2009 2012 2006 2009 2012
Portugal Espanha Estados Unidos
50 50 50
40 40 40
30 30 30
20 20 20
10 10 10
0 0 0
-10 -10 -10
-20 -20 -20
-30 -30 -30
-40 -40 -40
-50 -50 -50
2006 2009 2012 2006 2009 2012 2006 2009 2012
Uruguai Mxico Brasil
50 50 50
40 40 40
30 30 30
20 20 20
10 10 10
0 0 0
-10 -10 -10
-20 -20 -20
-30 -30 -30
-40 -40 -40
-50 -50 -50
2006 2009 2012 2006 2009 2012 2006 2009 2012
LS
Nota:
1. Intervalos de confiana da diferena das mdias: o grfico apresenta os limites inferiores e superiores do intervalo da diferena Mdia Ciclo Anterior Mdia 2015
das mdias. O valor de referncia y = 0. Intervalos que cruzam a linha de referncia indicam que o desempenho mdio do pas
no ano no estatisticamente diferente do desempenho no PISA 2015.
Fonte: OCDE, INEP. LI
3
Observa-se que o desempenho dos estudantes brasileiros manteve-se no mesmo patamar desde 2006. Canad, Espanha,
Estados Unidos e Mxico mostraram a mesma tendncia, no havendo evidncias empricas de que os resultados nos trs
ltimos ciclos do PISA para cincias sejam estatisticamente diferentes dos encontrados em 2015. Portugal e Uruguai, por
sua vez, apresentaram melhoria em relao s edies anteriores: diferena de 12 e 19 pontos, respectivamente, quando
se comparam o PISA 2012 e o 2015. Coreia do Sul e Finlndia, de outro lado, tiveram decrscimo nos resultados mdios.
A Figura 3.56 apresenta a distribuio das notas mdias nos percentis (P10, P25, P75, P90) da escala de proficincia em cin-
cias no PISA 2012 e 2015. Observa-se que os estudantes brasileiros com melhor desempenho (P75 e P90) tiveram aumento
nos resultados mdios, e os de pior desempenho, diminuio (diferena de 11 pontos do P10 em 2015 em relao a 2012).
Figura 3.56
Distribuio dos escores mdios segundo os percentis, cincias PISA 2012 e 2015
2012 2015
Pas P10 P25 P75 P90 P10 P25 P75 P90
Perc1 EP2 Perc EP Perc EP Perc EP Perc EP Perc EP Perc EP Perc EP
Finlndia 424 3,9 486 2,8 609 2,4 662 2,9 402 4,2 466 3,5 599 2,5 651 2,7
Coreia do Sul 431 4,9 485 4,0 595 4,1 639 4,3 388 4,5 451 3,8 584 3,3 636 3,7
Canad 407 2,7 467 2,1 588 2,4 639 2,5 404 2,9 465 2,5 593 2,2 644 2,6
Estados Unidos 377 4,9 431 4,4 563 4,2 619 4,5 368 3,9 425 3,7 567 3,9 626 3,9
Espanha 384 3,1 440 2,3 557 1,8 605 2,0 374 3,5 432 2,9 556 2,4 605 2,4
Portugal 372 5,6 430 4,8 551 3,6 602 3,6 379 3,2 435 3,4 568 2,7 620 3,1
Chile 343 3,8 388 3,3 500 3,6 552 3,7 336 2,7 385 3,0 509 3,2 560 3,3
Uruguai 293 4,2 352 3,8 480 3,4 538 4,3 326 2,6 372 2,4 496 3,0 552 3,6
Costa Rica 341 3,3 382 3,6 476 3,6 520 4,9 332 2,3 370 2,3 466 2,8 514 3,3
Mxico 325 2,1 368 1,6 462 1,5 505 1,9 325 2,5 366 2,2 464 2,8 510 3,1
Brasil 302 2,4 348 1,9 454 2,7 505 3,5 291 2,1 337 1,9 460 3,3 522 4,1
Colmbia 302 4,6 347 3,4 449 3,5 497 4,0 315 3,1 357 2,8 471 2,9 524 3,4
Peru 275 3,8 321 3,4 425 4,4 475 5,4 301 2,6 342 2,4 448 3,3 500 3,9
Notas:
1. Perc: percentil, medida que divide a distribuio das proficincias em 100 partes.
2. EP: estimativa de erro-padro do percentil.
Fonte: OCDE, INEP.
A distribuio dos estudantes dos pases selecionados na escala interpretada de 2015 est ilustrada na Figura 3.57.
Figura 3.57
Percentual de estudantes por nvel de proficincia, pases selecionados, cincias PISA 2015
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Canad 02 9 20 30 26 10 2
Portugal 0 3 14 25 29 21 7 1
Finlndia 0 2 9 19 29 26 12 2
Espanha 0 4 14 27 31 19 5 0
Coreia do Sul 0 3 11 22 29 24 9 1
Estados Unidos 0 4 15 25 27 19 7 1
Costa Rica 1 10 36 35 15 30
Chile 1 9 25 31 24 9 10
Mxico 1 12 35 35 15 20
Uruguai 1 11 28 30 20 7 10
Colmbia 2 14 33 31 16 4 0
Peru 3 19 37 28 11 20
Brasil 4 20 32 25 13 4 10
Repblica Dominicana 16 40 30 11 30
Abaixo nvel 1 Nvel 1B Nvel 1A Nvel 2 Nvel 3 Nvel 4 Nvel 5 Nvel 6
Fonte: OCDE, INEP.
3
No Brasil, 56,6% dos estudantes esto abaixo do nvel 2 em cincias, patamar que a OCDE estabelece como necess-
rio para que os jovens possam exercer plenamente sua cidadania. Esse percentual maior na Repblica Dominicana
(85,7%) e menor no Canad (11,1%).
A Figura 3.58 apresenta o percentual de estudantes nos nveis desde o primeiro ciclo em que cincias foi o domnio
principal no PISA. Em comparao com 2006, verifica-se um aumento de 4,4 pontos percentuais de jovens brasileiros no
nvel 2 ou acima no PISA 2015. Cabe lembrar tambm que ao longo da ltima dcada o Brasil tem expandido o nmero
de matrculas na Educao Bsica e, em consequncia, ampliado a cobertura de alunos de 15 anos na avaliao, dados
que tendem a impactar diretamente as anlises desses percentuais.
Figura 3.58
Percentual de estudantes por nvel de proficincia, pases selecionados, cincias PISA 2006-2015
Coreia Estados Costa
Ano Nveis Canad Finlndia Portugal Espanha Chile Uruguai Mxico Colmbia Peru1 Brasil
do Sul Unidos Rica1,2
<1 2,5 2,2 0,5 5,8 4,7 7,6 13,1 16,7 18,2 26,2 27,9
1 8,7 7,8 3,6 18,7 14,9 16,8 26,7 25,4 32,8 34,0 33,1
2 21,2 19,1 13,6 28,8 27,4 24,2 29,9 29,8 30,8 27,2 23,8
2006
3 31,8 28,8 29,1 28,8 30,2 24,0 20,1 19,7 14,8 10,6 11,3
4 25,5 27,7 32,2 14,7 17,9 18,3 8,4 6,9 3,2 1,9 3,4
5 9,2 12,0 17,0 3,0 4,5 7,5 1,8 1,3 0,3 0,2 0,5
6 1,1 2,4 3,9 0,1 0,3 1,5 0,1 0,1 0,0 0,0 0,0
<1 1,1 2,0 1,1 3,0 4,6 4,2 8,4 17,0 14,5 20,4 35,3 19,7
1 5,2 7,5 4,9 13,5 13,6 13,9 23,9 25,6 32,8 33,7 33,0 34,5
2 18,5 20,9 15,3 28,9 27,9 25,0 35,2 29,3 33,6 30,2 21,7 28,8
2009
3 33,1 31,2 28,8 32,3 32,3 27,5 23,6 19,5 15,8 13,1 8,0 12,6
4 30,4 26,2 31,2 18,1 17,6 20,1 7,9 7,1 3,1 2,5 1,8 3,9
5 10,5 10,5 15,4 3,9 3,7 7,9 1,1 1,4 0,2 0,1 0,2 0,6
6 1,1 1,6 3,3 0,3 0,2 1,3 0,0 0,1 0,0 0,0 0,0 0,0
<1 1,2 2,4 1,8 4,7 3,7 4,2 8,6 8,1 19,7 12,6 19,8 31,5 19,9
1 5,5 8,0 5,9 14,3 12,0 14,0 30,7 26,3 27,2 34,4 36,3 37,0 35,4
2 18,0 21,0 16,8 27,3 27,3 26,7 39,2 34,6 29,3 37,0 30,8 23,5 29,8
2012
3 33,6 32,0 29,6 31,4 32,8 28,9 17,8 22,4 17,1 13,8 11,0 7,0 12,0
4 30,1 25,3 28,8 17,8 19,4 18,8 3,4 7,5 5,6 2,1 1,9 1,0 2,6
5 10,6 9,5 13,9 4,2 4,5 6,3 0,2 1,0 1,0 0,1 0,1 0,0 0,3
6 1,1 1,8 3,2 0,3 0,3 1,1 0,0 0,0 0,0 0,0 0,0 0,0 0,0
<1 0,4 0,1 0,3 0,2 0,3 0,5 0,7 1,0 1,2 1,1 1,7 2,8 4,4
1B4 2,9 1,8 2,3 3,2 3,7 4,3 10,1 8,9 11,2 11,7 14,5 19,0 19,9
1A3 11,1 9,1 8,9 14,0 14,3 15,5 35,6 25,0 28,4 35,0 32,8 36,7 32,4
2 21,7 20,2 19,1 25,4 26,5 25,5 35,5 31,0 30,3 34,7 30,6 27,9 25,4
2015
3 29,2 30,3 29,2 28,8 31,3 26,6 15,2 23,8 20,3 15,1 15,9 11,5 13,1
4 24,0 26,1 26,0 21,0 18,9 19,1 2,7 9,1 7,4 2,3 4,1 2,0 4,2
5 9,2 10,4 11,9 6,7 4,7 7,3 0,1 1,2 1,2 0,1 0,3 0,1 0,6
6 1,4 2,0 2,4 0,7 0,3 1,2 0,0 0,1 0,0
Notas:
1. Peru e Costa Rica no participaram do PISA 2006.
2. Como no PISA 2009 a Costa Rica realizou a avaliao em 2010, o percentual de estudantes por nvel nessa edio no foi contabilizado nessa anlise.
3. O nvel 1A corresponde ao nvel 1 no PISA 2006.
4. O nvel 1B corresponde ao nvel <1 no PISA 2006.
Fonte: OCDE, INEP.
3
A Figura 3.59 traz um resumo do desempenho dos estudantes por gnero na avaliao de cincias para os 13 pases avaliados.
No Brasil, bem como na mdia geral da OCDE, meninos tiveram desempenho superior (4 pontos) ao das meninas. Na Finlndia
e na Coreia do Sul, de outro lado, as meninas tiveram desempenho melhor: diferena de 19 e 10 pontos, respectivamente.
Figura 3.59
Escores mdios estimados por gnero dos pases selecionados, cincias PISA 2015
540 FIN
Meninas com CAN

KOR
510 desempenho maior que
meninos PRT
USA
ESP
480
450
CHL
URY
420
MEX COL CRI
BRA
390 PER
360
Meninos com
desempenho maior que
330 DOM meninas
300
300 330 360 390 420 450 480 510 540
Fonte: OCDE, INEP.
Desempenho do Brasil em cincias sob a perspectiva nacional

Para ter um fiel retrato do desempenho dos jovens brasileiros no PISA 2015, realiza-se agora uma anlise do desempenho
geral por tipo de escola (dependncia administrativa, localizao e rea), bem como uma anlise mais aprofundada em
relao s unidades da Federao.
Tal como destacado no Captulo 2 deste relatrio, o perfil dos jovens de 15 anos no Brasil majoritariamente de estudan-
tes do Ensino Mdio. Dessa maneira, a rede estadual possui a melhor representao na avaliao do PISA e, na Figura
3.60, verifica-se que o desempenho mdio desses estudantes foi de 394 pontos. Por ofertar prioritariamente o Ensino
Fundamental, a rede municipal apresenta desempenho inferior ao das escolas de outras dependncias administrativas.
Alunos da rede federal, de outro lado, tm o melhor desempenho em cincias, superando a mdia nacional.
Figura 3.60
Mdias, intervalos de confiana e percentis dos escores
por dependncia administrativa, cincias PISA 2015
Dependncias
Mdia EP1 IC2 Interdecil3 Distribuio das proficincias4
administrativas
200 250 300 350 400 450 500 550 600 650
Brasil
Brasil 401 2,3 396-405 291-522
Federal
Federal 517 10,4 497-538 423-605
Particular
Particular 487 6,8 474-500 374-593
Estadual
Estadual 394 1,8 390-397 295-499
Municipal
Municipal 329 3,6 322-336 249-411
Notas:
1. EP: estimativa de erro-padro da mdia. Mdia brasil
P10 P90
4. Distribuio das proficincias. O grfico apresenta a distribuio das proficincias pelos percentis
(P10, P25, P75, P90) e pelos intervalo de confiana das mdias. P25 P75
Fonte: OCDE, INEP. LI LS
3
Quando se comparam os tipos de localizao (Figura 3.61), observa-se que o desempenho mdio dos estudantes brasi-
leiros das escolas urbanas no PISA 2015 estatisticamente superior ao dos das escolas rurais (53 pontos).
Figura 3.61
Mdias, intervalos de confiana e percentis dos escores por localizao, cincias PISA 2015
Localizao Mdia EP1 IC2 Interdecil3 Distribuio das proficincias4
200 250 300 350 400 450 500 550 600 650
Brasil
Brasil 401 2,3 396-405 291-522

Urbana
Urbana 403 2,4 398-408 293-524
Rural
Rural5 350 12,5 325-374 257-455
Notas:
3. Intervalo interdecil: intervalo em que o limite inferior o percentil 10, e o superior, o percentil 90. Mdia brasil
4. Distribuio das proficincias: o grfico apresenta a distribuio das proficincias pelos percentis P10 P90
(P10, P25, P75, P90) e pelos intervalos de confiana das mdias.
5. Devido ao delineamento utilizado no PISA, escolas rurais da regio Norte no foram contempladas
P25 P75
no estudo.
Com relao rea em que as escolas se localizam (Figura 3.62), os estudantes da capital obtiveram melhor desempenho
mdio (412 pontos) do que os do interior (397), diferena estatisticamente no significativa, contudo.
Figura 3.62
Mdias, intervalos de confiana e percentis dos escores por rea, cincias PISA 2015
rea Mdia EP1 IC2 Interdecil3 Distribuio das proficincias4
200 250 300 350 400 450 500 550 600 650
Brasil
Brasil 401 2,3 396-405 291-522

Capital
Capital 412 5,9 400-423 295-539

Interior
Interior 397 2,7 392-403 289-516
Notas:
P10 P90
A Figura 3.63 apresenta os resultados por unidade da Federao na escala de cincias do PISA 2015. Esprito Santo foi
a que apresentou o maior resultado (435 pontos), e Alagoas, o menor (360).
3
Figura 3.63
Mdias, intervalos de confiana e percentis dos escores por unidade da Federao, cincias PISA 2015
UF Mdia EP1 IC2 Interdecil3 Distribuio das proficincias4
200 250 300 350 400 450 500 550 600 650
Brasil 401 2,3 396-405 291-522 Brasil
Esprito Santo 435 6,6 422-448 322-554 Esprito Santo
Distrito Federal 426 5,6 415-437 312-545 Distrito Federal
Paran 425 10,4 405-445 313-538 Paran
Minas Gerais 422 11,8 399-445 308-546 Minas Gerais
Santa Catarina 418 6,1 406-430 313-534 Santa Catarina
Rio Grande do Sul 411 9,8 391-430 300-527 Rio Grande do Sul
So Paulo 409 5,1 399-419 297-529 So Paulo
Gois 409 9,2 391-427 302-533 Gois
Mato Grosso do Sul 403 7,6 388-418 298-515 Mato Grosso do Sul
Cear 401 11,3 379-423 297-524 Cear
Amazonas 399 8,5 383-416 298-508 Amazonas
Acre 399 9,3 381-417 297-507 Acre
Roraima 398 9,2 380-416 305-504 Roraima
Mato Grosso 396 5,4 385-406 303-496 Mato Grosso
Rio de Janeiro 392 7,0 378-405 287-507 Rio de Janeiro
Rondnia 387 9,7 369-406 294-487 Rondnia
Par 386 15,5 356-417 278-522 Par
Pernambuco 383 7,7 368-398 278-494 Pernambuco
Amap 381 8,0 366-397 297-467 Amap
Piau
Piau 380 11,5 357-403 275-500
Paraba
Paraba 380 9,2 362-398 281-488
Rio Grande do Norte
Rio Grande do Norte 377 6,7 364-390 279-491
Sergipe
Sergipe 375 9,4 357-394 277-494
Tocantins
Tocantins 372 4,6 363-381 280-469
Maranho
Maranho 369 13,5 343-396 267-483
Bahia
Bahia 368 6,9 355-382 264-486
Alagoas
Alagoas 360 10,9 339-381 261-484
Notas:
3. Intervalo interdecil: intervalo em que o limite inferior o percentil 10, e o superior, o percentil 90. P10 P90
4. O grfico apresenta a distribuio das proficincias pelos percentis (P10, P25, P75,P90)
e pelos intervalos de confiana das mdias. P25 P75
3
Figura 3.64
Intervalos de confiana das diferenas dos escores mdios das unidades da Federao
com relao ao desempenho do Brasil, cincias PISA 2015
100
Limite superior
Mdia
75 Limite inferior
50
25
-25
-50
-75
-100
AL BA MA TO SE RN PB PI AP PE PA RO RJ MT RR AC AM CE MS GO SP RS SC MG PR DF ES
(68%) (85%) (83%) (89%) (70%) (86%) (74%) (76%) (40%) (80%) (70%) (81%) (87%) (78%) (76%) (86%) (92%) (94%) (89%) (81%) (88%) (89%) (81%) (90%) (39%) (84%) (87%)
Notas: LS
1. O percentual em parnteses corresponde taxa de resposta geral discutida no Captulo 2.
2. Intervalos de confianas da diferena das mdias: o grfico apresenta os limites inferiores e superiores do intervalo da diferena das m- Mdia UF-Mdia Brasil
dias. O valor de referncia y=0. Intervalos que cruzam a linha de referncia indicam que o desempenho mdio da unidade da Federao
em 2015 no estatisticamente diferente do desempenho nacional.
A Figura 3.64 indica as diferenas entre os resultados mdios de cada unidade da Federao e os do Brasil no PISA 2015.
Estados com desempenho acima da linha de referncia (y = 0) apresentam resultado estatisticamente superior mdia
nacional, e os com desempenho mdio abaixo da linha, inferior. A Figura 3.65 mostra um resumo da anlise realizada.
Figura 3.65
Desempenho das unidades da Federao menor, igual ou maior que o do Brasil, cincias PISA 2015
Desempenho menor que o do Brasil1 Desempenho igual ao do Brasil1 Desempenho maior que o do Brasil1
Alagoas (360; 10,9) Piau (380; 11,5) So Paulo (409; 5,1)
Bahia (368; 6,9) Par (386; 15,5) Santa Catarina (418; 6,1)
Maranho (369; 13,5) Rondnia (387; 9,7) Paran (425; 10,4)
Tocantins (372; 4,6) Rio de Janeiro (392; 7,0) Distrito Federal (426; 5,6)
Sergipe (375; 9,4) Mato Grosso (396; 5,4) Esprito Santo (435; 6,6)
Rio Grande do Norte (377; 6,7) Roraima (398; 9,2)
Paraba (380; 9,2) Acre (399; 9,3)
Amap (381; 8,0) Amazonas (399; 8,5)
Pernambuco (383; 7,7) Cear (401; 11,3)
Mato Grosso do Sul (403; 7,6)
Gois (409; 9,2)
Rio Grande do Sul (411; 9,8)
Minas Gerais (422; 11,8)
Nota:
1. Diferenas nos escores so estatisticamente significativas.
Fonte: OCDE, INEP.
3
Ao avaliar os estudantes brasileiros por nvel de proficincia, observa-se que as discrepncias dos resultados subnacionais
so altas (Figura 3.66). Enquanto 40,4% dos alunos do estado do Esprito Santo esto abaixo do nvel 2, em Alagoas esse
percentual de 74,9%.
Figura 3.66
Percentual de estudantes por nvel de proficincia e unidade da Federao cincias, PISA 2015
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Brasil 4 20 32 25 13 4 10
Esprito Santo 2 12 27 31 19 8 1
Santa Catarina 2 14 31 31 16 5 1
Distrito Federal 2 14 28 30 18 6 1
Roraima 2 19 38 27 11 3 0
Minas Gerais 2 15 29 27 18 7 1
Paran 3 13 28 30 20 6 1
Mato Grosso 3 19 38 28 10 20
Gois 3 18 33 26 12 5 2
Amap 3 22 42 26 5 1
Acre 3 18 35 28 12 3
Amazonas 3 19 35 28 12 3
Mato Grosso do Sul 3 20 31 28 14 4 0
Rio Grande do Sul 3 17 31 28 16 4 1
Cear 3 19 35 24 12 5 1
So Paulo 4 18 31 27 15 5 1
Rondnia 4 21 40 25 8 3
Rio de Janeiro 5 22 33 25 12 3
Tocantins 5 26 39 23 6 0
Rio Grande do Norte 6 27 36 21 10 1
Paraba 6 25 36 23 8 20
Pernambuco 6 24 35 24 9 2
Sergipe 6 29 35 19 8 30
Piau 6 27 34 20 9 3 1
Par 7 24 33 20 10 5
Maranho 8 29 33 20 7 20
Bahia 9 28 35 18 8 20
Alagoas 10 34 31 15 8 2

Fonte: OCDE, INEP.
Com se observa na Figura 3.67, na maioria dos estados brasileiros o desempenho mdio dos meninos superior ao das
meninas. Mato Grosso do Sul foi o que apresentou maior diferena: 18 pontos. De outro lado, essa relao se inverte
em seis unidades da Federao: Amap, Bahia, Maranho, Mato Grosso, Paraba e Paran.
Figura 3.67
Escores mdios estimados por gnero e unidade da Federao, cincias PISA 2015
440 Meninas com

desempenho maior que ES
meninos
PR DF
MG
SC
410 RS
GO SP
MT AC AM CE
RR MS
RJ
AP RO
PB PA
380 PE
PI
RN
MA SE Meninos com
BA TO
meninas
AL
350
350 380 410 440
Fonte: OCDE, INEP.
4
A avaliao de leitura
no PISA 2015
4
A avaliao de leitura no PISA 2015
4.1 Aspectos gerais

No PISA 2015, o letramento em leitura foi avaliado como domnio secundrio, oferecendo a oportunidade de fazer
comparaes do desempenho dos estudantes edio a edio, considerando que o Brasil participa dessa avaliao
desde a primeira, em 2000.
Neste captulo, pretende-se fornecer informaes sobre a avaliao dessa rea cognitiva que possam atender tanto os
leitores que j a conhecem como aqueles que tomam o primeiro contato com o assunto. As Sees 4.2 a 4.5 apresentam
os marcos referenciais do domnio de leitura no PISA. Na Seo 4.6, discute-se o desempenho dos estudantes brasileiros
nessa avaliao com base em uma anlise do nvel de dificuldade dos itens. Por fim, na Seo 4.7, apresentam-se os
resultados nacionais e estaduais em leitura do PISA 2015.
4.2 Como o letramento em leitura definido no PISA?

As definies de leitura e de letramento em leitura mudaram ao longo do tempo, acompanhando as transformaes na
sociedade, na economia e na cultura. O conceito de aprendizagem, especialmente o de aprender por toda a vida/apren-
dizagem para a vida toda, expandiu a percepo de letramento em leitura. O letramento no mais considerado uma
habilidade adquirida apenas na infncia, nos primeiros anos de escolarizao. Em vez disso, visto como um conjunto
crescente de conhecimentos, habilidades e estratgias que as pessoas constroem durante a vida em diversos contextos,
por meio da interao com seus pares e com a comunidade em geral.
As teorias cognitivas de letramento em leitura enfatizam a natureza interativa da leitura e a natureza construtiva da
compreenso, no meio impresso (Binkley e Linnakyl, 1997; Bruner, 1990; Dole et al., 1991, apud OCDE, 2016) e,
em uma profundidade ainda maior, no meio digital (Fastrez, 2001; Legros e Crinon, 2002; Leu, 2007; Reinking, 1994,
apud OCDE, 2016). O leitor produz significado como reao ao texto, usando conhecimentos prvios e pistas textuais
e situacionais que normalmente derivam de sua sociedade e de sua cultura. Ao construir significados, ele usa vrios
processos, habilidades e estratgias para promover, monitorar e manter o entendimento. Esses processos, habilidades e
estratgias podem variar de acordo com o contexto e a finalidade, medida que o leitor interage com variados textos
contnuos e no contnuos no meio impresso e (normalmente) com textos diversos no meio digital.
Figura 4.1
A definio de letramento em leitura PISA 2015
Letramento em leitura refere-se a compreender, usar, refletir
sobre e envolver-se com os textos escritos, a fim de alcanar
um objetivo, desenvolver conhecimento e potencial e participar
da sociedade.
Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading,
Mathematic and Financial Literacy.
Letramento em leitura...
O termo letramento em leitura prefervel a leitura porque pode informar com maior preciso, a um pblico no
especializado, o que o PISA est medindo. Em geral, entende-se como leitura a simples decodificao ou mesmo a
leitura em voz alta, enquanto a inteno dessa avaliao medir algo mais abrangente e mais profundo. O letramento em
leitura inclui grande variedade de competncias cognitivas, entre as quais esto a decodificao bsica, o conhecimento
das palavras, da gramtica e das estruturas e caractersticas lingusticas e textuais mais abrangentes e o conhecimento
de mundo.
Letramento em leitura pretende expressar a aplicao ativa, intencional e funcional da leitura a uma srie de situaes
e para fins variados. De acordo com Holloway (1999), as habilidades de leitura so essenciais para os resultados aca-
dmicos de alunos dos nveis fundamental e mdio. O PISA avalia um amplo grupo de estudantes. Alguns iro para a
universidade, outros seguiro estudos suplementares para se preparar para o mercado de trabalho, outros, ainda, entraro
no mercado de trabalho logo aps a concluso do ensino obrigatrio. Os resultados em letramento em leitura no so
apenas uma base para os resultados em outras reas dentro do sistema educacional, mas tambm um pr-requisito para
a participao bem-sucedida na maioria das atividades da vida adulta (Cunningham e Stanovich, 1998; Smith et al.,
4
a Avaliao de leitura no PISA 2015
2000, apud OCDE, 2016). Na verdade, independentemente das aspiraes acadmicas ou profissionais dos estudantes,
seu letramento em leitura fundamental para uma participao ativa na comunidade, na economia e na vida cotidiana.
As habilidades de letramento em leitura so importantes tanto para as pessoas quanto para as economias como um
todo. Os elaboradores de polticas e outros profissionais j reconhecem que a sociedade moderna e o capital humano
a soma do que os indivduos em uma economia sabem e conseguem fazer podem ser a forma mais importante de
capital. Ao longo de muitos anos, os economistas tm desenvolvido modelos demonstrando, de maneira geral, que os
nveis de educao de um pas so os preditores do potencial de crescimento de sua economia (Coulombe et al., 2004,
apud OCDE, 2016).
... refere-se a compreender, usar, refletir sobre...

A palavra compreender est de fato conectada com a compreenso da leitura, um elemento bem-aceito de leitura.
Usar diz respeito noo de aplicao e funo fazer algo com o que lemos. Refletir sobre foi adicionado a
compreender e usar para enfatizar a noo de que ler um processo interativo: os leitores fundamentam-se em
seus pensamentos e experincias ao envolver-se com o texto. claro que cada ato de leitura exige alguma reflexo,
embasada em informao externa ao texto. Mesmo em estgios mais iniciais, os leitores apoiam-se em conhecimento
simblico para decodificar um texto e precisam ter noo do vocabulrio para construir um significado. Uma vez que
desenvolvem suas bases de conhecimento, experincias e crenas, em geral, de modo inconsciente, eles esto sempre
testando o que leem ao fazer comparaes com o conhecimento externo e, assim, revisar e rever continuamente sua
percepo do texto.
... e envolver-se com...

Uma pessoa letrada em leitura no apenas tem as habilidades e conhecimentos para ler bem, mas tambm valoriza e
usa a leitura para diversas finalidades. Portanto, a educao objetiva cultivar tanto a proficincia como o envolvimento
na leitura. Envolvimento, nesse contexto, implica a motivao para ler e abrange um conjunto de caractersticas afetivas
e comportamentais que incluem o interesse e o prazer na leitura, a percepo de controle sobre o que lido, o envol-
vimento na dimenso social da leitura e as diversas e frequentes prticas de leitura.
... textos escritos...

O termo textos escritos deve incluir todos os textos coerentes nos quais a linguagem usada em sua forma grfica,
seja ela impressa ou digital. Em substituio palavra informao, usada em algumas outras definies de leitura, es-
colheu-se o termo textos por sua associao com a linguagem escrita e por sua pronta conotao com leitura literria
e com foco na informao.
Esses textos no incluem artefatos de linguagem auditiva, tais como gravao de voz, filmes, TV, animaes visuais ou
figuras sem palavras. Eles englobam apresentaes visuais, como diagramas, figuras, mapas, tabelas, grficos e tirinhas
em quadrinhos que tm alguma linguagem escrita (por exemplo, legendas). Esses textos visuais podem tanto existir in-
dependentemente como estar embutidos em textos maiores. Os textos digitais so distintos dos impressos em diversas
formas, inclusive na leitura fsica, na quantidade de textos visveis ao leitor a qualquer momento, em como partes distintas
de um texto e textos diferentes so conectados um com o outro por meio de links de hipertexto e, dadas essas carac-
tersticas, em como o leitor normalmente se envolve com textos digitais. De maneira muito mais ampla do que ocorre
com textos impressos ou escritos mo, o leitor precisa construir os prprios caminhos para concluir uma atividade de
leitura associada a um texto digital.
... a fim de alcanar um objetivo, desenvolver conhecimento e potencial e participar da sociedade

Essa orao busca capturar o alcance total das situaes em que o letramento em leitura desempenha algum papel, do
pblico ao privado, da escola ao trabalho, da educao formal ao aprendizado por toda a vida e cidadania ativa. A
fim de alcanar um objetivo, desenvolver conhecimento e potencial transmite a ideia de que o letramento em leitura
permite o alcance de aspiraes individuais tanto as definidas, como graduar-se ou obter um emprego, quanto as menos
definidas e menos imediatas que enriquecem e ampliam a vida das pessoas e a educao para toda a vida. A palavra
participar usada porque implica que o letramento em leitura permite que as pessoas contribuam para a sociedade,
bem como satisfaam as prprias necessidades. Participar da sociedade inclui o envolvimento social, cultural e poltico.
4
4.3 Como o letramento em leitura foi avaliado no PISA 2015?

Esta seo descreve como o domnio de leitura representado, uma questo vital, porque a organizao e a representao
dele determinam o tipo de teste e, especialmente, evidncias que podem ser coletadas e relatadas sobre as proficincias
dos estudantes.
A leitura multidimensional. Embora muitos elementos faam parte do construto, nem todos podem ser levados em
conta na construo da avaliao do PISA. Assim, apenas aqueles considerados mais importantes foram selecionados.
A avaliao de letramento em leitura do PISA construda sobre trs caractersticas de tarefas maiores para garantir uma
cobertura do domnio abrangente. So elas:
situao: refere-se gama de contextos ou finalidades amplas aos quais se aplica a leitura;
texto: refere-se aos materiais lidos;
aspecto: refere-se abordagem cognitiva, que determina como os leitores se envolvem com o texto.
No PISA, as caractersticas do texto e as variveis de aspecto (mas no as de situao) tambm so modificadas para
influenciar a dificuldade de uma tarefa.
A leitura uma atividade complexa. Os elementos de leitura no existem independentemente um do outro em um com-
partimento puro. A atribuio de tarefas e textos a categorias da matriz no implica que as categorias sejam estritamente
divididas ou que os materiais existam em clulas atomizadas determinadas por uma estrutura terica. O projeto da
matriz destina-se a garantir uma cobertura, a orientar o desenvolvimento de uma avaliao e a estabelecer parmetros
para relatos, com base no que se considera as caractersticas marcantes de cada tarefa.
4.3.1 Situao
As quatro variveis de situao do PISA descritas a seguir - pessoal, pblica, educacional e ocupacional - foram adaptadas
do Quadro Europeu Comum de Referncia (Common European Framework of Reference CEFR), desenvolvido para o
Conselho Europeu (Council of Europe, 1996).
A situao pessoal relaciona-se a textos que buscam satisfazer os interesses pessoais do indivduo, tanto prticos como
intelectuais, e tambm a manter ou desenvolver contatos pessoais com outras pessoas. Essa categoria inclui cartas pessoais,
romances, biografias e textos informativos feitos para serem lidos para satisfazer uma curiosidade, como parte de ativida-
des de lazer e recreativas. No meio digital, compreende e-mails pessoais, mensagens instantneas e blogs do tipo dirio.
A varivel pblica descreve a leitura de textos relacionados a atividades e questes da sociedade como um todo, incluindo
documentos e informaes oficiais sobre eventos pblicos. Em geral, os textos associados a essa categoria assumem um
contato mais ou menos annimo com outros. Portanto, essa categoria tambm abrange blogs do estilo frum, sites de
notcias e notas pblicas online e impressas.
O contedo de textos educacionais normalmente destina-se instruo. Livros-texto impressos e softwares interativos de
aprendizagem so exemplos tpicos de material produzido para esse tipo de leitura. A leitura educativa envolve aquisio
de informaes como parte de uma tarefa maior de aprendizado. Os materiais, em geral, no so escolhidos pelo leitor,
mas definidos por um instrutor. As tarefas-modelo so aquelas identificadas como leitura para aprendizado (Sticht,
1975; Stiggins, 1982, apud OCDE, 2016).
Em um ou dois anos, muitos alunos hoje com 15 anos sairo da escola para o mercado de trabalho. Uma tarefa tpica
de leitura ocupacional aquela que envolve a realizao de algumas tarefas imediatas. Elas podem incluir tanto a bus-
ca de um emprego na seo de anncios classificados de um jornal impresso ou online como o acompanhamento de
instrues no ambiente de trabalho. As tarefas-modelo dessa varivel so em geral denominadas ler para fazer (Sticht,
1975; Stiggins, 1982, apud OCDE, 2016).
A situao usada no letramento em leitura do PISA para definir os textos e as tarefas associadas a eles e para referir-se
aos contextos e usos para os quais o autor construiu o texto. Portanto, a forma pela qual a varivel de situao especi-
ficada est relacionada a um pblico e a finalidades presumveis, e no se baseia apenas no local onde a atividade de
4
leitura se desenvolve. Muitos textos usados nas salas de aula no so destinados para esse fim. Por exemplo, o trecho
de um texto literrio pode ser lido por um aluno de 15 anos na aula de lngua materna ou na de literatura, mas o texto
foi (possivelmente) escrito para entretenimento pessoal e apreciao do leitor. Dada sua finalidade original, tal texto
classificado como pessoal no PISA. Conforme mostra apud Hubbard (1989), alguns tipos de leitura para crianas asso-
ciados a ambientes externos escola, como regras de clubes e registros de jogos, em geral, tambm ocorrem de modo
extraoficial. Esses textos so classificados como pblicos no PISA. De outro lado, os livros-texto so lidos tanto na escola
como em casa, e o processo e a finalidade diferem um pouco de um ambiente para outro. Tais textos so classificados
como educacionais no PISA.
As quatro categorias se sobrepem. Na prtica, por exemplo, um texto pode ter a finalidade tanto de divertir como de
instruir (pessoal e educacional) ou de fornecer conselhos profissionais, que tambm uma informao geral (ocupacio-
nal e pblica). Embora o contedo no seja uma varivel especificamente tratada neste estudo, ao utilizar amostras de
textos ao longo de uma srie de situaes, a inteno maximizar a diversidade do contedo includo na avaliao de
letramento em leitura do PISA.
4.3.2 Texto
A leitura exige material para o leitor ler. Em uma avaliao, esse material o texto (ou um conjunto de textos) relacionado
a uma tarefa especfica deve ser coerente em si mesmo, isto , sustentar-se sozinho, sem exigir material adicional para
fazer sentido ao leitor proficiente. Embora seja bvio que h muitos tipos diferentes de textos e que qualquer avaliao
deva incluir ampla gama deles, no to notrio assim que exista uma categorizao ideal deles.
O PISA 2015 apresentou em computador e em papel apenas os itens usados em edies anteriores para a avaliao de
leitura impressa, e foram apenas duas as classificaes de textos:
formato de texto;
tipo de texto.
O espao de apresentao de texto uma terceira classificao, com duas categorias: textos fixos e textos dinmicos.
Essa classificao no foi usada no PISA 2015, mas ser integrada edio de 2018.
Em 2015, utilizou-se o termo espao de apresentao de texto para descrever as caractersticas do espao fixo ou
dinmico e no o modo pelo qual o texto era apresentado.
Normalmente, os textos fixos aparecem em papel em formatos como folhas avulsas, brochuras, revistas e livros, mas
tendem a surgir cada vez mais na tela como PDFs e em e-readers (meios eletrnicos de leitura). Essa evoluo leva a tirar
o foco da distino entre o que foi denominado leitura impressa e leitura digital na matriz do PISA 2009. Como o
ciclo de 2015 usou apenas o que foi chamado de leitura impressa em 2009, no existem mudanas conceituais nesse
aspecto. O modo fsico do texto fixo incentiva (embora no obrigue) o leitor a abordar o contedo em numa sequncia
especfica. Basicamente, tais textos tm uma existncia esttica. Na vida real, e em um contexto de avaliao, a extenso,
ou a quantidade, de texto fica imediatamente visvel.
Os textos dinmicos aparecem apenas na tela. Texto dinmico sinnimo de hipertexto: um texto com ferramentas
e caractersticas de navegao que tornam possvel e, na verdade, at mesmo exigem uma leitura no sequencial.
Cada leitor constri um texto customizado com base em informaes encontradas nos links que escolhe seguir.
Basicamente, tais textos tm existncia no fixa e dinmica. Normalmente, apenas uma frao dos textos disponveis
pode ser vista a qualquer momento e, em geral, a extenso desses textos desconhecida. No PISA 2015, no foram
includos textos dinmicos.
A classificao de ambiente foi uma varivel nova na matriz de leitura do PISA 2009. Por se aplicar apenas a textos
dinmicos, no foi discutida na matriz de 2015.
Formato de texto
Textos nos formatos contnuo e no contnuo aparecem tanto no meio impresso como no digital. Textos nos formatos
combinado e mltiplo tambm ocorrem em ambas as mdias, particularmente na mdia digital. Cada um desses quatro
formatos elaborado como se segue.
4
Textos contnuos so formados por oraes organizadas em pargrafos, os quais podem se adequar a estruturas ainda
maiores, tais como sees, captulos e livros (por exemplo: reportagens de jornais, redaes, romances, contos, resenhas
e cartas, inclusive em e-readers).
Textos no contnuos so, normalmente, organizados na forma matricial, compostos por uma srie de dados (Kirsch e
Mosenthal, 1990, apud OCDE, 2016) (por exemplo: listas, tabelas, grficos, diagramas, anncios, cronogramas, catlo-
gos, ndices e formulrios). Portanto, exigem uma abordagem de leitura diferente daquela usada nos textos contnuos.
Muitos textos so artefatos nicos e coerentes que consistem de um conjunto de elementos tanto no formato contnuo
como no no contnuo. Em textos combinados bem construdos, os constituintes (por exemplo: explanao em prosa
com grficos e tabelas) apoiam-se mutuamente, com ligaes de coerncia e coeso ao longo deles. Textos combinados
em um meio impresso so um formato fcil de encontrar em revistas, livros de referncia e relatrios. No meio digital,
pginas autorais na internet so, em geral, textos combinados, com uma mistura de listas, pargrafos em prosa e grficos.
Textos de mensagens, tais como formulrios online, mensagens de e-mail e fruns, tambm mesclam textos nos formatos
contnuo e no contnuo.
Textos mltiplos so aqueles que foram produzidos de maneira independente e fazem sentido separadamente. So
justapostos em uma ocasio especfica para os fins da avaliao. A relao entre os textos nem sempre bvia, com-
plementando-se ou contradizendo-se um ao outro. Por exemplo, sites de diferentes empresas que oferecem conselhos
de viagem fornecem ou no orientaes semelhantes para turistas. Textos mltiplos podem ter um formato nico puro
(por exemplo, contnuo) ou incluir textos contnuos e no contnuos.
Tipo de texto
Uma categorizao diferente de textos aquela por tipo de texto: descrio, narrao, exposio, argumentao, ins-
truo e interao.
Em geral, os textos, da forma como so encontrados no mundo, resistem a uma categorizao. No so escritos com
regras em mente e tendem a atravessar as categorias de modo transversal. A fim de garantir que os instrumentos de leitura
representem tipos de leitura diferentes, o PISA categoriza os textos com base em suas caractersticas predominantes.
As classificaes de textos a seguir, usadas no PISA, foram adaptadas do trabalho de Werlich (1976, apud OCDE, 2016).
A descrio um tipo de texto no qual a informao refere-se a propriedades de objetos no espao. As perguntas tpicas
a que textos descritivos respondem so sobre o que (por exemplo: a representao de um lugar especfico em um blog
de viagem ou dirio, em um catlogo, em um mapa geogrfico, em um cronograma de voo online ou a descrio de
uma caracterstica, funo ou processo em um manual tcnico).
A narrao o tipo de texto no qual a informao refere-se a propriedades de objetos no tempo. Normalmente, responde
a perguntas sobre quando ou em que sequncia. Por que os personagens das histrias se comportam de determi-
nada forma outra pergunta que, em geral, a narrao responde (por exemplo: um romance, um conto, um jogo, uma
biografia, uma tirinha em quadrinhos, textos de fico e uma reportagem de jornal sobre um evento).
A exposio o tipo de texto que apresenta a informao como conceitos compostos ou construtos mentais ou elemen-
tos nos quais construtos conceituais ou mentais podem ser analisados. O texto fornece uma explicao sobre como os
diferentes elementos se inter-relacionam em um todo significativo e, em geral, responde a perguntas sobre como (por
exemplo: uma redao escolar, um diagrama mostrando um modelo de memria, um grfico de tendncias populacio-
nais, um mapa conceitual e uma entrada em uma enciclopdia online).
A argumentao o tipo de texto que apresenta relaes entre conceitos e proposies. Normalmente, responde a per-
guntas sobre por que. Uma subclassificao importante de textos argumentativos daqueles persuasivos e opinativos,
que se referem a opinies e pontos de vista. Exemplos de textos na categoria de argumentao so uma carta ao editor,
um pster de propaganda, uma postagem em um frum online e uma resenha de livro ou filme na internet.
A instruo o tipo de texto que fornece orientaes sobre o que fazer. O texto apresenta orientaes para certos compor-
tamentos a fim de concluir uma tarefa (por exemplo: uma receita, uma srie de diagramas mostrando um procedimento
para prestar primeiros socorros e um conjunto de orientaes para trabalhar com softwares).
4
A interao o tipo de texto que procura alcanar uma finalidade especfica, tal como solicitar que algo seja feito,
organizar um encontro ou um compromisso social com um amigo. Antes da difuso da comunicao digital, era um
componente significativo de alguns tipos de carta e, como troca verbal, a principal finalidade de muitas ligaes tele-
fnicas. Esse tipo de texto no consta da categorizao de Werlich (1976). Ele foi usado pela primeira vez na matriz do
PISA 2009 por causa de sua ocorrncia no meio digital (por exemplo: trocas dirias de e-mails entre colegas ou amigos
pedindo ou confirmando encontros).
4.3.3 Aspecto
Os aspectos so estratgias, abordagens ou finalidades mentais que o leitor usa para negociar seus caminhos no texto,
ao redor dele e entre textos.
Cinco aspectos orientam o desenvolvimento das tarefas de avaliao do letramento em leitura:
recuperar informao;
elaborar um entendimento amplo;
desenvolver uma interpretao;
refletir sobre e analisar o contedo de um texto;
refletir sobre e analisar o formato de um texto.
Uma vez que no possvel incluir itens suficientes na avaliao do PISA que representem cada um dos cinco aspectos
como uma subescala independente, esses cinco aspectos so organizados em trs categorias mais amplas para repre-
sentar o letramento em leitura:
localizar e recuperar informao;

integrar e interpretar;
refletir e analisar.
As tarefas de recuperar informao, que colocam o foco do leitor em partes de informaes do texto, so atribudas
escala localizar e recuperar.
As tarefas de elaborar um entendimento amplo e desenvolver uma interpretao colocam o foco do leitor em relaes
entre as partes do texto que exigem o desenvolvimento de uma interpretao. Elas so agrupadas em integrar e interpretar.
As tarefas de refletir sobre e analisar o contedo de um texto e refletir sobre e analisar o formato de um texto so agrupadas
no aspecto de categoria nica de refletir e analisar. Ambas exigem que o leitor pondere inicialmente sobre o conhecimento
externo ao texto e o relacione ao que est lendo. As tarefas de refletir sobre e analisar o contedo referem-se substn-
cia nocional de um texto. As de refletir sobre e analisar o formato referem-se a sua estrutura ou caractersticas formais.
Segue uma elaborao das trs categorias de aspectos mais amplos.
Localizar e recuperar
Localizar e recuperar envolvem entrar no espao de informao fornecido e navegar nele para localizar e recuperar um
ou mais fragmentos distintos de informao. As tarefas dessa categoria podem variar desde identificar os detalhes exigidos
por um empregador em um anncio de emprego ou achar um nmero telefnico com diversos prefixos at encontrar
um fato especfico para confirmar ou negar uma solicitao feita por algum.
Enquanto a recuperao descreve o processo de selecionar a informao necessria, a localizao descreve o processo
de chegar a um lugar, a uma informao espacial, aonde est a informao necessria. Alguns itens podem exigir a re-
cuperao de informao apenas, sobretudo em textos fixos nos quais a informao est imediatamente visvel e o leitor
s tem de selecionar o que adequado em um espao de informao bem delimitado. Por outro lado, alguns itens no
espao dinmico exigem pouco mais do que localizar informao (por exemplo: clicar para selecionar um item em uma
lista de resultados de busca). Entretanto, apenas os processos anteriores estiveram envolvidos nas tarefas de localizar e
recuperar no PISA 2015, pois no foi oferecida a avaliao de leitura digital. Os itens de localizao e recuperao no
4
espao de apresentao de textos fixos podem exigir que o leitor use caractersticas de navegao, tais como cabealhos
ou legendas, para encontrar um caminho para a seo adequada de um texto antes de localizar a informao relevante.
Integrar e interpretar
Integrar e interpretar envolvem processar o que lido para fazer sentido internamente no texto.
A integrao focaliza demonstrar a compreenso da coerncia de um texto. Integrar conectar vrios fragmentos de
informao para que tenham um significado, seja identificando semelhanas e diferenas, seja fazendo comparaes
de grau ou entendendo as relaes de causa e efeito.
A interpretao refere-se ao processo de fazer sentido com base em algo que no est declarado. Ao interpretar, o leitor
est identificando as suposies ou implicaes subjacentes de parte do texto ou dele todo.
Tanto a integrao como a interpretao so necessrias para elaborar um entendimento amplo. O leitor deve considerar
o texto como um todo ou em perspectiva. Ele pode demonstrar um entendimento inicial pela identificao dos tpicos
ou mensagens principais ou da finalidade ou utilidade maior do texto.
A integrao e a interpretao tambm esto envolvidas no desenvolvimento de uma interpretao, que exige que o
leitor alargue suas amplas impresses iniciais para desenvolver um entendimento mais profundo, mais especfico e
mais completo daquilo que leu. As tarefas de integrao incluem identificar e listar evidncias de apoio e comparar e
contrastar informaes nas quais a exigncia reunir duas ou mais informaes do texto. A fim de processar tanto as
informaes implcitas como as explcitas de uma ou mais fontes em tais tarefas, o leitor deve, normalmente, inferir uma
relao ou categoria pretendida. As tarefas de interpretao podem abranger esboar uma inferncia de um contexto
local, por exemplo, interpretando o significado de uma palavra ou orao que traga uma nuance especfica para o texto.
Esse processo de compreenso tambm avaliado em tarefas que exigem do leitor fazer inferncias sobre a inteno do
autor e identificar as evidncias utilizadas para isso.
A relao entre os processos de integrao e de interpretao pode, portanto, ser vista como ntima e interativa. A
integrao implica, primeiramente, inferir uma relao dentro de um texto (um tipo de interpretao) e, depois, reunir
fragmentos de informao, permitindo, assim, fazer uma interpretao que forme um novo todo integrado.
Refletir e analisar
Refletir e analisar envolvem utilizar o conhecimento de ideias e atitudes alm do texto a fim de relacion-las com infor-
maes fornecidas no texto por meio das estruturas de referncia conceituais e de experincias prprias.
Itens sobre refletir podem ser vistos como aqueles que exigem que o leitor consulte as prprias experincias ou conhe-
cimentos para comparar, contrastar e levantar hipteses. Itens sobre analisar so aqueles que pedem ao leitor que faa
um julgamento com base em padres alm do texto.
Refletir sobre e analisar o contedo de um texto exigem que o leitor relacione informaes em um texto com conhe-
cimentos de fontes externas. O leitor deve tambm analisar as afirmaes feitas no texto em comparao com seu
conhecimento de mundo.
Normalmente, solicita-se ao leitor que articule e defenda seus pontos de vista. Para isso, ele precisa desenvolver uma
compreenso do que dito e entendido no texto. Depois, deve testar essa representao mental com o que conhece e
em que acredita fundamentado tanto em informaes prvias como nas encontradas em outros textos. O leitor tem de
buscar evidncias de apoio dentro do texto e contrast-las com outras fontes de informao, usando tanto o conhecimento
geral quanto o especfico, bem como a habilidade de raciocinar abstratamente.
Refletir sobre e analisar o formato de um texto exige que o leitor se afaste do texto, a fim de consider-lo de maneira ob-
jetiva e analisar suas qualidades e adequao. O conhecimento implcito da estrutura textual, o estilo tpico de diferentes
tipos de texto e o registro desempenham um papel importante nessas tarefas. A avaliao do sucesso de determinado
autor no relato de algumas caractersticas ou em persuadir o leitor depende no apenas do conhecimento substancial,
mas tambm da habilidade de detectar sutilezas na linguagem.
4
Alguns exemplos de caractersticas de tarefas de avaliao para refletir sobre e analisar o formato de um texto incluem
indicar a utilidade do texto para uma finalidade especfica e analisar o uso pelo autor de certas caractersticas textuais
para alcanar esse objetivo. O leitor pode tambm ser solicitado a descrever ou comentar sobre a inteno dele ao re-
correr a dado estilo e a identificar a finalidade e a atitude do autor. De certo modo, cada julgamento crtico exige que o
leitor consulte suas experincias. Alguns tipos de reflexo, de outro lado, no exigem avaliao (por exemplo: comparar
experincias pessoais com algo descrito no texto). Assim, a avaliao pode ser vista como um subconjunto da reflexo.
4.4 Qual foi a estrutura da avaliao do letramento em leitura no PISA 2015?

O conjunto de itens que compuseram as provas do PISA 2015 foi selecionado de modo a trazer resultados em escalas
confiveis, vlidas e comparveis em relao ao construto de letramento em leitura. Tal seleo foi guiada por informaes
de fontes variadas, tais como orientaes do grupo de especialistas em leitura, coordenado pela OCDE, estatsticas de
pr-teste e de ciclos anteriores do PISA e comentrios das equipes nacionais dos pases participantes.
A maneira pela qual se coletou a evidncia o formato de resposta variou de acordo com o que se considerou ade-
quado ao tipo de evidncia a ser coletado e tambm de acordo com as limitaes pragmticas de uma avaliao de
larga escala. Como em qualquer avaliao de larga escala, a variedade de formatos de resposta possveis foi limitada,
com mltipla escolha (simples e complexa) e resposta construda (na qual os estudantes escrevem as prprias respostas)
sendo os formatos mais flexveis.
Estudantes de pases diferentes esto mais ou menos familiarizados com esses formatos de resposta. A incluso de itens
em vrios formatos buscou oferecer algum equilbrio entre os formatos mais e menos conhecidos para todos os alunos,
independentemente da nacionalidade.
Os formatos de resposta s tarefas propostas pelos itens do PISA foram:
Mltipla escolha simples: seleo de uma nica alternativa de quatro dadas; seleo de um elemento dentro de um
grfico ou texto.
Mltipla escolha complexa: sries de perguntas do tipo Sim ou No; seleo de mais de uma opo de uma lista
predefinida (menu suspenso) para completar; movimento de elementos de texto ou grficos na tela (arrastar e soltar)
para completar uma tarefa, ordenar ou categorizar; seleo de dados gerados em simulaes.
Respostas construdas ou abertas: itens que solicitam a elaborao de resposta escrita curta (uma frase ou pargrafo)
ou desenho (grfico ou diagrama). Essas respostas podem ser pontuadas por computador ou manualmente, por espe-
cialistas devidamente capacitados.
No delineamento utilizado pelo PISA, nem todos os estudantes respondem a todos os itens. Alguns pases podem ter
um quantitativo maior ou menor de itens aplicados, mas a metodologia utilizada permite equalizar a escala para que os
resultados sejam comparveis entre si. Em 2015, o teste de letramento de leitura para os estudantes brasileiros teve seis
blocos de itens. A distribuio dos itens segundo o formato e dimenses do construto pode ser conferida na Figura 4.2.
Foram 87 itens, todos comuns s edies anteriores do PISA.
Figura 4.2
Distribuio dos itens de leitura por dimenso da matriz e formato de resposta PISA 2015
Formato de resposta
Dimenso Mltipla escolha Mltipla escolha Resposta aberta
Total
simples complexa ou construda
Aspecto
Localizar e recuperar 4 3 15 22
Integrar e interpretar 21 6 17 44
Refletir e analisar 2 1 18 21
Total 27 10 50 87
4

Distribuio dos itens de leitura por dimenso da matriz e formato de resposta PISA 2015
Formato de resposta
Total
Formato de texto
Contnuo 20 6 26 52
No contnuo 4 3 21 28
Combinado 3 1 2 6
Mltiplo 1 1
Total 27 10 50 87
Situao
Pessoal 6 2 14 22
Educacional 12 3 11 26
Ocupacional 2 4 14 20
Pblica 7 1 11 19
Total 27 10 50 87
Fonte: OCDE, INEP.
4.5 Como o letramento em leitura reportado no PISA?
O PISA reporta os resultados em termos de escalas de proficincia. A mtrica para a escala de leitura, estabelecida em
2000, baseou-se em uma mdia dos pases participantes de 500 pontos, com desvio-padro de 100 pontos. De modo a
auxiliar a interpretao dos resultados, a escala dividida em nveis de proficincia, que indicam os tipos de tarefas que
os estudantes so capazes de realizar. A descrio dos nveis revista e atualizada toda vez que o domnio avaliado
como principal. Para leitura, isso acontecer em 2018.
Destaca-se, ainda, que o grande diferencial do PISA 2015 em relao s outras edies foi a aplicao da avaliao em
computador. O quadro a seguir apresenta as justificativas tcnicas que possibilitam comparar os resultados de leitura.
Os resultados do teste computadorizado de leitura do PISA 2015

podem ser comparados com os resultados das edies passadas?
Em 2015, pela primeira vez as provas do PISA foram aplicadas integralmente por computador. Houve cuidado especial
em manter a comparabilidade entre as verses em papel e em computador das questes de teste, de modo que os
resultados pudessem ser reportados em uma mesma escala, e o desempenho dos estudantes, comparado entre os pases.
As questes de leitura foram originalmente elaboradas em ciclos anteriores do PISA para a testagem em papel, ento
alguns princpios precisaram ser revistos para a aplicao delas em meio eletrnico. Destacam-se trs revises rea-
lizadas na edio de 2015:
Tipos de item: o computador fornecia uma variedade de tipos de itens, tais como as funcionalidades de menu suspenso
e de arrastar e soltar. Alguns itens que antes eram avaliados por especialistas puderam ser transformados e analisados
automaticamente pelo computador por meio de recursos como destacar partes do texto, conectar elementos no espao
da resposta e clicar em uma parte da figura. Questes abertas, que exigem a construo de uma resposta escrita pelo
estudante, mantiveram seu formato e foram avaliadas por especialistas treinados.
Apresentao do texto: textos curtos foram exibidos em uma nica tela/pgina, e textos mais longos, em uma ou mais.
Nesse ltimo caso, a plataforma do teste assegurou que o estudante pudesse navegar entre as diferentes pginas para
ler todo o texto antes de ver a primeira questo.
Habilidades com computador: assim como provas em papel dependem de habilidades fundamentais para trabalhar
com material impresso, provas eletrnicas exigem conhecimento bsico da estrutura fsica (mquina, mouse, teclado)
e de convenes (setas de movimentao na tela, botes especficos de execuo de comandos). Buscou-se manter
4
os requisitos tcnicos nesse nvel e fornecer ao estudante prtica de interao com os diferentes formatos de resposta
e apresentao dos textos-base antes de iniciar a prova.
O pr-teste do PISA 2015 analisou a equivalncia dos itens comuns entre os testes em computador e os baseados em
papel. Distinguiram-se dois nveis de equivalncia: equivalncia escalar (forte) e equivalncia mtrica (fraca) (Meredith,
1993; Davidov, Schmidt e Billiet, 2011, apud OCDE, 2016). Somente os itens que passaram no teste de equivalncia
foram retidos para o estudo principal de 2015.
possvel a comparao dos escores do PISA 2015 com os dos ciclos passados, bem como a dos escores do PISA em
um pas com os de outro pas, graas ao grande nmero de itens comuns que atingem o mais alto nvel de equivalncia
efeito do computador realizado no pr-teste do PISA 2015.
Para captar a progresso da complexidade e da dificuldade no PISA 2015, a escala de letramento em leitura baseou-se
na da edio de 2009 e foi dividida em sete nveis de proficincia. O nvel mais alto o 6 (antes de 2009, era o 5), e
o mais baixo, o 1b (para o PISA 2009 e todas as avaliaes de leitura subsequentes, o nvel 1 foi renomeado 1a e um
novo nvel foi adicionado, o 1b, que descreve os estudantes que teriam anteriormente sido classificados como abaixo
do nvel 1). Esses nveis diferentes de proficincia permitem que os pases conheam mais sobre os tipos de tarefas que
os estudantes com nvel mais alto ou mais baixo de proficincia em leitura so capazes de realizar. No PISA 2015, os
nveis 2, 3, 4 e 5 permaneceram como estavam em 2000.
A Figura 4.3 apresenta a descrio dos sete nveis de proficincia em leitura, bem como o percentual de estudantes da
OCDE e do Brasil no PISA 2015.
Figura 4.3
Descrio e percentual de estudantes nos sete nveis de proficincia em leitura PISA 2015
Percentual de
Escore
Nvel estudantes no Caractersticas das tarefas
mnimo
nvel
Nesse nvel, as tarefas normalmente requerem que o leitor faa mltiplas inferncias, compa-
raes e contrastes com preciso e detalhamento, e que demonstre a compreenso completa
e detalhada de um ou mais textos, podendo envolver a integrao de informaes de mais de
um texto. Podem exigir que o leitor lide com ideias desconhecidas, na presena de informaes
OCDE: 1,11% concorrentes relevantes, e produza categorias abstratas para interpretao. Tarefas de refletir
6 698
Brasil: 0,14% e analisar podem solicitar que o leitor levante hipteses sobre ou avalie criticamente um texto
complexo sobre um assunto desconhecido, levando em considerao critrios ou perspectivas
mltiplos e aplicando interpretaes sofisticadas externas ao texto. Uma condio marcante para
tarefas de localizar e recuperar nesse nvel a preciso da anlise e a ateno refinada a detalhes
pouco perceptveis nos textos.
Nesse nvel, tarefas de recuperao de informao requerem que o leitor localize e organize in-
formaes profundamente integradas, inferindo sobre quais informaes no texto so relevantes.
OCDE: 7,22% Tarefas de refletir pedem avaliao crtica ou levantamento de hipteses, com base em conheci-
5 626
Brasil: 1,31% mento especializado. Tanto tarefas interpretativas como reflexivas exigem uma compreenso total
e detalhada de texto com contedo ou forma no familiar. Para todos os aspectos da leitura, as
tarefas nesse nvel normalmente envolvem lidar com conceitos contrrios s expectativas.
Nesse nvel, tarefas de recuperao de informao requerem que o leitor localize e organize
diversos fragmentos de informao integrada. Algumas tarefas nesse nvel exigem interpretao
do significado de nuances da linguagem em uma parte do texto, levando em considerao o
OCDE: 20,45%
4 553 texto como um todo. Outras tarefas interpretativas nesse nvel exigem que o leitor use conheci-
Brasil: 6,36%
mento pblico ou formal para levantar hipteses ou analisar criticamente um texto. O leitor deve
demonstrar uma compreenso precisa de textos longos ou complexos cujo contedo ou forma
podem no ser conhecidos.
4

Descrio e percentual de estudantes nos sete nveis de proficincia em leitura PISA 2015
Percentual de
Escore
Nvel estudantes no Caractersticas das tarefas
mnimo
nvel
Nesse nvel, as tarefas requerem que o leitor localize e, em alguns casos, reconhea a relao entre
vrios fragmentos de informao que devem satisfazer mltiplas condies. Tarefas interpretativas
exigem que o leitor integre vrias partes do texto a fim de identificar a ideia principal, entender a
relao ou construir o significado de uma palavra ou orao. O leitor deve considerar muitas carac-
tersticas textuais ao fazer comparaes, diferenciaes e categorizaes. Em geral, a informao
OCDE: 27,91%
3 480 exigida no relevante, h muita informao concorrente ou o texto apresenta outros obstculos,
Brasil: 16,19%
tais como ideias contrrias expectativa ou formuladas de maneira negativa. Tarefas reflexivas
nesse nvel podem solicitar correlaes, comparaes e explicaes ou exigir que o leitor avalie uma
caracterstica do texto. Algumas exigem que o leitor demonstre uma compreenso refinada do
texto em relao a conhecimentos do cotidiano. Outras tarefas no requerem uma compreenso
detalhada do texto, mas pedem que o leitor explore um conhecimento menos comum.
Nesse nvel, algumas tarefas requerem que o leitor localize um ou mais fragmentos de informao,
que podem ter de ser inferidos ou satisfazer diversas condies. Outras exigem o reconhecimento
da ideia principal em um texto, o entendimento de relaes ou a construo de significado den-
OCDE: 23,24% tro de uma parte especfica dele quando a informao no proeminente e o leitor deve fazer
2 407
Brasil: 25,00% inferncias de nvel baixo. Tarefas nesse nvel podem envolver comparao ou contraste com
base em uma caracterstica nica do texto. Tarefas tpicas de reflexo exigem que o leitor faa
uma comparao ou diversas correlaes entre o texto e o conhecimento externo, explorando
sua experincia e atitudes pessoais.
Nesse nvel, as tarefas requerem que o leitor localize um ou mais fragmentos independentes com
informao explcita, reconhea o assunto principal ou a finalidade do autor em um texto sobre
OCDE: 13,59% assuntos conhecidos ou faa uma correlao simples entre a informao no texto e um conhe-
1a 335
Brasil: 26,52% cimento do cotidiano. Normalmente, a informao exigida no texto evidente e h pouca, ou
nenhuma, informao concorrente. O leitor explicitamente direcionado a considerar os fatores
relevantes na tarefa e no texto.
Nesse nvel, as tarefas requerem que o leitor localize um nico fragmento de informao explcita
em uma posio evidente em um texto curto e sintaticamente simples, com contexto e tipo de
OCDE: 5,23% texto conhecidos por exemplo, uma narrativa ou uma lista simples. O texto normalmente fornece
1b 262
Brasil: 17,41% ajuda para o leitor, tal como a repetio da informao, apresentao de figuras ou smbolos
conhecidos. H um mnimo de informao concorrente. Em tarefas que exigem interpretao,
o leitor pode precisar fazer correlaes simples entre fragmentos de informaes adjacentes.
Abaixo OCDE: 1,25%
de 1b Brasil: 7,06%
Fonte: OCDE, INEP.

em leitura no PISA 2015?
Depois de discutir questes relacionadas matriz referencial de leitura do PISA, apresenta-se uma anlise dos nveis de
dificuldade dos itens desse domnio, para um estudo dos pontos fortes e fracos no desempenho dos estudantes brasileiros.
Dos 87 itens de leitura avaliados na edio do PISA 2015, 70 foram comuns aos pases cujos resultados so comparados
neste captulo, a saber: Brasil (resultado geral e resultado por unidade da Federao), Canad, Colmbia, Costa Rica,
Chile, Mxico, Peru, Uruguai, Estados Unidos, Espanha, Portugual, Coreia do Sul, Finlndia e Repblica Dominicana.
O percentual de estudantes que responderam corretamente a cada um desses itens de leitura variou consideravelmente.
No Brasil, o percentual de respostas corretas foi de 41,4%, em mdia; o Esprito Santo foi o estado com maior percentual
de acerto (48,7%), e Alagoas, o menor (31,2%). Dentre os outros pases estudados, a Finlndia apresentou, em geral, o
maior percentual de respostas corretas (65,6%), e a Repblica Dominicana, o menor (32,3%).
Entender as potencialidades e deficincias relativas ao desempenho dos estudantes com base no percentual de acerto dos
itens cognitivos uma das propostas desta anlise. Enquanto aqui se discute o nvel de dificuldade dos itens conforme
4
a Teoria Clssica dos Testes (Pasquali, 2009), na Seo 4.7, o foco so os resultados sob a Teoria de Resposta ao Item.
Segundo Pasquali,
De um modo geral, a psicometria procura explicar o sentido que tm as respostas dadas pelos sujeitos a uma
srie de tarefas, tipicamente chamadas de itens. A Teoria Clssica dos Testes (TCT) se preocupa em explicar o
resultado final total, isto , a soma das respostas dadas a uma srie de itens, expressa no chamado escore total (T).
Por exemplo, o T em um teste de 30 itens de aptido seria a soma dos itens corretamente acertados. Se for dado
1 para um item acertado e 0 para um errado, e o sujeito acertou 20 itens e errou 10, seu escore T seria de 20. A
TCT, ento, se pergunta o que significa este 20 para o sujeito? A Teoria de Resposta ao Item, por outro lado, no
est interessada no escore total em um teste; ela se interessa especificamente por cada um dos 30 itens e quer
saber qual a probabilidade e quais so os fatores que afetam esta probabilidade de cada item individualmente
ser acertado ou errado.
Nesta seo, tambm se estudam as propores de respostas omitidas aos itens do PISA 2015 e os nveis de dificuldade
dos itens para todas as unidades da Federao brasileiras e os 13 pases alm do Brasil. Ao longo do texto, so apre-
sentados, ainda, itens pblicos da edio de 2009 com comentrios pedaggicos a fim de ilustrar a anlise dos pontos
fortes e fracos dos estudantes brasileiros no PISA.
Como identificar pontos fracos e fortes em leitura?
Delta, bem como a transformao logit (OCDE, 2013), tem o efeito de esticar percentuais de acerto muito baixos e
muito altos em comparao com o percentual de acerto de 50%. A fim de evitar nmeros negativos, fixou-se a mdia
A primeira anlise de identificao dos pontos fortes e fracos em leitura exploratria dos itens segundo os ndices
Delta por componente da matriz de referncia de leitura (situao, aspecto e formato do texto), alm da anlise por
tipo de item.
Por fim, so examinados itens que se destacaram como pontos fortes e fracos dos jovens de 15 anos, levando em conta
a diferena entre o valor mdio do ndice Delta dos pases selecionados e o do Brasil. Tal metodologia se aproxima
anlise de itens conspcuos apresentada no relatrio Lessons from PISA 2012 for the United States (OCDE, 2013).
Aqui os itens foram considerados destaques quando a diferena entre a mdia do nvel de dificuldade dos itens do
Brasil e a dos pases observados era de pelo menos um desvio-padro (para ambos os lados). Uma vez que os itens
com maior omisso foram avaliados anteriormente, eles no entraram nessa anlise.
4
Vale tambm ressaltar que, nessa anlise dos itens-destaque, incluram-se 13 itens pblicos do PISA 2009, com a
suposio de que eles apresentariam o mesmo nvel de dificuldade se aplicados na forma computadorizada em 2015.
Essa incluso foi importante porque, como no foram liberados novos itens no PISA 2015, realizou-se uma descrio
pedaggica sobre os itens pblicos de 2009 com o intuito de ilustrar a anlise de itens-destaque.
Embora se entenda que o desempenho dos jovens de pases da Amrica Latina no alto em comparao com a
mdia dos da OCDE, essa anlise pretende mostrar que h itens do PISA 2015 que se destacam por serem mais fceis
aos estudantes brasileiros do que aos dos sete pases latino-americanos selecionados. O item R455Q02, por exemplo,
apresentou diferena de quase 1 ponto na escala do Delta com relao a esses pases, podendo indicar que o que
foi medido pelo item no PISA 2015 foi mais bem assimilado pelos alunos brasileiros do que pelo mesmo pblico nos
pases vizinhos (ponto forte). J o item R104Q01 registrou diferena de quase 2 pontos, indicando que, em geral, os
certo que, ao comparar o desempenho dos brasileiros com o dos estudantes com alto desempenho no PISA, o nvel
de dificuldade dos itens para o Brasil ser mais elevado. Contudo, a anlise comparada dos itens-destaque pretende
apontar itens em que o desempenho dos alunos brasileiros no foi muito diferente do dos estudantes de pases ava-
liados (pontos fortes) e outros que se mostraram bastante desafiadores para eles (pontos fracos).
A dificuldade dos itens

Como visto antes, a aplicao do PISA 2015 no Brasil foi completamente computadorizada. A Figura 4.4 compara a
distribuio dos nveis de dificuldade dos itens do teste de leitura para os estudantes brasileiros no PISA 2015.
Figura 4.4
ndice de dificuldade (Delta) dos 87 itens de leitura para os estudantes brasileiros PISA 2015
24
22
20
18
16
14
12
10
Fonte: OCDE, INEP.
No contexto brasileiro, aproximadamente 40% dos itens possuam nvel de dificuldade Delta menor ou igual a 13, ou
seja, dois em cada cinco itens apresentaram um percentual de acerto igual ou superior a 50%.
A Figura 4.5 apresenta a distribuio do ndice Delta segundo o desempenho geral dos jovens brasileiros por unidade
testes do PISA nem todos os alunos so submetidos a todos os itens, para comparar os resultados entre os estados e os
pases selecionados nesta anlise, sero considerados os 70 itens comuns entre eles. Esses itens foram aplicados em com-
putador tanto no Brasil como nos pases comparados. Vale lembrar tambm que a escala do Delta contnua e, devido
prpria natureza da medida, quanto maior o ndice, menor o percentual de estudantes respondendo corretamente
aos itens (apresentado em parnteses).
4
Figura 4.5
ndices de dificuldade (percentual de acerto e Delta) dos 70 itens comuns de leitura
por pas e unidade da Federao PISA 2015
Alta dificuldade
Alagoas (31,2%) 14,96

Repblica Dominicana (32,1%)
Bahia (33,7%)
Tocantins (33,9%)
Sergipe (34,5%) 14,60
Maranho (34,6%)
Rio Grande do Norte (35%)
Paraba (35,1%)
Amap (36%)
Piau (36,3%)
Rondnia (36,5%)
Pernambuco (38,7%)
Mato Grosso (38,8%)
Par (39,3%)
Roraima (39,6%)
Peru (39,8%) 14,03
Rio de Janeiro (40,7%)
Acre (40,8%)
Rio Grande do Sul (40,9%)
Brasil (41,3%)
Amazonas (41,7%)
Cear (41,7%) 13,84
Gois (42,8%)
Santa Catarina (43,5%)
So Paulo (43,6%) 13,65
Colmbia (44%)
Mxico (44%)
Paran (45,4%)
Uruguai (46,4%)
Costa Rica (46,6%) 13,34
Chile (51,9%) 12,81
Espanha (58,9%)
Portugal (59,8%)
Estados Unidos (60%) 11,99
Coreia do Sul (64,4%)
Canad (64,9%)
Finlndia (65,5%) 11,41
Baixa dificuldade
Fonte: OCDE, INEP.
De acordo com esses dados, nota-se que a mdia do ndice Delta (nvel de dificuldade) dos itens de leitura no PISA 2015
foi mais alta para o Brasil do que para alguns pases da Amrica do Sul, como Colmbia, Uruguai e Chile. No Brasil,
verifica-se que os itens de leitura foram mais fceis para estudantes do Esprito Santo, Distrito Federal, Minas Gerais,
Paran, So Paulo, Santa Catarina, Mato Grosso do Sul, Cear e Amazonas, os quais apresentaram ndices Delta menores
do que a mdia nacional, de 13,87.
Em relao ao percentual de respostas corretas, a mdia do Brasil foi de 41,3%, inferior mdia obtida por pases da
OCDE, tais como Finlndia (65,5%), Canad (64,9%), Coreia do Sul (64,4%), Estados Unidos (60,0%), Portugal (59,8%),
Espanha (58,9%) e Chile (51,9%).
A seguir, realiza-se uma anlise do nvel de dificuldade para cada componente da matriz da avaliao de leitura.
ndice Delta por situao

A caracterstica do domnio de avaliao de leitura denominada situao classifica um conjunto de contextos e fina-
lidades amplas para a atividade de leitura. As variveis so: educacional, ocupacional, pessoal e pblica.
A Figura 4.6 apresenta o nvel de dificuldade dos itens de leitura de acordo com essas categorias, com base nos resul-
tados do PISA 2015.
4
Figura 4.6
Dificuldade dos itens de leitura segundo situao por pas e unidade da Federao PISA 2015
Educacional (n=19) Ocupacional (n=15) Pessoal (n=22) Pblico (n=10)

19
17
15
13
11
Fonte: OCDE, INEP.
Com base nesses dados, observa-se que os estudantes brasileiros mostraram melhor desempenho em itens com textos
representativos de situao pessoal, os quais apresentaram menor ndice de dificuldade. De outro lado, itens com textos
de situao pblica foram mais difceis para eles, bem como para os participantes do PISA 2015 de modo geral.
Os textos de situao pessoal referem-se satisfao de interesses pessoais do leitor e esto no mbito da leitura como
parte de atividades de lazer. Na leitura digital, a situao pessoal representada por e-mails pessoais, mensagens instan-
tneas e blogs, que so cada vez mais comuns no dia a dia dos jovens de 15 anos. Em outros cenrios, a situao pessoal
faz-se presente na leitura de cartas pessoais, textos literrios, biografias e textos informativos em geral, aproximando-se
mais do entretenimento.
O menor nvel de dificuldade apresentado pelos alunos nos itens cujos textos representavam situaes pessoais deveu-se,
em parte, ao trabalho desenvolvido no Ensino Fundamental, que, normalmente, favorece a ampliao das prticas de leitura
literria prosa e poesia , colaborando para a formao do leitor nessa esfera. Uma anlise dos livros didticos mais utilizados
nas salas de aula brasileiras comprova que, ao lado da literatura, esse nvel de ensino privilegia tambm a esfera jornalstica
com reportagens, entrevistas , bem como gneros publicitrios propagandas , textos da tradio oral causos, anedo-
tas e das artes grficas histrias em quadrinhos, tirinhas. Assim porque a escola busca aliar o contedo a ser trabalhado
ao interesse dos alunos e a uma recepo mais amistosa do texto, por este trazer algum prazer leitura. Alm disso, com
frequncia, o contato com esses textos se d fora da escola. Em seu dia a dia, os estudantes se engajam em atividades signi-
ficativas que pressupem a leitura e compreenso e/ou produo de e-mails, mensagens instantneas e postagens em blogs.
No Brasil, os jovens de 15 anos, em geral, esto terminando o Ensino Fundamental ou iniciando o Ensino Mdio. Portanto,
justifica-se o resultado ora discutido acerca dos itens que apresentaram textos caractersticos de situao pessoal. So
esses os textos com os quais os alunos tiveram maior contato at ento, o que justifica sua maior familiaridade com eles.
A maioria dos textos lidos em sala da aula est em livros didticos, ferramenta de apoio ao trabalho do professor e
muito presente em grande parte das escolas. Os livros mais usados so os aprovados pelo Programa Nacional do Livro
Didtico (PNLD) e distribudos pelo governo federal s escolas pblicas do pas. Uma leitura do guia PNLD 2017: lngua
portuguesa (Brasil, 2016, p. 29-30), que trata da coletnea de textos nas obras didticas aprovadas pelo programa para
os anos finais do Ensino Fundamental, por exemplo, pode comprovar a maior incidncia dos gneros representativos
de situao pessoal em todos eles.
A situao pblica, por sua vez, caracteriza-se por textos oficiais, notcias e notas pblicas, impressas ou digitais. uma
situao que desperta menos interesse do pblico do PISA, embora configure gneros textuais previstos no contexto
escolar. Dois fatores podem justificar o fato de os itens construdos com base em textos que representam situao pblica
4
terem sido os mais dfceis no s para os alunos brasileiros, mas tambm para os demais participantes do PISA 2015
de modo geral. O primeiro deles a falta de afinidade dos jovens de 15 anos com textos cujos temas se relacionam a
atividades e questes da sociedade como um todo, o que inclui notcias, documentos e informaes oficiais sobre eventos
pblicos. O segundo, mais diretamente associado prtica pedaggica, a quase ausncia de gneros textuais da esfera
situacional pblica nos livros didticos, sejam eles do Ensino Fundamental, sejam do Ensino Mdio.
Como dito antes, nos livros do Ensino Fundamental, predominam textos da esfera situacional pessoal. J nos do Ensino
Mdio, h marcadamente textos da tradio literria brasileira, orientados para a formao do leitor de literatura, e uma
abordagem menos intensa e menos sistemtica dos gneros em circulao nas esferas pblicas. Assim, por no serem
objeto de trabalho sistemtico na escola, esses textos so menos conhecidos dos alunos, ocasionando resultados negativos
na avaliao dos itens que neles se baseiam.
Outro dado chama a ateno na Figura 4.6: para estudantes de pases membros da OCDE, tais como Coreia do Sul,
Finlndia e Canad, itens com textos representativos de situao ocupacional tendem a ser mais fceis. A leitura ocu-
pacional est relacionada realizao de tarefas imediatas pertencentes ao mundo do trabalho, entre elas a busca de
um emprego em anncios de jornais impressos ou online. Nas tarefas propostas pelos itens com textos-base da esfera
ocupacional, caracterizadas como ler para fazer (Sticht, 1975; Stiggins, 1982 apud OCDE, 2016), os alunos brasileiros
no tiveram bom desempenho.
O mundo do trabalho no tem, normalmente, representao em nossas escolas, menos ainda nas aulas de lngua por-
tuguesa. A preocupao quase exclusiva da escola com o prosseguimento dos alunos nos estudos e, por conseguinte,
com seu sucesso nas avaliaes para o ingresso na universidade afasta das aulas textos que poderiam levar a ateno
dos estudantes para o mundo do trabalho e para o exerccio da cidadania.
Alm disso, o fato de, no Brasil, os jovens comearem a trabalhar a partir de 16 anos no pode ser tomado como um em-
pecilho para a leitura e compreenso exitosas de textos de situao ocupacional no PISA, sob a alegao de que se trata de
algo ainda distante da realidade de parte dos estudantes que realizam o exame. preciso considerar que os itens, de modo
geral, pressupem a resoluo de problemas. Na prova que avalia o letramento em leitura, a resoluo de problemas perpassa
o contexto laboral, sendo imprescindvel que os alunos sejam capazes de interpretar e analisar textos pertencentes a esse
contexto, processos que vo alm do domnio da forma de um ou de outro gnero. Conhecer o modo como se estrutura
um anncio de emprego pode ser insuficiente; necessrio saber fazer algo com base nele. Nesse sentido, a avaliao do
PISA procura estabelecer uma relao bastante direta entre os textos e os contextos extraescolares em que estes circulam.
Quanto aos textos representativos de situao educacional, pode-se dizer que so os mais recorrentes na escola, pre-
sentes em quase todas as disciplinas das diferentes reas do conhecimento. So textos que oferecem informaes a
serem adquiridas pelos alunos no processo de aprendizagem. Essa aquisio se d com a mediao do professor ou no,
funcionando como parte de uma tarefa maior de aprendizado. No mbito da escola, esses textos no so escolhidos
pelos estudantes, mas pelo professor, e constituem veculos para o contedo a ser trabalhado. Esto presentes em livros
didticos e em outros materiais para a leitura que o professor possa, eventualmente, levar para as aulas.
O nvel de dificuldade apresentado pelos jovens brasileiros nos itens cujos textos representam situaes educacionais
sugere que em nossa escola, grosso modo, no se desenvolve um trabalho sistemtico com os gneros didticos. Mais
do que isso, a escola no assumiu ainda o fato de que ensinar a ler e tambm a escrever deve ser um compromisso
de todas as reas. No basta, portanto, que o professor de lngua portuguesa invista em leitura levando em conta as
variveis de situao pessoal, pblica e ocupacional. preciso que os alunos sejam capazes de ler textos, tambm,
da esfera educacional. Construindo essa habilidade, eles podero ler para aprender (Sticht, 1975; Stiggins, 1982 apud
OCDE, 2016), na escola e ao longo da vida.
O desenvolvimento da habilidade de leitura de textos educacionais levado a cabo pelos professores em todas as reas do
conhecimento aqui includa a lngua portuguesa fundamental para que os estudantes sejam leitores proficientes em
todas as disciplinas escolares. H uma crena enraizada na escola de que os alunos no entendem textos e enunciados de
questes que leem em diferentes disciplinas, e, normalmente, a culpa desse resultado negativo recai sobre o professor
de lngua portuguesa. preciso esclarecer, ento, que ler na disciplina de lngua portuguesa no o mesmo que ler em
matemtica, em histria, em biologia, em ingls etc. H diferenas profundas em relao a vocabulrio, a gneros e tipos
textuais, a suportes, explorao das mltiplas linguagens, aos objetivos de leitura etc. Nesse sentido, todo professor de-
veria ser, tambm, professor de leitura em sua disciplina, considerando as especificidades de sua rea de conhecimento.
4
Na prova dos brasileiros, a distribuio dos itens de leitura de acordo com a situao mostra um equilbrio entre os
textos-base das quatro variveis pessoal, educacional, ocupacional e pblica , havendo um predomnio pouco sig-
nificativo da educacional (Figura 4.7). Esse equilbrio, entretanto, no se reflete em nossas escolas, que apresentam um
trabalho que privilegia os textos da esfera pessoal, tratando muito pouco, ou quase nada, dos que representam as demais
situaes de leitura. Por isso, o resultado de nossos alunos, nesse quesito, no poderia ser diferente.
Figura 4.7
Distribuio dos itens de leitura de acordo com a situao PISA 2015
Situao
Pessoal 21
Educacional 26
Ocupacional 20
Pblica 20
Fonte: OCDE, INEP.
Esse dado deve ser considerado quando se avaliam os resultados apresentados pelos jovens brasileiros. O PISA, pela
prpria natureza do exame, avalia estudantes inseridos em culturas escolares muito diferentes entre si, fato que sempre
se refletir em seus resultados.
ndice Delta por formato de texto

A caracterstica do domnio de avaliao de leitura denominada formato de texto classifica os textos presentes nos
itens da prova conforme as seguintes categorias: contnuo, no contnuo, combinado e mltiplo.
A Figura 4.8 apresenta o nvel de dificuldade dos itens de leitura de acordo com as categorias de formato de texto,
com base nos resultados do PISA 2015.
Figura 4.8
Dificuldade dos itens de leitura segundo formato de texto por pas e unidade da Federao PISA 2015
Contnuo (n=42) Combinado (n=6) Mltiplo (n=1) No contnuo (n=17)

19
17
15
13
11
Fonte: OCDE, INEP.
Com base nesses dados, nota-se que os itens com textos no formato combinado foram mais difceis para os alunos
participantes do PISA ndices Delta mais altos, de modo geral. Os textos combinados caracterizam-se pela juno de
pargrafos em prosa textos contnuos e de listas, grficos, tabelas, diagramas, ndices textos no contnuos. So fre-
quentemente encontrados em revistas, relatrios e pginas da internet. A combinao de textos feita pelo encadeamento
de ideias coerentes e coesas entre si, o qual deve ser identificado pelo estudante para responder s questes da prova.
4
Alguns textos no contnuos, muitas vezes, j se apresentam como uma dificuldade para os alunos, que nem sempre
conseguem fazer uma leitura eficiente deles. So textos mais comuns em outras disciplinas, no em lngua portuguesa,
que, quando os aborda, o faz, em geral, como se fossem um elemento complementar, subordinado ao texto contnuo,
verbal, seu objeto de ensino. De outro lado, o tratamento que os textos no contnuos recebem nas demais disciplinas
costuma ser o mesmo recebido pelos contnuos: a leitura visa buscar informaes explcitas, sem atentar para os aspectos
formais e organizacionais desse modelo de texto, que tambm constroem significados. Os textos no contnuos devem
ser, tambm, lidos, mas no da mesma forma que os contnuos. Sua leitura tem de ser ensinada, sobretudo, pelos
professores das disciplinas em que eles so mais recorrentes.
Essa dificuldade de leitura torna-se maximizada quando h a combinao de textos contnuos e no contnuos, configu-
rando o texto mltiplo. Nesse formato de texto, o encadeamento de segmentos contnuos e no contnuos deve refletir-se
na organizao de suas ideias, em sua coerncia e sua coeso, o que tem de ser analisado pelo aluno na busca da cons-
truo do sentido dessa categoria de texto. bastante comum leitores menos estratgicos e/ou experientes considerarem
os textos no contnuos elementos meramente ilustrativos, algo que tambm ocorre com elementos contextuais como
o ttulo do texto, o nome do autor, o local e a data de publicao. Parece haver, entre esses leitores, a crena de que ler
um texto ler um conjunto de pargrafos em prosa, ou seja, textos contnuos.
Para os estudantes brasileiros conquistarem resultados mais satisfatrios no PISA em relao leitura de textos combinados,
torna-se necessrio o desenvolvimento de um trabalho em sala de aula que amplie sua conscincia sobre a importncia
dos textos no contnuos para a compreenso dos textos combinados, visto que eles, entre outros fatores, podem ativar
o conhecimento de mundo do leitor sobre determinado assunto, levar o leitor a formular hipteses sobre as demais
informaes que sero apresentadas, organizar um conjunto de ideias, explicar visualmente um conceito, resumir infor-
maes, apresentar informaes suplementares, esquematizar os pontos principais do texto. O trabalho deve privilegiar
o reconhecimento das funes que os textos no contnuos desempenham nos textos combinados, favorecendo, assim,
o desenvolvimento de estratgias de leitura mais eficazes.
Os itens com textos contnuos apresentaram Deltas mais baixos nos dados referentes ao desempenho dos estudantes
brasileiros, com exceo dos estados do Esprito Santo, Minas Gerais, Paran, Distrito Federal, Acre, Rio de Janeiro e
Paraba, para os quais o item com texto mltiplo teve ndice mais baixo. O item com texto mltiplo tambm foi mais
fcil para os alunos de pases da OCDE, como se observa nos ndices para Finlndia, Canad, Coreia do Sul, Portugal,
Estados Unidos, Espanha e Chile. Em 2018, quando leitura ser o foco da edio do PISA, um quantitativo maior de itens
com textos mltiplos ser avaliado, o que poder confirmar tal tendncia. O formato de texto contnuo caracteriza-se
pela organizao em oraes e pargrafos, tpicos em reportagens de jornais, textos argumentativos, contos e romances,
por exemplo. O formato de texto mltiplo definido pela justaposio de textos independentes entre si, os quais podem
apresentar ideias complementares ou contraditrias.
O fato de os ndices Delta mais baixos para os estudantes brasileiros estarem nos itens cujos textos-base so contnuos
comprova o que se evidencia nos livros didticos das escolas brasileiras: a presena infinitamente majoritria de textos
contnuos, mesmo em livros didticos de outras disciplinas, da a maior intimidade dos alunos com esse formato de texto.
Uma prtica escolar que pode favorecer o desempenho dos jovens brasileiros no PISA em relao a textos mltiplos
baseia-se na apresentao de uma coletnea de textos sobre determinado assunto. O objetivo a ser definido para a lei-
tura da coletnea seria o de identificar textos entre os quais possvel estabelecer uma relao de complementaridade e
textos entre os quais possvel estabelecer uma relao de oposio. Para alm da atividade de leitura, seria igualmente
importante selecionar os textos mais adequados para cumprir algumas tarefas e no outras. Para exemplificar, depois
de ler diferentes crticas a certo livro, os estudantes poderiam decidir qual seria o texto mais adequado para convencer
outros leitores (ou eles mesmos) a ler o livro e, em seguida, identificar os elementos que corroboram o carter persuasivo
do texto escolhido.
ndice Delta por aspecto

A caracterstica do domnio de avaliao de leitura denominada aspecto refere-se a estratgias ou propsitos utilizados
pelo leitor para interagir com o texto. So eles: localizar e recuperar; integrar e interpretar; e refletir e analisar.
A Figura 4.9 apresenta o nvel de dificuldade dos itens de leitura de acordo com as categorias de aspecto, com base
nos resultados do PISA 2015.
4
Figura 4.9
Dificuldade dos itens de leitura segundo aspecto por pas e unidade da Federao PISA 2015
Localizar e recuperar (n=18) Integrar e interpretar (n=34) Refletir e analisar (n=14)

19
17
15
13
11
Fonte: OCDE, INEP.
Em relao aos aspectos do construto da avaliao de leitura, o ndice mdio de dificuldade Delta para os dados do Brasil
revela que os itens que envolviam localizar e recuperar informao foram mais fceis para os estudantes brasileiros, e os
que envolviam integrar e interpretar, mais difceis. Essa uma tendncia observada nos resultados de todas as unidades
da Federao e dos demais pases apresentados analisados, uma vez que localizar e recuperar informao o nvel
mais elementar do trabalho desenvolvido com as estratgias de leitura e est presente desde o incio da escolarizao,
quando os alunos aprendem a ler. Outras razes para isso so a concepo de leitura como decodificao que, ainda
hoje, perpassa as atividades desenvolvidas em sala de aula e a prtica escolar de compreenso de textos, em que se
fazem perguntas sobre informaes que aparecem explicitamente nos textos.
A leitura um processo interativo muito diferente da decodificao. Embora as habilidades para a decodificao (conhe-
cimento da correspondncia entre o som e a letra) sejam necessrias para a leitura, o processo de leitura implica uma
atividade de procura por parte do leitor, no seu passado, de lembranas e conhecimentos, daqueles que so relevantes
para a compreenso de um texto que fornece pistas e sugere caminhos, mas certamente no explicita tudo o que seria
possvel explicitar (Kleimam, 2011, p. 26-7).
O aspecto integrar e interpretar requer do estudante a habilidade de relacionar partes do texto e desenvolver uma interpre-
tao. Integrao e interpretao so imprescindveis para que o leitor elabore um entendimento amplo do texto, por meio
da identificao de semelhanas e diferenas entre suas partes, da comparao entre elas ou do estabelecimento de relaes
de causa e efeito. O nvel de dificuldade desse aspecto pode estar relacionado ao tipo de informao, implcita ou explcita,
ou ao grau de inferncia requerido. As atividades de leitura formuladas com base no aspecto integrar e interpretar trabalham
com a formulao de inferncia, com a apreenso de aspectos temticos e composicionais dos textos e dos gneros, de
aspectos lexicais e estilsticos. Para que os alunos desenvolvam essas capacidades de leitura e resolvam as atividades pro-
postas pelo item, preciso que mobilizem conhecimentos prvios e conhecimentos lingusticos, textuais e sobre os gneros.
A mdia do ndice de dificuldade Delta do Brasil para o aspecto refletir e analisar foi bastante prxima da mdia para
localizar e recuperar informao: 13,82 e 13,60 respectivamente. Refletir e analisar envolvem a relao de informaes
presentes no texto com experincias prprias do leitor e seu conhecimento de mundo, o levantamento de hipteses e o
julgamento de aes e atitudes. Os itens que avaliam esse aspecto podem solicitar do estudante a articulao e defesa
de seu ponto de visto sobre um assunto suscitado pelo texto, bem como requerer que ele detecte sutilezas na linguagem
empregada pelo autor do texto ou identifique determinados estilos de escrita, objetivos e atitudes do autor.
Essa aproximao entre os nveis de dificuldade auferidos nos itens que avaliam os aspectos localizar e recuperar in-
formao e refletir e analisar considerados mais fceis do que integrar e interpretar pode ser justificada, primeiro,
4
pelo fato de os itens que focam o aspecto refletir e analisar pressuporem a capacidade de localizar informaes ou de
recuper-las e, depois, para alm disso, pelo fato de solicitar-se aos alunos que estabeleam relaes entre a informao
em foco no texto e o mundo que existe fora desse texto, sua realidade, sua vida.
Ou seja, pensar sobre sua realidade, sobre si mesmos est muito mais prximo dos estudantes do que pensar sobre a
estrutura do texto, sobre como ele se organiza, sobre as relaes que se constroem em seu interior com base nas estru-
turas gramaticais que entram em sua composio, capacidades exigidas pelo aspecto integrar e interpretar, considerado
o mais difcil para os participantes do PISA.
No h dvida de que a escola vem investindo mais nas habilidades de leitura. Entretanto, ainda estamos muito presos
a um trabalho de leitura cujo foco a superfcie do texto que se oferece aos olhos do leitor, em busca de informaes
especficas, localizadas ou, em outro extremo, da opinio do aluno, seu posicionamento sobre o que diz o texto. O
trabalho com a leitura de textos verbais exige mais do que isso. Um investimento na anlise das estruturas e categorias
gramaticais e do lxico empregados pelo autor em seu texto pode dizer muito sobre sua inteno comunicativa. preciso
que a leitura passe, tambm, por uma reflexo sobre a estrutura lingustica do texto, material por meio do qual ele
construdo. muito raro que apaream, nos livros didticos, por exemplo, abordagens que foquem os efeitos de sentido
das escolhas lingusticas e valorizem aspectos discursivos de categorias da lngua.

A Figura 4.10 apresenta o nvel de dificuldade dos itens de leitura segundo o tipo de item.
Figura 4.10
Dificuldade dos itens de leitura segundo tipo de item por pas e unidade da Federao PISA 2015
Mltipla escolha complexa (n=7) Resposta aberta (n=37) Mltipla escolha simples (n=22)
19
17
15
13
11
Fonte: OCDE, INEP.
Esses dados mostram uma tendncia geral no nvel de dificuldade de acordo com o tipo de item presente na prova do
PISA. Os de mltipla escolha simples so os mais fceis, com ndice Delta abaixo da mdia de 13 pontos, uma vez que
demandam a seleo de uma alternativa dentre quatro fornecidas ou a seleo de um elemento dentro de um texto.
Os itens com nvel de dificuldade mais alto so do tipo mltipla escolha complexa, podendo envolver a seleo de uma
ou mais opes de uma lista predefinida, a movimentao de elementos de textos ou grficos na tela ou a ordenao,
categorizao e seleo de dados gerados em simulaes.
Os itens de resposta aberta, que requerem a elaborao de resposta escrita curta, apresentaram nvel de dificuldade
mdio para os estudantes brasileiros.
Diferentes formatos de resposta so requeridos nas provas do PISA, de modo a oferecer algum equilbrio entre aqueles
mais ou menos conhecidos pelos estudantes ao redor do mundo. O de mltipla escolha simples o mais recorrente
4
em avaliaes em larga escala. Os dados mostrados na Figura 4.10 confirmam a familiaridade dos brasileiros com esse
formato de resposta, de maneira similar tendncia de outros pases.
Os itens de mltipla escolha complexa representam uma particularidade da avaliao proposta pelo PISA. Os demais
exames de avaliao da Educao Bsica em larga escala elaborados no Brasil, diferentemente, restringem-se a itens
de mltipla escolha. Essa considerao se faz necessria, visto que o conhecimento da estrutura do PISA, bem como a
prtica de exerccios com formatos semelhantes aos empregados no exame, pode influenciar o desempenho dos estu-
dantes. No entanto, o treinamento no deve se sobrepor formao de um bom leitor, uma vez que um estudante bem
formado tem de ser capaz de responder a qualquer tipo de item.
Outra particularidade do PISA relacionada forma dos itens que talvez possa representar uma dificuldade para os alunos
brasileiros refere-se instruo inicial apresentada na tela do computador: Consulte o texto direita. Nas prticas
escolares comumente adotadas no Brasil, consultar no sinnimo de ler ou de ler atentamente, e sim de procurar
dados. Em certa medida, a instruo presente na prova, alm de representar uma limitao imposta pela maneira como
os itens devem ser traduzidos do ingls e do francs, pode sugerir aos estudantes que no necessrio ler o texto, mas
meramente passar os olhos pelas linhas em busca de alguma resposta.
importante considerar que o resultado brasileiro no PISA pode ser influenciado por fatores exgenos, como o aponta-
do, e, em certa medida, agravado pelo fato de o exame ainda ser pouco conhecido no territrio nacional. Se os alunos
selecionados desconhecem a importncia de sua participao na prova, bastante provvel que se engajem pouco na
resoluo dos itens propostos.
A omisso aos itens

Um item deixado em branco seguido de outro com resposta vlida foi considerado como erro para os participantes do
PISA. A alta ocorrncia desses casos pode prejudicar uma justa anlise dos resultados de um pas. A Figura 4.11 apresenta
a mdia dos percentuais de respostas omitidas pelos estudantes no teste de leitura nos pases analisados e nas unidades
da Federao brasileiras.
Figura 4.11
Mdia dos percentuais de casos omissos em leitura por pas e unidade da Federao PISA 2015
18%
16%
14%
12%
10%
8%
6%
4%
2%
0%
Fonte: OCDE, INEP.
No PISA 2015, o Brasil apresentou um percentual mdio de 9,4% de respostas omitidas, a terceira maior mdia entre os
pases comparados Uruguai teve 10,5%, e Repblica Dominicana, 12,2%. Nas unidades da Federao, houve variao
de 6,2% a 16,5% de omisso de itens.
A Figura 4.12 mostra os percentuais de omisso pelos estudantes brasileiros em cada item do teste de leitura que varia-
ram de 0% a 44,8%.
4
Figura 4.12
Percentuais de casos omissos por item de leitura, Brasil PISA 2015
50%
45%
40%
35%
30%
25%
20%
15%
10%
5%
0%
Fonte: OCDE, INEP.
Em leitura, 13 itens tiveram mais de 20% de respostas omitidas pelos jovens brasileiros, todos de resposta aberta. Esse
pode ter sido um fator determinante para os estudantes t-los deixado em branco.
De maneira geral, observa-se que itens desse tipo envolvem textos mltiplos e combinados (textos em prosa, tabelas,
grficos, mapas) com alto grau de informatividade e grande quantidade de dados que devem ser comparados, contras-
tados e integrados a fim de que hipteses e opinies sejam elaboradas pelos alunos.
A Figura 4.13 apresenta um resumo da relao entre o formato de texto e o aspecto avaliado nos 13 itens com maior
percentual de omisso para os brasileiros. Destaca-se a recorrncia de textos no contnuos especialmente no aspecto
refletir e analisar.
Figura 4.13
Distribuio dos 13 itens de leitura com maior percentual de omisso PISA 2015
Localizar e recuperar Integrar e interpretar Refletir e analisar
Educacional, 1 Ocupacional, 2
Educacional, 1 Ocupacional, 1 Pessoal, 2
Educacional, 2 Ocupacional, 1 Pessoal, 1 Pblico, 2
Fonte: OCDE, INEP.
4
Nesta anlise, deve-se considerar que, tradicionalmente, a escola desenvolve o trabalho de leitura com foco em um nico
texto. Assim, para os estudantes brasileiros, lidar com textos mltiplos e combinados pode parecer algo novo, com que
eles esto pouco familiarizados. no final do Ensino Mdio, em regra, que se percebe um investimento na explorao de
mais de um texto, mas em atividades cujo objetivo o desenvolvimento da escrita por exemplo, propostas de redao
com coletnea de textos. Ao longo do Ensino Fundamental, so mais comuns atividades pautadas na explorao de de-
terminado gnero e no na relao que se possa estabelecer entre diferentes gneros ou entre textos do mesmo gnero.
Para os alunos, essa abordagem relativamente nova se comparada s prticas escolares de leitura a que esto habituados.
A seguir, apresenta-se uma anlise de nove itens de leitura do PISA 2015 com alto percentual de omisso pelos estudantes
brasileiros, a ttulo de ilustrao.1
Exemplo 1: unidade Emprego

Item Unidade Percentual de omisso
R219Q01EC Emprego 44,79%
R219Q01C Emprego 39,67%
R219Q02C Emprego 23,07%
A unidade Emprego era formada por um texto no contnuo um formulrio e trs itens. Os itens R219Q01EC e
R219Q01C apareciam juntos e solicitavam o preenchimento de campos de um formulrio de solicitao de emprego
atendendo a requisitos previamente fornecidos no item, tais como disponibilidade, localizao residencial e acesso a
transporte. O item R219Q02C era uma pergunta sobre a opinio dos alunos a respeito de informaes requeridas no
formulrio.
O alto ndice de omisso nessa unidade pode estar relacionado pouca familiaridade dos estudantes brasileiros de 15
anos com textos tpicos do ambiente profissional. Soma-se a isso o fato de o formulrio apresentar vrios elementos alm
das informaes requeridas pelos itens. Outro fator que talvez explique a omisso a ausncia de contextualizao da
unidade, a qual no situava os alunos na condio de candidatos a emprego nem fornecia informaes sobre possveis
vagas de trabalho ofertadas.
O texto dessa unidade era representativo da situao ocupacional e, como salientado anteriormente, o mundo do trabalho
tem tido pouco espao nas escolas brasileiras.
Exemplo 2: unidade Polo Sul

R220Q01 Polo Sul 31,86%
A unidade Polo Sul era composta por um texto contnuo e um no contnuo um grfico e cinco itens. O item R220Q01,
o primeiro apresentado aos estudantes, solicitava que se traasse, em um mapa, a rota seguida por um grupo de expedi-
cionrios, associando as informaes fornecidas no texto contnuo s indicaes geogrficas do mapa.
O alto ndice de omisso nessa unidade pode estar relacionado complexidade do texto verbal, que trazia grande quan-
tidade de dados, e do mapa, que continha a delimitao de reas da regio explorada, setas indicativas, informaes
sobre latitude e longitude, linhas imaginrias e representao pictrica de cordilheira e baa. A incidncia de tantos
elementos pode ter dificultado a leitura dos textos pelos estudantes. Soma-se a isso a demanda da associao de dados
do texto contnuo representao cartogrfica para que fosse traada a rota solicitada no enunciado do item. Ademais,
provvel que os alunos no tivessem familiaridade com o formato de mapa apresentado.
Embora se procure avaliar o aspecto localizar e recuperar informao, em que os estudantes brasileiros demonstraram
ter mais facilidade, nesse item, especificamente, o ndice Delta revelador de que o nvel de dificuldade resultado no
1. Nenhum dos itens com alto percentual de omisso pblico, por isso se realiza apenas uma descrio geral.
4
s do aspecto avaliado, mas tambm de um conjunto de variveis, entre elas os gneros que compunham o item, seu
grau de informatividade e a forma como o comando foi construdo. Enquanto os itens subsequentes eram de mltipla
escolha simples, o primeiro demandava uma ao mais complexa que, em certa medida, pode ter desencorajado os
alunos de realiz-la.
preciso salientar que mapas e outros textos no verbais precisam ser tratados como verdadeiros textos em todas reas
do conhecimento, j que podem tanto complementar a leitura de textos verbais como ser eles prprios os textos a serem
lidos e interpretados.
Outro elemento que talvez ajude a explicar o ndice de omisso o fato de esse item ter sido construdo com base em
textos oriundos da situao educacional, comprovadamente mais difceis para os estudantes brasileiros, como apontado
anteriormente.
Exemplo 3: unidade Idiomas do mundo

R412Q08 Idiomas do mundo 28,61%
A unidade Idiomas do mundo explorava a noo de texto mltiplo, constitudo por um texto combinado que continha
uma sequncia de texto contnuo, um grfico, uma tabela e um mapa ilustrativo e um texto contnuo. O item R412Q08,
o terceiro de quatro, solicitava uma resposta dissertativa na qual os estudantes deviam identificar uma contradio entre
a tabela presente no texto combinado e o primeiro pargrafo do texto contnuo.
Esse item avaliou o aspecto integrar e interpretar, comprovadamente considerado mais difcil pelos brasileiros, o que
pode ter sido um dos fatores determinantes do alto ndice de omisso. Outro razo que teria contribudo para esse
resultado seria o fato de que, embora os textos tratassem da mesma temtica a quantidade de idiomas no mundo ,
as informaes eram oferecidas em formatos diferentes. O tratamento diferenciado da informao nos textos (em uma
tabela e em um pargrafo) talvez possa se configurar como um complicador do processo de leitura, desestimulando a
resposta ao item.
Os textos da unidade Idiomas do mundo eram oriundos da situao educacional, e o alto percentual de omisso ao
item que os explorava confirma a dificuldade que os alunos brasileiros tm de ler textos caractersticos dessa situao.
Exemplo 4: unidade O futuro das crianas

R420Q06C O futuro das crianas 25,86%
A unidade O futuro das crianas era constituda por um texto combinado uma sequncia de texto contnuo e um gr-
fico. O item R420Q06C, o terceiro de quatro, solicitava uma resposta dissertativa na qual os estudantes deviam opinar
sobre uma constatao levantada com base nas informaes do texto combinado.
Embora no apresentasse dados complexos, o grfico continha elevado nmero de elementos o levantamento da
opinio de pessoas de trs cidades sobre dez afirmativas. Para responder ao item, os estudantes tinham de comparar as
diferentes opinies diferentes e chegar a uma concluso.
A complexidade do item pode estar atrelada ao prprio aspecto avaliado refletir e analisar , o qual requer que o
leitor recorra a suas experincias e a seus conhecimentos para comparar, contrastar e construir hipteses sobre os fatos
apresentados. A comparao entre variados elementos parece ter sido um fator complicador nesse item.
Assim como no item comentado anteriormente, reconhece-se aqui, tambm, a dificuldade maior dos estudantes brasi-
leiros de lidar com textos da situao educacional.
4
Exemplo 5: unidade Intercmbio

R111Q06C Intercmbio 25,55%
A unidade Intercmbio era formada por um texto contnuo e trs itens. O item R111Q06C abrangia dois formatos de
resposta: a escolha de uma alternativa entre quatro fornecidas (mltipla escolha simples) e a formulao de uma resposta
que justificasse a escolha anterior (resposta aberta).
O texto era representativo da situao educacional caracteristicamente difcil para os brasileiros e tratava de requisitos
para a participao em um intercmbio estudantil. Essa temtica pode ser pouco familiar a nossos alunos, pois no faz
parte da realidade da maioria deles. Alm disso, o item requeria uma reflexo sobre diferentes requisitos necessrios aos
interessados em participar de um intercmbio fora do pas, o que envolvia anlise baseada em conhecimento de mundo
que talvez no faa parte do repertrio da maioria de nossos estudantes. Tal anlise pressupunha que eles reconhecessem
a importncia dos requisitos em foco, exigindo um julgamento acerca de sua validade para a participao no intercmbio.
Exemplo 6: unidade Sono

R404Q10AC Sono 20,54%
R404Q10BC Sono 22,28%
A unidade Sono era composta por um texto combinado um artigo de revista que continha uma sequncia de texto
contnuo, um grfico e uma tabela e quatro itens. Os itens R404Q10AC e R404Q10BC eram integrados e avaliavam
o aspecto refletir e avaliar, com base especialmente nos dados da tabela. Requeriam que os estudantes analisassem o
contexto especfico de produo de um estudo cientfico e estabelecessem relaes com outros possveis contextos. Eles
tinham de elaborar respostas abertas a duas perguntas, justificando possveis mudanas nos dados do estudo cientfico
caso ele fosse realizado em um contexto diferente.
O texto-base, por si s, denotava certo grau de dificuldade por conter diversas informaes, grfico e tabela e, tambm,
por originar-se de uma situao pblica situao em que os alunos em geral demonstraram pior desempenho O item,
por sua vez, exigia que os estudantes compreendessem a coerncia entre as ideias apresentadas no texto, de modo a
estabelecer divergncias e convergncias entre elas e transpor os resultados do estudo para outros contextos. Trata-se
de operaes cognitivas diferentes e de graus de complexidade crescentes, o que pode justificar o abandono do item
pelos alunos.
Anlise de itens-destaque
Nesta seo, identificam-se itens que se destacaram como indicadores de pontos fortes e fracos do desempenho dos
estudantes brasileiros em leitura no PISA, em comparao com o dos alunos de alguns membros da OCDE e tambm
dos de alguns pases da Amrica Latina. Todos os itens comuns a esses pases foram considerados. Diferentes abordagens
poderiam ser utilizadas para a identificao de tais itens; no entanto, aqui se utiliza a anlise comparada dos ndices
Delta, que indicam o nvel de dificuldade dos itens.
Pontos fortes
A Figura 4.14 apresenta a anlise comparada dos Deltas do Brasil e de um grupo de pases latino-americanos. Com
base nos dados do PISA 2015 e 2009, 12 itens2 destacam-se como pontos fortes devido proximidade entre os nveis
de dificuldade. Os ndices Delta assinalados em cinza correspondem aos valores do ndice mais altos que o nvel de
dificuldade dos itens para os estudantes brasileiros. Isso quer dizer que os itens apresentados foram mais difceis para
estudantes de outros pases latino-americanos do que para os do Brasil.
2. Nesta anlise, foram considerados os ndices de itens aplicados no PISA 2009 nos pases selecionados para comparao (com exceo da Repblica Domi-
nicana) e tornados pblicos posteriormente, de modo que se pudessem ilustrar mais claramente os pontos fortes observados no desempenho em leitura dos
estudantes brasileiros.
4
Figura 4.14
Anlise comparada dos Deltas dos pases latino-americanos, pontos fortes, leitura PISA 2009-2015
Costa Repblica
Item Brasil Mdia Diferena Uruguai Chile Mxico Colmbia Peru
Rica Dominicana2
R455Q02 15,29 16,27 0,98 16,92 15,88 14,81 16,72 16,51 16,89 16,16
R417Q031 13,20 13,92 0,72 13,08 12,92 14,07 13,59 14,21 15,65
R455Q05 17,75 18,46 0,71 18,68 19,05 16,58 18,34 19,15 18,49 18,95
R460Q06 12,75 13,44 0,69 12,63 13,55 12,26 13,76 13,06 13,92 14,91
R446Q03 9,55 10,13 0,57 9,83 10,04 9,20 9,82 10,09 10,42 11,51
R406Q01 13,07 13,63 0,56 12,61 12,83 12,59 13,82 13,42 14,16 15,99
R455Q04 13,20 13,75 0,55 12,96 13,43 13,31 13,81 13,22 14,24 15,28
R437Q01 14,21 14,72 0,52 14,12 15,15 13,91 15,48 14,57 15,14 14,66
R412Q05 13,77 14,21 0,45 14,22 14,26 13,73 13,64 14,57 13,32 15,75
R429Q091 9,44 9,88 0,44 8,87 10,41 8,68 10,09 9,54 11,71
R460Q01 12,83 13,19 0,36 12,81 12,38 12,29 13,06 13,39 13,40 14,98
R102Q05 17,32 17,62 0,30 18,40 16,32 17,76 16,50 16,42 17,17 20,76
Notas:
1. Item pblico de 2009.
2. A Repblica Dominicana no participou do PISA 2009.
Fonte: OCDE, INEP.
Nessa comparao, destacam-se como pontos fortes dos estudantes brasileiros 12 itens, considerados de nvel fcil,
mdio ou difcil (ndice Delta entre 9,44 e 17,75). No geral, eles apresentaram as seguintes caractersticas:
predominncia de textos representativos da situao pessoal (em 6 dos 12 itens);

predominncia de resposta aberta (em 6 dos 12 itens);
variao de aspectos avaliados (localizar e recuperar, integrar e interpretar, refletir e analisar) e de formatos de texto
(contnuos e no contnuos).
A comparao entre o desempenho dos estudantes do Brasil e o dos de outros pases da Amrica Latina nos 12 itens
mostra que os brasileiros conseguiram lidar bem com textos representativos da situao pessoal, de formato contnuo,
como o anncio publicitrio (item R429Q09, Delta 9,44), ou no contnuo, como o anncio de emprego (item R446Q03,
Delta 9,55). Esses dois itens demandaram, respectivamente, a compreenso geral do texto e da funo persuasiva do
gnero anncio e a localizao de informao explcita.
O bom desempenho dos estudantes brasileiros no item R417Q03,3 por exemplo, indica suas habilidades na localizao
de informao explcita em texto complexo com muitas informaes de carter diferente dados, imagens, padres de
medidas diversos (m3, m, km, grau Celsius, hora, porcentagem) e na inferncia de informao no explcita.
Os trs itens da unidade Chocolate e sade (R455Q02, R455Q04 e R455Q05) apresentaram ndices de dificuldade
consideravelmente altos tanto para os estudantes do Brasil como para os de outros pases, mas ainda assim indicam
pontos fortes dos brasileiros. Tal fato pode estar relacionado curta extenso do texto contnuo que compunha a unida-
de, presena de imagem ilustrativa e de poucas informaes concorrentes da ateno dos alunos, alm de o texto ser
representativo de uma situao bastante familiar aos estudantes brasileiros, a pessoal.
Apesar do alto nvel de dificuldade dos trs itens, o desempenho dos brasileiros foi considerado ponto forte por ter sido
relativamente melhor do que o dos demais estudantes latino-americanos. Isso indica que nossos alunos conseguiram
lidar de maneira mais adequada com um texto de carter cientfico que continha termos pouco comuns em seu cotidiano
e com itens que requeriam inferncia.
3. Esse item apresentado integralmente na pgina 119.
4
A Figura 4.15 apresenta a anlise comparada dos Deltas do Brasil e de pases com desempenho prximo ou superior
mdia da OCDE. Embora o nvel de dificuldade dos itens para os alunos brasileiros tenha sido mais elevado do que para
os demais estudantes, essa anlise pretende destacar itens em que o desempenho dos jovens brasileiros no foi muito
diferente do dos de outros pases (itens considerados pontos fortes, ou seja, para esses itens, o Brasil est, em geral, no
mesmo patamar dos pases com desempenho prximo ou superior ao dos da OCDE).
Figura 4.15
pontos fortes, leitura PISA 2015
Estados Coreia
Unidos do Sul
R437Q011 14,21 13,32 0,88 12,66 14,77 13,52 13,02 13,07 12,88
R067Q04 12,59 11,70 0,90 11,72 11,18 11,65 12,06 11,13 12,44
R455Q021 15,29 14,25 1,04 13,92 14,68 15,16 14,52 12,79 14,43
R067Q05 11,35 10,28 1,08 10,01 9,92 9,96 11,17 10,09 10,53
R424Q07 11,23 9,84 1,39 10,31 9,67 10,47 9,81 9,63 9,16
R406Q011 13,07 11,63 1,44 12,77 10,43 11,65 10,81 12,09 12,05
R220Q06 13,01 11,51 1,50 12,51 11,35 11,34 11,16 12,08 10,64
R437Q06 13,54 12,04 1,51 12,00 12,51 10,40 11,58 12,15 13,59
R412Q051 13,77 12,23 1,54 13,14 12,34 12,72 12,17 11,93 11,08
R406Q02 16,03 14,40 1,63 13,53 14,14 15,71 13,89 14,46 14,66
R067Q01 9,90 8,27 1,63 8,55 7,81 8,89 8,10 8,31 7,94
Nota:
1. Itens tambm destaques (pontos fortes) na comparao com a Amrica Latina.
Fonte: OCDE, INEP.
Na comparao com o desempenho dos estudantes de pases da OCDE, verifica-se que sete novos itens se destacam
como pontos fortes.
Assim como observado na anlise comparada com pases latino-americanos, no geral, esses itens tinham textos repre-
sentativos da situao pessoal (cinco dos sete itens). Ademais, predominaram os textos contnuos (todos os itens) e os
formatos de resposta aberta e de mltipla escolha simples. Foi recorrente tambm a presena de textos narrativos, como a
fbula, nos itens R067Q01, R067Q04 e R067Q05, e a lenda, no item R437Q06, o que pode ter favorecido os estudantes
brasileiros, por se tratar de um tipo textual bastante explorado em nossas escolas, especialmente no Ensino Fundamental.
Em relao competncia leitora, nota-se a facilidade dos alunos brasileiros em identificar a funo de sequncias
textuais especficas para os objetivos e propsitos de diferentes textos e em compreender seu sentido global.
Por fim, os brasileiros tiveram bom desempenho em itens que lhes permitiram expressar sua opinio e criatividade, apoia-
das em fatos narrados nas histrias e nas relaes possveis entre o significado da histria e seu conhecimento de mundo.
A Figura 4.16 traz um resumo da relao entre formato de texto e aspecto nos itens identificados como pontos fortes dos
estudantes brasileiros. Destaca-se o elevado nmero de itens com textos de formato contnuo especialmente no aspecto
integrar e interpretar (11 dos 12 itens).
Comprova-se, aqui, o bom desempenho de nossos estudantes na avaliao da habilidade de leitura de textos contnuos
em contraposio a um resultado ainda insatisfatrio na avaliao da habilidade de leitura de textos multimodais.
Entretanto, outros aspectos podem ter contribudo para esse resultado. O formato de texto contnuo nem sempre ga-
rantia de transparncia de sentido ou de facilidade de compreenso; os textos variam em relao complexidade do
tema e de sua estrutura lingustica.
4
Ento, preciso que, ao lado de textos verbais cada vez mais complexos, textos no verbais, de diferentes formatos e
aspectos, tenham espao garantido nas salas de aula para que os alunos desenvolvam sua competncia leitora para alm
do verbal, sendo capazes de ler o mundo como ele se apresenta, mltiplo e diferenciado.
Figura 4.16
Distribuio dos 19 itens por formato de texto e aspecto, pontos fortes, leitura PISA 2015
Contnuo, 1 No contnuo, 2
Contnuo, 4
Fonte: OCDE, INEP.
Apresentam-se, a seguir, dois exemplos de itens pblicos que ilustram os pontos fortes dos estudantes brasileiros.
Item R417Q03 Balo de ar quente
Formato de resposta: resposta aberta.

Situao: educacional.
Formato de texto: no contnuo.
Aspecto: localizar e recuperar.
Nvel da escala de proficincia: nvel 4 (crdito completo) ou nvel 2 (crdito parcial).
Figura 4.17
Anlise comparada dos Deltas dos pases latino-americanos, item R417Q03, leitura PISA 2009
R417Q03 13,20 13,92 0,72 13,08 12,92 14,07 13,59 14,21 15,65
Fonte: OCDE, INEP.
4
BALO DE AR QUENTE
Recorde em altitude em balo

O piloto indiano Vijaypat Singhania bateu o recorde de altitude em
um balo em 26 de novembro de 2005. Ele foi o primeiro a voar
em um balo a 21 000 metros acima do nvel do mar. Recorde em altura:
21 000 m
Podem-se abrir
fendas laterais
para permitir
a sada de ar Oxignio: apenas 4% da
quente na Tamanho de quantidade disponvel no
descida. um balo nvel do solo
convencional
Recorde anterior:
19 800 m
O balo partiu
Temperatura:
em direo
95 C
Tecido: ao oceano.
Nilon Quando
encontrou a
Tempo de corrente de Avio de grande porte:
enchimento: vento jet 10 000 m
2,5 horas stream, foi
Tamanho: levado de volta
453 000 m3 para a terra.
(balo normal 481 m3)
Peso: Nova Deli
1 800 kg Local aproximado
do pouso
Cesto:
Altura: 2,7 m
Largura: 1,3 m 483 km
Mumbai
Cabine hermeticamente fechada e

pressurizada, com escotilhas isolantes.
Estrutura de alumnio, como nos avies.
Vijaypat Singhania usou um macaco

espacial durante o vo.
Nota: este um fac-smile da prova de leitura do PISA 2009.
BALO DE AR QUENTE R417Q03 0129
Vijaypat Singhania utilizou tecnologias encontradas em dois outros meios de transporte. Quais so esses meios de
transporte?
1.
2.
Comentrio: esse item revela habilidades dos estudantes na localizao de informao explcita em texto no contnuo
complexo com muitas informaes de carter diferente dados, imagens, padres de medidas diversos (m3, m, km,
grau Celsius, hora, porcentagem) e na inferncia de informao no explcita.
Para obter crdito completo, eles deveriam indicar que os meios de transporte utilizados por Singhania foram avio
e veculos espaciais. Exemplos de respostas consideradas corretas:
4
1) Avio. 2) Nave espacial.

1) Aeroplanos. 2) Naves espaciais.
1) Transporte areo. 2) Transporte espacial.
1) Jatos. 2) Foguetes.
Atribuiu-se crdito parcial a respostas que indicaram corretamente apenas um dos meios de transporte.
Item R429Q09 Anncio sobre doao de sangue
Formato de resposta: mltipla escolha.

Situao: pblica.
Formato de texto: contnuo.
Aspecto: integrar e interpretar.
Nvel da escala de proficincia: nvel 1a.
Figura 4.18
R429Q09 9,44 9,88 0,44 8,87 10,41 8,68 10,09 9,54 11,71
Fonte: OCDE, INEP.
ANNCIO SOBRE DOAO DE SANGUE
essencial doar sangue.
No h produto que possa ser utilizado no lugar do

sangue humano. A doao de sangue , portanto,
insubstituvel e indispensvel para salvar vidas.
Na Frana, a cada ano, 500 000 pacientes so

beneficiados por uma transfuso de sangue.
Os instrumentos de coleta de sangue so

esterilizados e usados uma nica vez
(seringas, tubos e bolsas de coleta).
Doar sangue no oferece nenhum risco.
Doao de sangue:
a forma mais conhecida de doao e dura de 45 minutos a uma hora.
extrada uma bolsa de coleta de 450 mil e tambm algumas amostras nas quais sero
efetuados testes e controles.
Um homem pode doar sangue cinco vezes por ano e uma mulher, trs vezes.
Os doadores podem ter a idade entre 18 e 65 anos.
obrigatrio um intervalo de 8 semanas entre cada doao.
4
ANNCIO SOBRE DOAO DE SANGUE R429Q09
O texto diz: Os instrumentos de coleta de sangue so esterilizados e usados uma nica vez....
Por que o texto contm essas informaes?
A. Para garantir que a doao de sangue segura.

B. Para enfatizar que a doao de sangue essencial.
C. Para explicar para que serve o sangue doado.
D. Para dar detalhes sobre testes e controles.
Comentrio: esse item ilustra a facilidade dos estudantes brasileiros em identificar a funo de sequncias textuais
especficas para os objetivos e propsitos do texto. Eles deveriam reconhecer o efeito persuasivo de uma frase espe-
cfica de um anncio. A resposta correta a alternativa A.
Pontos fracos
A Figura 4.19 apresenta a anlise comparada dos Deltas do Brasil e de outros pases latino-americanos. Destacam-se
como pontos fracos dos estudantes brasileiros 10 itens,4 considerados de nvel fcil, mdio ou difcil (ndice Delta entre
9,71 e 15,98).
Figura 4.19
Anlise comparada dos Deltas dos pases latino-americanos, pontos fracos, leitura PISA 2009-2015
Repblica
Dominicana2
R460Q05 12,22 11,24 0,98 10,23 11,04 10,33 11,41 11,34 11,07 13,26
R433Q051 15,98 14,98 1,00 14,20 15,92 14,87 15,28 14,32 15,30
R220Q02 15,25 14,23 1,02 14,00 14,01 13,73 14,59 14,52 13,77 14,97
R227Q01 14,73 13,63 1,11 12,94 14,03 12,21 13,02 12,97 14,22 16,00
R055Q01 11,65 10,50 1,15 9,97 10,37 9,18 10,28 10,39 10,84 12,50
R417Q081 11,29 10,01 1,28 9,75 10,14 8,95 9,54 10,39 11,27
R433Q071 9,71 8,36 1,35 7,40 8,64 7,67 8,86 8,26 9,35
R433Q011 11,48 10,03 1,45 9,69 10,04 9,44 9,93 10,22 10,85
R403Q041 12,22 10,48 1,73 9,28 10,59 10,10 10,87 10,36 11,69
R104Q01 15,79 13,96 1,82 13,58 13,01 13,42 13,56 14,07 14,30 15,82
Notas:
Fonte: OCDE, INEP.
No geral, esses itens apresentaram as seguintes caractersticas:
predominncia de textos contnuos (em 7 dos 10 itens);

variao de textos por situao, com leve predominncia da educacional: 4 educacionais, 3 pessoais, 2 pblicas e 1
ocupacional;
predominncia de resposta de mltipla escolha simples (em 6 dos 10 itens);
predominncia do aspecto integrar e interpretar (em 7 dos 10 itens).
A comparao entre o desempenho dos estudantes do Brasil e o dos de outros pases da Amrica Latina nos 10 itens
demonstra que os brasileiros tiveram dificuldade em integrar ideias e fragmentos de informao para fazer comparaes
ou estabelecer relaes de causa e efeito, processar informaes implcitas e fazer suposies com base nos fatos expostos
4. Cinco itens, do PISA 2009, so pblicos; os outros cinco, da edio de 2015, continuam em sigilo.
4
em textos narrativos ou expositivos, em itens predominantemente de mltipla escolha simples. Retomando os resultados
apresentados na anlise dos pontos fortes, possvel que a maior complexidade dos textos contnuos aqui considerados
tenha sido o motivo do desempenho mais baixo de nossos alunos.
No quesito situao, verifica-se que os estudantes brasileiros tiveram desempenho mais baixo nos itens cujos textos
eram majoritariamente dos contextos educacional, pblico e ocupacional. Esse dado comprova sua maior dificuldade
em relao a esses textos, conforme discutido anteriormente.
Figura 4.20
pontos fracos, leitura PISA 2009-2015
Estados Coreia
Unidos do Sul
R453Q06 12,83 9,53 3,30 9,37 10,22 10,00 9,16 8,60 9,83
R453Q01 11,94 8,58 3,36 8,69 8,91 9,45 9,30 8,29 6,82
R460Q051 12,22 8,79 3,43 9,81 9,64 7,36 9,47 8,14 8,32
R432Q01 12,04 8,51 3,53 8,57 8,93 9,87 9,55 7,21 6,93
R466Q06 12,26 8,50 3,77 9,00 8,06 8,58 9,01 8,10 8,23
R055Q05 13,78 9,99 3,78 10,38 10,64 9,28 11,15 9,44 9,07
R104Q011 15,79 11,95 3,84 12,41 12,88 11,66 12,24 11,40 11,11
R420Q10 15,45 10,67 4,78 10,64 11,11 10,38 11,58 9,99 10,31
Nota:
1. Itens tambm destaques (pontos fracos) na comparao com a Amrica Latina.
Fonte: OCDE, INEP.
Na comparao com o desempenho dos estudantes de pases da OCDE, verifica-se que seis novos itens se destacam
como pontos fracos dos estudantes brasileiros em leitura. Entre as caractersticas neles observadas, vale ressaltar a neces-
sidade de: inferir a relao entre informaes apresentadas em suportes distintos, como texto verbal e imagem; construir
analogias entre ideias expostas em grfico com grande quantidade de dados (por exemplo: levantamento de opinies
de pessoas residentes em trs cidades diferentes, expressas em dez afirmativas); e inferir informao em tipos de textos
diferentes sobre um mesmo assunto.
A Figura 4.21 apresenta um resumo da relao entre aspecto e formato de texto nos itens considerados pontos fracos.
Destaca-se a predominncia de textos contnuos avaliados no aspecto integrar e interpretar.
No Brasil, o investimento que se faz hoje na leitura como competncia estratgica para o sucesso dos estudantes na
escola e na vida ainda muito tmido em relao ao que se poderia fazer. A princpio, deve-se considerar que ensinar
a ler uma responsabilidade da escola como um todo, conforme mencionado na Seo ndice Delta por situao.
Desde o incio da escolarizao, a preocupao do professor essecialmente a construo da competncia leitora dos
alunos ao lado, claro, da competncia da escrita por meio do trabalho com ampla gama de textos verbais e no
verbais, oriundos de diferentes contextos e situaes, abordando temas dos mais diversos assuntos.
Com o avano da escolarizao e a maior especializao das reas do conhecimento, divididas em disciplinas, a leitura
e seu ensino passaram a ser, exclusivamente, no s responsabilidade, mas obrigao do professor de lngua portugue-
sa. Os demais professores passaram, de modo geral, a fazer uso da leitura, em sala de aula, como uma das estratgias
para a aquisio de contedos especficos, em suas disciplinas, pelos estudantes. O texto tido, ento, como fonte de
informao. Considera-se, assim, que os alunos j sabem ler, e isso um equvoco.
Como se sabe, as habilidades de leitura vo alm da simples decodificao e da prpria compreenso do que se leu.
Sabe-se tambm que, normalmente, ao chegar ao Ensino Fundamental II, o estudante ainda no alcana os diferentes
nveis de leitura que a escola precisa lev-lo a atingir. preciso, portanto, continuar a aprofundar o trabalho com o texto,
ultrapassando os limites da decodificao e buscando chegar ao nvel da inferncia, em que se faz necessrio mobilizar
outros conhecimentos alm da lngua em si.
4
Nesse sentido, fundamental o trabalho de todos os professores para que os alunos se tornem, de fato, leitores profi-
cientes. S o trabalho com a leitura desenvolvido em todas as reas do conhecimento poder garantir o acesso deles a
grande variedade de gneros de textos, construdos por diferentes cdigos (o verbal e tantos outros no verbais) e por
distintos usos da prpria lngua. No se l um enunciado de problema matemtico como se l um poema, um relato
histrico ou as instrues para um experimento qumico. Mesmo os textos didticos, em que se apresentam os contedos
de diversas disciplinas, trazem especificidades e precisam da mediao do professor da rea, um leitor mais experiente,
para orientar o trabalho de leitura dos estudantes.
No PISA, a leitura medida por meio de uma abordagem multidisciplinar, com base em textos variados no que diz
respeito a formatos e temticas. A avaliao no se restringe a aspectos considerados caractersticos do trabalho com a
leitura nas aulas de lngua materna. Trata-se de uma abordagem que ultrapassa os limites do conhecimento escolar,
que avalia a capacidade dos alunos no s de localizar e recuperar informaes, de integrar e interpretar partes diferentes
do(s) texto(s), mas tambm de analisar e refletir ativamente sobre seus conhecimentos prvios e experincias, julgando
as situaes que lhes so apresentadas.
Reconhece-se, no PISA, uma extrema valorizao da leitura, com foco em competncias que sero fundamentais para a
vida futura de qualquer cidado. Sendo assim, a escola tem de cumprir seu papel de preparar os estudantes para a vida
cidad, desenvolvendo um trabalho que faa deles leitores crticos, aptos a compreender textos produzidos nas diferentes
esferas da sociedade, considerando o contexto dessas produes.
Para tanto, faz-se necessrio o reconhecimento de que ensinar a ler, ao longo de toda a escolaridade bsica, deve ser
um compromisso de todos os professores e um objetivo pedaggico de todas as reas do saber (Neves et al., 1999).
Figura 4.21
Distribuio dos 16 itens por formato de texto e aspecto, pontos fracos, leitura PISA 2015
Contnuo, 6 Combinado, 2 No contnuo, 2
Contnuo, 2
Fonte: OCDE, INEP.
Apresentam-se, a seguir, dois exemplos de itens pblicos para divulgao que ilustram os pontos fracos dos estudantes
brasileiros.
4
Item R417Q08 Balo de ar quente
Formato de resposta: mltipla escolha.

Situao: educacional.
Formato de texto: no contnuo.
Nvel da escala de proficincia: nvel 1a.
Figura 4.22
R417Q08 11,29 10,01 1,28 9,75 10,14 8,95 9,54 10,39 11,27
Fonte: OCDE, INEP.
Recorde em altitude em balo

O piloto indiano Vijaypat Singhania bateu o recorde de altitude em
um balo em 26 de novembro de 2005. Ele foi o primeiro a voar
em um balo a 21 000 metros acima do nvel do mar. Recorde em altura:
21 000 m
Podem-se abrir
fendas laterais
para permitir
a sada de ar Oxignio: apenas 4% da
quente na Tamanho de quantidade disponvel no
descida. um balo nvel do solo
convencional
Recorde anterior:
19 800 m
O balo partiu
Temperatura:
em direo
95 C
Tecido: ao oceano.
Nilon Quando
encontrou a
Tempo de corrente de Avio de grande porte:
enchimento: vento jet 10 000 m
2,5 horas stream, foi
Tamanho: levado de volta
453 000 m3 para a terra.
(balo normal 481 m3)
Peso: Nova Deli
1 800 kg Local aproximado
do pouso
Cesto:
Altura: 2,7 m
Largura: 1,3 m 483 km
Mumbai
Cabine hermeticamente fechada e

pressurizada, com escotilhas isolantes.
Estrutura de alumnio, como nos avies.
Vijaypat Singhania usou um macaco

espacial durante o vo.
4
BALO DE AR QUENTE R417Q08
Qual a ideia principal do texto?
A. Singhania correu perigo durante a sua viagem de balo de ar quente.

B. Singhania estabeleceu um novo recorde mundial.
C. Singhania sobrevoou tanto o mar como a terra.
D. O balo de ar quente de Singhania era gigantesco.
Comentrio: nesse item, era necessrio demonstrar conhecimento global do texto por meio da relao entre as dife-
rentes informaes apresentadas. Embora tenha sido um item considerado um pouco mais difcil pelos estudantes do
Brasil do que pelos de outros pases latino-americanos, o ndice Delta indica seu baixo nvel de dificuldade. No PISA
2009, 66% dos brasileiros responderam corretamente. A resposta correta a alternativa B.
Item R433Q05 O avarento
Formato de resposta: resposta aberta.

Situao: pessoal.
Formato de texto: contnuo.
Nvel da escala de proficincia: nvel 3.
Figura 4.23
R433Q05 15,98 14,98 1,00 14,20 15,92 14,87 15,28 14,32 15,30
Fonte: OCDE, INEP.
O AVARENTO E SUA BARRA DE OURO

Fbula de Esopo
Um avarento vendeu tudo o que tinha e comprou uma barra de ouro, que enterrou em um buraco, perto de um velho
muro. Diariamente, ele ia olhar o seu tesouro. Um dos seus empregados, observando o que ele fazia, decidiu espionar
aquele vai-e-vem. Ele logo descobriu o segredo do tesouro escondido, desenterrou a barra de ouro e levou-a consigo.
Quando o avarento foi fazer a sua inspeo, viu o buraco vazio e comeou a se lamentar e a arrancar os cabelos.
Um vizinho, vendo-o nesse estado de tanta dor e compreendendo o que afligia o avarento, disse-lhe: Por que ficar
assim to desolado? Basta pr uma pedra no buraco onde estava a barra de ouro e imaginar que ela ainda est l.
Pois, mesmo quando o ouro estava l, voc no fazia uso dele.
O AVARENTO R433Q05 019
Abaixo, um trecho de uma conversa entre duas pessoas que leram O Avarento e sua barra de ouro.
O vizinho mau.
Ele poderia ter No, porque
aconselhado a a pedra
substituir o ouro por importante
algo melhor do que nessa histria.
uma pedra.
Interlocutor 1 Interlocutor 2
O que o interlocutor 2 poderia acrescentar para justificar o seu ponto de vista?
4
Comentrio: esse item requeria que se estabelecesse uma relao entre um detalhe da fbula e a ideia principal. Para
obter crdito completo, os estudantes deveriam identificar o fato de que substituir o ouro por algo intil ou sem valor
essencial para a mensagem da histria. Por exemplo:
A pedra importante na histria porque a ideia principal que o avarento poderia ter enterrado do mesmo jeito
uma pedra no lugar do ouro, levando em conta que o ouro nada lhe rendeu.
A pedra intil, assim como o ouro era intil para o avarento.
4.7 Quais foram os resultados dos estudantes brasileiros em leitura

no PISA 2015?
do Sul e Finlndia).
de dependncia e localizao das escolas, configurando, assim, o panorama do Brasil no PISA 2015.
A escala interpretada de leitura do PISA 2015
A fase seguinte refere-se anlise pelos modelos da Teoria de Resposta ao Item (TRI), bem como aplicao da meto-
dologia de valores plausveis para estimativa dos escores relacionados escala de leitura. por meio dessa teoria que se
torna possvel comparar as respostas dos diferentes estudantes a diversos itens e em vrios ciclos de avaliao do PISA.
A construo de uma escala contnua de proficincia em leitura permite associar o desempenho dos estudantes a
um ponto especfico da escala em que sua proficincia foi estimada (valores mais elevados na escala indicam maior
proficincia). A mtrica para a escala global de leitura baseia-se na mdia dos pases da OCDE de 500 pontos e no
desvio-padro de 100 pontos, definidos no PISA 2000, quando a escala de leitura foi desenvolvida pela primeira vez.
Os itens comuns a ambos os instrumentos de teste permitem que se faa a ligao entre as escalas. Mais detalhes
sobre esse procedimento podero ser encontrados no Relatrio Tcnico do PISA 2015 (OCDE, em desenvolvimento).
Para captar a progresso da complexidade e da dificuldade no PISA 2015, a escala de letramento em leitura baseou-
se na da edio de 2009 e foi dividida em sete nveis de proficincia (conforme a Figura 4.3). O nvel mais alto o 6
(antes de 2009, era o 5), e o mais baixo, o 1b (para o PISA 2009 e todas as avaliaes de leitura subsequentes, o nvel
1 foi renomeado 1a e um novo nvel foi adicionado, o 1b, que descreve os estudantes que teriam anteriormente sido
classificados como abaixo do nvel 1). Esses nveis diferentes de proficincia permitem que os pases conheam mais
sobre os tipos de tarefas que os estudantes com nvel mais alto ou mais baixo de proficincia em leitura so capazes
de realizar. No PISA 2015, os nveis 2, 3, 4 e 5 permaneceram como estavam em 2000.
4

A Figura 4.24 apresenta os resultados mdios dos estudantes de 15 anos do Brasil e dos 13 pases selecionados na escala
de leitura do PISA 2015. A nota mdia dos jovens brasileiros foi 407, significativamente inferior s dos estudantes dos
pases da OCDE (493).
Figura 4.24
Mdias, intervalos de confiana e percentis dos escores dos pases selecionados, leitura PISA 2015
225 275 325 375 425 475 525 575 625 675
Canad
Canad 527 2,3 522-531 404-642
Finlndia
Finlndia 526 2,5 521-531 401-640
Coreia do Sul
Coreia do Sul 517 3,5 511-524 386-637
Portugal
Portugal 498 2,7 493-503 374-614
Estados Unidos
Estados Unidos 497 3,4 490-504 364-624
Espanha
Espanha 496 2,4 491-500 379-603
Chile
Chile 459 2,6 454-464 342-572
Uruguai
Uruguai 437 2,5 432-442 311-563
Costa Rica
Costa Rica 427 2,6 422-433 326-530
Colmbia
Colmbia 425 2,9 419-431 308-542
Mxico
Mxico 423 2,6 418-428 321-523
Brasil
Brasil 407 2,8 402-413 279-539
Peru
Peru 398 2,9 392-403 281-514
Repblica
Repblica Dominicana 358 3,1 352-364 250-471 Dominicana
Notas: Mdia brasil

2. IC: intervalo de confiana da mdia. P10 P90
4. O grfico apresenta a distribuio das proficincias pelos percentis (P10, P25, P75, P90) P25 P75
e pelos intervalos de confiana das mdias. LI LS
Fonte: OCDE, INEP.
Verifica-se que h uma grande diferena de escores entre os pases avaliados. Os 10% dos estudantes brasileiros com
pior desempenho em leitura no PISA 2015 obtiveram nota mdia igual a 279, e os 10% de melhor desempenho, 539.
O Mxico o que apresenta menor diferena entre esses grupos de alunos (202 pontos).
Figura 4.25
Mdias e medidas de erro-padro dos pases selecionados por edio,
leitura PISA 2000-2015
2000 2003 2006 2009 2012 2015
Pas
Mdia EP 1
EP 2
Mdia EP 1
EP 2
Mdia EP 1
EP 2
Mdia EP 1
EP 2
Mdia EP 1
EP 2
Mdia EP1
Canad 534 1,6 7,0 528 1,7 5,7 527 2,4 7,0 524 1,5 3,7 523 1,9 5,6 527 2,3
Finlndia 546 2,6 7,3 543 1,6 5,6 547 2,1 6,9 536 2,3 4,1 524 2,4 5,8 526 2,5
Coreia do Sul 525 2,4 7,2 534 3,1 6,2 556 3,8 7,6 539 3,5 4,9 536 3,9 6,5 517 3,5
Portugal 470 4,5 8,2 478 3,7 6,5 472 3,6 7,5 489 3,1 4,6 488 3,8 6,5 498 2,7
Estados Unidos 504 7,0 9,8 495 3,2 6,3 500 3,7 5,0 498 3,7 6,4 497 3,4
Espanha 493 2,7 7,3 481 2,6 6,0 461 2,2 7,0 481 2,0 4,0 488 1,9 5,6 496 2,4
Chile 410 3,6 7,7 442 5,0 8,3 449 3,1 4,6 441 2,9 6,0 459 2,6
Uruguai 434 3,4 6,4 413 3,4 7,4 426 2,6 4,3 411 3,2 6,2 437 2,5
Costa Rica 443 3,2 4,7 441 3,5 6,3 427 2,6
Colmbia 385 5,1 8,3 413 3,7 5,0 403 3,4 6,3 425 2,9
Mxico 422 3,3 7,6 400 4,1 6,8 410 3,1 7,3 425 2,0 4,0 424 1,5 5,5 423 2,6
Brasil 396 3,1 7,5 403 4,6 7,1 393 3,7 7,6 412 2,7 4,4 407 2,0 5,6 407 2,8
4

Mdias e medidas de erro-padro dos pases selecionados por edio, leitura PISA 2000-2015
2000 2003 2006 2009 2012 2015
Pas
Mdia EP 1
EP 2
Mdia EP 1
EP 2
Mdia EP 1
EP2
Mdia EP 1
EP 2
Mdia EP 1
EP 2
Mdia EP1
Peru 327 4,4 8,1 370 4,0 5,3 384 4,3 6,8 398 2,9
Repblica
358 3,1
Dominicana
Notas:
Fonte: OCDE, INEP.
A Figura 4.25 mostra a srie histrica do PISA em leitura desde 2000, quando a escala desse domnio foi desenvolvida
pela primeira vez, e a Figura 4.26, as variaes dos resultados mdios dos pases que participaram das ltimas trs ava-
liaes, agregando os erros de ligao (linking errors) para melhor captar as mudanas temporais.
Figura 4.26
Intervalos de confiana da diferena das mdias dos pases, leitura PISA 2015 e ciclos anteriores

50 50 50
40 40 40
30 30 30
20 20 20
10 10 10
0 0 0
-10 -10 -10
-20 -20 -20
-30 -30 -30
-40 -40 -40
-50 -50 -50
2000 2003 2006 2009 2012 2000 2003 2006 2009 2012 2000 2003 2006 2009 2012
Portugal Espanha Mxico

50 50 50
40 40 40
30 30 30
20 20 20
10 10 10
0 0 0
-10 -10 -10
-20 -20 -20
-30 -30 -30
-40 -40 -40
-50 -50 -50
2000 2003 2006 2009 2012 2000 2003 2006 2009 2012 2000 2003 2006 2009 2012
Brasil
50
40
30
20
10
0
-10
-20
-30
-40
-50
2000 2003 2006 2009 2012
LS
Nota:
A Figura 4.27 apresenta a distribuio das notas mdias nos percentis (P10, P25, P75, P90) da escala de proficincia em
leitura no PISA 2012 e 2015. Observa-se que os estudantes brasileiros com melhor desempenho (P75 e P90) tiveram
aumento nos resultados mdios, e os de pior desempenho, diminuio (diferena de 18 pontos do P10 em 2015 com
relao a 2012).
4
Figura 4.27
Distribuio dos escores mdios segundo os percentis, leitura PISA 2012 e 2015
2012 2015
Pas P10 P25 P75 P90 P10 P25 P75 P90
Finlndia 399 4,3 463 3,5 590 2,3 639 2,5 401 4,7 469 3,7 592 2,7 640 2,6
Coreia do Sul 424 6,2 483 4,3 596 4,1 640 4,0 386 5,6 455 4,4 586 3,9 637 4,3
Canad 403 2,8 464 2,2 587 2,2 638 2,6 404 3,6 466 2,8 591 2,4 642 2,7
Estados Unidos 378 4,8 436 4,5 561 3,9 614 4,0 364 5,4 430 4,7 568 3,9 624 3,8
Espanha 367 3,6 430 2,6 552 2,1 601 2,3 379 3,9 438 3,3 558 2,7 603 2,9
Portugal 362 6,0 429 4,9 554 3,5 604 3,5 374 3,7 436 4,2 564 2,8 614 3,1
Chile 339 4,2 388 3,8 496 3,3 541 3,3 342 3,7 398 3,3 521 3,2 572 3,5
Uruguai 285 5,3 348 4,3 477 3,0 534 4,1 311 3,1 368 3,3 504 3,1 563 4,6
Costa Rica 344 5,4 391 4,3 490 4,2 536 5,0 326 3,5 374 3,0 480 3,2 530 3,8
Mxico 319 2,5 370 1,9 479 1,8 525 1,9 321 3,6 370 3,0 478 3,2 523 3,9
Brasil 297 2,8 348 2,4 465 2,6 518 3,1 279 2,8 336 3,0 477 3,2 539 3,9
Colmbia 295 5,4 348 4,0 460 3,7 509 4,5 308 4,4 361 4,0 489 3,3 542 3,1
Peru 263 5,1 319 4,7 447 5,2 504 6,4 281 3,2 333 3,2 462 3,9 514 4,5
Notas:
Fonte: OCDE, INEP.
Figura 4.28
Percentual de estudantes por nvel dos pases selecionados, leitura PISA 2015
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Canad 0 2 8 19 30 27 12 2
Finlndia 1 3 8 18 30 28 12 2
Portugal 1 4 13 23 30 22 7 1
Coreia do Sul 1 3 10 19 29 25 11 2
Espanha 1 3 12 24 32 22 5 0
Estados Unidos 1 5 13 23 28 21 8 1
Chile 1 7 20 30 27 12 20
Costa Rica 2 10 28 35 19 5 10
Mxico 2 11 28 34 20 4 0
Uruguai 3 12 24 28 21 9 20
Colmbia 3 14 26 29 20 7 10
Peru 6 19 28 27 15 4 0
Brasil 7 17 27 25 16 6 10
Repblica Dominicana 13 28 31 20 7 10

Fonte: OCDE, INEP.
No Brasil, 51,0% dos estudantes esto abaixo do nvel 2 em leitura, patamar que a OCDE estabelece como necessrio
para que os jovens possam exercer plenamente sua cidadania. Esse percentual maior na Repblica Dominicana (72,1%)
e menor no Canad (10,7%).
4
A Figura 4.29 ilustra o desempenho mdio dos estudantes por gnero na avaliao de leitura para os 13 pases avaliados,
alm do Brasil. Em todos eles, o desempenho das meninas foi superior ao dos meninos: diferena de 23 pontos no Brasil
e mais acentuada na Finlndia e na Coreia do Sul, de 47 e 41 pontos, respectivamente.
Figura 4.29
Escores mdios estimados por gnero dos pases selecionados, leitura PISA 2015
540 KOR CAN

Meninas com
510 desempenho maior que USA
meninos ESP PRT
480
CHL
450 URY
CRI
COL
MEX
420 BRA
PER
390
DOM
360
Meninos com
330 meninas
300
300 330 360 390 420 450 480 510 540
Fonte: OCDE, INEP.
Desempenho do Brasil em leitura sob a perspectiva nacional

geral por tipo de escola (dependncia administrativa, localizao e rea) e por unidade da Federao.
Figura 4.30
Mdias, intervalos de confiana e percentis dos escores por dependncia administrativa, leitura PISA 2015
Dependncias
administrativas
200 250 300 350 400 450 500 550 600 650
Brasil
Brasil 407 2,8 402-413 279-539
Federal
Federal 528 15,4 498-559 426-624
Particular
Particular 493 6,5 480-505 375-604
Estadual
Estadual 402 2,4 397-407 285-521
Municipal
Municipal 325 5,3 314-335 224-427
Notas:
4
Na Figura 4.30, verifica-se que o desempenho mdio dos estudantes das escolas federais em leitura foi de 528 pontos,
superando a mdia nacional. Por ofertar prioritariamente o Ensino Fundamental, a rede municipal apresenta desempenho
inferior ao das escolas de outras dependncias administrativas.
Figura 4.31
Mdias, intervalos de confiana e percentis dos escores por localizao, leitura PISA 2015
200 250 300 350 400 450 500 550 600 650
Brasil
Brasil 407 2,8 402-413 279-539

Urbana
Urbana 410 2,8 405-416 283-541
Rural
Rural5 350 16,1 318-381 235-478
Notas:
4. Distribuio das proficincias: o grfico apresenta a distribuio das proficincias pelos percentis
(P10, P25, P75, P90) e pelos intervalos de confiana das mdias. P25 P75
5. Devido ao delineamento utilizado no PISA, escolas rurais da regio Norte no foram contempladas
LI LS
no estudo.
Fonte: OCDE, INEP.
leiros das escolas urbanas no PISA 2015 estatisticamente superior ao dos das escolas rurais (61 pontos de diferena).
Figura 4.32
Mdias, intervalos de confiana e percentis dos escores por rea, leitura PISA 2015
200 250 300 350 400 450 500 550 600 650
Brasil
Brasil 407 2,8 402-413 279-539

Capital
Capital 422 6,2 410-434 289-556
Interior
Interior 403 3,1 397-409 276-534
Notas:
mdio (422 pontos) do que os do interior (403), diferena estatisticamente significativa.
4
A Figura 4.33 apresenta os resultados por unidade da Federao na escala de leitura do PISA 2015. Esprito Santo foi a
que apresentou o desempenho mais alto (441 pontos), e Alagoas, o mais baixo (362).
Figura 4.33
Mdias, intervalos de confiana e percentis dos escores por unidade da Federao, leitura PISA 2015
200 250 300 350 400 450 500 550 600 650
Brasil 407 2,8 402-413 279-539 Brasil
Paran 433 10,8 412-455 310-557 Paran
So Paulo 417 6,3 405-429 289-548 So Paulo
Gois 416 11,1 394-437 293-544 Gois
Cear 409 12,6 385-434 285-542 Cear
Acre 407 10,2 387-427 290-525 Acre
Roraima 403 10,7 382-424 292-522 Roraima
Rio de Janeiro
Rio de Janeiro 400 8,5 383-416 276-528
Par
Par 395 19,9 356-434 263-554
Pernambuco
Pernambuco 394 9,3 375-412 268-523
Rondnia
Rondnia 393 10,6 373-414 283-508
Amap
Amap 385 8,5 368-402 286-482
Paraba
Paraba 385 10,0 365-404 267-510
Rio Grande do Norte
Piau
Piau 381 12,7 356-405 261-513
Sergipe
Sergipe 379 10,0 359-398 272-508
Maranho
Maranho 377 15,4 347-408 253-511
Tocantins
Tocantins 376 5,1 366-386 266-485
Bahia
Bahia 372 8,4 356-389 243-506
Alagoas
Alagoas 362 12,0 338-385 245-496
Notas:
4
Figura 4.34
com relao ao desempenho do Brasil, leitura PISA 2015
100
Limite superior
Mdia
75 Limite inferior
50
25
-25
-50
-75
-100
AL BA TO MA SE PI RN PB AP RO PE PA RJ MT RR AM AC CE RS MS GO SP SC DF MG PR ES
(68%) (85%) (89%) (83%) (70%) (76%) (86%) (74%) (40%) (81%) (80%) (70%) (87%) (78%) (76%) (92%) (86%) (94%) (89%) (89%) (81%) (88%) (81%) (84%) (90%) (39%) (87%)
Nota: LS
2. Intervalos de confianas da diferena das mdias: o grfico apresenta os limites inferiores e superiores do intervalo da diferena das m- Mdia UF-Mdia Brasil
dias. O valor de referncia y=0. Intervalos que cruzam a linha de referncia indicam que o desempenho mdio da unidade da Federao
em 2015 no estatisticamente diferente do desempenho nacional.
A Figura 4.34 indica as diferenas entre os resultados mdios de cada unidade da Federao e os do Brasil no PISA 2015.
Estados com desempenho acima da linha de referncia (y = 0) apresentaram resultado estatisticamente superior mdia
nacional, e os com desempenho mdio abaixo da linha, inferior. A Figura 4.35 mostra um resumo da anlise realizada.
Figura 4.35
Desempenho das unidades da Federao menor, igual ou maior que o do Brasil, leitura PISA 2015
Alagoas (362; 12,0) Rondnia (393; 10,6) Distrito Federal (430; 7,5)
Bahia (372; 8,4) Pernambuco (394; 9,3) Minas Gerais (431; 12,0)
Tocantins (376; 5,1) Par (395; 19,9) Paran (433; 10,8)
Maranho (377; 15,4) Rio de Janeiro (400; 8,5) Esprito Santo (441; 6,3)
Sergipe (379; 10,0) Mato Grosso (402; 5,8)
Piau (381; 12.7) Roraima (403; 10,7)
Rio Grande do Norte (384; 7,6) Amazonas (407; 12,1)
Paraba (385; 10,0) Acre (407; 10,2)
Amap (385; 8,5) Cear (409; 12,6)
Gois (416; 11,1)
So Paulo (417; 6,3)
Santa Catarina (419; 9,3)
Nota:
Fonte: OCDE, INEP.
4
Ao avaliar os estudantes brasileiros por nvel de proficincia, observa-se que as discrepncias dos resultados subnacionais
so altas (Figura 4.36). Enquanto 36,7% dos alunos do estado do Esprito Santo esto abaixo do nvel 2, em Alagoas esse
percentual de 70,1%.
Figura 4.36
Percentual de estudantes por nvel de proficincia e unidade da Federao, leitura PISA 2015
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Brasil 7 17 27 25 16 6 10
Esprito Santo 3 11 23 27 24 10 20
Paran 4 11 24 29 21 9 2
Distrito Federal 4 14 23 27 21 9 2
Mato Grosso 4 18 31 29 14 4 0
Roraima 4 18 31 27 14 4 1
Santa Catarina 4 15 26 29 18 7 1
Minas Gerais 5 13 24 27 20 9 2
Amap 5 22 36 27 9 1
Gois 5 16 28 25 17 6 20
Acre 6 16 29 27 16 5 1
Cear 6 17 28 25 15 7 2
Mato Grosso do Sul 6 16 28 27 17 6 1
Rondnia 6 20 33 26 11 4 1
So Paulo 6 16 25 26 18 8 1
Amazonas 6 17 28 26 15 6 1
Rio Grande do Sul 7 16 25 27 18 6 1
Rio de Janeiro 7 19 28 24 15 5 1
Sergipe 8 27 31 20 9 4 1
Rio Grande do Norte 8 22 31 23 12 3 0
Pernambuco 9 20 27 25 14 5 1
Paraba 9 22 30 23 11 4 1
Tocantins 9 23 32 25 9 2
Par 10 22 28 19 12 7 31
Piau 10 24 30 21 11 4 1
Maranho 12 24 27 21 11 4 1
Bahia 14 23 28 20 11 3 1
Alagoas 15 28 28 17 9 3 0
Fonte: OCDE, INEP.
A Figura 4.37 ilustra o desempenho mdio em leitura por gnero nas unidades da Federao. Em todas, o das meninas foi
superior ao dos meninos. Bahia foi o estado com a maior diferena (34 pontos), e Mato Grosso do Sul, com a menor (8).
Figura 4.37
Escores mdios estimados por gnero e unidade da Federao, leitura PISA 2015
450
MG PR
DF
440 Meninas com
SC
430 meninos GO
SP
420 AC RS
MT AM CE MS
RR
410 RJ
RO
PEPA
400 PB
AP
MA RN
390 PI
BA
TO SE
380
370 Meninos com

360 meninas
350
350 360 370 380 390 400 410 420 430 440 450
Fonte: OCDE, INEP.
5
A avaliao de matemtica
no PISA 2015
5
A avaliao de matemtica no PISA 2015
5.1 Aspectos gerais

No PISA 2015, o letramento matemtico foi avaliado como domnio secundrio e, portanto, a avaliao abrangeu um
nmero menor de estudantes e de itens. Graas ao uso de modelos da Teoria de Resposta ao Item, todavia, os resultados
aqui apresentados esto na mesma escala do PISA 2003, em que a matemtica foi o domnio principal pela primeira vez.
Neste captulo, a matriz de referncia de matemtica do PISA 2015 explorada em detalhe com base na traduo dos
documentos oficiais da OCDE (2016). Nas Sees 5.2 e 5.3, discutem-se os aspectos do construto avaliado nesse domnio,
apresentando a definio de letramento matemtico, bem como os processos, contedos e contextos determinados na
matriz de referncia. Ressalta-se ainda que, por ser um domnio secundrio, a definio e os construtos associados ao
letramento matemtico em 2015 permanecem inalterados e consistentes com os utilizadas em 2012.
A Seo 5.4 dedica-se apresentao da estrutura na avaliao de matemtica aplicada em 2015, mostrando a distri-
buio dos itens no teste, enquanto a Seo 5.5 reporta a escala de proficincia e faz uma descrio resumida dos seis
nveis de proficincia em matemtica no PISA 2015.
A Seo 5.6 aborda os pontos fortes e fracos dos estudantes brasileiros nessa rea. Trabalha o conceito da dificuldade
dos itens com base no ndice Delta e sua variao segundo as diferentes categorias (processo, contedo e contexto),
discorre sobre a questo dos itens em branco e realiza uma anlise de itens-destaque.
Por fim, na Seo 5.7, apresentam-se os resultados nacionais na escala contnua e interpretada do PISA 2015, contras-
tando com o desempenho da mesma coorte de estudantes de 15 anos em 13 pases selecionados, e o panorama do
desempenho dos brasileiros nas 27 unidades da Federao.
5.2 Como o letramento matemtico definido no PISA?

Uma proporo cada vez maior de situaes cotidianas requer algum nvel de conhecimento matemtico para enfrentar
desafios nos aspectos pessoal, ocupacional, social e cientfico. Portanto, fundamental ter um discernimento sobre o
grau em que os jovens egressos da escola esto preparados para aplicar a matemtica na compreenso dos assuntos e
na soluo de problemas significativos, e uma avaliao aos 15 anos fornece uma indicao antecipada sobre como
eles podem reagir na vida adulta ampla gama de situaes que envolvem a matemtica.
O construto de letramento matemtico usado neste relatrio visa descrever as habilidades dos indivduos para racioci-
nar matematicamente e utilizar os conceitos, procedimentos, fatos e ferramentas matemticos para descrever, explicar
e prever fenmenos. Essa concepo demonstra a importncia de os alunos desenvolverem um entendimento slido
dos conceitos da matemtica pura e dos benefcios de se envolverem em exploraes no mundo abstrato dessa rea do
conhecimento. O construto de letramento matemtico, conforme definido pelo PISA (Figura 5.1), enfatiza a necessidade
de desenvolver a capacidade dos estudantes de usar a matemtica contextualmente, e importante que eles tenham
experincias ricas nas aulas dessa disciplina para alcanar tal objetivo.
Figura 5.1
A definio de letramento matemtico no PISA 2015
Letramento matemtico a capacidade de formular, empregar e inter-

pretar a matemtica em uma srie de contextos, o que inclui raciocinar
matematicamente e utilizar conceitos, procedimentos, fatos e ferramentas
matemticos para descrever, explicar e prever fenmenos. Isso ajuda os
indivduos a reconhecer o papel que a matemtica desempenha no mun-
do e faz com que cidados construtivos, engajados e reflexivos possam
fazer julgamentos bem fundamentados e tomar as decises necessrias.
Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic
and Financial Literacy.
5
A definio de letramento matemtico tem como foco o engajamento ativo com a matemtica e engloba o raciocnio
matemtico e o uso de conceitos, procedimentos, fatos e ferramentas da matemtica na descrio, explicao e previso
de fenmenos. De maneira especial, os verbos formular, empregar e interpretar apontam para os trs processos
nos quais os estudantes se engajaro como solucionadores ativos de problemas.
Alm disso, a definio busca integrar a noo de modelagem matemtica, que historicamente tem sido um pilar da
matriz de matemtica do PISA. Conforme as pessoas usam a matemtica e suas ferramentas para solucionar problemas
contextualizados, seu trabalho avana ao longo de uma srie de estgios.
O ciclo de modelagem um aspecto fundamental da concepo do PISA sobre os estudantes como solucionadores ati-
vos de problemas. Entretanto, em geral, o solucionador de problemas no precisa se envolver em cada estgio do ciclo
de modelagem, sobretudo no contexto de avaliao. Ele normalmente realiza alguns passos do ciclo, no todos (por
exemplo, ao usar grficos), ou os retoma vrias vezes para modificar decises e suposies anteriores.
A definio tambm admite que o letramento matemtico ajuda os indivduos a reconhecer o papel que a matemtica
desempenha no mundo, a fazer julgamentos bem fundamentados e a tomar as decises exigidas de cidados constru-
tivos, engajados e reflexivos.
As ferramentas matemticas mencionadas na definio referem-se a inmeros equipamentos fsicos e digitais, softwares
e calculadoras. Na avaliao por computador feita em 2015, uma calculadora online fez parte do material necessrio
para resolver algumas questes.
5.3 Como o letramento matemtico foi avaliado no PISA 2015?

A matriz de matemtica do PISA define o domnio dessa rea cognitiva e descreve uma abordagem para avaliar o
letramento matemtico de jovens de 15 anos. Isto , o PISA analisa at que ponto estudantes dessa idade sabem lidar
adequadamente com a matemtica ao serem confrontados com certos problemas e situaes, a maioria apresentada em
contextos do mundo real.
A definio de letramento matemtico do PISA 2015 pode ser analisada por trs aspectos correlacionados:
os processos matemticos que descrevem o que os indivduos fazem para conectar o contexto de um problema com
a matemtica e, assim, resolver o problema, bem como as capacidades subjacentes a esses processos;
o contedo matemtico visado para uso nos itens da avaliao; e
o contexto no qual esto situados os itens.
Ao enfatizar esses aspectos (detalhados nas prximas sees), a matriz de matemtica do PISA 2012, tambm usada na
edio de 2015, ajudou a garantir que os itens da avaliao desenvolvidos para o levantamento refletissem uma srie
de processos, contedos e contextos, de maneira que, considerado como um todo, o conjunto de itens avaliados ope-
racionalizasse de fato o que foi definido por essa matriz como letramento matemtico. Para ilustrar tais aspectos, foram
disponibilizados exemplos da Matriz de Avaliao e Analtica no site INEP e no do PISA.1
Algumas perguntas, baseadas na definio de letramento matemtico do PISA 2015, serviram de base para a organizao
da seo da matriz, cujo modelo ilustrado na Figura 5.2. So elas:
Em quais processos os indivduos se envolvem ao resolver problemas matemticos contextualizados e que capacidades
se espera que demonstrem medida que seu letramento matemtico aumenta?
Qual conhecimento de contedo matemtico pode ser esperado dos estudantes, principalmente daqueles com 15
anos de idade?
Em que contextos o letramento matemtico pode ser observado e avaliado?
1. Disponveis respectivamente em: <http://portal.inep.gov.br/pisa-em-foco> e <http://www.oecd.org/pisa>. Acesso em: 4 nov. 2016.
5
Figura 5.2
Modelo de letramento matemtico na prtica
Problema em um contexto do mundo real

Categorias de contedos matemticos: mudanas e relaes; espao e forma; quantidade;
incerteza e dados.
Categorias de contextos: pessoal, ocupacional, social, cientfico.
Pensamento e ao matemtica
Conceitos matemticos, conhecimentos e habilidades.
Capacidades fundamentais da matemtica: comunicar; matematizar; representar;
raciocinar e argumentar; delinear estratgias para a soluo de problemas; utilizar
linguagem simblica, formal e tcnica e fazer operaes; usar ferramentas matemticas.
Processos: formular, empregar, interpretar/avaliar.
Problema no contexto Formular Problema matemtico
Empregar
Avaliar
Resultados no contexto Interpretar Resultados matemticos
Fonte: OCDE (2016), PISA 2015 Assessment and Analytical Framework: Science, Reading,
Mathematic and Financial Literacy.
OS PROCESSOS MATEMTICOS E AS CAPACIDADES MATEMTICAS SUBJACENTES

Processos matemticos
Como visto na seo anterior, letramento matemtico a capacidade de formular, empregar e interpretar a matemtica.
Essas trs palavras formular, empregar e interpretar fornecem uma estrutura til e significativa para organizar
os processos matemticos que descrevem o que as pessoas fazem para conectar o contexto de um problema com a ma-
temtica e, dessa maneira, resolver o problema. Alguns itens da avaliao de matemtica do PISA 2015 foram atribudos
a um desses trs processos matemticos:
formular situaes matematicamente;

empregar conceitos, fatos, procedimentos e raciocnios matemticos; e
interpretar, aplicar e avaliar resultados matemticos.
importante que tanto as pessoas que trabalham na elaborao de polticas pblicas como aquelas participam mais
diretamente da educao cotidiana dos estudantes saibam com que eficcia eles conseguem se envolver em cada um
desses processos.
O processo de formulao indica quo eficazmente os alunos reconhecem e identificam oportunidades para usar a ma-
temtica em situaes-problema e depois estabelecem a estrutura matemtica necessria para formular esse problema
contextualizado em uma forma matemtica; o de emprego, quanto executam clculos e manipulaes e aplicam os
conceitos e fatos que conhecem para chegar a uma soluo matemtica para um problema formulado matematicamente;
o de interpretao, quo eficazmente so capazes de refletir sobre solues e concluses matemticas, interpret-las em
um contexto do mundo real e determinar se os resultados ou concluses so razoveis.
A facilidade dos estudantes em aplicar a matemtica aos problemas e situaes depende da habilidade inerente a esses
trs processos, e o entendimento de sua eficcia em cada categoria pode ajudar a esclarecer as discusses e decises
no mbito poltico realizadas com maior proximidade do nvel da sala de aula.
5
Formulando situaes matematicamente

A palavra formular, na definio de letramento matemtico, refere-se capacidade de reconhecer e identificar opor-
tunidades para utilizar a matemtica e, posteriormente, fornecer uma estrutura matemtica para um problema apresen-
tado de maneira contextualizada. Determina-se de onde se pode extrair a matemtica bsica para analisar, estabelecer
e resolver o problema.
O processo de formulao de situaes de maneira matemtica inclui, especificamente, atividades como as exemplifi-
cadas na Figura 5.3.
Figura 5.3
Os processos matemticos Formulando situaes matematicamente
Identificar aspectos matemticos de um problema localizado em um contexto real e identificar as variveis signi-
ficativas.
Reconhecer estruturas matemticas (inclusive regularidades, relaes e padres) em problemas ou situaes.
Simplificar uma situao ou problema de maneira que seja tratvel pela anlise matemtica.
Identificar suposies e restries por trs das modelagens e simplificaes matemticas retiradas de um contexto.
Representar uma situao matematicamente utilizando as variveis, smbolos, diagramas e modelos padronizados
adequados.
Representar um problema de modo diferente, incluindo sua organizao de acordo com conceitos matemticos e
a elaborao de suposies apropriadas.
Compreender e explicar as relaes entre a linguagem especfica do contexto de um problema e a linguagem
simblica e formal necessria para sua representao matemtica.
Traduzir um problema em linguagem matemtica ou em uma representao.
Reconhecer aspectos de uma situao que corresponde a um problema, conceito, fato ou procedimento matem-
tico conhecido.
Utilizar tecnologia (por exemplo: uma planilha ou uma lista de opes em uma calculadora grfica) para retratar
uma relao matemtica inerente a um problema contextualizado.
Empregando conceitos, fatos, procedimentos e raciocnios matemticos

A palavra empregar, na definio de letramento matemtico, refere-se capacidade de aplicar conceitos, fatos, pro-
cedimentos e raciocnios matemticos para resolver problemas formulados matematicamente a fim de obter concluses
matemticas. Nesse processo, realizam-se procedimentos matemticos para deduzir resultados e encontrar solues
matemticas (por exemplo: efetuar clculos aritmticos, resolver equaes, fazer dedues lgicas de pressupostos
matemticos, executar manipulaes simblicas, extrair informaes matemticas de tabelas e grficos, representar
e manipular formas no espao e analisar dados). Trabalha-se sobre um modelo da situao-problema, estabelecem-se
regularidades, identificam-se conexes entre entidades matemticas e criam-se argumentos matemticos.
O processo de emprego de conceitos, fatos, procedimentos e raciocnios matemticos inclui, especificamente, atividades
como as exemplificadas na Figura 5.4.
5
Figura 5.4
Os processos matemticos Empregando conceitos, fatos, procedimentos e raciocnios matemticos
Esboar e implementar estratgias para encontrar uma soluo matemtica.

Utilizar ferramentas matemticas, inclusive tecnologia, para ajudar a encontrar solues exatas ou aproximadas.
Aplicar fatos, regras, algoritmos e estruturas matemticas na busca de solues.
Manipular nmeros, grficos, informaes e dados estatsticos, expresses e equaes algbricas e representaes
geomtricas.
Elaborar diagramas, grficos e outras construes matemticas e extrair informaes matemticas deles.
Usar diferentes representaes e transitar entre elas no processo de busca de solues.
Fazer generalizaes com base nos resultados de aplicao de procedimentos matemticos para encontrar solues.
Refletir sobre discusses matemticas, explicar e justificar resultados matemticos.
Interpretando, aplicando e avaliando resultados matemticos

A palavra interpretar, na definio de letramento matemtico, refere-se capacidade de refletir sobre as solues, resul-
tados e concluses matemticos e de interpret-los no contexto de problemas da vida real. Isso exige traduzir as solues
matemticas ou o raciocnio sobre o contexto especfico de um problema e determinar se os resultados fazem sentido
e so aceitveis nesse contexto. No modelo de letramento matemtico (Figura 5.2), esse processo matemtico abrange
as setas Interpretar e Avaliar. Pode-se solicitar s pessoas nele envolvidas que construam e apresentem explicaes
e argumentos no contexto do problema, refletindo tanto sobre o processo de modelagem como sobre os resultados.
A interpretao, aplicao e avaliao de resultados matemticos incluem, especificamente, atividades como as exem-
plificadas na Figura 5.5.
Figura 5.5
Os processos matemticos Interpretando, aplicando e avaliando resultados matemticos
Interpretar um resultado matemtico aplicado a um contexto do mundo real.

Avaliar a aceitabilidade de uma soluo matemtica em um problema presente no mundo real.
Compreender como o mundo real impacta os resultados e os clculos de um procedimento ou modelo matemtico
visando julgamentos contextualizados sobre como os resultados podem ser ajustados ou aplicados.
Explicar por que um resultado ou concluso matemtica faz ou no sentido no contexto de um problema.
Compreender a extenso e os limites dos conceitos e solues matemticos.
Criticar e identificar os limites do modelo utilizado na resoluo de um problema.
Capacidades matemticas fundamentais subjacentes aos processos matemticos

Uma dcada de experincia no desenvolvimento dos itens do PISA e na anlise de como os estudantes respondem aos
itens revelou que existe um conjunto de capacidades matemticas fundamentais que, na prtica, so subjacentes a cada
um dos processos reportados e ao letramento matemtico. O trabalho de Mogens Niss e de seus colegas dinamarqueses
(indicados em OCDE, 2016) identificou oito capacidades denominadas competncias por Niss e na matriz de 2003
do PISA que so instrumentos para o comportamento matemtico.
A matriz do PISA de 2015 utilizou uma formulao modificada desse conjunto de capacidades, reduzidas de oito para
sete, com base em uma investigao sobre o modo de operar das competncias por meio de itens do PISA previamente
testados. Essas capacidades cognitivas esto disponveis para o indivduo ou podem ser aprendidas por ele, a fim de que
entenda e se envolva com o mundo de maneira matemtica ou resolva problemas. medida que seu nvel de letramen-
to matemtico se incrementa, ele capaz de desenvolver cada vez mais as capacidades fundamentais da matemtica.
Assim, a ativao cada vez maior dessas capacidades est relacionada crescente dificuldade dos itens. Essa observao
5
foi utilizada como base das descries dos diferentes nveis de proficincia do letramento matemtico relatados nas
avaliaes anteriores do PISA e discutidos posteriormente nessa matriz.
As sete capacidades fundamentais da matemtica so:
Comunicar O letramento matemtico envolve comunicao. A pessoa percebe a existncia de algum desafio e esti-
mulada a reconhecer e compreender uma situao-problema. A leitura, decodificao e interpretao de declaraes,
perguntas, tarefas ou objetos lhe permitem criar um modelo mental da situao, que constitui um passo importante na
compreenso, esclarecimento e formulao de um problema. Durante o processo de resoluo de problemas, s vezes
necessrio resumir e apresentar resultados intermedirios. Posteriormente, quem resolveu o problema pode precisar
expor para outras pessoas a soluo a que chegou e, talvez, apresentar uma explicao ou justificativa.
Matematizar Trata-se de transformar um problema definido no mundo real em uma forma estritamente matemtica
(por exemplo: estruturao, conceituao, criao de suposies e/ou formulao de um modelo) ou de interpretar ou
avaliar um resultado matemtico ou um modelo matemtico em relao ao problema original. O termo matematizar
utilizado para descrever as atividades matemticas fundamentais envolvidas.
Representar O letramento matemtico normalmente abrange representaes de objetos e situaes matemticos. Isso
pode implicar a seleo, interpretao, traduo entre um e outro e uso de uma srie de representaes para capturar
uma situao, interagir com um problema ou apresentar o prprio trabalho. Tais representaes incluem grficos, tabelas,
diagramas, figuras, equaes, frmulas e materiais concretos.
Raciocinar e argumentar Essa capacidade compreende processos de pensamento logicamente enraizados que exploram
e vinculam elementos de problemas, de modo a fazer inferncias com base neles, verificar uma justificativa apresentada
ou fornecer uma justificativa sobre afirmaes ou solues para problemas.
Delinear estratgias para a soluo de problemas O letramento matemtico exige, em geral, o delineamento de
estratgias para a soluo de problemas matemticos. Isso envolve um conjunto de processos crticos de controle que
norteiam o indivduo para que efetivamente reconhea, formule e resolva problemas. Essa capacidade caracterizada
pela seleo ou delineamento de um plano ou estratgia de usar a matemtica para resolver problemas decorrentes de
uma tarefa ou contexto, bem como para orientar sua execuo, podendo ser exigida em qualquer das etapas do processo
de resoluo de problemas.
Utilizar linguagem simblica, formal e tcnica e fazer operaes O letramento matemtico envolve a compreenso,
interpretao, manipulao e uso de expresses simblicas em um contexto matemtico (inclusive expresses e opera-
es aritmticas) de acordo com convenes e regras matemticas, bem como o entendimento e utilizao de construtos
formais baseados em definies, regras e sistemas formais e o emprego de algoritmos com esses conceitos. Os smbolos,
regras e sistemas usados variam de acordo com o contedo especfico de conhecimento matemtico necessrio para
determinada tarefa de formular, resolver ou interpretar a matemtica.
Usar ferramentas matemticas As ferramentas matemticas incluem instrumentos fsicos, como os de medida, ou
calculadoras e computadores, cada vez mais disponveis. Alm de saber utilizar essas ferramentas para ajud-lo na so-
luo de tarefas matemticas, o indivduo precisa conhecer suas limitaes. As ferramentas matemticas tambm podem
desempenhar um papel importante na comunicao dos resultados.
Essas capacidades so evidenciadas em diferentes graus em cada um dos trs processos matemticos (Figura 5.6).
5
Figura 5.6
Relao entre processos matemticos (na coluna) e habilidades matemticas fundamentais (na linha)
Empregar conceitos,
Formular situaes Interpretar, aplicar e avaliar
fatos, procedimentos e
matematicamente resultados matemticos
raciocnios matemticos
Comunicar Ler, decodificar e interpretar Articular uma soluo, Construir e apresentar
afirmaes, perguntas, tarefas mostrar o trabalho envolvido explicaes e argumentos no
ou objetos para criar um no alcance da soluo e/ou contexto do problema.
modelo mental da situao. resumir e apresentar resultados
matemticos intermedirios.
Matematizar Identificar as variveis e Usar um entendimento do Entender a extenso e os
estruturas matemticas contexto para orientar ou limites de uma soluo
subjacentes em problemas do agilizar o processo de soluo matemtica que so a
mundo real e fazer suposies matemtica (por exemplo: consequncia do modelo
para que possam ser utilizadas. trabalhar em um nvel de matemtico empregado.
acurcia adequado ao
contexto).
Representar Criar uma representao Dar sentido ou relacionar e usar Interpretar resultados
matemtica de informaes do uma srie de representaes ao matemticos em uma srie de
mundo real. interagir com o problema. formatos em relao a uma
situao ou uso; comparar
ou avaliar duas ou mais
representaes em relao a
uma situao.
Raciocinar e argumentar Explicar, defender ou fornecer Explicar, defender ou fornecer Refletir sobre solues
uma justificativa para a uma justificativa para os matemticas e criar explicaes
representao identificada ou processos e procedimentos e argumentos que corroborem,
elaborada de uma situao do usados para determinar refutem ou qualifiquem uma
mundo real. um resultado ou soluo soluo matemtica para um
matemtica; conectar partes problema contextualizado.
de informaes para chegar a
uma soluo matemtica, fazer
generalizaes ou criar um
argumento com vrias etapas.
Delinear estratgias para a Selecionar ou elaborar um Ativar mecanismos de controle Elaborar e implementar uma
soluo de problemas plano ou estratgia para eficazes e contnuos ao longo estratgia para interpretar,
reestruturar matematicamente do procedimento com vrias avaliar e validar uma soluo
problemas contextualizados. etapas, levando a uma soluo, matemtica para um problema
concluso ou generalizao contextualizado.
matemtica.
Utilizar linguagem simblica, Usar variveis, smbolos, Entender e utilizar construtos Entender a relao entre o
formal e tcnica e fazer diagramas e modelos formais com base nas contexto do problema e a
operaes padronizados adequados a fim definies, regras e sistemas representao da soluo
de representar um problema formais, bem como empregar matemtica; usar esse
do mundo real usando uma algoritmos. entendimento para ajudar
linguagem simblica/formal. a interpretar a soluo no
contexto e estimar a viabilidade
e as possveis limitaes da
soluo.
Usar ferramentas Utilizar ferramentas Conhecer e ser capaz de Usar ferramentas matemticas
matemticas matemticas para reconhecer empregar adequadamente para garantir a aceitao de
estruturas ou descrever relaes vrias ferramentas que podem uma soluo matemtica
matemticas. auxiliar na implementao de e de quaisquer limitaes
processos e procedimentos e restries nessa soluo,
para determinar solues considerando o contexto do
matemticas. problema.
Um bom guia para a dificuldade emprica dos itens pode ser considerar quais aspectos das capacidades matemticas
fundamentais so necessrios para planejar e determinar uma soluo. Os itens mais fceis exigem a ativao de poucas
capacidades de maneira relativamente mais direta; os mais difceis, a ativao complexa de diversas capacidades. Prever
uma dificuldade implica levar em conta o nmero de capacidades e a complexidade da ativao necessria.
5
Conhecimento de contedos matemticos

Para os cidados no mundo moderno, importante o entendimento dos contedos matemticos, bem como a capacidade
de aplicar esse conhecimento para resolver problemas significativos e contextualizados. Isto , para resolver problemas e
interpretar situaes nos contextos pessoal, ocupacional, social e cientfico, preciso basear-se em certos conhecimentos
e entendimentos matemticos.
Ao longo dos anos, tm sido desenvolvidas estruturas matemticas como forma de entender e interpretar fenmenos
naturais e sociais. Nas escolas, o currculo matemtico est organizado, em geral, ao redor de alguns contedos (por
exemplo: aritmtica, lgebra e geometria) e de listas com tpicos detalhados que refletem ramos historicamente bem
estabelecidos da matemtica e que auxiliam na definio de um currculo estruturado. No entanto, fora da sala de aula,
uma situao que surja no acompanhada por um conjunto de regras e prescries que mostram como enfrent-la.
Em vez disso, a situao costuma exigir um raciocnio criativo que permita verificar as possibilidades de usar a matem-
tica para enfrent-la e formul-la matematicamente. Uma situao pode ser encarada de vrios modos, com o uso de
diferentes conceitos, procedimentos, fatos ou ferramentas matemticos.
Para a avaliao do letramento matemtico do PISA, prope-se uma estrutura organizacional para o conhecimento
dos contedos matemticos com base em fenmenos matemticos que subjazem grandes classes de problemas e que
motivaram o desenvolvimento de conceitos e procedimentos matemticos especficos. Normalmente, os currculos de
matemtica nacionais so formulados para fornecer ao estudante conhecimentos e habilidades que abordam esses fen-
menos matemticos subjacentes. Como consequncia, o alcance do contedo originrio da organizao do contedo
est intimamente alinhado quele em geral encontrado nos currculos de matemtica nacionais. Essa matriz lista alguns
tpicos de contedos adequados para avaliar o letramento matemtico de estudantes de 15 anos, com base na anlise
dos padres nacionais de 11 pases.
Para organizar o domnio de matemtica para fins de avaliao do letramento, importante selecionar uma estrutura
que surja de evolues histricas na matemtica, que englobe variedade e profundidade suficientes para revelar os fun-
damentos matemticos e que represente ou inclua a linha convencional da matemtica de maneira aceitvel. Portanto,
selecionou-se um conjunto de categorias de contedos que reflete a gama de fenmenos matemticos subjacentes para
a matriz do PISA 2015, consistente com as categorias utilizadas para as avaliaes anteriores.
Portanto, uma srie de categorias de contedos do PISA 2015 usada para satisfazer exigncias do desenvolvimento his-
trico em matemtica, que abrange em variedade e profundidade o domnio de matemtica e os fenmenos subjacentes
que motivam essa evoluo, bem como o reflexo das principais vertentes do currculo escolar. Essas quatro categorias
caracterizam o alcance do contedo matemtico central para a disciplina e ilustram as grandes reas de contedo uti-
lizadas nos itens do PISA 2015. So elas:
mudanas e relaes;
espao e forma;
quantidade;
incerteza e dados.
Essas categorias permitem organizar o domnio de matemtica de modo a garantir uma distribuio dos itens ao longo
de todo o domnio e a focar fenmenos matemticos importantes. Podem, ainda, evitar uma diviso muito refinada que
se encaminharia contra o foco em problemas matemticos ricos e desafiadores baseados em situaes reais. Ao mesmo
tempo que a diviso por categorias de contedos importante para o desenvolvimento e a seleo de itens e para o relato
dos resultados da avaliao, vale ressaltar que alguns tpicos de contedos especficos podem se enquadrar em mais de
uma categoria. Ligaes entre diferentes aspectos de contedo que perpassam essas quatro categorias contribuem para a
coerncia da matemtica como disciplina e ficam aparentes em alguns itens escolhidos para a avaliao do PISA 2015.
As amplas categorias de contedos matemticos e o conjunto de tpicos de contedos mais adequados para estudantes de
15 anos, detalhados mais adiante nesta seo, refletem o nvel e a profundidade dos contedos que podem ser escolhidos
para incluso na avaliao do PISA 2015. Inicialmente, apresentam-se as descries narrativas de cada categoria e sua
relevncia para resolver problemas significativos e, em seguida, as definies mais especficas dos tipos de contedos
adequados para incluso em uma avaliao de letramento matemtico para esses jovens. Os tpicos especficos expres-
sam similitudes encontradas nas expectativas definidas por vrios pases e jurisdies educacionais. Os padres para
5
identificar tais tpicos so vistos no s como evidncia daquilo que se ensina em aulas de matemtica nesses pases,
mas tambm como indicadores do que alguns deles entendem como conhecimentos e capacidades importantes para
preparar estudantes desta idade a fim de que sejam cidados construtivos, engajados e reflexivos.
A seguir, esto as descries do conhecimento dos contedos matemticos que caracterizam cada uma das quatro ca-
tegorias mudanas e relaes, espao e forma, quantidade e incerteza e dados.
Mudanas e relaes
O mundo natural e o mundo projetado pelo homem tm uma srie de relaes temporrias e permanentes entre objetos
e circunstncias, nos quais acontecem mudanas nos sistemas de objetos inter-relacionados ou em circunstncias em
que os elementos se influenciam mutuamente. Em muitos casos, as mudanas ocorrem ao longo do tempo; em outros,
mudanas em um objeto ou circunstncia esto relacionadas a mudanas em outros. Algumas dessas situaes envolvem
mudanas discretas; outras mudam continuamente. Certas relaes so de natureza permanente ou invariante. Ser mais
letrado sobre mudanas e relaes envolve compreender os tipos de mudanas fundamentais e reconhecer quando elas
ocorrem a fim de utilizar modelos matemticos adequados para descrev-las e prediz-las. Matematicamente, isso sig-
nifica modelar essas mudanas e relaes com funes e equaes apropriadas, bem como criar, interpretar e traduzir
as diversas representaes de relaes grficas e simblicas.
As mudanas e relaes so evidentes em ambientes to diversos como o crescimento de organismos, a msica, o ciclo
das estaes, os padres climticos, os nveis de emprego e as condies econmicas. Aspectos do contedo matemtico
tradicional de funes e lgebra, inclusive de expresses algbricas, equaes e inequaes, representaes tabulares e
grficas, so fundamentais na descrio, modelagem e interpretao de fenmenos que se modificam. As representaes
de dados e relaes descritos estatisticamente, em geral, tambm so bastante usadas para retratar e interpretar mudanas
e relaes. Alm disso, essencial uma base firme nos fundamentos de nmeros e unidades para definir e interpretar as
mudanas e as relaes. Das medies geomtricas surgem algumas relaes interessantes, como as de mudanas no
permetro com mudanas na rea ou aquelas entre os comprimentos dos lados dos tringulos.
Espao e forma
Essa categoria abrange uma ampla gama de fenmenos encontrados em vrios lugares no mundo fsico e visual: padres;
propriedades dos objetos; posies e orientaes; representao dos objetos; codificao e decodificao de informao
visual; navegao e interao dinmica com formas reais e com suas representaes. A geometria pode ser considerada
uma rea-base para o espao e a forma, mas essa categoria vai alm da geometria tradicional no que se refere a contedo,
significado e mtodo, utilizando-se de recursos de outras reas matemticas, como visualizao espacial, medida e lgebra.
Por exemplo, as formas podem mudar e fazer com que um ponto se mova ao longo de uma trajetria, o que exige
conceitos de funo. Logo, frmulas de medio so essenciais nessa categoria de contedo. Nela esto includas a
manipulao e a interpretao de formas nos ambientes que exigem ferramentas que variam de softwares de geometria
dinmica a softwares de Sistema de Posicionamento Global (GPS).
O PISA pressupe que importante o entendimento de um conjunto de conceitos e capacidades-chave para o letramento
matemtico no que se refere a espao e forma. O letramento matemtico nessa rea envolve uma srie de atividades,
como o entendimento de perspectiva (por exemplo, na pintura), a criao e leitura de mapas, a transformao de formas
com e sem uso de tecnologias, a interpretao de paisagens de cenas tridimensionais de vrias perspectivas e a cons-
truo de representaes de formas.
Quantidade
A noo de quantidade talvez seja o aspecto matemtico mais abrangente e essencial com o qual nos envolvemos e
trabalhamos. Ela est presente na quantificao de caractersticas de objetos, relaes, situaes e entidades no mundo,
na compreenso de vrias representaes de quantificaes e no julgamento de interpretaes e argumentos baseados
em quantidades. Para se envolver com a quantificao do mundo, necessrio compreender medidas, contas, grande-
zas, unidades, indicadores, tamanhos relativos e tendncias e padres numricos. Aspectos do raciocnio quantitativo,
como a percepo dos nmeros, a compreenso da mltipla representao de nmeros, o requinte no clculo mental
e computacional, a estimativa e a avaliao da aceitabilidade de resultados, so a base do letramento matemtico no
que se refere a quantidade.
5
A quantificao um mtodo primrio de descrio e medio de um amplo conjunto de caractersticas do mundo. Ela permite
a modelao de situaes para a verificao de mudanas e relaes, para a descrio e manipulao do espao e das formas,
para a organizao e interpretao de dados e para a medio e avaliao de incertezas. Assim, o letramento matemtico
na rea da quantidade aplica conhecimentos de nmeros e operaes numricas a vrios tipos de ambientes e situaes.
Incerteza e dados
A incerteza est presente nas cincias, em tecnologias e na vida cotidiana. , portanto, um fenmeno central na anlise
matemtica de muitas situaes-problema, e, para lidar com ela, foram criadas a teoria das probabilidades e a estatsti-
ca, bem como as tcnicas de representao e descrio de dados. A categoria de contedo de incerteza e dados inclui
identificar o lugar da variao nos processos, com a percepo da quantificao dessa variao, do reconhecimento
da incerteza, do erro na medio e do conhecimento das probabilidades. Isso tambm envolve formular, interpretar e
avaliar concluses tiradas em situaes nas quais a incerteza um aspecto central. A apresentao e a interpretao dos
dados so conceitos-chave nessa categoria.
H incerteza nas predies cientficas, nos resultados das pesquisas, na previso do tempo e nos modelos econmicos.
H variao nos processos de fabricao, nas pontuaes dos testes e nas descobertas das pesquisas, e a probabilidade
fundamental para muitas atividades recreativas bastante apreciadas pelas pessoas. As reas curriculares tradicionais
da probabilidade e da estatstica fornecem meios formais para descrever, modelar e interpretar determinada classe de
fenmenos de incerteza e para fazer inferncias. Alm disso, o conhecimento de nmeros e de aspectos da lgebra,
como grficos e representaes simblicas, contribui para facilitar o envolvimento com problemas nessa categoria de
contedo, cujo foco na interpretao e na apresentao de dados um aspecto importante.
O contedo no PISA 2015

A fim de compreender e resolver problemas contextualizados que envolvem mudanas e relaes, espao e forma, quan-
tidade e incerteza e dados, necessrio elaborar uma srie de conceitos, procedimentos, fatos e ferramentas matemticos
em um nvel adequado de profundidade e sofisticao. Como se trata de uma avaliao de letramento matemtico, o PISA
empenha-se em avaliar os nveis e tipos de tpicos de matemtica adequados para que estudantes de 15 anos se tornem
cidados construtivos, engajados e reflexivos, capazes de tomar decises e fazer julgamentos bem fundamentados. Alm
disso, o PISA, embora no seja projetado nem pretenda ser uma avaliao orientada para o currculo, procura refletir a
matemtica que os jovens aprenderam at atingir os 15 anos.
O contedo includo no PISA 2015 foi o mesmo do desenvolvido na edio de 2012. A Figura 5.7 busca refletir sobre
a centralidade de muitos desses conceitos para as quatro categorias de contedos e reforar a coerncia da matemtica
como disciplina. Aqui, pretende-se apenas ilustrar os tpicos de contedos includos no PISA 2015 e no produzir uma
lista exaustiva.
Figura 5.7
Exemplos de tpicos de contedo includos no PISA 2015
Funes
O conceito de funo enfatiza (mas no se limita a) funes lineares, suas propriedades e uma srie de descries e
suas representaes. As representaes mais comuns so as verbais, simblicas, tabulares e grficas.
Expresses algbricas
Interpretao verbal ou manipulao de expresses algbricas, envolvendo nmeros, smbolos, operaes aritmticas,
potncias e razes simples.
Equaes e inequaes
Equaes lineares e relacionadas, inequaes, equaes simples de segundo grau e mtodos de soluo analticos
e no analticos.
Sistemas coordenados
Representao e descrio de dados, posies e relaes.
Relaes com e entre objetos geomtricos em duas ou trs dimenses
Relaes estticas como conexes algbricas entre elementos de figuras (por exemplo: teorema de Pitgoras como
definidor de relaes entre os comprimentos dos lados de um tringulo retngulo), posies relativas, semelhana e
congruncia, relaes dinmicas envolvendo transformaes e movimentao de objetos, e correspondncia entre
objetos bi e tridimensionais.
5

Exemplos de tpicos de contedo includos no PISA 2015
Medidas
Quantificao das caractersticas de formas e objetos, como medidas de ngulo, distncia, comprimento, permetro,
circunferncia, rea e volume.
Nmeros e unidades
Conceitos, representaes de nmeros e sistemas numricos, incluindo propriedades de nmeros inteiros e racionais,
aspectos relevantes dos nmeros irracionais, bem como quantidades e unidades referentes a fenmenos como tempo,
dinheiro, peso, massa, temperatura, distncia, rea e volume, e quantidades derivadas com sua descrio numrica
correspondente.
Operaes aritmticas
Natureza e propriedades dessas operaes e respectiva notao convencional.
Porcentagem, razo e proporo
Descrio numrica de magnitude relativa e aplicao de propores e raciocnios com proporcionalidade para
resolver problemas.
Princpios de contagem
Combinaes e permutas simples.
Estimativas
Aproximao de quantidades e de expresses numricas com uma finalidade, incluindo dgitos significativos e ar-
redondamentos.
Coleta, representao e interpretao de dados
Natureza, origem e coleta de vrios tipos de dados, e as diferentes formas de represent-los e interpret-los.
Variabilidade e descrio de dados
Conceitos como variabilidade, distribuio e tendncia central de conjunto de dados, e formas de descrev-los e
interpret-los em termos quantitativos.
Amostras e amostragem
Conceitos de amostra e amostragem de dados populacionais, incluindo inferncia simples baseada nas propriedades
da amostra.
Risco e probabilidade
Noo de eventos randmicos, variao randmica e sua representao, risco e frequncia de eventos, e aspectos
bsicos do conceito de probabilidade.
O contexto no PISA 2015

A escolha de estratgias e representaes adequadas, em geral, depende do contexto no qual o problema matemtico
se situa. O contexto normalmente considerado um aspecto da resoluo de problemas que impe novas exigncias
ao solucionador. Para a avaliao do PISA, importante utilizar grande diversidade de contextos. Isso d ao indivduo a
oportunidade de fazer conexes com a mais ampla variedade possvel de interesses pessoais e tambm com uma srie
de situaes em que atuam as pessoas que vivem no sculo 21.
Para os fins da matriz de matemtica do PISA 2015, quatro contextos so utilizados para classificar os itens da avaliao:
Pessoal Itens classificados nessa categoria focam atividades da prpria pessoa, de sua famlia e de seus colegas. In-
cluem (mas no se limitando a) temas relacionados preparao de comida, compras, jogos, sade pessoal, transporte,
agenda e finanas pessoais.
Ocupacional Itens classificados nessa categoria esto voltados para o mundo do trabalho. Compreendem (mas no se
limitam a) atividades como: medio, avaliao de custos e realizao de pedidos de materiais de construo; folhas de
pagamento/contabilidade; controle de qualidade; agendamentos/balanos; projetos/arquitetura; e situaes que exigem
tomada de decises. Podem ainda se relacionar a qualquer nvel de mo de obra, desde um trabalho no qualificado
at os patamares mais altos de atuao profissional, embora, na avaliao do PISA, devam ser acessveis a estudantes
de 15 anos.
5
Social Itens classificados nessa categoria tm foco na comunidade do indivduo (seja ela local, nacional ou global).
Envolvem (mas no se limitam a) sistemas de votao, transporte pblico, governo, polticas pblicas, demografia,
propaganda e economia e estatsticas nacionais. Embora as pessoas estejam envolvidas em todas essas coisas de modo
pessoal, os problemas do contexto social so abordados de uma perspectiva comunitria.
Cientfico Itens classificados nessa categoria relacionam-se aplicao da matemtica no mundo natural e a questes
e tpicos voltados para a cincia e a tecnologia. Incluem (mas no se limitam a) temas como condies meteorolgicas
e clima, ecologia, medicina, gentica, cincias espaciais, medies e o prprio mundo da matemtica. Itens nos quais
todos os elementos envolvidos pertencem matemtica esto includos no contexto cientfico.
Os itens da avaliao do PISA esto organizados em unidades que compartilham material de estmulo. comum, portanto,
que todos os itens de uma unidade pertenam a uma mesma categoria contextual. H excees, contudo; o material de
estmulo pode, por exemplo, ser observado sob o ponto de vista pessoal em um item e sob o social em outro. Quando
um item envolve unicamente construtos matemticos sem fazer referncia aos elementos contextuais da unidade na qual
est inserido, ele alocado na categoria do contexto da unidade. No caso incomum de a unidade envolver apenas cons-
trutos matemticos e no ter nenhuma relao com os contextos no matemticos, ela inserida na categoria cientfica.
O uso das categorias contextuais fornece a base para selecionar uma combinao de itens de contextos, alm de garantir
que a avaliao reflita uma ampla margem de utilizao da matemtica, que varia desde os usos pessoais dirios at as
demandas cientficas de problemas mundiais. Alm disso, importante que cada categoria seja permeada de itens avalia-
tivos com diferentes graus de dificuldade. Dado que a principal finalidade dessas categorias desafiar os estudantes em
uma abrangente gama de problemas contextuais, cada uma delas tem de contribuir substancialmente para a mensurao
do letramento matemtico. No entanto, o nvel de dificuldade dos itens da avaliao que representam uma categoria
contextual no deve ser sistematicamente maior ou menor do que o nvel dos itens pertencentes a outra categoria.
Ao identificar contextos que podem ser relevantes, essencial manter em mente que o propsito da avaliao estimar
o uso do conhecimento, dos processos e das capacidades do contedo matemtico que os jovens tenham adquirido at
os 15 anos de idade. Portanto, contextos para itens da avaliao so selecionados luz da relevncia dos interesses e
da vida dos estudantes e das demandas que tero de enfrentar medida que se inserirem na sociedade como cidados
construtivos, engajados e reflexivos. Os gerentes de projeto nacionais dos pases participantes da avaliao do PISA esto
envolvidos no julgamento do grau de tal relevncia.
5.4 Qual foi a estrutura da avaliao do letramento matemtico

no PISA 2015?
Em 2012, quando o letramento matemtico foi o principal domnio, a avaliao contou com 109 itens de matemtica.
Para a montagem dos cadernos de prova, os itens foram dispostos em nove blocos, cada um deles representando 30
minutos do tempo do teste para os estudantes, e realizou-se uma rotao dos blocos, incluindo itens comuns entre si.
Em 2015, o letramento matemtico foi um domnio menor (70 itens no total), e os alunos tiveram de resolver menos
blocos de itens, que, no entanto, foram gerados e rotacionados de maneira similar. Utilizaram-se seis blocos de ciclos
anteriores, incluindo um fcil e um difcil, de acordo com a opo dos pases pela resoluo colaborativa de pro-
blemas ou no e pela realizao do teste em papel ou computador. Usar seis blocos e no trs como foi o habitual nos
domnios menores nos ciclos anteriores significa que houve aumento do nmero de itens comuns e, portanto, maior
cobertura do construto.
Todos os itens da prova de matemtica do PISA 2015 foram comuns s edies anteriores. No delineamento utilizado
pelo PISA, nem todos os estudantes respondem a todos os itens. Alguns pases podem ter um quantitativo maior ou menor
de itens aplicados, mas a metodologia utilizada permite equalizar a escala para que os resultados sejam comparveis
entre si. Para os estudantes brasileiros participantes do PISA 2015, a distribuio dos itens por dimenso e formato de
resposta se deu como apresentado na Figura 5.8.
5
Figura 5.8
Distribuio dos itens de matemtica por dimenso da matriz e formato de resposta PISA 2015
Formato de resposta
Total
Processo
Formular situaes matematicamente 3 3 13 19
Empregar conceitos, fatos, procedimentos e
8 6 17 31
raciocnios matemticos
Interpretar, aplicar e avaliar resultados matemticos 8 5 7 20
Total 19 14 37 70
Contedo
Mudanas e relaes 2 4 11 17
Espao e forma 3 4 11 18
Quantidade 7 3 7 17
Incerteza e dados 7 3 8 18
Total 19 14 37 70
Contexto
Pessoal 4 3 4 11
Ocupacional 1 3 12 16
Social 11 4 13 28
Cientfico 3 4 8 15
Total 19 14 37 70
Nota:
1. Aps a anlise psicomtrica, o item M192Q01 foi excludo do resultado final do PISA 2015, mas no desta anlise.
Fonte: OCDE, INEP.
Em 2015, a construo do instrumento teve por objetivo compor uma avaliao que fornecesse peso aproximadamente
igual aos dois processos que envolvem a realizao de conexes entre o mundo real e o matemtico (formular situaes
matematicamente e interpretar, aplicar e avaliar resultados matemticos) e quele que exige a capacidade de trabalhar
um problema formulado matematicamente (empregar conceitos, fatos, procedimentos e raciocnios matemticos).
Assim, em torno de 44% dos itens da prova estavam relacionados a este ltimo, e 28%, a cada um dos outros dois.
Quanto s quatro categorias de contedo, houve uma distribuio equilibrada de itens (por volta de 25% para cada uma),
uma vez que todos esses domnios so importantes para cidados construtivos, engajados e reflexivos.
Em relao ao contexto, 35% dos itens foram do contexto social; 25%, do ocupacional; 25%, do cientfico; e 25%, do
pessoal. Essa distribuio permitiu apresentar itens aos estudantes que alcanavam uma ampla variedade de interesses
individuais e de situaes que eles podero encontrar em sua vida.
J no que se refere aos formatos de resposta, a maior parte (58%) foi de resposta aberta ou construda; 25%, de mltipla
escolha simples; e 17%, de mltipla escolha complexa.
Para responder aos itens de mltipla escolha, os alunos tinham de selecionar uma ou mais alternativas entre algumas
dadas; as respostas a essas questes foram processadas de modo automtico. Os itens de resposta aberta requeriam a
formulao de uma resposta escrita mais extensa, e alguns deles pediam aos estudantes que mostrassem os passos dados
ou explicassem como chegaram resposta; as respostas a esses itens foram codificadas manualmente por corretores
treinados. Por fim, os itens de resposta construda forneciam um conjunto mais estruturado para a apresentao de so-
lues de problemas pelos alunos, e as respostas podiam ser consideradas corretas ou incorretas com facilidade. Muitas
respostas a esse tipo de questo foram direcionadas e processadas por um software de captura de dados, e algumas
tiveram de ser codificadas por corretores treinados. A maior parte das respostas construdas era de nmeros simples.
5
5.5 Como o letramento matemtico reportado no PISA?

Os resultados da avaliao de matemtica do PISA esto relatados de formas variadas. possvel obter um resultado
global, com o resultado mdio das proficincias, ou analis-lo com base nos nveis de proficincia descritos pelo PISA.
A mtrica para a escala de matemtica, estabelecida em 2003, baseou-se em uma mdia dos pases da OCDE de 500
pontos, com desvio-padro de 100 pontos.
O grande diferencial do PISA 2015 em relao s outras edies foi a aplicao da avaliao por computador. O quadro
a seguir apresenta as justificativas tcnicas que possibilitam comparar os resultados de matemtica nos diferentes ciclos.
Os resultados do teste computadorizado de matemtica do PISA 2015

podem ser comparados com os resultados das edies passadas?
Em 2015, pela primeira vez as provas de matemtica do PISA foram aplicadas integralmente por computador. A maio-
ria dos pases/economias participantes, incluindo todos os da OCDE, avaliou os estudantes na verso eletrnica (ver
Captulo 1). A fim de comparar os resultados desse teste com os obtidos pelas coortes de estudantes que fizeram os
testes do PISA em papel no passado, era necessrio estabelecer primeiro a equivalncia dos instrumentos em papel
e os baseados em computador (Janssen, 2011, apud OCDE, 2016).
Os testes em papel e em computador do PISA esto ligados por itens comuns, todos eles desenvolvidos, inicialmente,
para os testes baseados em papel em ciclos anteriores da avaliao. O pr-teste do PISA 2015 analisou a equivalncia
dos itens comuns entre os testes em computador e os baseados em papel. Distinguiram-se dois nveis de equivalncia:
equivalncia escalar (forte) e equivalncia mtrica (fraca) (Meredith, 1993; Davidov, Schmidt e Billiet, 2011, apud
OCDE, 2016). Somente os itens que passaram no teste de equivalncia foram retidos para o estudo principal de 2015.
possvel a comparao dos escores do PISA 2015 com os dos ciclos passados, bem como a dos escores do PISA
em um pas com os de outro pas, graas ao nmero de itens comuns que atingem o mais alto nvel de equivalncia
efeito do computador no contexto do pr-teste do PISA 2015.
A Figura 5.9 apresenta a descrio dos seis nveis de proficincia da escala de matemtica do PISA 2015, bem como
o percentual de estudantes da OCDE e do Brasil em cada nvel, com base na edio de 2012, uma vez que no houve
novos itens em 2015.
Figura 5.9
Descrio e percentual de estudantes nos seis nveis de proficincia em matemtica PISA 2015
Percentual
Escore
mnimo
no nvel
No nvel 6, os estudantes so capazes de conceituar, generalizar e utilizar informaes com
base em suas investigaes e na modelagem de situaes-problema complexas e de usar seu
conhecimento em contextos relativamente no padronizados. Conseguem estabelecer ligaes
entre diferentes fontes de informao e representaes e transitar entre elas com flexibilidade.
OCDE: 2,31% Os estudantes situados nesse nvel utilizam pensamento e raciocnio matemticos avanados.
6 669
Brasil: 0,13% So capazes de associar sua percepo e sua compreenso junto com um domnio de operaes
e relaes matemticas simblicas e formais para desenvolver novas abordagens e estratgias e,
assim, enfrentar novas situaes. Conseguem refletir sobre suas aes e formular e comunicar
com preciso suas aes e reflexes relacionadas a constataes, interpretaes e argumentos,
bem como adequ-las s situaes originais.
No nvel 5, os estudantes so capazes de desenvolver modelos para situaes complexas e trabalhar
com eles, identificando restries e especificando hipteses. Conseguem selecionar, comparar e
avaliar estratgias adequadas de resoluo de problemas para lidar com problemas complexos
OCDE: 8,37% relacionados a esses modelos. Os estudantes situados nesse nvel conseguem trabalhar estrate-
5 607
Brasil: 0,77% gicamente, utilizando habilidades de pensamento e raciocnio abrangentes e bem desenvolvidas,
representaes conectadas de maneira adequada, caracterizaes simblicas e formais, e percepo
relativa a essas situaes. Comeam a refletir sobre suas aes e a formular e comunicar suas
interpretaes e seu raciocnio.
5

Descrio e percentual de estudantes nos seis nveis de proficincia em matemtica PISA 2015
Percentual
Escore
mnimo
no nvel
No nvel 4, os estudantes conseguem trabalhar de maneira eficaz com modelos explcitos em
situaes concretas complexas, que podem envolver restries ou exigir formulao de hipteses.
OCDE: 18,60% So capazes de selecionar e integrar diferentes representaes, inclusive simblicas, relacionando-as
4 545 diretamente a aspectos de situaes da vida real. Os estudantes situados nesse nvel conseguem
Brasil: 3,09% utilizar suas habilidades pouco variadas e raciocinar com alguma perspiccia, em contextos diretos.
So capazes de construir e comunicar explicaes e argumentos com base em suas interpretaes,
argumentos e aes.
No nvel 3, os estudantes so capazes de executar procedimentos descritos com clareza, inclu-
sive aqueles que exigem decises sequenciais. Suas interpretaes so seguras o suficiente para
servir de base para construir um modelo simples ou para selecionar e aplicar estratgias simples
OCDE: 24,81% de resoluo de problemas. Os estudantes situados nesse nvel conseguem interpretar e utilizar
3 482
Brasil: 8,58% representaes baseadas em diferentes fontes de informao e de raciocinar diretamente com
base nelas. Demonstram capacidade de lidar com porcentagens, fraes e nmeros decimais e
de trabalhar com relaes de proporo. Suas solues indicam que esto envolvidos em inter-
pretaes e raciocnios bsicos.
No nvel 2, os estudantes so capazes de interpretar e reconhecer situaes em contextos que no
OCDE:22,55% exigem mais do que uma inferncia direta. Conseguem extrair informaes relevantes de uma nica
2 420 fonte e utilizar um modo simples de representao. Os estudantes situados nesse nvel conseguem
Brasil: 17,18% empregar algoritmos, frmulas, procedimentos ou convenes bsicos para resolver problemas
que envolvem nmeros inteiros. So capazes de fazer interpretaes literais dos resultados.
No nvel 1, os estudantes so capazes de responder a questes definidas com clareza, que
OCDE: 14,89% envolvem contextos conhecidos, nas quais todas as informaes relevantes esto presen-
1 358 tes. Conseguem identificar informaes e executar procedimentos rotineiros de acordo com
Brasil: 26,51% instrues diretas em situaes claras. Conseguem executar aes bvias e de acompanhar
de forma imediata os estmulos dados.
Abaixo OCDE: 8,47%

de 1 Brasil: 43,74%
Fonte: OCDE, INEP.

em matemtica no PISA 2015?
Esta seo tem por objetivo apresentar um estudo dos pontos fortes e fracos dos estudantes brasileiros no PISA, com
base na comparao de seu desempenho com o do mesmo pblico de pases da Amrica Latina e de alguns membros
da OCDE e na deteo de padres de respostas aos itens.
Como o foco da avaliao do PISA 2015 foi cincias, aplicou-se um quantitativo menor de itens de matemtica. Dos 69
avaliados, utilizaram-se neste estudo os 56 comuns aos seguintes pases: Canad, Colmbia, Costa Rica, Chile, Mxico,
Peru, Uruguai, Estados Unidos, Espanha, Portugual, Coreia do Sul, Finlndia e Repblica Dominicana.
O percentual de estudantes que responderam corretamente a cada um desses itens variou consideravelmente. No Brasil, o
percentual de respostas corretas foi de 24,8%, em mdia, sendo o Esprito Santo a unidade da Federao com maior per-
centual de acerto (30,5%) e o Maranho com o menor (18,7%). No contexto internacional, a Coreia do Sul apresentou, em
geral, o maior percentual de respostas corretas (53%), e a Repblica Dominicana, o menor (16,1%).
Entender as potencialidades e deficincias relativas aos pases avaliados com base no percentual de acerto dos itens
uma das propostas desta anlise. Enquanto aqui se discute o nvel de dificuldade dos itens conforme a Teoria Clssica
dos Testes (Pasquali, 2009), na Seo 5.7, o foco so os resultados sob a Teoria de Resposta ao Item. Segundo Pasquali,
5
De um modo geral, a psicometria procura explicar o sentido que tm as respostas dadas pelos sujeitos a uma
srie de tarefas, tipicamente chamadas de itens. A Teoria Clssica dos Testes (TCT) se preocupa em explicar o
resultado final total, isto , a soma das respostas dadas a uma srie de itens, expressa no chamado escore total (T).
Por exemplo, o T em um teste de 30 itens de aptido seria a soma dos itens corretamente acertados. Se for dado
1 para um item acertado e 0 para um errado, e o sujeito acertou 20 itens e errou 10, seu escore T seria de 20. A
TCT, ento, se pergunta o que significa este 20 para o sujeito? A Teoria de Resposta ao Item, por outro lado, no
est interessada no escore total em um teste; ela se interessa especificamente por cada um dos 30 itens e quer
saber qual a probabilidade e quais so os fatores que afetam esta probabilidade de cada item individualmente
ser acertado ou errado.
Nesta seo tambm se estudam as propores de respostas omitidas aos itens do PISA 2015 e os nveis de dificuldade
dos itens para todas as unidades da Federao brasileiras e os 13 pases alm do Brasil. Ao final, so apresentados, ainda,
itens pblicos da edio de 2012 com comentrios pedaggicos a fim de ilustrar a anlise dos pontos fortes e fracos dos
estudantes brasileiros em matemtica no PISA.
Como identificar pontos fracos e fortes em matemtica?
Delta, bem como a transformao logit (OCDE, 2013), tem o efeito de esticar percentuais de acerto muito baixas e
muito altas em comparao com o percentual de acerto de 50%. A fim de evitar nmeros negativos, fixou-se a mdia
A primeira anlise de identificao dos pontos fortes e fracos em matemtica exploratria dos itens segundo os ndi-
ces Delta por componente da matriz de referncia de matemtica (contedo, contexto e processo) e por tipo de item.
Por fim, so examinados itens que se destacaram como pontos fortes e fracos dos jovens brasileiros de 15 anos, levando
em conta a diferena entre o valor mdio do ndice Delta dos pases selecionados e o do Brasil. Tal metodologia se
aproxima anlise de itens conspcuos apresentada no relatrio Lessons from PISA 2012 for the United States (OCDE,
2013). Aqui os itens foram considerados destaques quando a diferena entre a mdia do nvel de dificuldade dos
itens do Brasil e a dos pases observados era de pelo menos um desvio-padro (para ambos lados). Uma vez que os
itens com maior omisso foram avaliados anteriormente, eles no entraram nessa anlise.
Vale tambm ressaltar que, nessa anlise dos itens-destaque, incluram-se 11 itens pblicos do PISA 2012, com a
suposio de que eles apresentariam o mesmo nvel de dificuldade se aplicados na forma computadorizada em 2015.
Essa incluso foi importante porque, como no foram liberados novos itens de matemtica no PISA 2015, realizou-
se uma descrio pedaggica sobre os itens pblicos de 2012 com o intuito de ilustrar a anlise de itens-destaque.
5
Embora se entenda que o desempenho dos jovens de pases da Amrica Latina no alto em comparao com a mdia
dos da OCDE, essa anlise pretende mostrar que h itens do PISA 2015 que se destacam por serem mais fceis aos
estudantes brasileiros do que aos dos sete pases latino-americanos selecionados. O item M603Q01, por exemplo,
apresentou diferena de quase 1 ponto na escala do Delta em relao a esses pases, podendo indicar que o que foi
medido pelo item no PISA 2015 foi mais bem assimilado pelos alunos brasileiros do que pelo mesmo pblico nos
pases vizinhos (ponto forte). J o item M446Q01 registrou diferena de quase 2 pontos, indicando que, em geral, os
certo que, ao comparar o desempenho dos brasileiros com o dos estudantes com alto desempenho no PISA, o nvel
de dificuldade dos itens para o Brasil ser mais elevado. Contudo, a anlise comparada dos itens-destaque pretende
apontar itens em que o desempenho dos alunos brasileiros no foi muito diferente do dos estudantes de pases ava-
liados (pontos fortes) e outros que se mostraram bastante desafiadores para eles (pontos fracos).
A dificuldade dos itens

A Figura 5.10 ilustra o nvel de dificuldade de todos os itens de matemtica aplicados aos estudantes brasileiros. Apenas
11,6% dos itens apresentaram ndice Delta menor ou igual a 13, ou seja, aproximadamente 1 item em cada 9 com
percentual de acerto igual ou superior a 50%.
Figura 5.10
ndce de dificuldade (Delta) dos 69 itens de matemtica para os estudantes brasileiros PISA 2015
24
22
20
18
16
14
12
10
0
M9 Q01
M9 Q01
M4 Q01
M9 Q01
M0 Q01
M9 Q01
M9 Q01
82 1
M9 Q01
M9 Q02
M1 Q02
M9 Q01
M9 Q01
M4 Q01
M4 Q02
M8 Q01
M9 Q02
M4 Q02
M5 Q01
M9 Q01
M1 Q02
61 4
M9 Q01
M3 Q04
M4 Q01
M5 Q02
M9 Q02
M6 Q02
M4 Q01
M1 Q01
M9 Q02
M9 Q04
M4 Q01
M4 Q01
M5 Q01
M2 Q01
M9 Q01
M9 Q01
M9 Q02
28 2
M4 Q01
M4 Q01
M9 Q01
M9 Q02
M0 Q02
49 1
M9 Q02
M4 Q02
55 1
67 2
48 1
M9 Q02
M4 Q02
M4 Q01
0G 2
M4 Q01
M4 Q02
55 1
M5 Q03
M9 Q05
M9 Q03
M9 Q03
M9 Q03
M4 Q03
M0 Q03
M8 Q03
M9 Q03
M9 Q03
3
M9 Q0
M9 Q0
M8 Q0
M9 Q0
M1 Q0
M9 Q0
M9 Q0
M0 6Q0
M9 Q0
Q0
00
82
48
23
09
33
92
39
59
48
98
55
55
06
96
74
28
09
47
64
15
55
49
98
05
11
64
39
03
20
55
82
15
96
46
71
73
36
82
36
67
11
08
06
49
34
42
55
06
0K
03
92
61
64
46
62
61
09
92
0
M8
Fonte: OCDE, INEP.
Para os estudantes brasileiros, metade dos itens na edio de 2015 se concentrou entre os valores 14,3 (percentual de
acerto de 37,3%) e 18,5 (percentual de acerto de 8,5%).
A Figura 5.11 mostra a distribuio do ndice Delta segundo o desempenho geral dos jovens brasileiros por unidade
testes do PISA nem todos os alunos so submetidos a todos os itens, para comparar os resultados entre os estados e pa-
ses selecionados nesta anlise, consideram-se os 56 itens comuns entre eles. Esses itens estavam presentes em edies
anteriores do PISA e foram aplicados em computador tanto no Brasil como nos demais pases comparados. Vale lembrar
tambm que a escala do Delta contnua e, devido prpria natureza da medida, quanto maior esse ndice, menor
o percentual de estudantes respondendo corretamente aos itens (apresentado em parnteses).
5
Figura 5.11
ndces de dificuldade (percentual de acerto e Delta) dos 56 itens comuns de matemtica
Alta dificuldade
Repblica Dominicana (16,1%) 16,96

Maranho (18,7%) 16,55
Alagoas (19,2%)
Amap (19,3%)
Rio Grande do Norte (19,8%) 16,40
Tocantins (20,3%)
Bahia (20,4%)
Sergipe (20,9%)
Paraba (21%)
Pernambuco (21,4%)
Rondnia (21,7%)
Par (21,9%)
Piau (22%)
Rio de Janeiro (22,9%) 15,96
Acre (23%)
Roraima (23,3%)
Amazonas (23,4%)
Gois (23,7%)
Mato Grosso (23,8%)
Cear (24,3%)
Brasil (24,8%) 15,72
Peru (25%)
Colmbia (25,4%)
So Paulo (25,9%)
Rio Grande do Sul (26,1%) 15,56
Costa Rica (27,5%)
Mxico (28,6%)
Santa Catarina (29%)
Paran (29,8%) 15,12
Uruguai (30,5%)
Chile (32,5%) 14,81
Estados Unidos (40,3%)
Espanha (43%)
Portugal (45,4%) 13,46
Finlndia (49%)
Canad (49,9%)
Coreia do Sul (53%) 12,70
Baixa dificuldade
Fonte: OCDE, INEP.
Verifica-se que, em geral, o nvel de dificuldade dos itens do PISA 2015 para os jovens brasileiros (15,72) foi maior
que para os de outros pases, exceto os da Repblica Dominicana (16,96), e prximo ao ndice do Peru (15,69), Co-
lmbia (15,65), Costa Rica (15,39) e Mxico (15,25). Em mdia, os estudantes do Uruguai e do Chile foram os que
obtiveram os maiores percentuais de acerto em comparao com os outros da Amrica Latina, com Deltas de 15,05
e de 14,81, respectivamente.
Considerando os pases com desempenho prximo ou superior mdia dos membros da OCDE, percebe-se que h uma
diferena maior em relao ao Brasil, sendo seus Deltas significativamente mais baixos e seus percentuais de respostas
corretas mais elevados. A diferena entre os nveis de dificuldade dos itens do PISA 2015 para os estudantes brasileiros
(15,72) e para os da Coreia do Sul (12,70) foi de 3,02 pontos, quase um desvio-padro. A Coreia do Sul se localiza no
topo dos valores, tendo 53,0% de respostas corretas, enquanto os pases da Amrica Latina possuem mdia de aproxi-
madamente 26,3%.
Da mesma forma, podem-se analisar os percentuais nas unidades da Federao brasileiras. Verifica-se que os estados
das regies Norte e Nordeste so aqueles com os maiores valores de Delta, seguidos dos do Centro-Oeste, Sudeste e
Sul. Destacam-se o Esprito Santo, com o menor ndice no pas (15,05), Paran (15,12), Distrito Federal (15,14), Minas
Gerais (15,17) e Santa Catarina (15,21).
5
A seguir, analisam-se os ndices de dificuldade Delta segundo as categorias da matriz de matemtica (contedo, contexto
e processo) e tipo de item (questo de mltipla escolha ou resposta aberta).
ndice Delta por contedo

Com o objetivo de avaliar a capacidade dos estudantes de resolver problemas reais, o PISA 2015 categorizou em quatro
os tipos de contudo (mudanas e relaes, quantidade, espao e forma e incerteza e dados), a fim de contem-
plar uma variedade suficiente e profunda de aspectos matemticos. A Figura 5.12 apresenta o nvel de dificuldade dos
itens comuns segundo essas categorias.
Figura 5.12
Dificuldade dos itens de matemtica segundo contedo por pas e unidade da Federao PISA 2015
Mudanas e relaes (n=12) Quantidade (n=13) Espao e forma (n=16) Incerteza e dados (n=15)
21
19
17
15
13
11
Fonte: OCDE, INEP.
A categoria com menor nvel de dificuldade em praticamente todos os pases e unidades da Federao analisados foi
quantidade (valor em dinheiro, razo e proporo e clculos aritmticos). Isso significa que o manuseio com dinheiro
ou a vivncia com fatos que gerem contas aritmticas ou propores uma realidade mais prxima dos estudantes do
que, por exemplo, espao e forma. Apesar disso, ressalta-se que, para todos os estados brasileiros e pases da Amrica
Latina em estudo, o Delta foi maior que o valor mdio, 13. H uma diferena considervel entre os ndices para esse
quesito em pases como Coreia do Sul (12,22), Finlndia (12,22), Canad (12,25), Portugal (12,73), Espanha (12,80) e
Estados Unidos (13,33) e nas unidades da Federao, com o Esprito Santo registrando o menor valor (14,20), e Alagoas,
o maior (16,07).
Em relao a incerteza e dados, a segunda categoria com menor nvel de dificuldade, o Delta variou entre 12,62 (Fin-
lndia) e 16,25 (Repblica Dominicana). Esse contedo mede a habilidade dos estudantes de trabalhar com a resoluo
de situaes-problema envolvendo estatstica e probabilidade.
A categoria com o segundo maior nvel de dificuldade foi mudanas e relaes. Como definido pelo PISA 2015, todo
fenmeno natural uma manifestao de mudana. Exemplos incluem a transformao dos organismos medida que
crescem, o ciclo das estaes, o fluxo e refluxo das mars e as mudanas climticas. Alguns desses processos de mu-
dana podem ser descritos ou modelados por funes matemticas bastante simples (por exemplo: linear, exponencial,
peridica, logstica, seja discreta ou contnua). Em relao a esse quesito, entre os pases latino-americanos, o Chile foi
o que teve o menor ndice de dificuldade (14,93), e a Repblica Dominicana, o maior (17,71).
Espao e forma apresentou o maior valor de Delta em quase todos os pases e unidades da Federao. Apenas no estado
do Amap se observou uma diferena expressiva entre o ndice dessa categoria e o de mudanas e relaes, de aproxi-
5
madamente 1,2 ponto. O contedo espao e forma envolve uma ampla gama de propriedades encontradas em vrios
lugares no mundo fsico e visual; trabalha-se, por exemplo, com as propriedades das figuras geomtricas como o permetro
ou a rea, as caractersticas das figuras espaciais etc. A interao dinmica com formas reais, bem como suas representa-
es, mostrou-se, na avaliao do PISA 2015, como um contedo mais difcil e trabalhoso para os estudantes de 15 anos.
ndice Delta por contexto

O PISA 2015 categorizou os itens de matemtica em quatro contextos (pessoal, ocupacional, social e cientfico).
A avaliao buscou apresentar aos estudantes situaes relevantes, exigindo deles a alternncia entre elas e o problema
matemtico. A Figura 5.13 apresenta o nvel de dificuldade dos itens comuns segundo essas categorias.
Figura 5.13
Dificuldade dos itens de matemtica segundo contexto por pas e unidade da Federao PISA 2015
Ocupacional (n=9) Pessoal (n=8) Cientfico (n=13) Social (n=26)

21
19
17
15
13
11
Fonte: OCDE, INEP.
Verifica-se um padro em praticamente todos os pases e unidades da Federao brasileiras, na seguinte ordem de con-
textos: pessoal (Delta mais baixo), social, cientfico e ocupacional.
Nota-se ainda que, para todas as categorias, h uma diferena significativa entre os ndices de dificuldade de membros
da OCDE como Coreia do Sul, Canad, Finlndia, Portugal, Estados Unidos e Espanha e os de outros pases e estados
brasileiros, conforme foi observado tambm para as categorias de contedo.
Ao analisar o motivo dessa diferena entre os Deltas, pode-se concluir que os estudantes de 15 anos tm maior facili-
dade para lidar com a matemtica envolvida diretamente com suas atividades cotidianas, famlia ou colegas. Problemas
como preparao de comida, jogos, sade pessoal e finanas pessoais so situaes mais facilmente matematizadas e
resolvidas por eles. Algo semelhante ocorre com o mundo laboral/ocupacional, que reconhecido pelos jovens (desde
que acessvel e condizente com sua condio), pois envolve, por exemplo, decises profissionais, controle de qualidade,
regras de pagamento de trabalho etc.
Depois da categoria pessoal, a social apresentou Deltas mais baixos na maior parte das unidades da Federao e
pases em estudo. Nela, uma perspectiva comunitria e coletiva faz-se necessria e, conforme os resultados indicam, os
jovens tm maior familiaridade com esse contexto do que com os outros dois (cientfico e ocupacional).
Quanto ao contexto cientfico, que apresentou um dos maiores ndices de dificuldade, alternando com ocupacional,
pode-se concluir que os itens a ele relacionados exigem mais dos estudantes de 15 anos sob a forma de aplicao da
matemtica no mundo natural, com tpicos voltados para cincia e tecnologia.
5
ndice Delta por processo

No PISA 2015, a definio do letramento matemtico refere-se capacidade individual de formular, empregar e interpretar
a matemtica. A Figura 5.14 apresenta o nvel de dificuldade dos itens comuns segundo esses processos.
Figura 5.14
Dificuldade dos itens de matemtica segundo processo por pas e unidade da Federao PISA 2015
Empregar (n=24) Formular (n=16) Interpretar (n=16)

21
19
17
15
13
11
Fonte: OCDE, INEP.
Observa-se que a categoria formular obteve o maior nvel de dificuldade em todos os pases e unidades da Federao
estudados. A diferena foi considervel com respeito a empregar, a segunda categoria com os maiores valores de Delta.
Finalmente, interpretar foi a que apresentou os menores ndices, ficando entre 11,74 (Finlndia) e 15,76 (Repblica
Dominicana).
O fato de os Deltas de formular terem sido de longe os mais elevados dentre os dos trs processos mostra que os
estudantes tm dificuldade de identificar oportunidades para usar a matemtica em situaes-problema e depois pro-
videnciar a estrutura matemtica necessria para formular esse problema contextualizado matematicamente, ou seja,
a transformao e modelagem de uma situao-problema para a linguagem matemtica algo que ainda no resulta
elementar para os estudantes.
Em relao aos ndices de empregar, no variaram tanto entre os estados brasileiros, mantendo-se entre 14,89 (Esprito
Santo) e 16,54 (Maranho). Esse processo indica quanto os estudantes so capazes de executar clculos e manipulaes,
alm de aplicar conceitos e fatos que os levaro soluo matemtica de um problema j formulado matematicamente
(diferente do processo formular, no qual o problema no est formulado desse modo).
Por fim, na categoria de processo interpretar, que indica quo eficazmente os estudantes refletem sobre solues e
concluses matemticas e interpretam-nas em um contexto real, o nvel de dificuldade nas unidades da Federao bra-
sileiras foi, em geral, de 14 pontos, menor que as outras duas em todos os casos. Nos pases desenvolvidos estudados, o
ndice ficou bem abaixo da mdia de 13, o que revela ser esse um processo mais acessvel e realmente assimilado pelos
estudantes desses pases do que pelos brasileiros.

Os formatos de resposta aos itens do PISA so: mltipla escolha simples, mltipla escolha complexa e resposta aberta.
A Figura 5.15 apresenta o nvel de dificuldade segundo esses formatos.
5
Figura 5.15
Dificuldade dos itens de matemtica segundo tipo de item por pas e unidade da Federao PISA 2015
Mltipla escolha complexa (n=12) Resposta aberta (n=14) Mltipla escolha simples (n=30)
21
19
17
15
13
11
Fonte: OCDE, INEP.
Nota-se que, tanto nos pases avaliados como nos estados brasileiros, os itens de resposta aberta tm o maior nvel de
dificuldade, e os de mltipla escolha simples, o menor.
Alm disso, observa-se grande diferena entre o Delta dos membros da OCDE e o das unidades da Federao. Enquanto
a Coreia do Sul apresentou ndice de 11,55 para os itens de mltipla escolha simples, estes foram, em geral, mais difceis
para os estudantes brasileiros, resultando em um Delta igual a 14,38.
A omisso aos itens

Um item deixado em branco seguido de outro com resposta vlida foi considerado como erro para os participantes do
PISA 2015. A alta ocorrncia desses casos pode prejudicar uma justa anlise dos resultados de um pas. A Figura 5.16
apresenta a mdia dos percentuais de respostas omitidas pelos estudantes no teste de matemtica nos pases analisados
e nas unidades da Federao brasileiras.
Figura 5.16
Mdia dos percentuais de casos omissos em matemtica por pas e unidade da Federao PISA 2015
18%
16%
14%
12%
10%
8%
6%
4%
2%
0%
Fonte: OCDE, INEP.
5
Os alunos brasileiros foram os que tiveram um dos maiores percentuais de itens em branco entre os pases comparados
neste estudo: 10,3%, em mdia. Em geral, esse percentual foi ainda menor do que o apresentado por estudantes de
outros pases da Amrica Latina, como Chile (11,1%), Uruguai (12,1%) e Repblica Dominicana (13,0%). Ao comparar
as unidades da Federao, Cear foi a que apresentou, em mdia, o menor nmero de respostas omitidas (7,0%), e
Alagoas, o maior (17,0%).
A Figura 5.17 mostra os percentuais de omisso pelos estudantes brasileiros em cada item de matemtica.
Figura 5.17
Percentuais de casos omissos por item de matemtica, Brasil PISA 2015
50%
45%
40%
35%
30%
25%
20%
15%
10%
5%
0%
Fonte: OCDE, INEP.
A seguir, apresenta-se uma anlise dos 10 itens de matemtica com maior percentual de omisso pelos estudantes bra-
sileiros no PISA 2015, todos de resposta aberta.
M462Q01 Era preciso estimar qual intervalo continha possveis valores para determinada varivel, usando conheci-
mentos bsicos sobre polgonos, e digitar tal intervalo.
M828Q03 Solicitava-se a interpretao do grfico para, com o dado obtido e por meio de uma operao, chegar ao
resultado, que devia ser digitado.
M406Q01 Exigia utilizar conhecimentos geomtricos bsicos para obter um comprimento e explicar, por digitao,
como esse valor foi obtido.
M906Q02 Era necessrio justificar, por digitao, valores numricos fornecidos.
M155Q02 Pedia-se a identificao de informao em tabela para, com base nela, inferir e localizar, em outra tabela,
nova informao. Era necessrio utilizar instrues especficas de como fazer a localizao utilizando o mouse.
M949Q03 Requeria noes simples de semelhana de figuras geomtricas; devia-se apresentar um valor numrico e
explicar, por digitao, como tal valor foi alcanado.
M155Q03 Era preciso efetuar operaes bsicas envolvendo dados obtidos em tabela para chegar a uma porcentagem
e explicar, por digitao, como tal valor foi encontrado.
M406Q02 Solicitava-se a utilizao de conhecimentos geomtricos para comparar dois comprimentos; em seguida,
devia-se explicar como a resposta foi encontrada.
M446Q02 Era necessrio digitar frmula que modelasse situao.
M992Q03 Era preciso digitar frmula que modelasse situao fornecida, utilizando recursos computacionais.
5
A Figura 5.18 traz um resumo da relao entre contedo e processo nesses itens.
Figura 5.18
Distribuio dos 10 itens com maior percentual de omisso por contedo e processo,
matemtica PISA 2015
Empregar Formular
Mudanas e relaes, 2 Quantidade, 2 Espao e forma, 2
Mudanas e relaes, 2 Espao e forma, 2
Fonte: OCDE, INEP.
Comparando os itens que tiveram alto percentual de respostas omitidas com aqueles que no tiveram, verifica-se que,
embora seja difcil traar um padro nico, quatro situaes podem explicar por que estudantes brasileiros deixaram
itens em branco:
1. provvel que tenham encontrado dificuldade para utilizar recursos computacionais. Dos 10 itens descritos:
sete exigiam a digitao da resposta, algumas tambm a justificativa: M462Q01, M828Q03, M406Q01, M906Q02,
M949Q03, M155Q03, M406Q02;
uma requeria seguir instrues sobre como manipular o mouse: M155Q02;
duas necessitavam que se digitasse uma frmula: M446Q02 e M992Q03.
2. Eles talvez tenham tido dificuldade em relao a certos conceitos matemticos. Apesar de o pequeno nmero de
casos tornar difcil a identificao de padres, possvel agrupar alguns itens em dois grupos: a) encontrar expresso
para modelagem de situao dada (M446Q02 e M992Q03); b) utilizar conhecimentos geomtricos para resoluo
de situaes-problema (M462Q01, M406Q01 e M406Q02).
3. Os 10 itens eram abertos.
4. Metade dos itens exigiam justificativa do valor obtido ou do processo utilizado para alcanar tal valor, algo a que os
alunos no esto habituados: M406Q01, M906Q02, M949Q03, M155Q03 e M406Q02.
Anlise de itens-destaque
O estudo a seguir tem por objetivo a identificao de itens-destaque, ou seja, aqueles que se singularizaram como
indicadores dos pontos fortes e fracos do desempenho dos estudantes brasileiros em matemtica no PISA, em comparao
com o dos alunos de membros da OCDE e tambm dos de pases da Amrica Latina. Diferentes abordagens poderiam
ser usadas para a identificao desses itens; no entanto, aqui se utiliza a anlise comparada dos ndices Delta.
A anlise levou em considerao a diferena entre o valor mdio do ndice Delta dos pases selecionados e o do Brasil. Os
itens foram considerados destaque quando essa diferena era de pelo menos um desvio-padro (para ambos os lados).
5
Pontos fortes
A Figura 5.19 apresenta a anlise comparada dos Deltas do Brasil e de um grupo de pases latino-americanos. Nela,
cinco itens se destacam como pontos fortes. Os Deltas assinalados em cinza correspondem aos valores do ndice mais
altos que o nvel de dificuldade dos itens para os estudantes brasileiros.
Figura 5.19
Anlise comparada dos Deltas dos pases latino-americanos, pontos fortes, matemtica PISA 2012 e 2015
Repblica
Dominicana2
M603Q01 15,56 16,37 0,81 16,49 16,28 15,90 16,19 15,96 16,28 17,47
M00GQ01 21,49 22,24 0,75 21,80 22,59 22,42 21,57 22,37 21,76 23,16
M985Q021 14,52 15,19 0,67 16,53 14,55 14,24 14,31 15,72 15,81
M00KQ02 19,45 20,01 0,56 20,02 19,57 19,59 19,10 20,20 20,68 20,91
M909Q02 14,37 14,71 0,34 14,67 14,12 13,63 14,86 14,74 15,58 15,37
Notas:
Fonte: OCDE, INEP.
Descrio dos itens

M603Q01 Item de mltipla escolha complexa, cuja resoluo envolvia a utilizao de operaes com nmeros naturais
e suas propriedades, para verificar se no houve alterao em algarismo de um nmero.
M00GQ01 Item de resposta aberta, cuja resoluo envolvia a utilizao de conhecimentos sobre superfcie lateral de
um cilindro e comparao entre superfcies, com base em dados fornecidos em figuras.
M985Q02 Item de mltipla escolha simples, cuja resoluo envolvia a escolha entre dados fornecidos em tabela.
M00KQ02 Item de resposta aberta, cuja resoluo envolvia a comparao de dois comprimentos, usando o conceito
de permetro de um crculo.
M909Q02 Item de mltipla escolha simples, cuja resoluo envolvia a realizao de clculos com nmeros naturais,
utilizando dados fornecidos em tabelas.
Possveis padres
1. Predominaram itens de mltipla escolha. Trs dos cinco itens eram desse formato de resposta, dois deles de mltipla
escolha simples. Os dois itens de resposta aberta solicitavam apenas que se apresentasse um resultado numrico, e
no uma justificativa de operacionalizao.
2. Embora no se possa afirmar que existam, de fato, padres abrangendo os itens comentados, pois o nmero deles
pequeno, eles podem ser separados em dois grupos: a) trs dos cinco itens incluam comparao ou operaes
envolvendo nmeros (naturais e na forma decimal), em que os dados eram fornecidos no prprio texto ou em tabelas
(M603Q01, M985Q02 e M909Q02); b) dois itens compreendiam conceitos geomtricos bastante simples: comparao
entre reas e entre permetros (M00GQ01 e M00KQ02).
A Figura 5.20 apresenta a anlise comparada dos Deltas dos pases com desempenho igual ou superior ao dos da OCDE.
Nela, seis novos itens destacam-se como pontos fortes.
5
Figura 5.20
pontos fortes, matemtica PISA 2012 e 2015
Estados Coreia
Unidos do Sul
M423Q01 10,84 9,86 0,98 10,77 10,36 9,21 9,99 9,59 9,27
M998Q04 15,22 14,22 0,99 14,99 13,88 13,34 14,13 14,87 14,13
M603Q011 15,56 14,19 1,37 14,99 13,82 14,46 14,08 13,95 13,86
M305Q01 15,25 13,83 1,42 14,09 14,03 13,78 14,14 13,78 13,15
M564Q01 14,80 13,08 1,72 13,82 13,57 11,66 13,28 12,92 13,24
M906Q01 13,98 12,23 1,75 13,35 12,58 12,17 12,11 11,88 11,30
M564Q02 15,39 13,56 1,83 14,14 13,95 13,13 13,56 13,11 13,45
Nota:
1. Item j destacado na anlise dos pontos fortes da Amrica Latina.
Fonte: OCDE, INEP.
Descrio dos itens

M423Q01 Item de mltipla escolha simples, cuja resoluo envolvia a anlise de informaes sobre a probabilidade
de um evento.
M998Q04 Item de mltipla escolha complexa, cuja resoluo envolvia a anlise da variao de uma funo com base
na variao de seu argumento.
M305Q01 Item de mltipla escolha simples, cuja resoluo envolvia o conceito de escala e movimentao em mapa.
M564Q01 Item de mltipla escolha simples, cuja resoluo envolvia transformao de unidade.
M906Q01 Item de mltipla escolha simples, cuja resoluo envolvia a utilizao de operaes com nmeros naturais
para obter uma estimativa, com base em dados fornecidos no texto.
M564Q02 Item de mltipla escolha simples, cuja resoluo envolvia a utilizao de operaes com nmeros naturais
para obter um valor solicitado, com base em dados fornecidos no texto.
Possveis padres
1. Predominaram itens de mltipla escolha. Todos os sete itens eram desse formato de resposta, cinco deles de mltipla
escolha simples.
2. Embora no se possa distinguir, de fato, um padro nos itens comentados, observa-se que em cinco desses itens, trs
envolviam conceitos aritmticos e algbricos, um outro requeria conhecimentos bsicos sobre probabilidade (em
geral, um tema comum nos livros didticos, abordando lanamento de moeda), e o quinto exigia conhecimentos
sobre escala e movimentao em mapa.
A Figura 5.21 apresenta um resumo da relao entre contedo e processo dos itens identificados como pontos fortes.
Destaca-se a predominncia de itens do contedo quantidade e do processo empregar.
5
Figura 5.21
Distribuio dos 11 itens por contedo e processo, anlise dos pontos fortes, matemtica PISA 2012 e 2015
Empregar Formular Interpretar
Mudanas e
Quantidade; 4 Espao e forma; 1
relaes; 1
Quantidade; 1 Espao e forma; 2 Incerteza e Dados; 1
Incerteza e Dados; 1
Fonte: OCDE, INEP.
Exemplo de item pblico do PISA ponto forte
Item M985Q02 Qual carro?
Cris acabou de receber sua carteira de habilitao e deseja comprar seu primeiro carro.
A tabela abaixo mostra os detalhes de 4 carros que ela viu numa concessionria de veculos local.
MODELO ARGENTUM BRISA CORINTO DORAL

ANO 2003 2000 2001 1999
PREO (em Zeds2) 4.800 4.450 4.250 3.990
QUILOMETRAGEM (km) 105.000 115.000 128.000 109.000
CAPACIDADE DO MOTOR (l) 1,79 1,796 1,82 1,783
Questo 2:
Qual carro tem o motor de menor capacidade?
ARGENTUM
BRISA
CORINTO
DORAL

Contedo Quantidade
Contexto Pessoal
Processo Empregar
2. Unidade monetria na avaliao do PISA.
5
Para resolver esse item de mltipla escolha simples (opo correta: DORAL), era necessrio reconhecer e comparar
nmeros decimais. Na escala interpretada, ele est no nvel de proficincia 3, com escore 490,9. Verifica-se, tambm,
que o processo envolvido foi empregar, j que o estudante tinha de manipular nmeros, e, como visto na anlise
de itens-destaque, o item se enquadra no padro dos que envolviam conceitos aritmticos e algbricos por incluir
comparao ou operaes envolvendo nmeros (naturais e na forma decimal), em que os dados eram fornecidos no
prprio texto ou em tabelas.
Por meio da Figura 5.22, observa-se que, em 2012, o valor de Delta foi mais alto para os estudantes da Costa Rica,
Uruguai, Colmbia e Peru do que para os do Brasil.
Figura 5.22
Anlise comparada dos Deltas dos pases latino-americanos, item M985Q02, matemtica PISA 2012
Item Brasil Costa Rica Uruguai Chile Mxico Colmbia Peru
M985Q02 14,52 16,53 14,55 14,24 14,31 15,72 15,81
Fonte: OCDE, INEP.
Pontos fracos
A Figura 5.23 apresenta a anlise comparada dos Deltas dos pases latino-americanos. Nela, 10 itens destacam-se como
pontos fracos. Os Deltas assinalados em cinza correspondem aos valores do ndice mais baixos que o nvel de dificuldade
Figura 5.23
Anlise comparada dos Deltas dos pases latino-americanos, pontos fracos, matemtica PISA 2012 e 2015
Repblica
Dominicana
M949Q01 15,20 14,43 0,76 14,57 13,58 13,55 13,40 14,50 14,53 16,91
M909Q01 11,78 11,00 0,78 10,04 10,22 10,07 11,07 10,53 11,69 13,43
M992Q01 12,74 11,92 0,82 11,82 11,15 10,83 12,13 11,74 12,04 13,73
M915Q02 14,91 14,08 0,83 12,26 12,76 13,55 13,85 14,40 13,49 18,26
M955Q03 22,84 21,95 0,89 22,25 20,55 20,67 21,54 22,52 22,29 23,83
M464Q011 20,57 19,65 0,92 19,76 18,41 19,05 19,52 20,97 20,21
M273Q01 16,38 15,44 0,95 14,77 15,05 15,16 15,33 15,17 15,36 17,21
M034Q01 18,15 17,03 1,12 17,26 15,98 15,91 16,69 17,35 16,55 19,48
M992Q02 20,28 19,12 1,16 19,69 19,72 18,78 18,10 18,92 17,20 21,43
M446Q01 16,13 14,17 1,96 13,86 12,73 12,16 14,02 14,45 14,81 17,15
Nota:
1. Aps a anlise psicomtrica, o item foi excludo da anlise dos itens da Repblica Dominicana.
Fonte: OCDE, INEP.
Descrio dos itens

M949Q01 Item de mltipla escolha complexa, cuja resoluo envolvia determinar se certos segmentos apresentados
em uma figura eram de mesmo comprimento.
M909Q01 Item de resposta aberta, cuja resoluo envolvia determinar o intervalo a que pertencia determinada varivel,
com informaes fornecidas em duas tabelas.
M992Q01 Item de resposta aberta, cuja resoluo envolvia a observao da composio da figura apresentada.
M915Q02 Item de resposta aberta, cuja resoluo envolvia encontrar o valor de uma varivel por meio de uma equao
algbrica fornecida no texto.
5
M955Q03 Item de resposta aberta, cuja resoluo envolvia encontrar o valor de uma varivel por meio de operaes
com dados encontrados em tabela de entrada mltipla.
M464Q01 Item de resposta aberta, cuja resoluo envolvia o clculo da rea de figura plana fornecida no texto com
base em dados tais como seu permetro.
M273Q01 Item de resposta aberta, cuja resoluo envolvia o clculo de comprimentos de segmentos de reta por meio
de sua visualizao em figura bidimensional.
M034Q01 Item de resposta aberta, cuja resoluo envolvia a visualizao de figura tridimensional.
M992Q02 Item de resposta aberta, cuja resoluo envolvia generalizao de padro, por meio da observao da
composio da figura apresentada.
M446Q01 Item de resposta aberta, cuja resoluo envolvia a obteno de a soluo de equao linear em duas va-
riveis, que modelava uma situao fornecida.
Possveis padres
1. Predominaram itens de resposta aberta. Nove dos 10 itens eram desse formato de resposta (solicitando a apresentao
de um resultado numrico), e um, de mltipla escolha complexa.
2. Embora no se possa afirmar que existam, de fato, padres abrangendo os itens comentados anteriormente, pois o
nmero deles pequeno, eles podem ser separados em trs grupos: a) seis dos 10 itens envolviam conceitos relacio-
nados a espao e forma visualizao e propriedades de figuras bidimensionais e tridimensionais, generalizao de
determinados padres associados a figuras ou geometria comprimento de lados e diagonais de figuras planas,
clculo de permetro e rea (M949Q01, M992Q01, M464Q01, M273Q01, M034Q01 e M992Q02); b) dois itens
abrangiam conceitos algbricos: obteno de um valor numrico para uma varivel com valores fornecidos por meio
de uma equao algbrica (M915Q02) e modelagem (M446Q01); c) dois itens incluam operaes entre valores
fornecidos em tabelas ou grficos (M909Q01 e M955Q03).
A Figura 5.24 apresenta a anlise comparada dos Deltas dos pases com desempenho igual ou superior aos da OCDE.
Nela, trs novos itens se destacam como pontos fracos.
Figura 5.24
pontos fracos, matemtica PISA 2012 e 2015
Estados Coreia
Unidos do Sul
M955Q02 18,67 14,57 4,10 16,25 15,07 13,32 15,00 14,35 13,42
M034Q011 18,15 14,04 4,12 14,81 14,51 13,55 14,78 13,62 12,94
M949Q011 15,20 10,67 4,53 12,19 10,67 9,19 11,57 9,83 10,56
M915Q021 14,91 10,32 4,59 11,33 9,54 9,96 10,45 10,14 10,48
M803Q01 20,05 15,45 4,60 16,15 16,37 14,07 16,51 14,91 14,70
M464Q011 20,57 15,85 4,73 17,79 15,86 13,98 17,05 15,15 15,26
M411Q01 17,51 12,72 4,79 13,67 13,00 12,45 12,51 12,45 12,26
M955Q031 22,84 17,99 4,85 19,37 18,62 16,84 18,44 17,06 17,62
M446Q011 16,13 10,83 5,31 11,29 11,93 9,81 11,62 10,05 10,27
Nota:
1. Item j destacado na anlise dos pontos fracos da Amrica Latina.
Fonte: OCDE, INEP.
Descrio das questes

M955Q02 Item de resposta aberta, cuja resoluo envolvia a descrio do significado de dados observados em tabela.
5
M803Q01 Item de resposta aberta, cuja resoluo envolvia o clculo de medidas de tendncia central.
M411Q01 Item de resposta aberta, cuja resoluo envolvia o clculo de medidas de tendncia central.
Possveis padres
1. Predominaram itens de resposta aberta. Apenas um era de mltipla escolha complexa.
2. No possvel determinar, de fato, um padro entre os itens comentados. Eles envolviam medidas de tendncia
central, conceitos de geometria e de espao e forma, conceitos algbricos e busca em tabela de entrada mltipla.
A Figura 5.25 apresenta um resumo da relao entre contedo e processo dos itens identificados como pontos fracos.
Predominam itens do contedo espao e forma e do processo formular. Diferentemente dos pontos fortes, no h
itens pblicos do PISA que se destacaram como pontos fracos para ilustrar a anlise.
Figura 5.25
Distribuio dos 13 itens por contedo e processo, pontos fracos, matemtica PISA 2012 e 2015
Empregar Formular Interpretar
Mudanas e relaes; 1 Quantidade; 1 Espao e forma; 2 Incerteza e Dados; 1
Mudanas e relaes; 1 Espao e forma; 4 Incerteza e Dados; 1
Quantidade; 1 Incerteza e Dados; 1
Fonte: OCDE, INEP.
5.7 Quais foram os resultados dos estudantes brasileiros em matemtica

no PISA 2015?
do Sul e Finlndia).
de dependncia e localizao das escolas, configurando, assim, o panorama dos resultados brasileiros em matemtica
no PISA 2015.
5
A escala interpretada de matemtica do PISA 2015
A fase seguinte refere-se anlise pelos modelos da Teoria de Resposta ao Item (TRI), bem como aplicao da me-
todologia de valores plausveis para estimativa dos escores relaiconados escala de matemtica. por meio dessa
teoria que se torna possvel comparar as respostas dos diferentes estudantes a diversos itens e em vrios ciclos de
avaliao do PISA.
A construo de uma escala contnua de proficincia em matemtica permite associar o desempenho dos estudantes
a um ponto especfico da escala em que sua proficincia foi estimada (valores mais elevados na escala indicam maior
proficincia). A mtrica para a escala global de matemtica baseia-se na mdia dos pases da OCDE de 500 pontos e no
desvio-padro de 100 pontos, definidos no PISA 2003, quando a escala de matemtica foi desenvolvida pela primeira
vez. Os itens comuns a ambos os instrumentos de teste permitem que se faa a ligao entre as escalas. Mais detalhes
sobre esse procedimento podero ser encontrado no Relatrio Tcnico do PISA 2015 (OCDE, em desenvolvimento).
Para ajudar a interpretao dos resultados advindos desse tipo de modelagem, a escala do PISA dividida em nveis
de proficincias interpretadas. Na edio de 2015, a dificuldade das tarefas associadas aos itens de matemtica foi
representada por seis nveis de proficincia, descritos na Seo 5.5.

A nota mdia dos jovens brasileiros em matemtica no PISA 2015 foi de 377 pontos, significativamente inferior dos
estudantes dos pases da OCDE (490). A Figura 5.26 apresenta os resultados mdios dos estudantes de 15 anos do Brasil
e dos 13 pases selecionados na escala interpretada do PISA 2015.
5
Figura 5.26
Mdias, intervalos de confiana e percentis das proficincias dos pases selecionados,
matemtica PISA 2015
Coreia do Sul 524 3,7 517-531 391-649 225 275 325 375 425 475 525 575 625 675
Coreia do Sul
Canad 516 2,3 511-520 400-627
Canad
Finlndia 511 2,3 507-516 404-614

Finlndia
Portugal 492 2,5 487-497 365-614 Portugal
Espanha 486 2,2 482-490 374-593 Espanha
Estados Unidos 470 3,2 463-476 355-585 Estados Unidos
Chile 423 2,5 418-428 313-534 Chile
Uruguai 418 2,5 413-423 309-532 Uruguai
Mxico 408 2,2 404-412 312-505 Mxico
Costa Rica 400 2,5 395-405 315-489 Costa Rica
Colmbia 390 2,3 385-394 293-492 Colmbia
Peru
Peru 387 2,7 381-392 283-495
Brasil
Brasil 377 2,9 371-383 267-496
Repblica Dominicana
Repblica Dominicana 328 2,7 322-333 243-418
Notas:
P10 P90
Os 10% dos estudantes brasileiros com pior desempenho em matemtica no PISA 2015 obtiveram nota mdia igual
a 267, e os 10% de melhor desempenho, 496. A Costa Rica o que apresenta menor diferena entre esses grupos de
alunos (174 pontos).
A Figura 5.27 mostra a srie histrica do PISA em matemtica desde 2003, quando a escala desse domnio foi desen-
volvida pela primeira vez. Nessa anlise, foram calculadas as medidas de erro-padro da mdia de cada edio e as de
erro-padro da mdia considerando os erros de ligao (linking errors), para captar as flutuaes amostrais e os erros de
mensurao advindos dos diferentes ciclos da avaliao.
Figura 5.27
Mdias e medidas de erro-padro dos pases selecionados, matemtica PISA 2003-2015
2003 2006 2009 2012 2015
Pas
Mdia EP1 EP2 Mdia EP1 EP2 Mdia EP1 EP2 Mdia EP1 EP2 Mdia EP1
Coreia do Sul 542 3,2 6,5 547 3,8 5,2 546 4 5,5 554 4,6 5,8 524 3,7
Canad 532 1,8 5,9 527 2 4,0 527 1,6 4,1 518 1,8 4,0 516 2,3
Finlndia 544 1,9 5,9 548 2,3 4,2 541 2,2 4,4 519 1,9 4,0 511 2,3
Portugal 466 3,4 6,6 466 3,1 4,7 487 2,9 4,8 487 3,8 5,2 492 2,5
Espanha 485 2,4 6,1 480 2,3 4,2 483 2,1 4,3 484 1,9 4,0 486 2,2
Estados Unidos 483 2,9 6,3 474 4 5,3 487 3,6 5,2 481 3,6 5,1 470 3,2
Chile 411 4,6 5,8 421 3,1 4,9 423 3,1 4,7 423 2,5
Uruguai 422 3,3 6,5 427 2,6 4,4 427 2,6 4,6 409 2,8 4,5 418 2,5
Mxico 385 3,6 6,7 406 2,9 4,6 419 1,8 4,2 413 1,4 3,8 408 2,2
Costa Rica 409 3 4,8 407 3 4,6 400 2,5
Colmbia 370 3,8 5,2 381 3,2 5,0 376 2,9 4,6 390 2,3
Peru 365 4 5,5 368 3,7 5,1 387 2,7
Brasil 356 4,8 7,4 370 2,9 4,6 386 2,4 4,5 389 1,9 4,0 377 2,9
Repblica Dominicana 328 2,7
Notas:
Fonte: OCDE, INEP.
5
A Figura 5.28 ilustra as variaes temporais do desempenho dos estudantes de nove pases que participaram das ltimas
cinco edies do PISA. Por meio dessa anlise, verifica-se que o desempenho dos brasileiros em 2015 foi significativa-
mente inferior ao de 2012, com uma diferena de 11 pontos. Como destacado pela OCDE, a trajetria geral no PISA
, no entanto, positiva para eles (aumento mdio de 6,2 pontos em cada administrao sucessiva do PISA, desde 2003)
(OCDE, 2016).
Figura 5.28
Intervalos de confiana da diferena das mdias dos pases, matemtica PISA 2015 e ciclos anteriores

50 50 50
40 40 40
30 30 30
20 20 20
10 10 10
0 0 0
-10 -10 -10
-20 -20 -20
-30 -30 -30
-40 -40 -40
-50 -50 -50
2003 2006 2009 2012 2003 2006 2009 2012 2003 2006 2009 2012
Portugal Espanha Estados Unidos

50 50 50
40 40 40
30 30 30
20 20 20
10 10 10
0 0 0
-10 -10 -10
-20 -20 -20
-30 -30 -30
-40 -40 -40
-50 -50 -50
2003 2006 2009 2012 2003 2006 2009 2012 2003 2006 2009 2012
Uruguai Mxico Brasil

50 50 50
40 40 40
30 30 30
20 20 20
10 10 10
0 0 0
-10 -10 -10
-20 -20 -20
-30 -30 -30
-40 -40 -40
-50 -50 -50
2003 2006 2009 2012 2003 2006 2009 2012 2003 2006 2009 2012
LS
Nota:
A Figura 5.29 apresenta a distribuio das notas mdias nos percentis (P10, P25, P75, P90) da escala de proficincia
em matemtica no PISA 2012 e 2015. Observa-se que os estudantes brasileiros com melhor desempenho (P90) tiveram
aumento nos resultados mdios, e os de pior desempenho, diminuio (diferena de 27 pontos do P10 em 2015 em
relao a 2012).
5
Figura 5.29
Distribuio dos escores mdios, matemtica PISA 2012 e 2015
2012 2015
Pas P10 P25 P75 P90 P10 P25 P75 P90
Coreia do Sul 425 5,8 486 4,8 624 5,1 679 6,0 391 5,5 458 4,5 594 4,2 649 4,3
Canad 402 2,4 457 2,1 580 2,3 633 2,3 400 3,2 456 2,9 577 2,6 627 3,2
Finlndia 409 3,3 463 2,5 577 2,4 629 3,1 404 3,8 456 3,1 568 2,4 614 2,9
Portugal 363 4,2 421 5,0 554 4,3 610 3,9 365 3,8 424 3,1 561 2,8 614 3,6
Espanha 370 3,1 424 2,6 546 2,1 597 2,4 374 3,4 428 2,8 546 2,5 593 3,3
Estados Unidos 368 3,9 418 3,7 543 4,4 600 4,3 355 3,9 408 3,9 532 3,5 585 4,2
Chile 323 3,7 365 3,5 476 4,2 532 4,2 313 3,5 363 2,9 483 3,5 534 3,6
Uruguai 297 4,1 347 3,0 470 3,6 526 3,8 309 2,7 357 3,3 477 3,4 532 3,6
Mxico 320 1,9 362 1,6 462 1,7 510 2,0 312 2,6 357 2,5 459 2,9 505 3,5
Costa Rica 323 3,8 361 3,6 449 3,9 496 5,1 315 2,9 353 2,5 445 3,0 489 4,2
Colmbia 285 4,0 326 2,8 423 3,6 474 4,8 293 3,1 335 2,9 441 2,7 492 3,3
Peru 264 3,4 311 3,6 421 4,9 478 6,7 283 2,6 329 2,7 442 4,0 495 4,3
Brasil 294 2,1 334 1,9 437 2,6 492 4,2 267 3,3 315 3,1 434 3,7 496 4,7
Notas:
Fonte: OCDE, INEP.
Figura 5.30
Percentual de estudantes por nvel de proficincia dos pases selecionados, matemtica PISA 2015
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Finlndia 4 10 22 29 24 9 2
Canad 4 11 20 27 23 11 4
Coreia do Sul 5 10 17 24 23 14 7
Espanha 7 15 25 28 18 6 1
Portugal 9 15 22 24 19 9 3
Estados Unidos 11 19 26 24 15 5 1
Chile 23 26 25 17 6 10
Uruguai 25 27 24 15 6 20
Mxico 26 31 27 13 3 0
Costa Rica 27 35 26 9 20
Colmbia 35 31 22 10 20
Peru 38 28 21 10 30
Brasil 44 27 17 9 3 10
Repblica Dominicana 68 22 8 20
Abaixo nvel 1 Nvel 1 Nvel 2 Nvel 3 Nvel 4 Nvel 5 Nvel 6

Fonte: OCDE, INEP.
No Brasil, 70,3% dos estudantes esto abaixo do nvel 2 em matemtica, patamar que a OCDE estabelece como neces-
srio para que os jovens possam exercer plenamente sua cidadania. Esse percentual maior na Repblica Dominicana
(90,5%) e menor na Finlndia (13,6%).
5
A Figura 5.31 apresenta o desempenho dos estudantes por gnero na avaliao de matemtica do PISA 2015 para os 13 pases
avaliados. No Brasil, os meninos tiveram desempenho superior (15 pontos) ao das meninas. Na Finlndia, Coreia do Sul e
Repblica Dominicana, de outro lado, as meninas tiveram desempenho maior: diferena de 8, 7 e 4 pontos, respectivamente.
Figura 5.31
Escores mdios estimados por gnero dos pases selecionados, matemtica PISA 2015
540
KOR
Meninas com
desempenho maior que FIN CAN
510
meninos
PRT
480 ESP
USA
450
420 CHL
URY
MEX
390 CRI
COL
PER
BRA
360
Meninos com
330 DOM meninas
300
300 330 360 390 420 450 480 510 540
Fonte: OCDE, INEP.
Desempenho do Brasil em matemtica sob a perspectiva nacional

geral por tipo de escola (dependncia administrativa, localizao e rea), bem como uma anlise mais aprofundada em
relao s unidades da Federao.
Na Figura 5.32, verifica-se que o desempenho mdio em matemtica dos estudantes da rede estadual foi de 369 pontos,
e da municipal 311, diferena estatisticamente significativa. Os alunos das escolas federais tiveram melhor desempenho
(488 pontos) do que os das particulares (463), diferena que, no entanto, no estatisticamente significativa (463).
Figura 5.32
por dependncia administrativa, matemtica PISA 2015
Dependncias
administrativas
200 250 300 350 400 450 500 550 600
Brasil
Brasil 377 2,9 371-383 267-496
Federal
Federal 488 15,1 459-518 391-578
Particular
Particular 463 8,0 447-478 349-576
Estadual
Estadual 369 2,6 364-374 270-474
Municipal
Municipal 311 4,6 302-320 228-396
Notas: Mdia brasil
4. Distribuio das proficincias: o grfico apresenta a distribuio das proficincias pelos percentis P25 P75
(P10, P25, P75, P90) e pelos intervalos de confiana das mdias. LI LS
Fonte: OCDE, INEP.
5
leiros das escolas urbanas no PISA 2015 estatisticamente superior ao dos das escolas rurais (diferena de 49 pontos).
Figura 5.33
Mdias, intervalos de confiana e percentis dos escores por localizao, matemtica PISA 2015
200 250 300 350 400 450 500 550 600
Brasil
Brasil 377 2,9 371-383 267-496

Urbana
Urbana 379 2,9 374-385 270-498
Rural
Rural 331 13,6 304-357 237-436
Notas:
5. Devido ao delineamento utilizado no PISA, escolas rurais da regio Norte no foram contempladas no estudo. LI LS
Fonte: OCDE, INEP.
mdio (386 pontos) do que os do interior (374), diferena estatisticamente no significativa, contudo.
Figura 5.34
Mdias, intervalos de confiana e percentis dos escores por rea, matemtica PISA 2015
200 250 300 350 400 450 500 550 600
Brasil
Brasil 377 2,9 371-383 267-496
Capital
Capital 386 6,3 373-398 271-511
Interior
Interior 374 3,3 368-381 266-491
Notas:
A Figura 5.35 apresenta os resultados por unidade da Federao na escala de matemtica do PISA 2015. Paran foi a
que apresentou melhor desempenho (406 pontos), e Alagoas, o pior (339). Contudo, conforme descrito no Captulo 2
deste relatrio, o estado do Paran, bem como o do Amap, no atingiu as taxas de resposta exigidas no PISA 2015,
prejudicando, assim, uma anlise fidedigna para este estado.
5
Figura 5.35
por unidade da Federao, matemtica PISA 2015
200 250 300 350 400 450 500 550 600
Brasil
Brasil 377 2,9 371-383 267-496
Paran 406 11,9 383-429 292-526 Paran
So Paulo 386 5,6 376-397 276-503 So Paulo
Cear 382 12,5 357-406 272-506 Cear
Gois 380 11,4 358-403 271-505 Gois
Acre
Acre 377 10,2 357-397 277-485
Roraima
Roraima 373 10,0 353-393 281-477
Rio de Janeiro 366 8,0 350-382 255-481 Rio de Janeiro

Rondnia
Rondnia 364 8,9 346-381 271-463
Par
Par 363 16,4 330-395 250-491
Pernambuco
Pernambuco 360 10,1 340-380 252-471
Paraba
Paraba 357 8,7 340-374 260-458
Piau
Piau 355 11,2 334-377 253-469
Sergipe 354 9,6 336-373 264-465 Sergipe
Amap
Amap 354 7,8 339-369 277-434
Rio Grande do Norte
Tocantins
Tocantins 350 4,6 341-359 259-446
Bahia
Bahia 343 8,9 326-361 242-451
Maranho
Maranho 343 14,4 315-371 243-454
Alagoas
Alagoas 339 12,2 315-362 238-459
Notas:
Mdia brasil
4. O grfico apresenta a distribuio das proficincias pelos percentis (P10, P25, P75,P90)
P25 P75
e pelos intervalos de confiana das mdias.
A Figura 5.36 indica as diferenas entre os resultados mdios de cada unidade da Federao e os do Brasil no PISA
2015. Estados com desempenho acima da linha de referncia (y = 0) apresentam resultado estatisticamente superior
mdia nacional, e os com desempenho mdio abaixo da linha, inferior. A Figura 5.37 mostra um resumo da anlise
realizada.
5
Figura 5.36
com relao ao desempenho do Brasil, matemtica PISA 2015
100
Limite superior
Mdia
75 Limite inferior
50
25
-25
-50
-75
-100
AL MA BA TO RN AP SE PI PB PE PA RO RJ MT RR AC MS AM GO CE RS SP DF SC MG ES PR
(68%) (83%) (85%) (89%) (86%) (40%) (70%) (76%) (74%) (80%) (70%) (81%) (87%) (78%) (76%) (86%) (89%) (92%) (81%) (94%) (89%) (88%) (84%) (81%) (90%) (87%) (39%)
Notas: LS
2. Intervalos de confiana da diferena das mdias: o grfico apresenta os limites inferiores e superiores do intervalo da diferena Mdia UF-Mdia Brasil
das mdias. O valor de referncia y = 0. Intervalos que cruzam a linha de referncia indicam que o desempenho mdio da unidade
da Federao em 2015 no estatisticamente diferente do desempenho nacional.
Figura 5.37
Desempenho das unidades da Federao menor, igual ou maior que o do Brasil, matemtica PISA 2015
Alagoas (339; 12,2) Piau (355; 11,2) So Paulo (386; 5,6)
Maranho (343; 14,4) Pernambuco (360; 10,1) Distrito Federal (396; 6,8)
Bahia (343; 8,9) Par (363; 16,4) Santa Catarina (398; 7,7)
Tocantins (350; 4,6) Rondnia (364; 8,9) Esprito Santo (405; 7,5)
Rio Grande do Norte (353; 7,3) Rio de Janeiro (366; 8,0) Paran (406; 11,9)
Amap (354; 7,8) Mato Grosso (373; 5,9)
Sergipe (354; 9,6) Roraima (373; 10,0)
Paraba (357; 8,7) Acre (377; 10,2)
Amazonas (378; 9,5)
Gois (380; 11,4)
Cear (382; 12,5)
Minas Gerais (398; 12,3)
Nota:
Fonte: OCDE, INEP.
Ao avaliar os estudantes brasileiros por nvel de proficincia, observam-se grandes diferenas regionais no PISA 2015
(Figura 5.38). Enquanto 59,1% dos alunos do estado do Esprito Santo esto abaixo do nvel 2, em Alagoas esse percen-
tual de 83,2%.
5
Figura 5.38
Percentual de estudantes por nvel de proficincia e unidade da Federao, matemtica PISA 2015
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Brasil 44 27 17 9 3 10
Paran 31 27 22 13 5 2
Esprito Santo 31 28 22 13 6 1
Santa Catarina 33 29 22 12 4 1
Distrito Federal 35 26 22 12 4 1
Minas Gerais 36 26 20 12 5 1
So Paulo 39 28 19 10 3 10
Rio Grande do Sul 40 27 20 10 4 1
Amazonas 42 30 19 7 2
Cear 42 27 16 9 4 1
Acre 42 29 18 8 20
Mato Grosso do Sul 42 28 18 9 2
Mato Grosso 44 32 17 6 1
Gois 44 26 17 7 3 21
Roraima 45 30 16 6 21
Rio de Janeiro 48 26 16 8 21
Pernambuco 49 27 15 6 2
Rondnia 50 29 14 5 2
Par 51 24 13 7 3
Paraba 53 27 13 5 20
Amap 53 33 12 2
Piau 55 24 13 6 21
Tocantins 55 28 13 4 0
Rio Grande do Norte 55 25 13 5 1
Sergipe 58 24 11 6 20
Bahia 60 23 11 4 10
Maranho 61 21 11 4 1
Alagoas 64 19 10 5 20
Abaixo nvel 1 Nvel 1 Nvel 2 Nvel 3 Nvel 4 Nvel 5 Nvel 6

Fonte: OCDE, INEP.
A Figura 5.39 ilustra o desempenho mdio em matemtica por gnero nas unidades da Federao. Em praticamente
todos os estados o desempenho dos meninos foi superior ao das meninas.
Figura 5.39
Escores mdios estimados por gnero e unidade da Federao, matemtica PISA 2015
450
Meninas com
420 meninos
PR
ES
390 SC
DFMG
SP
RS
GOCE
AM
MT ACMS
360 RJ RR
RO
AP PB
PI PE PA
SE
RN
MA TO
BA
330 AL Meninos com
meninas
300
300 330 360 390 420 450
Fonte: OCDE, INEP.
6
Interesse, motivao, crenas e

outras percepes dos estudantes
em seu aprendizado
6
Interesse, motivao, crenas e outras percepes dos estudantes em seu aprendizado
6.1 Aspectos gerais

O objetivo deste captulo apresentar fatores para contextualizar os resultados dos estudantes brasileiros no PISA 2015.
Segundo a OCDE, uma pessoa cientificamente letrada tem certas atitudes, crenas, orientaes motivacionais, autoeficcia
e valores que vo alm de bons resultados nos testes cognitivos (OCDE, 2106). Os construtos de atitude utilizados no
PISA baseiam-se em referncias sobre o domnio afetivo na educao cientfica de Klopfer (1976, apud OCDE, 2016b)
e em uma reviso literria na rea de pesquisa atitudinal (Gardner, 1975; Osborne, Simon e Collins, 2003; Schibeci,
1984, apud OCDE, 2016b).
A Figura 6.1 resume os principais aspectos de interesse, motivao, atitudes, crenas, suporte e outras percepes aqui
discutidos. Sero explorados os resultados dos jovens brasileiros no PISA 2015 por unidade da Federao e suas respos-
tas em um contexto mais amplo, contrastando com os resultados dos alunos dos 13 pases analisados neste relatrio.
Figura 6.1
Aspectos de avaliao do contexto explorados no captulo PISA 2015
Interesse e motivao Atitudes Crenas Suporte e outras percepes
Satisfao com cincias Atividades em cincias Autoeficcia em cincias Suporte do professor
(JOYSCIE): uma medida de (SCIEACT): ndice construdo (SCIEEFF): uma medida de nas aulas de cincias
quanto os estudantes gostam com base nas respostas dos quo capazes os estudantes (TEACHSUP): ndice construdo
de aprender sobre cincias, estudantes s questes sobre se percebem em relao com base na percepo dos
tanto dentro como fora sua participao em atividades s cincias. estudantes quanto ao suporte
da escola. relacionadas s cincias. dos professores no aprendizado
de cincias.
Interesse em aprender Tempo dedicado ao Crenas epistemolgicas Retorno percebido
cincias (INTBRSCI): uma aprendizado (SMINS, (EPIST): uma medida associada (PERFEED): uma medida
medida de quanto os LMINS, MMINS): ndices crena dos estudantes para de quanto os estudantes
estudantes se interessam por construdos com base no as explicaes sobre o mundo percebem o retorno acadmico
aprender sobre a fsica, a tempo (em minutos) dedicado material, valorizao da crtica em seu aprendizado.
biologia humana, a geologia ao aprendizado. como um meio de estabelecer
e os processos e produtos da a validade de qualquer ideia.
investigao cientfica.
Motivao instrumental para Tempo dedicado ao Percepo das questes Adaptao da instruo
aprender cincias (INSTSCIE): aprendizado fora da escola ambientais (ENVAWARE): (ADINST): ndice construdo
uma medida de quanto da (OUTHOURS): tempo em uma medida de quanto os com base na percepo dos
motivao dos estudantes para horas de estudo fora da escola estudantes se preocupam com estudantes sobre a adaptao
aprender sobre cincias est por semana. questes ambientais. da maneira de instruo para
extrinsecamente relacionada seu aprendizado.
com as oportunidades de
emprego nessa rea.
Motivao para o sucesso Otimismo ambiental Suporte dos pais

(MOTIVAT): uma medida de (ENVOPT): uma medida da (EMOSUPS): uma medida
quanto o estudante motivado crena dos estudantes sobre a sobre a percepo dos
em seu sucesso pessoal contribuio de suas aes ou estudantes quanto ao suporte
e escolar. de outros para a manuteno e recebido por seus pais.
melhoria do ambiente. Sensao de pertencimento
escola (BELONG): ndice
construdo com base na
percepo dos estudantes
sobre o sentimento de fazer
parte da escola.
Ansiedade na realizao
de testes (ANXTEST): uma
medida do grau de ansiedade
na realizao de testes.
Fonte: INEP.
6
Nota sobre as anlises do captulo
O PISA fornece no apenas medidas confiveis e vlidas para avaliar o desempenho dos estudantes nos letramentos
em cincias, leitura e matemtica, mas tambm uma gama de informaes no cognitivas (por exemplo: sua motivao
para aprender), condies individuais (por exemplo: sua condio socioeconmica) e caractersticas estruturais e de
processo do contexto escolar (por exemplo: prticas de ensino e oportunidades de aprendizagem em sala de aula,
liderana e polticas escolares). Esse conjunto diversificado de construtos coletado das respostas aos questionrios de
vrios atores educacionais, estudantes e diretores de escolas, bem como, conforme opo do pas, pais e professores.
Para alm dos resultados cognitivos, neste captulo ser feita uma anlise exploratria dos ndices contextuais criados
pela OCDE com base nas respostas aos questionrios dos estudantes.
Questionrios
Os alunos participantes do PISA 2015 responderam a um questionrio contextual, com durao de 35 minutos, que
buscava informaes sobre o histrico familiar, suas oportunidades e seus ambientes de aprendizagem. J diretores
(ou outra pessoa designada por eles) responderam, em 45 minutos, a um conjunto de questes online relacionadas a
informaes descritivas sobre a escola e prticas institucionais. Alm destes, quatro diferentes tipos de questionrios
foram disponibilizados como opo aos pases do PISA 2015: questionrio sobre familiaridade com tecnologias da
informao para os estudantes, questionrio sobre a carreira educacional dos estudantes, questionrio para os pais
e questionrio para os professores.
O foco das anlises deste captulo est nas respostas aos questionrios contextuais dos alunos.
ndices
O PISA utiliza diversos ndices derivados dos questionrios dos estudantes para melhor contextualizao dos resultados
cognitivos da avaliao. Esses ndices resumem as respostas dos alunos a uma srie de questes relacionadas entre si,
as quais foram selecionadas de um grande banco criado com base em consideraes tericas e pesquisas anteriores
(OCDE, 2016). O relatrio PISA 2015 Assessment and Analytical Framework (OCDE, 2016) fornece uma descrio
detalhada do quadro conceitual dos construtos cobertos nos questionrios do PISA 2015.
Existem dois tipos de ndices no PISA: os simples e os de escala. ndices simples so variveis construdas por meio da
transformao aritmtica ou da recodificao de um ou mais itens. Aqui, as respostas aos itens so usadas para calcular
medidas como tamanho da escola (SCHSIZE) ou relao professor-aluno (STRATIO), ambas extradas de informaes
do questionrio da escola. ndices de escala, por sua vez, so variveis construdas por meio do dimensionamento de
vrios itens. Em geral, esses ndices foram desenvolvidos com base na Teoria de Resposta ao Item (TRI) e representam
construtos contnuos comparveis ao longo das edies do PISA. Para detalhes sobre a construo de cada ndice,
ver o Relatrio Tcnico do PISA 2015 (OCDE, em desenvolvimento).
Vale tambm ressaltar que os ndices de escala baseiam-se em uma mtrica de mdia 0 e desvio-padro 1 para os pases
da OCDE. Um valor negativo em um ndice no implica que os estudantes responderam negativamente s questes
relacionadas ao construto, mas apenas que eles responderam de modo menos positivo do que os outros, em mdia,
nos pases da OCDE. Da mesma forma, um valor positivo em um ndice indica que os entrevistados responderam de
maneira mais favorvel, ou mais positiva, do que os outros, em mdia, nos pases da OCDE.
Anlises estatsticas
Neste captulo, realiza-se um estudo exploratrio dos ndices do PISA 2015, cujos resultados esto relacionados ao
percentual de respondentes que concordam ou discordam das medidas para cada construto. Tambm se faz a anlise
da correlao de alguns ndices com os resultados mdios dos pases e das unidades da Federao avaliados neste
relatrio.
Utiliza-se aqui a medida de correlao de Pearson. Ela varia entre -1 e 1 e comumente usada para determinar
se existe uma relao (linear) entre duas variveis (Taylor, 1990). Um coeficiente de correlao igual a zero indica
que no h associao entre as variveis em anlise; uma correlao positiva, que o aumento da primeira varivel
corresponde a um aumento da segunda; e uma relao negativa, que, enquanto uma varivel cresce, a outra tende a
decrescer. Quanto mais prximo est o valor desse coeficiente de 1, maior a relao linear entre as duas variveis.
6
sabido, no entanto, que, ao estudar as relaes entre os construtos medidos nos questionrios contextuais e o de-
sempenho cognitivo no PISA, pode-se encontrar o paradoxo da atitude-aptido (Bybee e McCrae, 2011; Lu e Bolt,
2015, apud OCDE, 2016). Especificamente, verifica-se que, em geral, os desempenhos mdios dos pases no PISA
em determinada rea do conhecimento se correlacionam com os ndices mdios associados s atitudes em relao
a essa rea, mas na direo oposta ao que esperado. Ou seja, estudantes de pases com melhor desempenho nos
testes cognitivos parecem, em mdia, ter mais sentimentos/atitutes negativos sobre a rea estudada do que os de
outros pases avaliados. Esse paradoxo ilustra a dificuldade de comparar escalas autorreportadas em diferentes pases
e contextos culturais (OCDE, 2016).
Sendo assim, o foco deste estudo est na magnitude da associao das variveis e no exatamente na direo (positiva
ou negativa). Para facilitar a interpretao dos resultados, utilizou-se a referncia a seguir. Na avaliao estatstica
da significncia das associaes, calculou-se um intervalo de confiana assinttico por meio do pacote cor.test do
software R.
Correlao (valor absoluto) Interpretao

At 0,35 Fraca
De 0,36 a 0,67 Moderada
De 0,68 a 0,89 Forte
Igual ou maior que 0,90 Muito forte
Fonte: Taylor (1990).
Os pesos usados aqui foram os dos estudantes, com a metodologia de replicao para estimar as varincias das esti-
mativas dos parmetros do PISA levando em conta o plano amostral (OCDE, em desenvolvimento). Diferentemente da
anlise dos resultados cognitivos, no h o tratamento da no resposta aos questionrios contextuais do PISA. Com o
intuito de fornecer mais elementos que possam impactar a anlise, taxas de resposta aos questionrios foram tambm
estimadas e includas nos grficos de correlao. Essas taxas representam o percentual de estudantes ponderados
que tiveram respostas vlidas na anlise. Baixa taxa de resposta indica que se deve ter maior cuidado para realizar
inferncias corretas para determinado pas/unidade da Federao.
6.2 Interesse e motivao dos estudantes

A motivao pode ser considerada uma fora motriz por trs do interesse, do engajamento e da aprendizagem em todas
as reas do conhecimento. Para nutrir o envolvimento dos estudantes com cincias, os sistemas escolares precisam
garantir que eles tenham no s o conhecimento bsico para se envolver com questes cientficas complexas, mas tam-
bm o interesse e a motivao que os levem a querer faz-lo (OCDE, 2016b). Nesta seo, discutem-se quatro ndices
associados motivao dos estudantes: satisfao com cincias (JOYSCIE), interesse em aprender cincias (INTBRSCI),
motivao instrumental para aprender cincias (INSTSCIE) e motivao para o sucesso (MOTIVAT).
Satisfao com cincias

O PISA distingue duas formas de motivao para aprender cincias: os estudantes podem aprender cincias porque
gostam (motivao intrnseca) e/ou porque percebem que a aprendizagem em cincias pode ser til para seus planos
futuros (motivao instrumental) (OCDE, 2016).
A motivao intrseca no PISA 2015 foi medida como o grau de satisfao dos estudantes com cincias e de seu interesse
em aprender cincias. Sobre a satisfao, cinco questes foram apresentadas aos alunos, e eles avaliaram seu nvel de
concordncia em uma escala de Likert de quatro pontos: Concordo plenamente, Concordo, Discordo e Discordo
plenamente. A Figura 6.2 mostra o percentual de concordncia dos estudantes dos 13 pases e unidades da Federao
aqui considerados. A linha horizontal indica que, em mdia, 50% deles concordaram com tais afirmaes.
6
Figura 6.2
Percentual de estudantes que responderam Concordo ou Concordo plenamente
s questes sobre a satisfao em cincias por pas e unidade da Federao PISA 2015
Eu fico feliz ao trabalhar com tpicos de cincias em geral.

Eu gosto de adquirir novos conhecimentos de cincias em geral.
Eu gosto de ler sobre cincias em geral.
Eu tenho interesse em aprender cincias em geral.
Geralmente eu me divirto quando estou aprendendo tpicos de cincias em geral.
100
80
60
40
20
Fonte: OCDE, INEP.
Mais de 50% dos brasileiros que responderam a essas questes do questionrio contextual reportaram que gostam de
ler, tm interesse ou se divertem quando esto aprendendo tpicos de cincias em geral.
A correlao entre esse construto e os resultados mdios em cincias apresentada na Figura 6.3. Os resultados do
PISA 2015 indicam que, apesar do alto desempenho em cincias, alunos de pases como Finlndia e Coreia do Sul no
necessariamente apresentam maior satisfao em cincias do que os de outros pases considerados aqui, caso tpico do
paradoxo de atitude-aptido (Lu e Bolt, 2015).
De outro lado, quando se avalia a associao entre o ndice de satisfao e o desempenho em cincias para os estu-
dantes do PISA 2015 aspirantes a profisses na rea de cincias, observa-se uma correlao positiva (OCDE, 2016). A
interao entre aptido e atitudes tem implicaes importantes para qualquer esforo para aumentar o quantitativo de
jovens que querem prosseguir o estudo de cincias depois da escolaridade obrigatria. provavelmente difcil trabalhar
em um emprego relacionado com cincias sem ser bom nessa rea, e os alunos avaliados no PISA 2015 parecem estar
cientes disso (OCDE, 2016). No entanto, ser capaz em cincias no significa necessariamente gostar de cincias e das
atividades a elas relacionadas ou seguir uma carreira cientfica. Portanto, alm da capacidade cognitiva, as crenas na
prpria competncia, seus interesses, e o valor que se atribui aos assuntos relevantes desempenham papel fundamental
na deciso dos jovens sobre uma carreira (Wang e Degol, 2016, apud OCDE, 2016b).
6
Figura 6.3
Correlao entre o ndice de satisfao em cincias e o desempenho mdio em cincias
por pas (A) e unidade da Federao (B) PISA 2015
(A) Correlao: -0,55 (B) Correlao: -0,38

Cincias Cincias
550 450
FIN(95%) CAN(94%) 440

KOR(99%) ES(55%)
500 PRT(97%) 430
ESP(96%) USA(96%) DF(49%) PR(70%)
MG(73%)
420
SC(52%)
RS(63%)
450 CHL(89%) 410 GO(59%)
URY(80%) SP(66%)
MS(79%) CE(78%)
CRI(90%) 400 AM(45%)
MEX(90%) MT(53%) AC(72%) RR(36%)
COL(93%) RJ(63%)
400 BRA(63%) PER(84%) 390
RO(67%) PE(56%) PA(73%)
PB(59%)
380 AP(21%)
RN(68%) PI(41%)
TO(48%) SE(27%)
350 370 MA(39%)
BA(63%)
DOM(79%)
360 AL(56%)
300 350
-0,2 -0,1 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0 0,1 0,2 0,3 0,4 0,5 0,6
ndice JOYSCIE ndice JOYSCIE
Nota:
1. O percentual em parnteses corresponde taxa de resposta ponderada dos casos vlidos na anlise.
Fonte: OCDE, INEP.
Interesse em aprender cincias

Outro componente relacionado motivao intrseca avaliado no PISA foi o interesse dos estudantes no aprendizado de
cincias. Quatro questes foram apresentadas aos alunos para avaliao de seu nvel de concordncia em uma escala
de cinco pontos: Eu me interesso muito, Eu me interesso, Eu pouco me interesso, Eu no me interesso e Eu no
sei o que isso. O que distingue esse construto do anterior que aqui o interesse sempre se dirige para determinado
objeto, seja em uma disciplina na escola, como a biologia, seja em um tpico mais especfico, como infeces bacte-
rianas. A Figura 6.4 ilustra o grau de interesse dos estudantes dos pases e unidades da Federao aqui considerados.
Figura 6.4
Percentual de estudantes que responderam Eu me interesso ou Eu me interesso muito
s questes sobre o interesse em aprender cincias por pas e unidade da Federao PISA 2015
Biosfera (ex.: servios ecossistmicos, sustentabilidade)

Como a cincia pode nos auxiliar a prevenir doenas
Energia e suas transformaes (ex.: conservao, reaes qumicas)
Movimento e foras (ex.: velocidade, frico, foras magnticas e gravitacionais)
O Universo e sua histria
100
80
60
40
20
Fonte: OCDE, INEP.
6
Em geral, os temas de maior interesse de todos os estudantes foram Como a cincia pode nos auxiliar a prevenir doen-
as e O Universo e sua histria. Aproximadamente 70% dos brasileiros com respostas vlidas nos questionrios do
PISA 2015 responderam que se interessam por esses tpicos de cincias.
A Figura 6.5 apresenta o estudo de correlao entre o ndice de interesse em cincias e os resultados mdios por pas e
unidade da Federao. Vale salientar que as atuais teorias do desenvolvimento de interesses na infncia enfatizam que
ele no acontece isoladamente (OCDE, 2016b). Enquanto um primeiro contato com o objeto desencadeia um interesse
transitrio inicial, a disposio para que o interesse seja mais estvel deve ser ainda sustentada (Krapp, 2002; Hidi e
Renninger, 2006, apud OCDE, 2016b). Assim, a adoo de estratgias motivadoras no ensino escolar de cincias pode
contribuir para estabilizar e sustentar o interesse dos estudantes. Alm disso, possvel que a correlao fraca e no sig-
nificativa entre os resultados mdios das unidades da Federao brasileiras esteja relacionada ideia de que o interesse
em cincias dos jovens de 15 anos ainda est em desenvolvimento, contribuindo pouco para que haja um impacto posi-
tivo no rendimento escolar nessa disciplina. Contudo, novos estudos devem ser realizados para comprovar tal hiptese.
Figura 6.5
Correlao entre o ndice de interesse em cincias e o desempenho mdio em cincias
Cincias Cincias
550 450
CAN(93%) 440
ES(53%)
500 USA(94%) PRT(95%) 430 DF(45%)
PR(68%)
ESP(96%) MG(70%)
420
SC(49%)
RS(60%) SP(64%)
450 CHL(88%) 410 GO(53%)
MS(76%) CE(75%) AM(43%)
CRI(78%) COL(91%) 400 RR(34%)
MEX(88%) MT(51%) AC(68%)
400 BRA(60%) PER(82%) 390
RJ(60%) RO(65%) PA(71%)
PE(53%)
380 PB(56%) PI(37%) AP(19%)
RN(67%) SE(25%)
TO(46%)
350 370 MA(36%)
DOM(76%) BA(60%)
360 AL(52%)
300 350
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7
ndice INTBRSCI ndice INTBRSCI
Nota:
Fonte: OCDE, INEP.
Motivao instrumental para aprender cincias

A motivao instrumental capturada nos questionrios do PISA est associada percepo dos estudantes sobre quanto
a aprendizagem de cincias pode ser til em seus planos futuros. Quatro questes foram apresentadas aos alunos, e eles
avaliaram seu nvel de concordncia em uma escala de Likert de quatro pontos: Concordo plenamente, Concordo,
Discordo e Discordo plenamente. A Figura 6.6 mostra o percentual de concordncia dos estudantes dos pases e
unidades da Federao aqui considerados.
6
Figura 6.6
s questes sobre a motivao instrumental por pas e unidade da Federao PISA 2015
Considero importante esforar-me em cincias, porque isso me ajudar no trabalho que quero executar no futuro.
Muitas coisas que eu aprendo nas minhas aulas de cincias me ajudaro a conseguir um emprego.
O que eu aprendo em cincias importante para mim porque preciso disso para o que pretendo fazer no futuro.
Vale a pena estudar cincias, porque o que aprendo melhorar minhas perspectivas profissionais.
100
80
60
40
20
Fonte: OCDE, INEP.
Em geral, o grau de concordncia entre as questes que avaliam a motivao instrumental foi alto. Os estudantes bra-
sileiros com respostas vlidas a esses quesitos apresentaram, em mdia, maior percentual de concordncia em Vale a
pena estudar cincias, porque o que aprendo melhorar minhas perspectivas profissionais (85,3%) e menor em Muitas
coisas que eu aprendo nas minhas aulas de cincias me ajudaro a conseguir um emprego (75,7%). A correlao do
ndice de motivao instrumental com o desempenho mdio em cincias (Figura 6.7) indica que a alta motivao ins-
trumental no se traduz automaticamente na capacidade de aplicar com sucesso o conhecimento cientfico em testes
de cincias como o do PISA.
Figura 6.7
Correlao entre o ndice de motivao instrumental e o desempenho em cincias
Cincias Cincias
550 450
FIN(93%) CAN(93%) 440

KOR(99%) ES(51%)
500 PRT(95%) 430
ESP(80%) USA(94%) DF(45%)
PR(67%)
MG(71%)
420
SC(47%)
RS(60%)
450 CHL(88%) 410 SP(63%) GO(52%)
URY(76%) MS(76%) AM(42%)
CRI(79%) 400 CE(75%)
MEX(88%) AC(69%)
MT(49%) RR(32%)
COL(92%)
400 390 RJ(61%)
PER(82%) RO(67%)
BRA(60%) PA(73%)
PE(53%)
380 AP(18%) PB(57%) PI(37%)
RN(66%)
SE(24%)
TO(46%)
350 370 MA(36%)
BA(60%)
DOM(76%)
360 AL(54%)
300 350
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,2 0,25 0,3 0,35 0,4 0,45 0,5 0,55 0,6 0,65 0,7
ndice INSTSCIE ndice INSTSCIE
Nota:
Fonte: OCDE, INEP.
6
Motivao para o sucesso

Outro ndice sobre a motivao dos estudantes apresentado no PISA 2015 est relacionado atitude diante do sucesso
pessoal e escolar. Cinco questes foram apresentadas aos alunos, e eles avaliaram seu nvel de concordncia em uma
escala de Likert de quatro pontos: Concordo plenamente, Concordo, Discordo e Discordo plenamente. A Figura
6.8 mostra o percentual de concordncia dos estudantes dos pases e unidades da Federao aqui considerados.
Figura 6.8
s questes sobre a motivao para o sucesso por pas e unidade da Federao PISA 2015
Eu me vejo como uma pessoa ambiciosa.

Eu quero notas altas na maioria ou em todas as minhas matrias.
Eu quero poder escolher entre as melhores oportunidades disponveis quando me formar.
Eu quero ser o melhor, independentemente do que eu faa.
Eu quero ser um dos melhores alunos da sala.
100
80
60
40
20
Fonte: OCDE, INEP.
O percentual de estudantes do Brasil que concordaram com a afirmao Eu me vejo como uma pessoa ambiciosa
(40,1%) foi baixo em comparao com os dos outros pases, resultado que possivelmente esteja associado ao fato de a
palavra ambio ter conotao negativa no vocabulrio dos brasileiros. A segunda categoria com menor nmero de
concordncia entre eles foi Eu quero ser um dos melhores alunos da sala, com 63,9% das respostas vlidas.
Enquanto a correlao entre o ndice criado com base nessas categorias e o desempenho mdio em cincias foi fraca
para os pases aqui estudados (Figura 6.9), observa-se uma associao positiva e significativa (intervalo de confiana de
0,10 a 0,71) para as unidades da Federao. Essa relao indica que, em geral, estudantes dos estados brasileiros com
desempenho mais alto em cincias no PISA 2015 tendem a demonstrar maior motivao ao sucesso pessoal e escolar
do que os com desempenho mais baixo.
6
Figura 6.9
Correlao entre o ndice de motivao para o sucesso e o desempenho mdio em cincias
(A) Correlao: -0,24 (B) Correlao: 0,46
Cincias Cincias
550 450
FIN(98%) CAN(97%) 440
KOR(99%)
ES(95%)
USA(97%)
500 PRT(98%) 430
ESP(99%) DF(89%)
PR(93%)
MG(92%)
420
SC(86%)
RS(89%)
450 CHL(98%) 410 SP(87%) GO(89%)
URY(94%)
MS(96%) RR(82%)
CRI(87%) 400 CE(96%) AM(91%) AC(94%)
MEX(99%) COL(97%) MT(92%)
400 BRA(88%) RJ(86%)
PER(97%) 390
RO(89%) PA(92%)
PE(89%)
380 PB(81%) PI(82%) AP(49%)
RN(92%)
SE(68%)
350 TO(86%)
370 MA(79%)
BA(86%)
DOM(92%)
360 AL(82%)
300 350
-0,85 -0,65 -0,45 -0,25 -0,05 0,15 0,35 0,55 0,75 -0,05 0 0,05 0,1 0,15 0,2 0,25 0,3
ndice MOTIVAT ndice MOTIVAT
Nota:
Fonte: OCDE, INEP.
6.3 Atitudes quanto ao aprendizado

No PISA 2015, 38,8% dos estudantes brasileiros reportaram o desejo de seguir uma carreira em reas relacionadas s
cincias, tais como engenharia, sade ou tecnologia. Esse percentual mais elevado que a mdia dos pases da OCDE,
24%. As expectativas dos jovens sobre seu futuro refletem no apenas, em parte, seu sucesso acadmico, mas tambm
as oportunidades e o apoio a sua disposio, no contexto em que eles vivem, para transformar sua aspirao em reali-
dade (OCDE, 2016). Esta seo apresenta alguns ndices sobre as atitudes dos estudantes quanto a seu aprendizado e
correlao com os resultados mdios no PISA 2015.
Atividades em cincias
No PISA 2015, criou-se um ndice associado ao quantitativo de atividades em cincias s quais os estudantes esto
expostos no cotidiano. Foram apresentadas a eles nove questes, uma delas sobre a frequncia com que leem revistas
cientficas ou artigos sobre cincias em jornais, por exemplo. O percentual dos que responderam Regularmente ou
Com muita frequncia a cada uma das questes avaliadas est ilustrado na Figura 6.10.
6
Figura 6.10
Percentual de estudantes que responderam Regularmente ou Com muita frequncia
s questes sobre atividades em cincias por pas e unidade da Federao PISA 2015
Assistir a programas cientficos na televiso.

Ler revistas cientficas ou artigos sobre cincias em jornais.
Participar de clubes de cincias.
Pegar emprestados ou comprar livros sobre descobertas cientficas.
Seguir as notcias de cincias, meio ambiente ou organizaes ecolgicas via blogs ou microblogs.
Simular fenmenos naturais em programas de computador ou laboratrios virtuais.
Simular processos tcnicos em programas de computador ou laboratrios virtuais.
Surfar nas pginas da internet que tratam de assuntos cientficos.
Visitar websites de organizaes ecolgicas.
100
80
60
40
20
Fonte: OCDE, INEP.
Em geral, 40,5% dos estudantes brasileiros que responderam ao questionrio do PISA 2015 indicaram que assistem a
programas cientficos na televiso com muita frequncia ou regularmente. A segunda opo mais escolhida por eles foi
Surfar nas pginas da internet que tratam de assuntos cientficos (34,8%), e a menos escolhida, Participar de clubes
de cincias (19,0%). Jovens de pases como a Coreia do Sul, de outro lado, demonstraram baixa participao em tais
atividades, com menos de 15% para cada uma das categorias listadas.
As respostas dos alunos sobre sua participao nas nove atividades foram tambm agregadas em um ndice de ativi-
dades em cincias. Os valores mais elevados assinalam que os estudantes participam de determinada atividade com
mais frequncia. A Figura 6.11 ilustra a correlao entre esse ndice e o desempenho mdio dos pases e unidades da
Federao aqui considerados.
6
Figura 6.11
Correlao entre o ndice de atividades em cincias e o desempenho mdio em cincias
Cincias Cincias
550 450
FIN(93%) CAN(93%) 440
KOR(99%)
ES(45%)
USA(94%)
500 PRT(97%) 430
ESP(93%) DF(43%)
PR(66%)
MG(68%)
420
SC(44%)
450 RS(56%)
CHL(86%) 410 SP(62%) GO(49%)
URY(77%)
MEX(86%) MS(72%)
400 CE(70%) AM(36%)
RR(28%) AC(66%)
COL(91%) MT(47%)
CRI(78%)
400 390 RJ(59%)
PER(79%)
BRA(57%) RO(64%) PA(69%)
PE(51%)
380 PI(32%) PB(52%) AP(17%)
RN(65%)
SE(21%)
350 TO(46%)
370 MA(34%)
DOM(74%) BA(58%)
360 AL(52%)
300 350
-0,55 -0,35 -0,15 0,05 0,25 0,45 0,65 0,85 1,05 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9
ndice SCIEACT ndice SCIEACT
Nota:
Fonte: OCDE, INEP.
Santa Catarina foi o estado com menor ndice de atividades em cincias (0,29), e Amap e Amazonas, com os maiores
(0,81). Apesar da correlao moderada para as unidades da Federao (-0,58) e muito forte para os pases avaliados
(-0,91), esse um exemplo clssico do paradoxo de atitude-aptido. Estudantes de pases e estados brasileiros com
desempenho mais baixo em cincias tendem, em mdia, a reportar a participao em mais atividades fora do ambiente
escolar do que os com desempenho mais alto. Contudo, mais estudos precisam ser conduzidos para avaliar a qualidade
dessas atividades e seu real impacto no desempenho, especialmente no caso do Brasil, em que apenas 57% dos alunos
tiveram respostas vlidas para a criao do ndice.
Tempo dedicado ao aprendizado

Foram criados, para os respondentes dos questionrios dos estudantes do PISA 2015, ndices do tempo mdio por semana
dedicado ao estudo de cincias (SMINS), leitura (LMINS) e matemtica (MMINS). A Figura 6.12 apresenta a correlao
entre esses ndices e os resultados mdios nas respectivas reas.
6
Figura 6.12
Correlao entre o ndice do tempo dedicado, em mdia, por semana ao estudo de cincias, leitura e
matemtica e o desempenho mdio em cincias por pas (A1-A3) e unidade da Federao (B1-B3) PISA 2015
(A1) Correlao: 0,01 (B1) Correlao: 0,51
Cincias Cincias
550 450
FIN(94%) CAN(93%) 440

KOR(98%) ES(78%)
500 PRT(96%) 430
ESP(96%) USA(94%)
PR(82%) DF(68%)
MG(83%)
420
SC(69%)
450 CHL(89%) 410 SP(75%) RS(76%)

GO(74%)
URY(86%) MS(84%) AM(71%)
CRI(84%) 400 CE(87%)
RR(62%) AC(83%)
MEX(95%) MT(72%)
COL(90%) RJ(72%)
400 BRA(75%) PER(92%) 390 RO(75%)
PA(79%) PE(71%)
380 AP(33%) PI(64%) PB(70%)
RN(82%)
SE(52%)
TO(68%)
350 370 MA(53%)
BA(73%)
DOM(78%)
360 AL(63%)
300 350
160 210 260 310 360 110 130 150 170 190 210
ndice SMINS ndice SMINS
(A2) Correlao: 0,03 (B2) Correlao: -0,08

Leitura Leitura
550 450
FIN(95%) CAN(93%) 440 ES(80%)

KOR(98%)
PRT(97%) PR(83%)
500 430 MG(84%)
USA(94%) DF(70%)
ESP(97%)
420 SC(72%) GO(76%)
CHL(89%) SP(77%)
450 410 MS(86%) RS(77%) CE(88%)

URY(88%) AM(72%)
COL(91%) RR(63%) AC(85%)
MEX(95%) 400 MT(75%) RJ(73%)
CRI(84%) PA(80%)
BRA(76%) RO(77%) PE(73%)
400 PER(92%) 390
PB(71%)
RN(82%) AP(34%)
380 PI(65%) MA(53%)
SE(53%) TO(69%)
DOM(79%) BA(75%)
350 370
360 AL(65%)
300 350
140 190 240 290 340 390 440 150 170 190 210 230 250 270
ndice LMINS ndice LMINS
(A3) Correlao: -0,06 (B3) Correlao: -0,06

Matemtica Matemtica
550
420
KOR(98%)
CAN(93%) PR(83%)
FIN(95%) ES(80%)
500 400 SC(72%) MG(84%)
PRT(97%) DF(70%)
ESP(97%)
RS(78%) CE(88%) SP(77%)
USA(94%)
380 AM(72%) GO(76%)
MS(86%) AC(85%)
450 RR(64%)
MT(75%)
RJ(74%)
CHL(89%) RO(77%) PA(80%)
URY(88%) 360 SE(53%) PB(71%) PE(73%)
MEX(95%) AP(34%) PI(65%)
400 CRI(84%) RN(83%) TO(69%)
COL(91%) PER(92%) BA(75%) MA(53%)
BRA(76%) 340 AL(66%)
350
320
DOM(78%)
300 300
160 210 260 310 360 410 460 150 170 190 210 230 250 270
ndice MMINS ndice MMINS
Nota:
Fonte: OCDE, INEP.
6
Enquanto a maioria das correlaes apresentadas so praticamente nulas, observa-se uma associao moderada e signi-
ficativa (intervalo de confiana entre 0,16 e 0,74) entre o tempo mdio dedicado ao estudo de cincias e os resultados
mdios das unidades da Federao. Isso sublinha o importante papel da educao cientfica na escola, pois, como
indicado na anlise anterior, mais de 50% dos estudantes brasileiros que responderam ao questionrio no participam
com frequncia de oportunidades para aprender cincias fora do ambiente escolar.
Perguntou-se aos alunos quantas horas passam estudando fora da escola, com tarefas, reforo ou aulas particulares, por
exemplo. A dedicao aos estudos mais do que a requerida no calendrio escolar apresenta uma correlao moderada
e significativa com os resultados mdios em cincias dos pases e unidades da Federao (Figura 6.13). Contudo, mais
anlises precisam ser conduzidas para avaliar a qualidade de tais tarefas e seu real impacto no desempenho, especial-
mente pela baixa taxa de representao dos estudantes brasileiros nesse quesito (57%).
Figura 6.13
Correlao entre o ndice do tempo total dedicado ao estudo fora da escola e o desempenho em cincias

Cincias Cincias
550 450
FIN(90%) CAN(76%) 440

KOR(91%) ES(60%)
500 PRT(90%)
USA(79%)
430
ESP(94%) PR(61%) DF(51%)
MG(63%)
420
SC(49%)
450 CHL(79%) 410 RS(57%) SP(55%) GO(57%)

URY(65%) MS(69%)
400 CE(70%) AM(51%)
RR(48%)
MEX(91%) MT(52%) AC(64%)
CRI(75%) COL(86%)
400 BRA(57%) 390 RJ(56%)
PER(86%) RO(58%) PA(63%)
PI(51%) PE(56%)
380 AP(22%) PB(56%)
RN(62%)
SE(38%)
TO(52%)
350 370
BA(57%) MA(39%)
DOM(69%) 360 AL(53%)
300 350
11 13 15 17 19 21 23 25 27 17 18 19 20 21 22 23 24 25 26 27
ndice OUTHOURS ndice OUTHOURS
Nota:
Fonte: OCDE, INEP.
6.4 Crenas dos estudantes

Esta seo descreve quatro ndices sobre as crenas dos jovens de 15 anos participantes do PISA sobre conceitos/relaes
entre tpicos de cincias. So eles: autoeficcia em cincias (SCIEEFF), crenas epistemolgicas (EPIST), percepo das
questes ambientais (ENVAWARE) e otimismo ambiental (ENVOPT).
Autoeficcia em cincias
A autoeficcia em cincias do PISA refere-se s decises orientadas para o futuro sobre a prpria percepo dos estudan-
tes sobre a capacidade de realizar tarefas especficas em um contexto particular, em que a consecuo desses objetivos
requer habilidades cientficas, como explicao cientfica de fenmenos, avaliao e concepo de investigao cientfica
ou interpretao de dados e evidncias cientificamente (OCDE, 2016b). Esse ndice est associado a oito questes, e
os alunos indicaram qual o nvel de facilidade na realizao de tarefas conforme as seguintes opes: Eu conseguiria
realizar facilmente, Eu conseguiria realizar com um pouco de esforo, Eu teria que me esforar muito para realizar
isto sozinho(a) e Eu no conseguiria realizar. A Figura 6.14 apresenta o percentual de estudantes dos pases e unidades
da Federao aqui analisados que marcaram as duas primeiras opes.
6
Figura 6.14
Percentual de estudantes que responderam Eu conseguiria realizar facilmente ou
Eu conseguiria realizar com um pouco de esforo s questes sobre a autoeficcia em cincias
Descrever o papel dos antibiticos no tratamento das doenas.

Discutir como novas evidncias podem lev-lo(a) a mudar sua compreenso sobre a possibilidade de haver vida em Marte.
Explicar por que os terremotos ocorrem com mais frequncia em algumas reas e no em outras.
Identificar a melhor de duas explicaes para a formao da chuva cida.
Identificar a questo de cincias associada disperso de lixo.
Interpretar as informaes cientficas fornecidas nos rtulos dos alimentos.
Prever como as mudanas ocorridas em um meio ambiente afetaro determinadas espcies.
Reconhecer que questo de cincias est envolvida em uma reportagem jornalstica sobre um problema de sade.
100
80
60
40
20
Fonte: OCDE, INEP.
A tarefa que os jovens brasileiros reportaram que conseguiriam realizar sozinhos com maior facilidade ou pouco esforo,
em mdia, foi Reconhecer que questo de cincias est envolvida em uma reportagem jornalstica sobre um problema
de sade (77,1% dos respondentes), e com menor facilidade ou muito esforo, Discutir como novas evidncias podem
lev-lo(a) a mudar sua compreenso sobre a possibilidade de haver vida em Marte (57,4%).
Estudos indicam que melhor desempenho em cincias leva a nveis mais altos de autoeficcia, em consequncia do
feedback positivo recebido de professores, colegas e pais e das emoes positivas associadas a ele (OCDE, 2016). Ao
mesmo tempo, os alunos que tm baixa autoeficcia correm grande risco de ter fraco desempenho em cincias, apesar
de suas habilidades (Bandura, 1997, apud OCDE, 2016b). Se os alunos no acreditam em sua capacidade de realizar
tarefas especficas, eles podem no dedicar o esforo necessrio para completar a tarefa, e a falta de autoeficcia torna-
se uma profecia autorrealizvel (OCDE, 2016). A Figura 6.15 apresenta a correlao entre o ndice de autoeficcia e
a o desempenho mdio em cincias no PISA 2015. Observa-se uma relao positiva (contudo, no significativa) entre
os resultados mdios dos estudantes das diferentes unidades da Federao e a percepo da autoeficcia em cincias.
Como reportado pela OCDE, a associao entre o ndice de autoeficcia e o desempenho est, no caso do Brasil, positiva
e significativamente relacionada aos alunos com melhores resultados na avaliao. A parcela dos 10% de brasileiros com
melhor desempenho em cincias (percentil 90) demonstrou maior ndice de autoeficcia no PISA 2015. Mais especifi-
camente, a mudana de uma unidade nesse ndice para esses estudantes est associada diferena em sua proficincia
de 20 pontos na escala de cincias (OCDE, 2016).
6
Figura 6.15
Correlao entre o ndice de autoeficcia em cincias e o desempenho mdio em cincias

Cincias Cincias
550 450
FIN(92%) CAN(93%) 440
KOR(99%) ES(47%)
500 PRT(96%) 430
ESP(99%) USA(94%)
PR(64%) DF(41%)
MG(66%)
420
SC(44%)
450 410 RS(58%) GO(50%)

CHL(87%)
URY(75%) SP(61%)
MS(73%) AM(39%)
CRI(78%) 400 CE(72%)
RR(31%) AC(67%)
COL(91%) MEX(88%) MT(46%)
400 BRA(57%) 390 RJ(59%)
PER(81%) RO(65%) PA(70%)
PE(50%)
380 PB(54%) PI(33%) AP(18%)
RN(65%)
SE(22%)
TO(44%)
350 370 MA(35%)
BA(59%)
DOM(75%) 360 AL(51%)
300 350
-0,2 -0,1 0 0,1 0,2 0,3 0,4 0,5 0,6 -0,1 0 0,1 0,2 0,3 0,4 0,5
ndice SCIEEFF ndice SCIEEFF
Nota:
Fonte: OCDE, INEP.
Crenas epistemolgicas
No PISA, criou-se um ndice sobre crenas epistemolgicas para medir a valorizao da crtica como meio de estabelecer
a validade de ideias em cincias. Seis questes foram apresentadas aos alunos, e eles avaliaram seu nvel de concordncia
em uma escala de Likert de quatro pontos: Concordo plenamente, Concordo, Discordo e Discordo plenamente. A
Figura 6.16 mostra o percentual de concordncia dos estudantes dos pases e unidades da Federao aqui considerados.
Figura 6.16
s questes sobre crenas epistemolgicas em cincias por pas e unidade da Federao PISA 2015
A melhor forma para saber se algo verdade realizar uma experincia.

As ideias nos livros de cincias s vezes mudam.
s vezes os cientistas mudam de ideia sobre o que verdade na cincia.
Boas respostas so baseadas em provas de diferentes experimentos.
bom fazer experincias mais de uma vez para certificar as suas descobertas.
Ideias em cincias mudam s vezes.
100
80
60
40
20
Fonte: OCDE, INEP.
6
Mais de 70% dos estudantes com respostas vlidas nos questionrios contextuais do PISA 2015 dos pases e dos estados
brasileiros aqui considerados relataram que concordam com as afirmaes que compem o ndice de crenas epistemo-
lgicas do PISA. A Figura 6.17 apresenta a correlao entre esse ndice e o desempenho mdio em cincias. Observa-se
uma relao positiva e estatisticamente significativa tanto para as unidades da Federao como para os pases em anlise.
Figura 6.17
Correlao entre o ndice de crenas epistemolgicas em cincias e o desempenho mdio em cincias
(A) Correlao: 0,60 (B) Correlao: 0,38
Cincias Cincias
550 450
FIN(92%) CAN(93%) 440

KOR(99%) ES(46%)
500 PRT(96%) 430
ESP(94%) USA(94%) DF(43%) PR(66%)
MG(68%)
420
SC(45%)
RS(58%)
450 CHL(86%) 410 SP(62%) GO(50%)
URY(76%) MS(73%)
COL(91%) 400 AM(38%) CE(72%)
CRI(78%) AC(66%) RR(29%)
MT(49%)
MEX(87%) RJ(60%)
400 PER(80%) BRA(58%) 390 RO(66%)
PA(70%)
PE(52%)
380 PB(53%) AP(19%) PI(34%)
RN(65%)
SE(21%)
TO(45%)
350 370 MA(35%)
BA(59%)
DOM(75%)
360 AL(52%)
300 350
-0,2 -0,1 0 0,1 0,2 0,3 0,4 -0,3 -0,2 -0,1 0 0,1 0,2 0,3
ndice EPIST ndice EPIST
Nota:
Fonte: OCDE, INEP.
Percepo das questes ambientais

Foi construdo um ndice de percepo ambiental com base nas respostas dos estudantes aos questionrios do PISA
2015. Esse ndice est associado a sete questes, e os alunos indicaram seu nvel de familiaridade com alguns tpicos
conforme as seguintes opes: Estou familiarizado com o assunto e seria capaz de explicar perfeitamente, Sei alguma
coisa sobre isso e poderia explicar em termos gerais, J ouvi algo sobre isso, mas no seria capaz de explicar o que
realmente significa e Nunca ouvi nada a respeito disso. A Figura 6.18 apresenta o percentual de estudantes dos pases
e unidades da Federao aqui analisados que marcaram as duas primeiras opes.
6
Figura 6.18
Percentual de estudantes que responderam Estou familiarizado com o assunto e seria capaz de explicar
perfeitamente ou Sei alguma coisa sobre isso e poderia explicar em termos gerais s questes sobre a
percepo dos temas ambientais em cincias por pas e unidade da Federao PISA 2015
Reduo da camada de oznio na atmosfera Lixo radioativo

Devastao de florestas para outros usos da terra Uso de organismos geneticamente modificados (OGMs)
Escassez de gua Poluio do ar
Extino de plantas e animais
100
80
60
40
20
Fonte: OCDE, INEP.
Entre os tpicos avaliados, os estudantes dos pases considerados, em geral, tm maior dificuldade de explicar o tema
Uso de organismos geneticamente modificados (OGMs), mesmo que superficialmente. Poluio do ar, de outro
lado, foi a questo mais indicada por eles.
Observa-se uma correlao positiva e moderada entre o ndice de percepo ambiental e o desempenho mdio em
cincias no PISA 2015 (Figura 6.19). Essa associao foi estatisticamente no significativa para os pases aqui avaliados
e significativa para as unidades da Federao.
Figura 6.19
Correlao entre o ndice de percepo ambiental e o desempenho mdio em cincias

Cincias Cincias
550 450
FIN(94%) CAN(94%) 440
KOR(99%)
ES(59%)
500 USA(95%) PRT(97%) 430
ESP(99%) PR(72%) DF(50%)
MG(74%)
420
SC(54%)
450 CHL(90%) 410 SP(67%) RS(63%) GO(59%)

URY(79%) MS(79%)
CRI(81%) 400 CE(79%)
AC(75%) RR(38%) AM(47%)
COL(94%) MEX(91%) MT(55%)
400 BRA(64%) 390 RJ(63%)
PER(85%)
RO(69%) PA(74%)
AP(21%) PE(57%)
380 PB(60%) PI(43%)
RN(70%)
SE(29%)
350 TO(52%)
370 MA(41%)
BA(64%)
DOM(80%)
360 AL(57%)
300 350
-0,8 -0,6 -0,4 -0,2 0 0,2 0,4 0,6 0,8 -0,3 -0,2 -0,1 0 0,1 0,2 0,3
ndice ENVAWARE ndice ENVAWARE
Nota:
Fonte: OCDE, INEP.
6
Otimismo ambiental
No PISA, criou-se uma medida da crena dos estudantes sobre a contribuio de suas aes ou de outros para a manu-
teno e melhoria do ambiente. O ndice de otimismo ambiental est associado a sete questes, e os alunos indicaram
se, em sua opinio, os problemas apontados melhorariam ou piorariam nos prximos 20 anos, conforme as seguintes
opes de resposta: Melhorar, Permanecer inalterados ou Piorar. A Figura 6.20 apresenta o percentual de estudantes
dos pases e unidades da Federao em anlise que responderam positivamente a esses quesitos.
Figura 6.20
Percentual de estudantes que responderam Melhorar s questes sobre otimismo ambiental
Devastao de florestas para outros usos da terra Aumento dos gases de efeito estufa na atmosfera
Escassez de gua Uso de organismos geneticamente modificados (OGMs)
Extino de plantas e animais Poluio do ar
Lixo nuclear
100
80
60
40
20
Fonte: OCDE, INEP.
O nvel de otimismo em relao aos tpicos apresentados baixo. Os estudantes da Repblica Dominicana foram os
que, em geral, apresentaram maior percentual de respostas positivas, 38,3% em mdia.
Na Figura 6.21, observa-se uma correlao forte e estatisticamente significativa entre o ndice de otimismo ambiental e
o desempenho mdio dos estudantes brasileiros. Os alunos das unidades da Federao com desempenho mais alto em
cincias no PISA 2015 tendem a ser menos otimistas que os dos estados com desempenho mais baixo.
6
Figura 6.21
Correlao entre o ndice de otimismo ambiental e o desempenho mdio em cincias
Cincias Cincias
550 450
CAN(94%) FIN(94%)
440
KOR(99%)
ES(59%)
500 PRT(97%)
USA(95%) 430
ESP(96%) PR(74%) DF(53%)
MG(77%)
420
SC(54%)
RS(65%)
450 CHL(91%) 410 SP(69%)
URY(82%) GO(60%)
MS(81%) CE(80%)
CRI(81%)
400 RR(37%) AC(75%)
MEX(91%) COL(93%) AM(47%) MT(58%)
400 BRA(65%) 390 RJ(66%)
PER(85%) PA(76%) RO(71%)
PE(59%)
380 PI(44%) PB(62%) AP(24%)
RN(72%)
SE(29%)
350 TO(52%)
370 MA(40%)
BA(64%)
DOM(80%)
360 AL(58%)
300 350
-0,4 -0,2 0 0,2 0,4 0,6 0,8 1 -0,4 -0,3 -0,2 -0,1 0 0,1 0,2 0,3 0,4
ndice ENVOPT ndice ENVOPT
Nota:
Fonte: OCDE, INEP.
6.5 Suporte e outras percepes

Esta seo apresenta seis ndices associados ao suporte e outras percepes dos jovens de 15 anos e seu impacto no
desempenho mdio dos pases e unidades da Federao estudados neste relatrio. So eles: suporte do professor nas
aulas de cincias (TEACHSUP), retorno percebido pelos estudantes (PERFEED), adaptao da instruo (ADINST), suporte
dos pais (EMOSUPS), sensao de pertencimento escola (BELONG) e ansiedade na realizao de testes (ANXTEST).
Suporte do professor nas aulas de cincias

O ndice de suporte do professor nas aulas de cincias est associado a cinco questes do questionrio dos estudantes
no PISA 2015. Os jovens indicaram a frequncia com que determinadas aes aconteciam em suas aulas de cincias,
conforme as seguintes opes de resposta: Em todas as aulas, Na maioria das aulas, Em algumas aulas ou Nunca
ou quase nunca. A Figura 6.22 apresenta o percentual de estudantes dos pases e unidades da Federao aqui avaliados
que marcaram as duas primeiras opes.
6
Figura 6.22
Percentual de estudantes que responderam Em todas as aulas ou Na maioria das aulas
s questes sobre suporte do professor nas aulas de cincias por pas e unidade da Federao PISA 2015
O professor ajuda os alunos em seus aprendizados.

O professor continua a ensinar at que os alunos entendam.
O professor d aos alunos oportunidades para expressarem suas opinies.
O professor d uma ajuda extra quando os alunos precisam.
O professor mostra interesse pelo aprendizado de todos os alunos.
100
80
60
40
20
Fonte: OCDE, INEP.
Em mdia, mais de 80% dos estudantes dos pases e unidades da Federao com respostas vlidas nos questionrios
do PISA 2015 declararam que os professores ajudam ou do o apoio necessrio para o aprendizado na maioria ou em
todas as aulas de cincias.
Apesar de a correlao entre o ndice de suporte do professor e o desempenho mdio dos estudantes em cincias ter sido
moderada (Figura 6.23), ela no foi estatisticamente significativa para as unidades da Federao brasileiras.
Figura 6.23
Correlao entre o ndice de suporte do professor nas aulas de cincias e o desempenho mdio em cincias

Cincias Cincias
550 450
FIN(95%)
CAN(89%) 440
KOR(92%) ES(63%)
500 PRT(70%) 430
ESP(82%) USA(90%) DF(54%) PR(71%)
MG(76%)
420
SC(56%)
RS(66%)
450 CHL(85%) 410 SP(70%) GO(65%)
URY(77%) MS(77%)
CRI(89%) 400 AM(52%) RR(43%) CE(80%)
COL(92%) MEX(89%) AC(74%) MT(60%)
400 BRA(65%) 390 RJ(64%)
PER(84%) PA(70%) RO(65%)
PE(62%)
380 PB(60%) AP(24%) PI(47%)
SE(32%) RN(69%)
TO(50%)
350 370 MA(40%)
BA(63%)
DOM(80%)
360 AL(56%)
300 350
-0,25 -0,15 -0,05 0,05 0,15 0,25 0,35 0,45 0,55 0,65 0,75 0,15 0,25 0,35 0,45 0,55 0,65 0,75
ndice TEACHSUP ndice TEACHSUP
Nota:
Fonte: OCDE, INEP.
6
Retorno percebido nas aulas de cincias

No PISA 2015, perguntou-se aos estudantes sobre o feedback dado pelos professores e seus conselhos sobre como
alcanar os objetivos de aprendizagem nas aulas de cincias. Cinco questes do questionrio serviram de base para
a construo do ndice de retorno percebido pelos alunos. Eles indicaram, para cada questo, a frequncia com que
determinadas aes aconteciam nas aulas de cincias, conforme as seguintes opes de resposta: Em todas as aulas ou
em quase todas, Na maioria das aulas, Em algumas aulas ou Nunca ou quase nunca. A Figura 6.24 apresenta o
percentual de estudantes dos pases e unidades da Federao que marcaram as duas primeiras opes.
Figura 6.24
Percentual de estudantes que responderam Em todas as aulas ou em quase todas
ou Na maioria das aulas s questes sobre o retorno percebido nas aulas de cincias por pas
e unidade da Federao PISA 2015
O professor me aconselha sobre como alcanar meus objetivos de aprendizagem.

O professor me d um feedback do meu desempenho nessa matria de cincias.
O professor me diz como estou me saindo nesta matria.
O professor me diz de que forma posso melhorar meu desempenho.
O professor me diz em quais reas eu ainda posso melhorar.
100
80
60
40
20
Fonte: OCDE, INEP.
Para responder s questes, os alunos tinham a liberdade de escolher uma matria de cincias, como biologia ou fsica,
para avaliar o feedback dos professores nas aulas de cincias. Talvez por apresentarem maior apreciao pela matria
escolhida e, possivelmente, melhor desempenho nesssa rea, em geral, observa-se baixo percentual de estudantes que
indicaram receber um retorno constante em relao a essa matria. A opo O professor me aconselha sobre como
alcanar meus objetivos de aprendizagem, de outro lado, foi a que, em geral, teve maior percentual de marcaes
vlidas pelos jovens aqui analisados, 41,8%, em mdia.
A Figura 6.25 ilustra a correlao entre o ndice de percepo do retorno nas aulas de cincias e o desempenho mdio
em cincias. Enquanto a associao para os pases considerados sugere mais um caso do paradoxo atitute-aptido, a
relao para as unidades da Federao no foi estatisticamente significativa (intervalo de confiana: -0,61 e 0,10).
6
Figura 6.25
Correlao entre o ndice de percepo do retorno nas aulas de cincias e desempenho mdio em cincias
Cincias Cincias
550 450
FIN(92%) CAN(88%) 440

KOR(92%) ES(58%)
500 PRT(70%)
USA(89%) 430
ESP(81%) DF(48%) PR(68%)
MG(72%)
420
SC(53%)
450 410 RS(63%)

CHL(84%) GO(60%)
SP(67%)
URY(73%) MS(75%)
COL(91%) 400 CE(78%)
CRI(78%) AC(71%) RR(40%) AM(48%)
MEX(87%) MT(56%)
400 BRA(62%) 390 RJ(61%)
PER(83%) RO(62%) PA(67%)
PE(59%)
380 PI(42%) PB(57%) AP(20%)
RN(66%)
SE(28%)
TO(48%)
350 370 MA(37%)
DOM(79%) BA(60%)
360 AL(52%)
300 350
-0,4 -0,2 0 0,2 0,4 0,6 0,8 -0,1 -0,05 0 0,05 0,1 0,15 0,2 0,25 0,3 0,35 0,4
ndice PERFEED ndice PERFEED
Nota:
Fonte: OCDE, INEP.
Adaptao da instruo nas aulas de cincias

No PISA, construiu-se um ndice com base na percepo dos estudantes sobre a adaptao da maneira de instruo
para seu aprendizado em cincias. Trs questes do questionrio fundamentaram essa construo. Para cada uma delas,
os alunos indicaram a frequncia com que determinadas aes aconteciam em suas aulas de cincias, conforme as
seguintes opes de resposta: Em todas as aulas ou em quase todas, Na maioria das aulas, Em algumas aulas ou
Nunca ou quase nunca. A Figura 6.26 apresenta o percentual de estudantes dos pases e unidades da Federao que
marcaram as duas primeiras opes.
Figura 6.26
Percentual de estudantes que responderam Em todas as aulas ou em quase todas ou
Na maioria das aulas s questes sobre adaptao da instruo nas aulas de cincias
O professor adapta a aula de acordo com a necessidade e o conhecimento da minha turma.

O professor muda a estrutura da aula em um tpico em que a maioria dos alunos encontra dificuldade de entender.
O professor d ajuda individual quando um aluno tem dificuldades para entender um tpico ou tarefa.
100
80
60
40
20
Fonte: OCDE, INEP.
6
Pouca variao foi observada entre os percentuais de percepo dos estudantes brasileiros com respostas vlidas nos
questionrios contextuais sobre as adaptaes instrucionais: 48,2% indicaram que o professor muda, na maioria das
aulas de cincias, a estrutura da aula em um tpico em que a maioria da turma encontra dificuldades; 44,2%, que o
professor adapta a aula de acordo com a necessidade e conhecimento da turma; e 41,6%, que o professor fornece ajuda
individual na maioria ou em quase todas as aulas de cincias.
Apesar de a correlao entre o ndice de adaptao da instruo e o desempenho mdio em cincias dos pases e unidades
da Federao considerados ser positiva (Figura 6.27), ela no foi estatisticamente significativa. Isso pode significar que
outros elementos devem ser observados, alm da percepo dos estudantes, para avaliar o real impacto das adaptaes
na maneira de instruir no desempenho escolar desses jovens.
Figura 6.27
Correlao entre o ndice de adaptao da instruo e o desempenho mdio em cincias

Cincias Cincias
550 450
FIN(91%) CAN(87%) 440
KOR(91%)
ES(56%)
500 USA(88%)
PRT(69%) 430
ESP(81%) DF(46%) PR(67%)
MG(71%)
420
SC(50%)
450 CHL(83%) 410 SP(66%) GO(57%) RS(60%)

URY(71%)
MS(73%)
400 CE(75%)
CRI(76%) AC(69%) RR(36%) AM(44%)
COL(90%) MEX(85%) MT(53%)
400 BRA(60%) 390 RJ(58%)
PER(81%) RO(60%) PA(65%)
PE(55%)
380 PI(39%) PB(56%) AP(19%)
RN(62%)
SE(25%)
350 TO(46%)
370 MA(37%)
BA(57%)
DOM(75%)
360 AL(51%)
300 350
-0,05 0,05 0,15 0,25 0,35 0,45 0,55 0,65 -0,15 -0,1 -0,05 0 0,05 0,1 0,15 0,2 0,25 0,3 0,35
ndice ADINST ndice ADINST
Nota:
Fonte: OCDE, INEP.
Suporte dos pais

Construiu-se uma medida sobre a percepo dos estudantes quanto ao suporte recebido por seus pais com base em suas
respostas aos questionrios contextuais do PISA 2015. Quatro questes foram apresentadas aos alunos, e eles avaliaram
seu nvel de concordncia em uma escala de Likert de quatro pontos: Concordo plenamente, Concordo, Discordo
e Discordo plenamente. A Figura 6.28 mostra o percentual de concordncia dos estudantes dos pases e unidades da
Federao aqui avaliados.
6
Figura 6.28
Percentual de estudantes que responderam Concordo plenamente ou Concordo
s questes sobre suporte dos pais por pas e unidade da Federao PISA 2015
Meus pais apoiam meus esforos e realizaes educacionais.

Meus pais esto interessados nas minhas atividades escolares.
Meus pais me apoiam quando estou enfrentando dificuldades na escola.
Meus pais me encorajam a ser confiante.
100
80
60
40
20
Fonte: OCDE, INEP.
Observou-se no PISA 2015 alto percentual de concordncia dos estudantes avaliados quanto a questes como Meus
pais apoiam meus esforos e realizaes educacionais ou Meus pais me encorajam a ser confiante. Receber apoio dos
pais particularmente importante aos jovens para o sucesso escolar. Resultados do PISA 2012 evidenciaram que alunos
cujos pais conversam regularmente sobre como eles esto indo na escola relataram nveis mais elevados de perseverana
do que aqueles cujos pais no o fazem ou fazem apenas esporadicamente (OCDE, 2012).
O estudo de correlao apresentado na Figura 6.29 indica que o suporte dos pais possui um papel significativo no desem-
penho em cincias dos estudantes brasileiros. Em geral, os alunos das unidades da Federao com melhor desempenho
mdio em cincias relataram maior percepo do suporte parental que os dos estados com pior desempenho (intervalo
de confiana da correlao: 0,24 a 0,78).
6
Figura 6.29
Correlao entre o ndice de suporte dos pais e o desempenho mdio em cincias
Cincias Cincias
550 450
FIN(98%) CAN(97%)
440
KOR(99%)
ES(97%)
500 USA(98%)
PRT(99%) 430
ESP(99%)
PR(97%) DF(93%)
MG(95%)
420
SC(91%)
450 RS(91%)
CHL(99%) 410 GO(92%) SP(90%)
URY(95%) MS(97%)
AM(97%)
400 CE(97%)
COL(98%) MEX(99%) CRI(87%) RR(85%) AC(94%)
MT(94%)
400 PER(98%) BRA(92%) 390 RJ(90%)
RO(91%) PA(94%)
PE(92%)
380 AP(55%) PI(87%)
PB(84%)
RN(95%) SE(70%)
350 TO(91%)
370 MA(87%) BA(90%)
DOM(95%)
360 AL(87%)
300 350
-0,3 -0,2 -0,1 0 0,1 0,2 0,3 0,4 0,5 -0,25 -0,2 -0,15 -0,1 -0,05 0 0,05
ndice EMOSUPS ndice EMOSUPS
Nota:
Fonte: OCDE, INEP.
Sensao de pertencimento escola

Alm dos ndices associados percepo dos estudantes quanto ao suporte dos professores e dos pais, construiu-se,
no PISA, uma medida com base na percepo dos estudantes sobre a sensao de fazer parte da escola. Seis questes
foram apresentadas aos alunos, e eles avaliaram seu nvel de concordncia em uma escala de Likert de quatro pontos:
Concordo plenamente, Concordo, Discordo e Discordo plenamente. A Figura 6.30 mostra o percentual de
concordncia dos estudantes dos pases e unidades da Federao em anlise.
Figura 6.30
Percentual de estudantes que responderam Concordo plenamente ou Concordo
s questes sobre sensao de pertencimento escola por pas e unidade da Federao PISA 2015
Fao amigos com facilidade na escola. Sinto-me como um estranho (ou deixam-me fora de tudo) na escola.
Os outros alunos parecem gostar de mim. Sinto-me como um estranho e que no fao parte do grupo na escola.
Sinto que fao parte do grupo na escola. Sinto-me s na escola.
100
80
60
40
20
Fonte: OCDE, INEP.
6
Em geral, as questes com menor grau de concordncia pelos estudantes aqui avaliados foram Sinto-me como um
estranho (ou deixam-me fora de tudo) na escola (21,6%, em mdia), Sinto-me como um estranho e que no fao parte
do grupo na escola (20,3%) e Sinto-me s na escola (19,8%).
Na Figura 6.31, observa-se uma correlao positiva e estatisticamente significativa entre o ndice de pertencimento
escola e o desempenho mdio em cincias no PISA 2015 tanto para os pases como para as unidades da Federao con-
siderados. Quanto maior essa sensao, traduzida pelo ndice, maior tende ser o desempenho dos jovens em cincias.
Figura 6.31
Correlao entre o ndice de pertencimento escola e o desempenho mdio em cincias
Cincias Cincias
550 450
CAN(96%) FIN(98%)
440
KOR(99%)
ES(92%)
500 USA(97%) PRT(98%) 430 DF(85%)
ESP(99%)
PR(91%)
MG(90%)
420
SC(82%)
450 RS(86%)
CHL(98%) 410 GO(86%) SP(86%)
URY(94%)
MS(95%) CE(95%)
CRI(86%) 400 RR(76%) AM(87%)
COL(97%) MEX(98%) MT(88%) AC(93%)
400 BRA(86%) 390 RJ(84%)
RO(87%)
PER(97%) PA(89%)
AP(45%) PE(87%)
380 PB(81%) PI(80%)
RN(92%)
SE(65%)
350 TO(83%) MA(70%)
370
BA(86%)
DOM(92%)
360 AL(79%)
300 350
-0,5 -0,4 -0,3 -0,2 -0,1 0 0,1 0,2 -0,5 -0,4 -0,3 -0,2 -0,1 0 0,1
ndice BELONG ndice BELONG
Nota:
Fonte: OCDE, INEP.
Ansiedade na realizao de testes

No PISA, criou-se uma medida do grau de ansiedade na realizao de testes com base nas declaraes dos estudantes
ao questionrio contextual. Seis questes foram apresentadas aos alunos, e eles avaliaram seu nvel de concordncia em
uma escala de Likert de quatro pontos: Concordo plenamente, Concordo, Discordo e Discordo plenamente. A
Figura 6.32 mostra o percentual de concordncia dos estudantes dos pases e unidades da Federao aqui considerados.
6
Figura 6.32
Percentual de estudantes que responderam Concordo plenamente ou Concordo s questes
sobre ansiedade na realizao de testes por pas e unidade da Federao PISA 2015
Eu fico muito tenso quando estudo para uma prova.

Eu fico nervoso quando eu no sei como resolver uma tarefa na escola.
Eu frequentemente me preocupo se ser difcil para fazer uma prova.
Eu me preocupo se tirarei notas baixas na escola.
Mesmo estando bem preparado para uma prova, eu me sinto nervoso.
100
80
60
40
20
Fonte: OCDE, INEP.
Em comparao com os estudantes dos outros pases participantes do PISA 2015, os do Brasil com respostas vlidas nos
questionrios contextuais relataram maior tenso para a realizao de testes. Enquanto, em geral, 17,8% dos jovens fin-
landeses relataram ficar muito tensos quando estudam para uma prova, 56,0% dos brasileiros, em mdia, concordaram
com tal afirmao.
Embora a correlao entre o ndice de ansiedade e o desempenho mdio em cincias para os pases aqui analisados
tenha sido significativa (Figura 6.33), ela no o foi para as unidades da Federao.
Figura 6.33
Correlao entre o ndice de ansiedade na realizao de testes e o desempenho mdio
em cincias por pas (A) e unidade da Federao (B) PISA 2015

Cincias Cincias
550 450
FIN(98%) CAN(97%)
440
KOR(99%)
ES(95%)
500 USA(98%) PRT(98%) 430
ESP(94%)
DF(89%) PR(93%)
420 MG(92%)
SC(86%)
450 RS(89%)
CHL(98%) 410 SP(87%) GO(89%)
URY(94%)
CE(96%) MS(96%)
CRI(87%) 400 AM(91%) AC(94%)
MEX(99%) RR(82%)
COL(97%) MT(92%)
400 PER(98%) BRA(89%) 390 RJ(86%)
RO(89%)
AP(49%) PA(92%) PE(89%)
380 PB(81%) PI(82%)
RN(92%) SE(68%)
350 TO(86%)
370 MA(79%)
BA(86%)
DOM(92%)
360 AL(82%)
300 350
-0,5 -0,3 -0,1 0,1 0,3 0,5 0,7 0,5 0,55 0,6 0,65 0,7 0,75 0,8
ndice ANXTEST ndice ANXTEST
Nota:
Fonte: OCDE, INEP.
7
O ambiente escolar e
as condies de aprendizagem
7
O ambiente escolar e as condies de aprendizagem
7.1 Aspectos gerais

O clima escolar molda o ambiente de aprendizagem dos estudantes. Neste captulo, sero discutidos trs macro aspectos
sobre o ambiente e as condies de aprendizagem na escola luz dos resultados do PISA 2015. O desempenho dos
estudantes brasileiros nos fatores de contexto apresentados na Figura 7.1 sero explorados por unidade da Federao e
por tipo de escola. Alm disso, o resultado nacional ser contrastado com o de 13 pases participantes do PISA 2015.
Figura 7.1
Aspectos de avaliao do contexto explorados neste captulo PISA 2015
Absentesmo, defasagem e repetncia Disciplina e outros fatores Condies escolares
Absentesmo (ST062): percentual de Disciplina (DISCLISCI): ndice criado com Tamanho da escola (SCHSIZE):
ausncia ou impontualidade com base base nas respostas dos estudantes sobre o medida criada com base nas respostas
nas respostas dos estudantes. clima disciplinar nas aulas de cincias. ao questionrio da escola sobre o total
de alunos matriculados.
Defasagem (GRADE): ndice construdo Clima escolar entre estudantes Tamanho da turma (CLSIZE):
com base nas respostas dos estudantes (STUBEHA): ndice criado com base nas ndice criado com base nas respostas
sobre a defasagem idade-srie. respostas ao questionrio da escola sobre ao questionrio da escola sobre o total
fatores que afetam o clima escolar. de alunos por turma.
Repetncia (REPEAT): ndice construdo Clima escolar entre professores Razo estudante-professor (STRATIO):
com base nas respostas dos estudantes (TEACHBEHA): ndice criado com base ndice criado com base nas respostas ao
sobre a repetncia. nas respostas ao questionrio da escola questionrio da escola sobre o quantitativo
sobre fatores que afetam o clima escolar. de alunos por professor.
Recursos educacionais (EDUSHORT):
medida criada com base nas respostas ao
questionrio da escola sobre a falta ou
inadequao de materiais educativos.
Falta de pessoal (STAFFSHORT):
ndice criado com base nas respostas aos
questionrios sobre o dficit de professores
e de assistncia.
Recursos em cincias (SCIERES):
ndice criado com base nas respostas
aos questionrios da escola sobre
disponibilidade de recursos de cincias.
Atividades extracurriculares
(CREACTIV): medida criada com base nas
respostas ao questionrio da escola sobre
atividades extracurriculares.
Disponibilidade de computadores
(RATCMP1): ndice criado com base nas
respostas ao questionrio da escola sobre
a disponibilidade de computadores para
os alunos.
Recursos tecnolgicos (ICTSCH):
ndice criado com base nas respostas dos
estudantes sobre a disponibilidade de
recursos tecnolgicos na escola.
Uso da tecnologia (USESCH):
ndice criado com base nas respostas
dos estudantes sobre o uso de recursos
tecnolgicos na escola.
Fonte: INEP.
7
Nota sobre as anlises deste captulo
O PISA no s fornece medidas confiveis e vlidas para avaliar o desempenho dos estudantes em cincias, leitura ou
matemtica, como tambm rene uma gama de informaes no cognitivas (por exemplo, motivao dos estudantes
no aprendizado), condies individuais (por exemplo, condio socioeconmica dos estudantes), e caractersticas
estruturais e de processo do contexto escolar (por exemplo, prticas de ensino e oportunidades de aprendizagem
em sala de aula, liderana e polticas escolares). Esse conjunto diversificado de construtos coletado por meio das
respostas aos questionrios respondidos por vrios atores educacionais, estudantes e diretores de escolas, e con-
forme opo do pas pais e professores. Para alm dos resultados cognitivos, nesta parte do relatrio ser feita uma
anlise exploratria dos ndices contextuais criados pela OCDE com base nas respostas dos estudantes e da escola
aos questionrios.
Questionrios
Os estudantes que participaram do PISA 2015 responderam a um questionrio contextual, com durao de 35 minu-
tos, que buscava informaes sobre histrico familiar, oportunidades e ambientes de aprendizagem. J diretores (ou
outra pessoa designada por eles) responderam a um conjunto de questes online, com durao de at 45 minutos,
relacionado a informaes descritivas sobre a escola e as prticas institucionais.
Alm desses, quatro diferentes tipos de questionrios foram disponibilizados como opo aos pases do PISA 2015:
questionrio sobre familiaridade com tecnologias da informao para os estudantes; questionrio sobre a carreira
educacional dos estudantes; questionrio para os pais; e questionrio para os professores.
O foco das anlises deste captulo est nas respostas aos questionrios contextuais dos estudantes e da escola que
foram obrigatrios a todos pases/economias participantes do PISA 2015.
ndices
No PISA, diversos ndices derivados dos questionrios so utilizados para contextualizar melhor os resultados cog-
nitivos da avaliao. Esses ndices resumem as respostas dos estudantes ou representantes das escolas (tipicamente
diretores) a uma srie de questes relacionadas entre si. Essas questes foram selecionadas de um grande banco
criado a partir de consideraes tericas e pesquisas anteriores (OCDE, 2016). O relatrio PISA 2015 Assessment and
Analytical Framework (OCDE, 2016) fornece uma descrio detalhada do quadro conceitual dos construtos cobertos
nos questionrios do PISA 2015.
Existem dois tipos de ndices no PISA: os ndices simples e os ndices de escala. ndices simples so variveis cons-
trudas por meio da transformao aritmtica ou da recodificao de um ou mais itens. Aqui, as respostas aos itens
so usadas para calcular medidas tais como: o tamanho da escola (SCHSIZE) ou a razo professor-aluno (STRATIO),
ambas extradas de informaes do questionrio da escola. Os ndices de escala, por sua vez, so variveis construdas
por meio do dimensionamento de vrios itens. Em geral, esses ndices foram desenvolvidos com base na Teoria de
Resposta ao Item (TRI) e representam construtos contnuos comparveis ao longo das edies do PISA. Para detalhes
sobre a construo de cada ndice, ver o Relatrio Tcnico do PISA 2015 (OCDE, em desenvolvimento).
Vale tambm ressaltar que os ndices de escala foram construdos em uma mtrica cuja mdia 0 e desvio padro 1
para os pases da OCDE. Valores negativos para um ndice no implicam necessariamente que os estudantes respon-
deram negativamente s questes relacionadas ao construto. Um valor negativo apenas indica que os entrevistados
responderam menos positivamente do que os demais, em mdia, entre os pases da OCDE. Do mesmo modo, um
valor positivo em um ndice indica que os entrevistados responderam de maneira mais favorvel, ou mais positiva,
do que a mdia nos pases da OCDE.
Anlises estatsticas
Neste captulo, foi realizado um estudo exploratrio dos ndices do PISA 2015. Os resultados aqui apresentados esto
relacionados ao percentual de respondentes que concordam ou discordam das medidas para cada construto, bem
como a anlise das mdias dos ndices por unidade da Federao, por tipo de escola (categorizadas por dependncia
administrativa, localizao e rea) e por pas.
7
Tal como recomendado pela OCDE (2016), as respostas de diretores ao questionrio de escolas apresentados nesta
publicao so ponderadas de modo que as estimativas produzidas sejam vlidas para a populao de estudantes de
15 anos de idade e no para a populao de estudantes em geral. Logo, as anlises referem-se aos estudantes nesta
faixa etria provenientes de escolas com tal perfil e no resposta do diretor propriamente dito.
Tanto para a anlise dos questionrios da escola quanto para a dos alunos, os pesos utilizados foram os dos estudantes,
utilizando a metodologia de replicao de casos (OCDE, em desenvolvimento). Diferentemente da anlise dos resultados
cognitivos, no h o tratamento da no resposta aos questionrios contextuais do PISA. Quando se observar um baixo
percentual de estudantes em uma determinada categoria, sero feitos comentrios para o devido cuidado na anlise.
7.2 Absentesmo, defasagem e repetncia

Nesta seo, sero descritos ndices sobre a falta de assiduidade dos estudantes brasileiros, defasagem idade-srie e
repetncia, com base nas respostas dos alunos aos questionrios de contexto do PISA 2015.
Absentesmo
Segundo a OCDE, o absentesmo regular constitui uma falta de aproveitamento das oportunidades de aprendizagem,
representa uma falta de interesse por parte dos estudantes e tem consequncias negativas no desenvolvimento da turma,
na medida em que contribui para um ambiente de aprendizagem com interrupes (OCDE 2013). Sobre essa questo, a
assiduidade dos jovens de 15 anos s aulas foi avaliada no PISA 2015 perguntando ao estudante o nmero de vezes que
ele faltou a um dia todo de aula, a algumas aulas ou chegou atrasado escola nas duas semanas anteriores avaliao.
As categorias de respostas eram: Nenhuma vez, Uma ou duas vezes, Trs ou quatro vezes e Cinco ou mais vezes.
A Figura 7.2 apresenta o percentual de estudantes dos 13 pases considerados neste relatrio, alm dos resultados por
unidade da Federao que indicaram a ocorrncia de pelo menos um caso de absentesmo. A linha horizontal indica
que, em mdia, 50% dos estudantes concordaram com tais afirmaes.
Figura 7.2
Percentual de estudantes que responderam Uma ou duas vezes, Trs ou quatro vezes,
Cinco ou mais vezes s questes sobre o absentesmo por pas e unidade da Federao PISA 2015
Faltei um dia todo de aula. Faltei em algumas aulas. Cheguei atrasado escola.
100
80
60
40
20
Fonte: OCDE, INEP.
7
Entre os pases, Coreia do Sul foi o que apresentou menor percentual de estudantes com respostas vlidas nos questio-
nrio que indicaram faltar ou chegar atrasado s aulas 8,0%, em mdia. Por outro lado, quase 50% dos estudantes da
Repblica Dominicana, em mdia, relataram tais ocorrncias.
No contexto nacional, o maior percentual observado para os estudantes brasileiros sobre esse quesito foi Faltei um dia
todo de aula, com 48% das respostas vlidas, seguida de Faltei em algumas aulas, com 46%, e Cheguei atrasado
escola, com 39,9%. No geral, So Paulo foi a unidade da Federao com maior nmero de casos de faltas relatados
56,8%, em mdia.
A Figura 7.3 apresenta os resultados do pas por tipo de escola. Estudantes de escolas municipais foram mais propensos
a relatar que faltaram a algumas aulas nas duas semanas anteriores avaliao (56,9%) do que estudantes de 15 anos
provenientes de outras redes de ensino.
Figura 7.3
Percentual de estudantes brasileiros que responderam Uma ou duas vezes, Trs ou quatro vezes
e Cinco ou mais vezes s questes sobre o absentesmo por tipo de escola PISA 2015
Faltei um dia todo de aula. Faltei em algumas aulas. Cheguei atrasado escola.
100
80
60
40
20
0
Brasil Federal Estadual Municipal Particular Urbana Rural Capital Interior
Dependncia administrativa Localizao rea
Fonte: OCDE, INEP.
Defasagem
No PISA, define-se ano/srie modal como o ano/srie em a maioria dos estudantes de 15 anos esto matriculados
no momento da realizao da avaliao. Com o intuito de capturar a variao existente entre os pases, especialmente
porque os sistemas possuem diferentes estratgias para ingresso e manuteno dos alunos ao longo da vida acadmica,
foi criada uma medida associada ao ano modal (GRADE). O ndice calculado indica a defasagem idade-srie de cada
pas. Se todos os estudantes de 15 anos do pas esto em um nico ano/srie, o valor desse ndice 0. Se uma grande
parcela deles ainda est abaixo do ano/srie modal, o ndice negativo (-x anos); se est acima, o ndice positivo (+x
anos). A Figura 7.4 apresenta os valores mdios desse ndice para os 13 pases aqui avaliados, alm do Brasil e suas
unidades federativas.
7
Figura 7.4
ndice de defasagem idade-srie por pas e unidade da Federao PISA 2015
0,6
0,4
0,2
-0,2
-0,4
-0,6
-0,8
-1
Fonte: OCDE, INEP.
Como apresentado no Captulo 2 deste relatrio, a maioria dos estudantes de 15 anos no Brasil est no Ensino Mdio
(anos modais 10 e 11). Pases como Costa Rica ou Uruguai, por outro lado, possuem, em mdia, um quantitativo maior
de estudantes na srie inferior ao ano modal, contudo com desempenho mdio estatisticamente superior ao do Brasil
nos domnios avaliados no PISA.
Ao se observar esse ndice por unidade da Federao, verifica-se que a defasagem idade-srie ainda um desafio para
vrios estados brasileiros. So Paulo se destaca por apresentar o melhor ndice (0,48, em mdia) ou seja, menor percentual
de estudantes de 15 anos fora do Ensino Mdio.
A Figura 7.5 apresenta os resultados por tipo de escola. Estudantes de 15 anos do PISA 2015 provenientes de escolas
municipais esto, em mdia, com quase dois anos de defasagem escolar se comparados com o mesmo pblico de jovens
de outras redes com praticamente a mesma idade.
Com base no estudo das relaes entre os marcos tericos do PISA e as matrizes do SAEB-Prova Brasil apresentadas no
Captulo 9, observou-se que os estudantes brasileiros do 9 ano do Ensino Fundamental so capazes de resolver, em parte,
os itens do PISA. Se a defasagem-srie no fosse ainda um grande empecilho para os jovens brasileiros de 15 anos,
provvel que os resultados em testes cognitivos como os do PISA fossem melhores, alm de estarem melhor preparados
para a vida social e profissional.
7
Figura 7.5
ndice de defasagem idade-srie dos estudantes brasileiros por tipo de escola PISA 2015
0,56
0,36
0,25
0,09 0,13 0,11 0,08
-0,83
-1,57

Fonte: OCDE, INEP.
Repetncia
Ao se retratar a defasagem-srie, outro importante quesito que se deve avaliar est associado repetncia dos estudan-
tes no sistema educativo. No PISA 2015, trs questes no questionrio dos estudantes foram dedicadas ao tema. Eles
indicavam a frequncia de repetncia conforme as seguintes categorias: Sim, duas vezes ou mais, Sim, uma vez ou
No, nunca. A Figura 7.6 apresenta os valores do ndice REPEAT criado para mensurar tal aspecto no PISA para os 13
pases aqui avaliados, alm do Brasil e suas unidades federativas.
Figura 7.6
ndice de repetncia por pas e unidade da Federao PISA 2015
0,6
0,5
0,4
0,3
0,2
0,1
Fonte: OCDE, INEP.
7
Em mdia, 20,3% dos estudantes brasileiros com respostas vlidas nesse quesito reportaram ter repetido pelo menos uma
vez nos anos iniciais do Ensino Fundamental, e praticamente o mesmo percentual de estudantes indicou ter repetido
pelo menos uma vez em alguma srie dos anos finais do Ensino Fundamental. Pases como Finlndia, Canad, Estados
Unidos e Coreia do Sul registram um percentual abaixo de 5%.
No contexto brasileiro, Mato Grosso do Sul foi a unidade da Federao com o maior percentual de reprovao, desviando
do ndice dos pases da OCDE em 0,5 ponto; So Paulo tem o menor desvio (0,3). A Figura 7.7 retrata as desigualdades
entre diferentes sistemas de ensino.
Alm de comprometer a autoestima dos estudantes, a literatura tambm sugere que a repetncia possui um impacto
financeiro negativo e direto para o pas (OCDE, 2016). Especialmente no caso do Brasil, os custos estimados da repetncia
somam bilhes de reais, bastante onerosos aos cofres pblicos (Bachetto, 2016).
Figura 7.7
ndice de repetncia por tipo de escola PISA 2015
Nos anos iniciais do Ensino Fundamental (do 1 ao 5 ano/da 1 a 4 srie).

Nos anos finais do Ensino Fundamental (do 6 ao 9 ano/ da 5 a 8 srie).
No Ensino Mdio.
100
80
60
40
20
0
Brasil (0,4) Federal Estadual Municipal Particular Urbana (0,4) Rural (0,6) Capital (0,3) Interior (0,4)
(0,2) (0,3) (0,8) (0,2) Localizao rea
Dependncia administrativa
Fonte: OCDE, INEP.
7.3 Disciplina e outros fatores

Os estudantes que esto em escolas onde h tenso nas relaes professor-aluno e no clima disciplinar so mais propensos
a ter baixos nveis de engajamento com e na escola. So mais propensos a chegar atrasados, faltar em aulas ou dias, relatar
um sentido de pertencimento fraco e manter atitudes negativas em relao escola. O estabelecimento de um ambiente
escolar positivo, no qual professores, estudantes e profissionais do apoio administrativo se sentem membros de uma
comunidade, e no qual cada um respeita seus respectivos papis e responsabilidades, pode ajudar a garantir que todos
os estudantes se sintam envolvidos (OCDE, 2013). Nesta seo, sero discutidos trs ndices relacionados a esse aspecto.
Disciplina
O ndice de disciplina nas aulas de cincias criado no PISA est associado a cinco perguntas dos questionrios dos es-
tudantes. Para tanto, os jovens de 15 anos avaliavam o seu nvel de concordncia em uma escala de quatro pontos: Em
todas as aulas, Na maioria das aulas, Em algumas aulas ou Nunca ou quase nunca. A Figura 7.8 ilustra o grau de
concordncia nas duas primeiras opes por pas e por unidade da Federao. Esses percentuais foram ordenados pelo
ndice DISCLISCI, criado para avaliar tal aspecto no PISA (valor em parnteses).
7
Figura 7.8
Percentual de estudantes que responderam Em todas as aulas ou Na maioria das aulas
s questes sobre a disciplina nas aulas de cincias por pas e unidade da Federao PISA 2015
H barulho e desordem. Os alunos no comeam a estudar logo que inicia a aula.

O professor tem que esperar muito tempo at que os alunos Os alunos no conseguem trabalhar direito.
fiquem quietos. Os alunos no ouvem o que o professor fala.
100
80
60
40
20
Fonte: OCDE, INEP.
Entre os pases aqui considerados, Coreia do Sul e Estados Unidos foram os que apresentaram melhores ndices sobre a
percepo dos estudantes quanto ao clima disciplinar em sala de aula (0,6 e 0,3, respectivamente). O resultado mdio
do Brasil, por outro lado, foi o que apresentou pior ndice (-0,2) quanto percepo geral dos estudantes dos pases aqui
analisados. O quesito Os alunos no comeam a estudar logo que inicia a aula foi o que apresentou maior percentual
mdio de estudantes concordando entre os que tiveram resultados vlidos para essa anlise (40,3%), seguido de Os
alunos no ouvem o que o professor fala (38,0%).
Por unidade da Federao, o maior ndice encontrado foi no estado do Par (0,0), e o menor, no Amap (-0,4). A Figura
7.9 apresenta os resultados por tipo de escola.
7
Figura 7.9
Percentual de estudantes brasileiros que responderam Em todas as aulas ou Na maioria das aulas
s questes sobre a disciplina nas aulas de cincias por tipo de escola PISA 2015
H barulho e desordem. Os alunos no comeam a estudar logo que inicia a aula.

O professor tem que esperar muito tempo at que os alunos Os alunos no conseguem trabalhar direito.
fiquem quietos. Os alunos no ouvem o que o professor fala.
100
80
60
40
20
0
Brasil (-0,2) Federal Estadual Municipal Particular Urbana (-0,2) Rural (-0,2) Capital (-0,3) Interior (-0,2)
(0,3) (-0,3) (-0,4) (0,1) Localizao rea
Fonte: OCDE, INEP.
Clima escolar entre os estudantes

Uma medida sobre fatores relacionados aos estudantes quanto ao clima escolar foi criada com base nas respostas ao questio-
nrio das escolas fornecidas por diretores ou pessoas designadas por eles. Foram apresentadas cinco questes para avaliao
do seu nvel de concordncia em uma escala de quatro pontos: Muito, At certo ponto, Pouco e Nem um pouco.
A Figura 7.10 apresenta o grau de concordncia nas duas primeiras opes por pas e por unidade da Federao. Os dados
foram ordenados pelos valores do ndice STUBEHA, criado para avaliao de tal aspecto no PISA (valor em parnteses).
Figura 7.10
Percentual de estudantes cujos diretores reportaram Muito ou At certo ponto
s questes sobre o clima escolar entre os estudantes por pas e unidade da Federao PISA 2015
Falta de assiduidade dos alunos. Alunos que desrespeitam os professores.

Consumo de lcool ou substncias ilegais pelos alunos. Alunos que no frequentam as aulas.
Alunos que ameaam ou molestam outros alunos.
100
80
60
40
20
Fonte: OCDE, INEP.
7
Estudantes da Costa Rica cujos diretores responderam s questes sobre o clima escolar entre alunos foram os que ob-
tiveram maior ndice entre os pases aqui avaliados, 0,7. Um resultado positivo do ndice no implica necessariamente
maior incidncia de problemas disciplinares. Indica, no entanto, que, no geral, houve maior quantitativo de respostas
positivas aos quesitos avaliados do que a mdia dos pases da OCDE. O Brasil obteve o ndice de 0,6, correspondendo
a um pouco mais de meio desvio-padro da mdia do ndice para os pases da OCDE. Pouco mais de 20% dos estudan-
tes brasileiros esto em escolas cujos diretores relataram problemas com consumo de lcool ou substncias ilegais, e
17,2% apontaram problemas de ameaas entre estudantes. No contexto nacional, Amap e Mato Grosso apresentaram
os maiores ndices (1,4 e 1,2, respectivamente).
A Figura 7.11 apresenta os resultados por dependncia administrativa, localizao e rea. Exceto para escolas particulares
ou federais, mais de 50% dos casos relataram problemas como falta de assiduidade e absentesmo dos alunos, segundo
a viso dos diretores com respostas vlidas na avaliao.
Figura 7.11
s questes sobre o clima escolar entre alunos por tipo de escola PISA 2015
Falta de assiduidade dos alunos. Alunos que desrespeitam os professores.

Consumo de lcool ou substncias ilegais pelos alunos. Alunos que no frequentam as aulas.
Alunos que ameaam ou molestam outros alunos.
100
80
60
40
20
0
(-0,1) (0,8) (0,6) (-1,1) Localizao rea
Fonte: OCDE, INEP.
Clima escolar entre professores

Um ndice sobre clima escolar entre professores foi criado com base nas respostas ao questionrio das escolas, por
diretores ou pessoas designadas por eles. Foram apresentadas aos diretores cinco questes para avaliao do seu
nvel de concordncia em uma escala de quatro pontos: Muito, At certo ponto, Pouco e Nem um pouco. A
Figura 7.12 apresenta o grau de concordncia nas duas primeiras opes por pas e por unidade da Federao. Esses
percentuais foram ordenados pelos valores do ndice TEACHBEHA, criado para avaliao de tal aspecto no PISA (valor
em parnteses).
7
Figura 7.12
s questes sobre o clima escolar entre professores por pas e unidade da Federao PISA 2015
Funcionrios que resistem a mudanas. Professores que no esto bem preparados para lecionar.
Falta de assiduidade dos professores. Professores que no identificam as necessidades individuais
Atitude severa demais dos professores com os alunos. dos alunos.
100
80
60
40
20
Fonte: OCDE, INEP.
Entre os pases aqui considerados, Uruguai foi o que apresentou maior ndice sobre o clima escolar entre professores (0,6),
e Coreia do Sul, o menor (-0,5). Quanto maior o ndice, maior o grau de concordncia acerca do comprometimento do
aprendizado dos estudantes pela qualidade do clima escolar entre professores em funo dos cinco fatores aqui avaliados.
O estado do Rio de Janeiro foi o que apresentou menor ndice (-0,7) sob a perspectiva dos diretores, e Amap, o maior
(0,9). Cabe lembrar que o Amap e o Paran no atenderam s taxas de respostas do PISA 2015, podendo haver um vis
nessa avaliao. A Figura 7.13 apresenta os resultados por tipo de escola.
Figura 7.13
Percentual de estudantes brasileiros cujos diretores reportaram Muito ou At certo ponto
s questes sobre o clima escolar entre professores por tipo de escola PISA 2015
Funcionrios que resistem a mudanas. Professores que no esto bem preparados para lecionar.
Falta de assiduidade dos professores. Professores que no identificam as necessidades individuais
Atitude severa demais dos professores com os alunos. dos alunos.
100
80
60
40
20
0
(0,8) (0,6) (0,3) (-1,1) Localizao rea
Fonte: OCDE, INEP.
7
7.4 Condies escolares

Nesta seo, sero apresentados 14 ndices sobre a infraestrutura das escolas em que os jovens de 15 anos esto inseridos.
Tamanho da escola
O tamanho da escola no PISA 2015 foi calculado com base no total de estudantes matriculados reportado pelo diretor
no questionrio da escola. A Figura 7.14 apresenta o tamanho mdio das escolas dos pases e das unidades da Federao
aqui analisados.
Figura 7.14
Tamanho mdio da escola por pas e unidade da Federao PISA 2015
2000
1800
1600
1400
1200
1000
800
600
400
200
Fonte: OCDE, INEP.
Entre os pases considerados, o quantitativo mdio de estudantes por escola menor na Finlndia (437) e maior em Por-
tugal (1.758). No contexto nacional, a mdia de estudantes por escola 919, tendo Rio Grande do Sul o menor ndice
(686), e Amazonas, o maior (1.640).
A Figura 7.15 apresenta os resultados por tipo de escola. Escolas das capitais do pas possuem um maior quantitativo
de estudantes (1.338), em mdia.
7
Figura 7.15
Tamanho mdio das escolas brasileiras por tipo de escola PISA 2015
1338
952 940
919
871
821 800
691
302

Fonte: OCDE, INEP.
Tamanho da turma
O tamanho mdio da turma no PISA 2015 foi derivado a partir de uma entre nove possveis categorias, variando a partir
de 15 alunos ou menos a Mais de 50 alunos. O ponto mdio de cada categoria de resposta foi utilizado para a cria-
o do ndice CLSIZE, resultando em um valor de 13 para a categoria mais baixa e de 53 para a mais elevada. A Figura
7.16 apresenta os resultados mdios desse ndice por pas e unidade da Federao.
Figura 7.16
Percentual de estudantes por tamanho mdio da turma por pas e unidade da Federao PISA 2015
15 alunos ou menos De 26 a 30 alunos De 41 a 45 alunos

De 16 a 20 alunos De 31 a 35 alunos De 46 a 50 alunos
De 21 a 25 alunos De 36 a 40 alunos Mais de 50 alunos
100
80
60
40
20
Fonte: OCDE, INEP.
7
Segundo os resultados do PISA 2015, a Finlndia foi o pas que apresentou o menor quantitativo de estudantes por turma
entre os pases aqui considerados (19,1, em mdia). O Mxico foi o que apresentou maior ndice (39,1, em mdia).
No contexto brasileiro, Rio Grande do Sul se destaca com o menor quantitativo de estudantes por turma (28,8), e Alagoas,
com o maior (41,0). A Figura 7.17 apresenta os resultados por tipo de escola. A rede estadual a que apresenta maior
quantitativo de estudantes, segundo os dados reportados pelos diretores.
Figura 7.17
Percentual de estudantes brasileiros por tamanho mdio da turma por tipo de escola PISA 2015
15 alunos ou menos De 26 a 30 alunos De 41 a 45 alunos

De 16 a 20 alunos De 31 a 35 alunos De 46 a 50 alunos
De 21 a 25 alunos De 36 a 40 alunos Mais de 50 alunos
100
80
60
40
20
0
(32,6) (37,3) (26,7) (33,6) Localizao rea
Fonte: OCDE, INEP.
Razo estudante-professor
No PISA, existe uma medida de razo entre o nmero de estudantes e o total de professores (ndice STRATIO). A Figura
7.18 a apresenta por pas e unidade da Federao.
Figura 7.18
Razo estudantes/professor por pas e unidade da Federao PISA 2015
60
50
40
30
20
10
Fonte: OCDE, INEP.
7
O Brasil e a Repblica Dominicana foram os pases que apresentaram os maiores ndices entre os aqui considerados 29
estudantes por professor, em mdia. A Finlndia, por outro lado, se destaca por apresentar em torno de 10 estudantes
por professor, em mdia.
Ao se avaliar os resultados subnacionais, Rio Grande do Sul foi a unidade da Federao que apresentou o menor ndice
(16,7 estudantes por professor), e Rio Grande do Norte, o maior (47,8). A Figura 7.19 ilustra as diferenas entre os ndices
por tipo de escola.
Figura 7.19
Razo estudantes/professor por tipo de escola, Brasil PISA 2015
31
29 29 29 29 29
29
25
18

Fonte: OCDE, INEP.
Recursos educacionais
Um ndice sobre a falta de recursos educacionais que impede as escolas de fornecer um ambiente adequado de
aprendizagem aos estudantes foi criado com base nas respostas ao questionrio respondido por diretores ou pessoas
designadas por eles. Foram apresentadas quatro questes para a avaliao do seu nvel de concordncia em uma
escala de quatro pontos: Muito, At certo ponto, Pouco e Nem um pouco. A Figura 7.20 apresenta o grau
de concordncia nas duas primeiras opes por pas e por unidade da Federao. Esses percentuais resultaram no
ndice EDUSHORT e, na apresentao grfica, foram ordenados pelo ndice para avaliao de tal aspecto no PISA
(valor em parnteses).
7
Figura 7.20
s questes sobre a falta de recursos educacionais por pas e unidade da Federao PISA 2015
Materiais educativos inadequados ou de m qualidade (por ex. livros didticos, equipamentos de TI, materiais de biblioteca ou de laboratrio).
Infraestrutura fsica inadequada ou de m qualidade (por ex. edificao, rea em volta, aquecimento/resfriamento, iluminao e acstica).
Falta de material educativo (por ex. livros didticos, equipamentos de TI, materiais de biblioteca ou de laboratrio).
Ausncia de infraestrutura fsica (por ex. edificao, rea em volta, aquecimento/resfriamento, iluminao e acstica).
100
80
60
40
20
Fonte: OCDE, INEP.
Entre os pases aqui considerados, Canad, Estados Unidos e Chile foram os que apresentaram menores ndices sobre a
falta de recursos sob o ponto de vista dos diretores. Costa Rica, por outro lado, foi onde os diretores apontaram maior
falta de recursos educativos, em mdia.
No pas, o estado do Rio de Janeiro se destaca pela baixa concordncia com a falta de recursos (ndice de -0,5), ndice
igual ao do Canad. Por outro lado, o Par teve o maior entre as unidades da Federao brasileiras. A Figura 7.21 ilustra
as diferenas entre os ndices por tipo de escola.
Figura 7.21
s questes sobre a falta de recursos educacionais por tipo de escola PISA 2015
Materiais educativos inadequados ou de m qualidade (por ex. livros didticos, equipamentos de TI, materiais de biblioteca ou de laboratrio).
Infraestrutura fsica inadequada ou de m qualidade (por ex. edificao, rea em volta, aquecimento/resfriamento, iluminao e acstica).
Falta de material educativo (por ex. livros didticos, equipamentos de TI, materiais de biblioteca ou de laboratrio).
Ausncia de infraestrutura fsica (por ex. edificao, rea em volta, aquecimento/resfriamento, iluminao e acstica).
100
80
60
40
20
0
Brasil (0,0) Federal Estadual Municipal Particular Urbana (-0,1) Rural (0,2) Capital (-0,2) Interior (0)
(-0,5) (0,1) (0,1) (-1,1) Localizao rea
Fonte: OCDE, INEP. Dependncia administrativa
7
Falta de pessoal
Um ndice sobre a falta de professores e de assistentes foi criado com base nas respostas dos diretores ao questionrio
das escolas. Foram apresentadas aos diretores quatro questes para avaliao do seu nvel de concordncia em uma
escala de quatro pontos: Muito, At certo ponto, Pouco e Nem um pouco. A Figura 7.22 apresenta o grau de
concordncia nas duas primeiras opes por pas e por unidade da Federao. Esses percentuais foram ordenados pelos
valores do ndice STAFFSHORT criado para avaliao de tal aspecto no PISA (valor entre parnteses).
Figura 7.22
s questes sobre a falta de pessoal por pas e unidade da Federao PISA 2015
Falta de assistentes. Assistentes mal qualificados ou inadequados.

Falta de corpo docente. Corpo docente mal qualificado ou inadequado.
100
80
60
40
20
Fonte: OCDE, INEP.
Os Estados Unidos e o Chile foram os pases com menores ndices entre os pases aqui considerados (-0,29 e -0,23, res-
pectivamente). Os diretores de Portugal e Costa Rica, por sua vez, reportaram maiores dificuldades com o corpo docente
e assistncia, tendo ndices iguais a 0,93 e 0,91, respectivamente.
Com relao s unidades federativas brasileiras, o Rio de Janeiro obteve o menor ndice (-0,63), e Amap, o maior (0,82).
Comparando o tipo de escola, observa-se que a maior dificuldade reportada pelos diretores sob esse aspecto , em geral,
a falta de assistentes (Figura 7.23).
7
Figura 7.23
s questes sobre a falta de pessoal por tipo de escola PISA 2015
Falta de assistentes. Assistentes mal qualificados ou inadequados.

Falta de corpo docente. Corpo docente mal qualificado ou inadequado.
100
80
60
40
20
0
Brasil (-0,1) Federal Estadual Municipal Particular Urbana (-0,1) Rural (-0,3) Capital (-0,3) Interior (0)
(-0,3) (0,2) (-0,3) (-1,4) Localizao rea
Fonte: OCDE, INEP.
Recursos em cincias
Uma medida sobre o total de recursos especficos para o ensino de cincias foi calculada no PISA 2015. Foram apre-
sentadas aos diretores oito questes para indicar se a escola possua ou no um determinado recurso. A Figura 7.24
apresenta o grau de concordncia por pas e por unidade da Federao. Esses percentuais foram ordenados pelos valores
do ndice SCIERES, criado para avaliao de tal aspecto no PISA (valor entre parnteses).
7
Figura 7.24
Percentual de estudantes cujos diretores reportaram Sim s questes sobre os recursos de cincias
Comparada a outras, a rea de cincias em nossa escola bem equipada.

Em comparao a escolas semelhantes, temos um laboratrio bem equipado.
Nossa escola gasta dinheiro extra em equipamento moderno de cincias.
O material para atividades prticas em cincias est em bom estado.
Os professores de cincias esto entre os mais instrudos de nosso quadro.
Se temos algum dinheiro disponvel, uma boa parte investida no melhoramento do ensino de cincias.
Temos material suficiente de laboratrio que todos os cursos podem regularmente usar.
Temos uma equipe extra de laboratrio que d suporte ao ensino de cincias.
100
80
60
40
20
Fonte: OCDE, INEP.
Com relao aos recursos de cincias, Uruguai foi o que apresentou o melhor ndice (5,8) entre os pases considerados,
e Peru e Brasil, os menores (2,8). Amap e Tocantins foram as unidades da Federao com o menor quantitativo de re-
cursos disponveis, segundo as opinies dos diretores (ndices de 1,2 e 1,4, respectivamente), e Paran e Esprito Santo
tiveram os maiores.
As variaes do ndice entre os tipos de escolas brasileiras so ilustradas na Figura 7.25. Escolas particulares e federais
se destacam por apresentarem melhores ndices nesse quesito, de acordo com o que foi reportado nos questionrios
das escolas do PISA 2015.
7
Figura 7.25
Percentual de estudantes cujos diretores reportaram Sim s questes sobre os recursos de cincias
por tipo de escola PISA 2015
Comparada a outras, a rea de cincias em nossa escola bem equipada.

Em comparao a escolas semelhantes, temos um laboratrio bem equipado.
Nossa escola gasta dinheiro extra em equipamento moderno de cincias.
O material para atividades prticas em cincias est em bom estado.
Os professores de cincias esto entre os mais instrudos de nosso quadro.
Se temos algum dinheiro disponvel, uma boa parte investida no melhoramento do ensino de cincias.
Temos material suficiente de laboratrio que todos os cursos podem regularmente usar.
Temos uma equipe extra de laboratrio que d suporte ao ensino de cincias.
100
80
60
40
20
0
(4,7) (2,5) (1,5) (4,8) Localizao rea
Fonte: OCDE, INEP.
Atividades extracurriculares
O PISA analisa ainda o quantitativo de atividades extracurriculares disponibilizadas pelas escolas. O ndice CREACTIV
foi construdo com base nas respostas dos diretores a trs questes, para indicar se a escola oferecia ou no tal atividade.
A Figura 7.26 apresenta o grau de concordncia por pas e por unidade da Federao.
Figura 7.26
Percentual de estudantes cujos diretores reportaram Sim s questes sobre atividades extracurriculares
Banda de msica, orquestra ou coral Clube ou atividades de artes Pea de teatro ou musical
100
80
60
40
20
Fonte: OCDE, INEP.
7
Espanha foi o pas que obteve o menor ndice entre os pases aqui considerados (1,1). Estados Unidos e Canad, por sua vez, se
destacam por apresentarem mais atividades extracurriculares, segundo as respostas aos questionrio da escola do PISA 2015.
No contexto nacional, Pernambuco foi a unidade da Federao com maior quantitativo de atividades extracurriculares
(1,9), e Paran, com o menor (0,7). A Figura 7.27 apresenta o grau de concordncia por tipo de escola.
Figura 7.27
Percentual de estudantes cujos diretores reportaram Sim s questes sobre atividades extracurriculares
Banda de msica, orquestra ou coral Clube ou atividades de artes Pea de teatro ou musical
100
80
60
40
20
0
(1,4) (1,2) (0,8) (1,4) Localizao rea
Fonte: OCDE, INEP.
Disponibilidade de computadores
Diretores de escolas participantes do PISA 2015 foram solicitados tambm a relatar o nmero de computadores dispo-
nveis na escola. O ndice de disponibilidade de computadores (RATCMP1) foi criado e corresponde proporo de
computadores disponveis para os estudantes de 15 anos de idade para fins educacionais e o nmero de estudantes no
ano/srie modal. A Figura 7.28 apresenta o ndice por pas e unidade da Federao.
Figura 7.28
Proporo de computadores disponveis por pas e unidade da Federao PISA 2015
1,4
1,2
1,0
0,8
0,6
0,4
0,2
0,0
Fonte: OCDE, INEP.
7
Brasil e Repblica Dominicana foram os pases com menores ndices de computadores disponveis para os jovens de 15
entre os pases aqui considerados. Amazonas foi o estado com menor percentual reportado (6%), e Esprito Santo, com
o maior (57%). A Figura 7.29 apresenta as discrepncias de acordo com o perfil da escola.
Figura 7.29
Proporo de computadores disponveis por tipo de escola PISA 2015
0,62
0,40
0,36
0,27
0,21
0,20 0,19
0,16 0,15

Fonte: OCDE, INEP.
Recursos tecnolgicos
No questionrio dos estudantes sobre familiaridade computacional, que era opcional aos pases, foi perguntado aos
jovens de 15 anos sobre quais recursos tecnolgicos tinham disposio na escola. O ndice ICTSCH foi construdo
com base nas respostas a oito questes, nas quais eles deveriam indicar se a escola oferecia ou no tal recurso. A Figura
7.30 apresenta o grau de concordncia por pas e por unidade da Federao.
7
Figura 7.30
Percentual de estudantes que reportaram Sim s questes sobre recursos tecnolgicos
Computador de mesa
Computador porttil ou notebook
Computadores da escola conectados internet
Conexo internet via rede wi-fi
Espao para armazenamento de informaes relativas escola (ex: uma pasta com os prprios documentos)
Quadro interativo (ex: SmartBoard)
Retro-projetor (ex: para apresentao de slides)
Tablet (ex: iPad)
100
80
60
40
20
Fonte: OCDE, INEP.
Entre os pases aqui considerados que optaram pela aplicao do questionrio de familiaridade tecnolgica, a Repblica
Dominicana foi o que apresentou menor quantitativo de recursos entre as opes disponveis para a criao do indicador
(4,1). Estudantes da Finlndia, por outro lado, indicaram ter maior disponibilidade de tais recursos (6,9).
Quanto s unidades da Federao, Bahia foi o estado em que os estudantes reportaram menor quantitativo de recursos
(ndice igual a 3,6), e Cear, o maior (5,4). A Figura 7.31 apresenta o ndice ICTSCH, bem com o percentual de concor-
dncia por categoria de resposta por tipo de escola.
7
Figura 7.31
Percentual de estudantes que reportaram Sim s questes sobre recursos tecnolgicos
Computador de mesa
Computador porttil ou notebook
Computadores da escola conectados internet
Conexo internet via rede wi-fi
Espao para armazenamento de informaes relativas escola (ex: uma pasta com os prprios documentos)
Quadro interativo (ex: SmartBoard)
Retro-projetor (ex: para apresentao de slides)
Tablet (ex: iPad)
100
80
60
40
20
0
Brasil (4,5) Federal Estadual Municipal Particular Urbana (4,6) Rural (4) Capital (4,5) Interior (4,5)
(6) (4,4) (4,4) (5) Localizao rea
Fonte: OCDE, INEP.
Uso da tecnologia
Alm de perguntar aos estudantes de 15 anos quais recursos tecnolgicos estavam a seu dispor, foi investigado ainda
se faziam uso dos mesmos. O ndice USESCH foi construdo com base nas respostas ao questionrio de familiaridade
tecnolgica, com nove questes nas quais os jovens deveriam indicar a frequncia de uso entre as seguintes categorias
de resposta: Todo dia, Quase todo dia, Uma ou duas vezes na semana, Uma ou duas vezes no ms e Nunca ou
quase nunca. A Figura 7.32 apresenta o grau de concordncia nas quatro primeiras categorias por pas e por unidade
da Federao.
7
Figura 7.32
Percentual de estudantes que reportaram Todo dia, Quase todo dia,
Uma ou duas vezes na semana, Uma ou duas vezes no ms s questes
sobre o uso da tecnologia na escola por pas e unidade da Federao PISA 2015
Baixar, carregar ou consultar materiais no site da minha escola (ex: intranet).

Conversar online na escola.
Fazer o dever de casa em um computador da escola.
Fazer simulados na escola.
Navegar na Internet para fazer trabalhos escolares.
Postar meu trabalho no site da escola.
Praticar e exercitar, tais como aprendizado de lnguas estrangeiras ou matemtica.
Utilizar o e-mail na escola.
Utilizar os computadores da escola para trabalhos em grupo e para comunicao com outros alunos.
100
80
60
40
20
Fonte: OCDE, INEP.
Entre os estudantes dos pases que fizeram a opo pelo questionrio de familiaridade tecnolgica oferecido pela OCDE
e aqui considerados, os da Coreia do Sul foram os que reportaram o menor uso de tais tecnologias no ambiente escolar
(ndice igual a -0,95), e os da Colmbia, o maior (0,18).
No contexto nacional, aproximadamente 63% dos jovens brasileiros que tiveram respostas vlidas nesses quesitos repor-
taram utilizar os recursos para Navegar na Internet para fazer trabalhos escolares. Em torno de 46% indicaram ainda
que utilizam a tecnologia para Praticar e exercitar, tais como aprendizado de lnguas estrangeiras ou matemtica. A
Figura 7.33 apresenta o panorama das escolas brasileiras pelo grau de concordncia para as questes apresentadas, bem
como o ndice nesse quesito.
7
Figura 7.33
Percentual de estudantes brasileiros que reportaram Todo dia, Quase todo dia,
Uma ou duas vezes na semana, Uma ou duas vezes no ms s questes sobre
o uso da tecnologia por tipo de escola PISA 2015
Baixar, carregar ou consultar materiais no site da minha escola (ex: intranet).

Conversar online na escola.
Fazer o dever de casa em um computador da escola.
Fazer simulados na escola.
Navegar na Internet para fazer trabalhos escolares.
Postar meu trabalho no site da escola.
Praticar e exercitar, tais como aprendizado de lnguas estrangeiras ou matemtica.
Utilizar o e-mail na escola.
Utilizar os computadores da escola para trabalhos em grupo e para comunicao com outros alunos.
100
80
60
40
20
0
Brasil (-0,1) Federal Estadual Municipal Particular Urbana (-0,1) Rural (-0,3) Capital (-0,2) Interior (-0,1)
(0,5) (-0,2) (-0,1) (0) Localizao rea
Fonte: OCDE, INEP.
8
Equidade nas oportunidades

de aprendizagem
8
Equidade nas oportunidades de aprendizagem
8.1 Aspectos gerais

Este captulo examina em que medida o contexto socioeconmico dos estudantes est relacionado ao seu desempenho
no PISA 2015. O ndice PISA de status econmico, social e cultural (ESCS) tem sido utilizado em muitas anlises como
uma varivel para controlar os efeitos do nvel socioeconmico familiar, dos estudantes e do contexto social de suas
escolas (OCDE, 2016). Essa medida tem trs componentes: ndice do nvel educacional dos pais (PARED), ndice do nvel
ocupacional dos pais (HISEI) e ndice dos bens domsticos, recursos educacionais e culturais presentes no lar (HOMEPOS).
A primeira parte do captulo visa a apresentao de cada componente do ESCS luz dos resultados no PISA 2015 por
pas, unidade da Federao e tipo de escola. Aps essa anlise, sero descritos os resultados do ESCS sob as perspectivas
internacional e nacional. Por fim, os dados do ESCS sero cruzados com os do desempenho em cincias no PISA 2015.
8.2 Nvel educacional dos pais

A educao dos pais uma informao frequentemente utilizada na anlise dos resultados de avaliaes educacionais.
Especialmente em comparativos internacionais como o PISA, coletar dados dessa natureza apresenta ainda grandes desa-
fios. As principais dificuldades se relacionam com a comparabilidade internacional (diferentes sistemas de ensino podem
divergir entre e dentro dos pases avaliados ao longo do tempo), a validade de resposta aos questionrios (os estudantes
so muitas vezes incapazes de relatar com preciso o nvel da educao de seus pais) e especialmente com o aumento
da migrao dificuldades em realizar o mapeamento nacional das qualificaes adquiridas pelos pais (OCDE, 2013).
No PISA 2015, as respostas dos estudantes a respeito da educao dos pais foram coletadas no questionrio contextual
e classificadas usando ISCED (OCDE, 1999). ndices sobre educao parental foram construdos por recodificao das
qualificaes educacionais nas seguintes categorias: (0) No concluiu a 4a srie (ou 5o ano) do Ensino Fundamental;
(1) ISCED 1 (Ensino Fundamental at a 4a srie/5o ano); (2) ISCED 2 (Ensino Fundamental completo at a 8a srie/9o
ano); (3) ISCED 3B ou 3C (Ensino Mdio profissionalizante completo); (4) ISCED 3A (Ensino Mdio completo) e/ou ISCED
4 (diploma de curso tcnico, sem certificao de nvel superior); (5) ISCED 5B (diploma de tecnlogo ou licenciatura
de curta durao); e (6) ISCED 5A, 6 (diploma de graduao plena, ps-graduao ou doutorado). ndices com essas
categorias foram previstos no ndice de escolaridade da me (MISCED) e do pai (FISCED). Alm disso, o ndice do nvel
educacional mais elevado de pais (HISCED) corresponde ao maior nvel ISCED de um dos pais ou do nico parente
com informao disponvel.
Com o ndice de mais alto nvel educacional dos pais (HISCED), foi obtido um ndice associado ao nmero estimado
de anos de escolaridade dos pais (PARED). Para cada pas participante do PISA 2015 foi realizado um mapeamento
dos nveis ISCED e, para a criao dessa medida, ele foi aplicado da mesma forma em todos os ciclos. O ISCDE 97 foi
usado para assegurar a comparabilidade internacional, uma vez que o novo ISCDE 2011 ainda no implementado
para todos os pases (Unesco, 2015). Mais informaes sobre tal mapeamento ser descrita no Relatrio Tcnico do PISA
2015 (OCDE, em desenvolvimento).
A Figura 8.1 apresenta o ndice PARED entre os pases considerados neste relatrio e as unidades federativas brasileiras.
Vale ressaltar que, como na confeco do documento os dados da Espanha sobre esse quesito no haviam sido dispo-
nibilizados, nenhuma informao sobre esse pas ser descrita neste captulo.
8
Figura 8.1
ndice do nvel educacional dos pais (PARED) por pas e unidade da Federao PISA 2015
18
16
14
12
10
Fonte: OCDE, INEP.
Entre os pases aqui avaliados, Mxico foi o que apresentou menor ndice referente aos anos de escolaridade dos pais
dos jovens de 15 anos que tiveram respostas vlidas nesse quesito (11,11). O Canad, por sua vez, foi o que apresentou
o maior valor (15,45).
No contexto nacional, o nmero mdio de anos de estudos dos pais dos brasileiros de 15 anos no PISA 2015 de 11,71.
Paraba foi a unidade da Federao que apresentou menor ndice (10,20), e Roraima, o maior (13,25). A Figura 8.2 ilustra
o ndice PARED por tipo de escola. Em mdia, os pais dos estudantes de escolas particulares apresentaram mais anos de
estudos (14,84), e os de escolas rurais, menos (9,57).
Figura 8.2
ndice do nvel educacional dos pais (PARED) dos estudantes brasileiros por tipo de escola PISA 2015
14,84
13,14
12,56
11,71 11,81
11,29 11,44
10,48
9,57

Fonte: OCDE, INEP.
8
8.3 Nvel ocupacional dos pais

Dados sobre as profisses dos pais foram obtidos por meio de perguntas abertas no questionrio dos estudantes. As res-
postas foram codificadas para cdigos ISCO de quatro dgitos (OIT, 2007, apud OCDE, 2014) e, em seguida, mapeadas
para o ndice de status ocupacional (ISEI) (Ganzeboom, 2010, apud OCDE, 2014). Esse ndice fornece uma aproximao
da situao socioeconmica da famlia dos estudantes avaliados no PISA com base em ocupaes dos membros da
famlia. A medida foi desenvolvida por Ganzeboom e seus colegas (Ganzeboom, deGraaf & Treiman, 1992; Ganzeboom
e Treiman, 1996, apud OCDE, 2014) e pretende ser comparvel entre pases.
A partir do mapeamento das ocupaes, foram calculados trs ndices: o status ocupacional do pai (BFMJ); o status
ocupacional da me (BMMJ); e o mais alto status ocupacional dos pais (HISEI), que corresponde maior pontuao ISEI
de um dos pais ou a pontuao ISEI do nico dado sobre pais disponvel. Para todos os trs ndices, maiores pontuaes
ISEI indicam nveis mais elevados de status profissional. Tal como na edio de 2012, no PISA 2015, o ISCO e ISEI so da
verso de 2008, em lugar de verses de 1988 utilizadas em ciclos anteriores do PISA (OCDE, 2013). Para obter detalhes
sobre esse mapeamento, veja o Relatrio Tcnico do PISA 2015 (OCDE, em desenvolvimento).
A Figura 8.3 representa o ndice da mais alta ocupao dos pais dos jovens dos 12 pases aqui considerados (HISEI), bem
como o valor do ndice para as unidades federativas brasileiras.
Figura 8.3
ndice do nvel ocupacional dos pais (HISEI) por pas e unidade da Federao PISA 2015
70
60
50
40
30
20
10
Fonte: OCDE, INEP.
No comparativo internacional, o Canad foi o pas que apresentou o maior ndice de ocupao dos pais dos estudantes
com respostas vlidas nos questionrios do PISA 2015 (58,06), e Peru, o menor (37,30). No contexto brasileiro, o estado
do Amazonas foi o que apresentou o maior ndice de ocupao dos pais no geral dos estudantes de 15 anos (50,21), e
Paraba, o menor (37,19). A Figura 8.4 apresenta a distribuio do ndice por tipo de escola.
8
Figura 8.4
ndice do nvel ocupacional dos pais (HISEI) dos estudantes brasileiros por tipo de escola PISA 2015
63,91
52,07
46,76
42,74 43,13
41,48
39,43
34,92
33,78

Fonte: OCDE, INEP.
8.4 Bens domsticos, recursos educacionais e RECURSOS culturais

presentes no lar
A coleta de informaes sobre bens domsticos como indicadores de riqueza da famlia tem recebido muita ateno
nos estudos internacionais em educao (Spiezia, 2010; Traynor e Raykov, 2013, apud OCDE, 2014). No PISA, para
capturar a riqueza da famlia, os estudantes respondem se tm ou no determinados bens ou recursos, pois essa medida
pode fornecer uma fonte mais estvel de riqueza do que a declarao da renda (OCDE, 2013).
No PISA 2015, os estudantes relataram a existncia de 24 itens domsticos em casa, desde carros e aparelhos de televiso,
por exemplo, a livros de poesia, literatura clssica ou obras de arte. Quatro ndices foram obtidos a partir desses itens:
(1) ndice de riqueza da famlia (WEALTH); (2) ndice de bens culturais (CULTPOS); (3) ndice de recursos educacionais
(HEDRES); e (4) ndice de bens domsticos (HOMEPOS). Esse ltimo um ndice resumo dos outros trs (WEALTH,
CULTPOS e HEDRES) e tambm inclui a varivel que indica o nmero de livros que o estudante possui no lar (ST013Q-
01TA). Informaes sobre a construo dos ndices, bem como detalhes sobre o tratamento dessas variveis, podem ser
encontradas no Relatrio Tcnico do PISA 2015 (OCDE, em desenvolvimento).
A Figura 8.5 apresenta os valores dos ndices resumo de bens domsticos, recursos educacionais e culturais (HOMEPOS)
por pas e por unidade da Federao. Nota-se que, com relao aos pases da OCDE (ndice referncia igual a zero),
todos os pases latino-americanos apresentam ndice negativo, ou seja, menor grau de posse de bens nas famlias dos
jovens de 15 anos em comparao com o mesmo pblico, em geral, de pases pertencentes OCDE.
8
Figura 8.5
ndice de bens domsticos, recursos educacionais e culturais presentes no lar (HOMEPOS)
1,0
0,5
0,0
-0,5
-1,0
-1,5
-2,0
Fonte: OCDE, INEP.
A Figura 8.6 apresenta o ndice de posse de recursos por tipo de escola. Em geral, estudantes de escolas particulares
apresentam o maior ndice (-0,22) e os de escolas rurais, o menor (-2,01).
Figura 8.6
ndice de bens domsticos, recursos educacionais e culturais presentes no lar (HOMEPOS)
dos estudantes brasileiros por tipo de escola PISA 2015
-0,22
-0,99 -1,01
-1,24 -1,20
-1,34 -1,31
-1,85
-2,01

Fonte: OCDE, INEP.
8
8.5 ndice de status econmico, social e cultural

O nvel socioeconmico um conceito amplo que resume diferentes aspectos de um estudante, da escola ou de um
sistema educacional. No PISA, o contexto socioeconmico do estudante medido pelo ndice de status econmico, social
e cultural (ESCS), que se baseia no mais alto nvel educacional dos pais (PARED), no nvel ocupacional dos pais (HISEI)
e em um ndice dos bens domsticos, recursos educacionais e culturais presentes no lar (HOMEPOS). Cada um desses
componentes foi descrito nas sees anteriores. O ndice ESCS foi construdo para ser comparvel internacionalmente,
refletindo importantes diferenas associadas ao contexto dos estudantes e das escolas avaliados no PISA.
Os escores do ESCS do PISA 2015 foram calculados por meio da anlise por Componentes Principais (OCDE, 2013).
Para os pases pertencentes OCDE, o ndice foi obtido com base na primeira componente da anlise, com mdia apro-
ximadamente igual zero, correspondendo ao escore mdio ESCS de um estudante do pas da OCDE e o desvio-padro
prximo a 1 utilizando igual peso para os pases desse grupo. Na anlise dos pases/economias parceiras, os escores do
ESCS foram obtidos da seguinte maneira:
1PARED + 2HISEI + 1HOMEPOS

ESCS = ,

em que 1, 2 e 3 so as cargas fatoriais associadas aos ndices; PARED, HISEI e HOMEPOS so variveis padronizadas
de cada ndice; e o autovalor da primeira componente da anlise por componentes principais. Mais informaes sobre
a construo dessa medida podem ser encontradas no Relatrio Tcnico do PISA 2015 (OCDE, em desenvolvimento).
Os estudantes so considerados como socioeconomicamente favorecidos se esto entre os 25% dos estudantes com
os maiores valores do ndice ESCS (percentil 75) em seu pas ou economia e so considerados socioeconomicamente
desfavorecidos se seus valores do ndice ESCS esto no percentil 25 do ndice, ou seja, entre os 25% dos estudantes
com os nveis mais baixos do ESCS em seu pas (OCDE, 2016).
O PISA indica consistentemente que nvel socioeconmico est associado com o desempenho dos estudantes nos testes
cognitivos. At certo ponto, essa associao reflete as vantagens relativas inerentes aos recursos que um nvel socioeco-
nmico alto pode oferecer, podendo impactar de maneira direta no desempenho dos estudantes. Esse padro tambm
pode refletir outras caractersticas que esto associadas com o nvel socioeconmico alto e que no so medidas pelo
ndice ESCS do PISA. Por exemplo, um alto ndice de nvel socioeconmico pode estar relacionado com: maiores gastos
com educao no nvel dos pases avaliados; um ambiente seguro e, possivelmente, um maior nvel e qualidade dos
recursos educacionais no nvel da escola; e atitudes e compreenso da educao, as aspiraes dos pais e a oferta de
mais recursos no nvel do estudante (OCDE, 2016).
Nesta parte do captulo, uma descrio dos resultados do ESCS no PISA 2015 ser feita sob a perspectiva internacional,
seguida da anlise do contexto brasileiro por tipo de escola e unidade da Federao.
Perspectiva internacional
A Figura 8.7 apresenta os resultados do ndice de status econmico, social e cultural (ESCS) dos estudantes de 12 pases
aqui considerados. Canad foi o que apresentou o maior ndice (0,53) e Mxico, o menor (-1,22).
8
Figura 8.7
ndice ESCS, intervalos de confiana, percentual representado e percentis dos escores
dos pases selecionados PISA 2015
Pas1 ndice ESCS EP2 IC3 Perc Rep4 Distribuio dos escores5
-4 -3 -2 -1 0 1 2 3 4
Canad 492 563

Canad 0,53 0,02 (0,50;0,57) 97%
Finlndia 494 572
Finlndia 0,25 0,02 (0,21;0,29) 99%
Estados Unidos 457 546
Estados Unidos 0,10 0,04 (0,03;0,17) 99%
Coreia do Sul 480 556
Coreia do Sul -0,20 0,02 (-0,24;-0,15) 99%
Portugal 459 556
Portugal -0,39 0,03 (-0,45;-0,33) 99%
Chile 402 497
Chile -0,49 0,03 (-0,54;-0,43) 98%
Uruguai 397 487
Uruguai -0,78 0,02 (-0,82;-0,73) 98%
Costa Rica 390 460
Costa Rica -0,80 0,04 (-0,87;-0,73) 98%
Repblica
305 372
Repblica Dominicana -0,90 0,03 (-0,96;-0,85) 99% Dominicana
Brasil 368 450

Brasil -0,96 0,03 (-1,01;-0,90) 94%
Colmbia 385 461
Colmbia -0,99 0,04 (-1,06;-0,92) 98%
Peru 350 444
Peru -1,08 0,04 (-1,15;-1,01) 100%
Mxico 386 446
Mxico -1,22 0,04 (-1,30;-1,15) 99%
Notas:
1. Como na confeco deste relatrio os dados da Espanha sobre esse quesito no haviam sido disponibilizados, nenhuma informao sobre esse pas ser descrita
neste captulo.
2. EP: estimativa de erro-padro do ndice.
3. IC: intervalo de confiana do ndice.
4. Perc Rep: percentual de estudantes representados que tiveram respostas vlidas para a construo do ndice.
5. Distribuio dos escores. O grfico apresenta a distribuio dos valores mdios do ndice ESCS no grupo de estudantes socioeconomicamente desfavorecido
(percentil 25) e no grupo socioeconomicamente favorecido (percentil 75). H ainda a informao dos valores mdios do desempenho em cincias dos estudantes
situados no percentil 25 (valor denotado por V1) e o desempenho mdio dos estudantes situados no percentil 75 (V2).
Mdia do ESCS Mdia do ESCS
no percentil 25 no percentil 75
V1 V2
Mdia OCDE
Fonte: OCDE, INEP.
Alm das informaes sobre os resultados mdios e respectivos intervalos de confiana do ndice ESCS dos estudantes,
a Figura 8.7 ilustra a distribuio dos escores desse ndice nos pontos mdios dos percentis 25 e 75 do ESCS, bem como
os valores mdios do desempenho em cincias nesses dois grupos. No Canad, por exemplo, os estudantes considera-
dos como socioeconomicamente favorecidos (localizados no percentil 75) obtiveram, em mdia, o ndice ESCS igual a
1,46. Para esse mesmo grupo, observou-se que a mdia das proficincias em cincias no PISA 2015 foi de 563 pontos,
diferindo em aproximadamente 70 pontos do valor mdio do desempenho em cincias dos estudantes do grupo dos
estudantes socioeconomicamente desfavorecido (percentil 25 do ndice ESCS). Essa diferena ainda maior em Portugal
96 pontos entre os grupos socioeconomicamente favorecido e desfavorecido.
Perspectiva nacional
A seguir, ser realizada uma anlise do ndice ESCS por tipo de escola (dependncia administrativa, localizao e rea)
dos jovens brasileiros no PISA 2015. Uma anlise mais aprofundada com relao s unidades da Federao tambm
ser apresentada.
Por meio da Figura 8.8, pode-se observar as diferenas no nvel socioeconmico dos jovens brasileiros por tipo de de-
pendncia administrativa da escola. O maior ndice ESCS por essas categorias foi aquele dos estudantes provenientes de
escolas particulares (0,30), e o menor, dos estudantes de escolas municipais (-1,51).
8
Figura 8.8
por dependncia administrativa, Brasil PISA 2015
Dependncia
ndice ESCS EP1 IC2 Perc Rep3 Distribuio dos escores4
administrativa
-4 -3 -2 -1 0 1 2 3 4
Brasil 368 450

Brasil -0,96 0,03 (-1,01;-0,90) 94%
Particular 457 520
Particular 0,30 0,07 (0,17;0,44) 94%
Federal 487 545
Federal -0,47 0,08 (-0,62;-0,31) 99%
Estadual 377 416
Estadual -1,11 0,02 (-1,15;-1,07) 94%
Municipal 319 334
Municipal -1,51 0,06 (-1,63;-1,39) 92%
Notas:
V1 V2
Mdia OCDE
Fonte: OCDE, INEP.
Segundo a localizao das escolas (Figura 8.9), estudantes brasileiros de escolas rurais foram os que apresentaram menor
ndice ESCS (-1,74), variando em torno de -3,23 (ponto mdio do percentil 25 do ESCS) a 0,03 (ponto mdio do percentil
75). Contudo, deve-se lembrar que estudantes de escolas rurais de estados do Norte do pas no foram considerados no
delineamento do PISA 2015.
Figura 8.9
por localizao, Brasil PISA 2015
Localizao1 ndice ESCS EP1 IC2 Perc Rep3 Distribuio dos escores4
-4 -3 -2 -1 0 1 2 3 4
Brasil 368 450

Brasil -0,96 0,03 (-1,01;-0,90) 94%
Urbana 373 452
Urbana -0,92 0,03 (-0,97;-0,87) 94%
Rural 318 385
Rural -1,74 0,18 (-2.09;-1,39) 94%
Notas:
1. Devido ao delineamento utilizado no PISA, escolas rurais da Regio Norte no foram contempladas no estudo.
V1 V2
Mdia OCDE
Fonte: OCDE, INEP.
8
A Figura 8.10 ilustra a distribuio do ndice ESCS por rea de localizao das escolas. Estudantes de 15 anos de es-
colas localizadas na capital com respostas vlidas para a criao do ndice ESCS (percentual de representao para
essa categoria igual a 95%) apresentaram, em mdia, maior valor do ndice (-0,67) do que o mesmo pblico de jovens
localizados no interior (-1,05).
Figura 8.10
por rea da escola, Brasil PISA 2015
rea ndice ESCS EP1 IC2 Perc Rep3 Distribuio dos escores4
-4 -3 -2 -1 0 1 2 3 4
Brasil 368 450
Brasil -0,96 0,03 (-1,01;-0,90) 94%

Capital 382 467
Capital -0,67 0,05 (-0,77;-0,57) 95%
Interior 365 443
Interior -1,05 0,03 (-1,11;-0,99) 94%
Notas:
V1 V2
Mdia OCDE
Fonte: OCDE, INEP.
Na anlise regional, a Figura 8.11 apresenta o ndice ESCS para as unidades federativas brasileiras. Distrito Federal foi a
que apresentou o maior ndice (-0,47), e Paraba, o menor (-1,50). importante lembrar que Paran e Amap foram os
estados que no atenderam s taxas de respostas do PISA 2015. Pela Figura 8.11 destaca-se ainda que, alm da baixa
participao dos estudantes nos testes cognitivos, a anlise do ndice ESCS do Amap tambm est comprometida, pois
somente 59% dos estudantes tiveram respostas vlidas para o clculo desse ndice.
Avaliando o desempenho mdio em cincias nos grupos socioeconomicamente favorecidos (percentil 75) contra os so-
cioeconomicamente desfavorecidos (percentil 25), o estado de Gois foi o que apresentou maior diferena, em mdia,
entre os dois grupos (103 pontos na escala de cincias). Tocantins, por outro lado, foi o que apresentou menor diferena
30 pontos, em mdia.
8
Figura 8.11
por unidade da Federao, Brasil PISA 2015
ndice Perc
UF EP1 IC2 Distribuio dos escores4
ESCS Rep3
-4 -3 -2 -1 0 1 2 3 4
Brasil -0,96 0,03 (-1,01;-0,9) 94% Brasil 368 450

Distrito Federal -0,47 0,05 (-0,57;-0,36) 96% Distrito Federal 393 473
Amazonas -0,56 0,11 (-0,78;-0,33) 98% Amazonas 366 437
Roraima -0,58 0,10 (-0,78;-0,39) 87% Roraima 375 441
Rio de Janeiro -0,70 0,07 (-0,83;-0,57) 91% Rio de Janeiro 372 425
Paran -0,70 0,12 (-0,94;-0,46) 98% Paran 391 481
Acre -0,74 0,20 (-1,13;-0,34) 96% Acre 366 446
So Paulo -0,75 0,05 (-0,85;-0,65) 92% So Paulo 383 464
Amap -0,77 0,15 (-1,07;-0,47) 59% Amap 373 405
Esprito Santo -0,84 0,10 (-1,04;-0,63) 99% Esprito Santo 398 490
Mato Grosso -0,91 0,11 (-1,12;-0,7) 97% Mato Grosso 372 428
Gois -0,91 0,09 (-1,09;-0,74) 95% Gois 369 472
Mato Grosso do Sul -0,94 0,11 (-1,15;-0,72) 97% Mato Grosso do Sul 372 449
Minas Gerais -0,94 0,10 (-1,14;-0,74) 97% Minas Gerais 388 471
Rio Grande do Sul -0,95 0,10 (-1,14;-0,76) 93% Rio Grande do Sul 381 444
Santa Catarina -0,98 0,08 (-1,14;-0,82) 93% Santa Catarina 386 455
Par -0,99 0,13 (-1,23;-0,74) 95% Par 347 428
Rondnia -1,09 0,15 (-1,38;-0,8) 93% Rondnia 370 428
Rio Grande do Norte -1,19 0,08 (-1,34;-1,03) 97% Rio Grande do Norte 354 406
Pernambuco 349 421
Pernambuco -1,19 0,10 (-1,39;-0,99) 94%
Tocantins -1,21 0,06 (-1,32;-1,09) 95% Tocantins 362 392
Maranho 341 418
Maranho -1,21 0,16 (-1,52;-0,91) 97%
Sergipe 338 437
Sergipe -1,26 0,16 (-1,58;-0,93) 73%
Bahia 334 412
Bahia -1,26 0,10 (-1,45;-1,07) 94%
Piau 351 428
Piau -1,33 0,14 (-1,61;-1,05) 90%
Alagoas 332 417
Alagoas -1,37 0,16 (-1,69;-1,06) 93%
Cear 378 457
Cear -1,41 0,19 (-1,78;-1,05) 98%
Paraba 365 421
Paraba -1,50 0,14 (-1,77;-1,23) 88%
Notas:
V1 V2
Mdia OCDE
Fonte: OCDE, INEP.
8.6 Relao entre o ESCS e o desempenho em cincias no PISA 2015
Nesta seo, o cruzamento entre o ndice ESCS e os resultados de cincias no PISA 2015 ser feito utilizando a medida
de gradiente socioeconmico ou gradiente social.
Os termos do gradiente socioeconmico ou gradiente social referem-se relao existente entre uma varivel depen-
dente (resultado) e uma medida de nvel socioeconmico. No caso do PISA, a varivel dependente o desempenho dos
alunos nos testes cognitivos, e a medida de nvel socioeconmico, o ndice ESCS. Usando uma representao grfica, a
linha de melhor ajuste dos pontos que representam o desempenho dos estudantes contra o nvel socioeconmico (ESCS)
fornece informaes sobre vrios aspectos dessa relao. Essa linha referida como o gradiente socioeconmico ou
social (Thomson, S.; De Bortoli, L.; Buckley., S., 2013).
8
A Figura 8.12 mostra o gradiente socioeconmico para os estudantes brasileiros na avaliao de cincias do PISA 2015.
Cada incremento no ndice ESCS do PISA est associado com um aumento aproximadamente consistente no desem-
penho dos estudantes na escala de cincias. No entanto, cuidados devem ser tomados na interpretao da associao
entre o desempenho em testes cognitivos e a medida do ESCS, em especial quando ela for expressa como uma nica
linha, como na Figura 8.12.
A linha representa uma indicao mdia da associao entre desempenho e nvel socioeconmico. Se todos os estudantes
estivessem situados na linha, isso significaria que o desempenho em cincias poderia ser previsto com alta preciso, sim-
plesmente por saber o contexto socioeconmico do estudante. Contudo, no o caso, j que h uma gama diversificada
de escores nos mais variados contextos socioeconmicos. Para ilustrar tal fato, a Figura 8.12 apresenta os resultados dos
jovens brasileiros em cincias. Cada ponto no grfico representa um estudante. Pode-se ver que existe uma grande variedade
de resultados, com um nmero de estudantes com baixo nvel socioeconmico alcanando altas pontuaes em cincias
e, inversamente, um nmero de estudantes com alto nvel socioeconmico alcanando baixas pontuaes nesse domnio.
A anlise de gradientes socioeconmicos, por sua vez, um meio de caracterizar a equidade e fornecer orientaes para
a poltica educacional. Equidade na educao um foco central do PISA e uma preocupao importante para os pases,
porque a equidade em oportunidades educacionais na escola um poderoso preditor de diferenas em oportunidades
de vida dos estudantes. Os sistemas de educao partilham o objetivo de equipar seus jovens, independentemente do
estrato social, com as habilidades necessrias para alcanar o pleno potencial na vida social e econmica (OCDE, 2016).
Figura 8.12
Gradiente socioeconmico para os estudantes brasileiros PISA 2015
800
700
600
Desempenho em cincias
500
400
300
200
100
0
-6 -5 -4 -3 -2 -1 0 1 2 3 4
ndice ESCS
Fonte: OCDE, INEP.
Cinco informaes relevantes para a anlise do gradiente social
1. A fora da relao entre desempenho e nvel socioeconmico refere-se a quo bem o nvel socioeconmico prev
o desempenho. importante considerar quo bem ajustados esto os resultados individuais com a linha de melhor
ajuste. Em outras palavras, esto os pontos de todos os estudantes situados perto da linha de melhor ajuste ou eles
esto amplamente espalhados? Quanto mais prximos os pontos estiverem da linha de melhor ajuste, maior a
fora da relao entre desempenho em cincias e nvel ESCS. Esse aspecto do gradiente social representado pela
percentagem da varincia do desempenho que pode ser explicada pelo ndice ESCS. Se esse valor grande, h um
indicativo de que o desempenho , em termos relativos, altamente determinado pelo ESCS; se a porcentagem for
pequena, isso indica que o desempenho no altamente determinado pelo ndice ESCS. No Brasil, por exemplo,
a fora da relao entre o desempenho dos estudantes em cincias e ndice ESCS foi de 13, o que significa que
cerca de 13% da variao no desempenho em cincias do PISA 2015 foi explicado pelo nvel socioeconmico.
8
2. A inclinao da linha de gradiente refere-se ao impacto do nvel socioeconmico sobre o desempenho. Um declive
mais acentuado indica um maior impacto do background socioeconmico sobre o desempenho, de tal modo
que existe uma maior diferena de desempenho entre estudantes com baixo nvel socioeconmico e estudantes
com alto nvel socioeconmico do que nos sistemas com declives mais suaves. Os sistemas de educao visam,
tipicamente, diminuir as diferenas de desempenho entre os grupos sociais. Uma maior equidade poderia ser
indicada por um gradiente mais plano.
3. O nvel mdio da linha no grfico d uma indicao de quo bem a populao em geral tem se sado no teste
avaliado. Linhas em nveis mais elevados indicam maior desempenho mdio dos estudantes.
4. O comprimento da linha indica o intervalo de ESCS. Neste captulo, as linhas foram traadas entre os pontos mdios
do ndice ESCS no mais baixo quartil do nvel socioeconmico (percentil 25) e no mais alto (percentil 75). Um
intervalo menor indica menor diferena de nvel socioeconmico entre estudantes de maior e menor nveis socioe-
conmicos do pas. O intervalo pode ser medido pelo que se projeta da linha no eixo x do grfico do gradiente.
5. A linearidade do gradiente mede a extenso em que a extremidade de desempenho associada a nveis socioecon-
micos dos estudantes mais favorecidos permanece constante ao longo do ndice ESCS. O ndice de curvilinearidade
permite julgar isso. Um ndice positivo indica que o gradiente socioeconmico torna-se mais ngreme para os
estudantes mais favorecidos quando o nvel socioeconmico aumenta, h um aumento na medida em que isso
se traduz em pontuaes mais elevadas do desempenho em cincias. Um ndice negativo indica um achatamento
do gradiente em nveis socioeconmicos mais elevados quando as vantagens socioeconmicas aumentam, h
uma diminuio no efeito que elas tm sobre o desempenho dos estudantes.
Fonte: Thomson, S.; De Bortoli, L.; Buckley., S., 2013, com adaptaes.
A Figura 8.13 apresenta a fora, a inclinao e o ndice de curvilinearidade da anlise do gradiente socioeconmico
dos 12 pases aqui considerados.
Figura 8.13
Relao entre o ESCS e o desempenho em cincias para os pases selecionados PISA 2015
Fora da relao
entre o desempenho Inclinao do gradiente ndice de curvilinearidade
em cincias e o ndice ESCS
Pas Percentual da Diferena de um ponto Diferena de um ponto no
varincia explicada no escore associado escore associado com o
EP EP EP
no desempenho com o aumento de aumento de uma unidade
do estudante uma unidade no ESCS no ESCS ao quadrado
Brasil 13% 0,01 36,41 2,24 4,80 0,72
Costa Rica 16% 0,01 29,87 1,80 3,63 0,78
Uruguai 16% 0,01 36,76 2,15 3,90 0,95
Estados Unidos 12% 0,01 34,77 1,87 5,74 1,08
Chile 17% 0,01 33,70 1,61 1,38 1,00
Mxico 11% 0,01 20,08 1,89 0,30 0,67
Portugal 15% 0,01 32,12 1,84 1,86 0,99
Coreia do Sul 10% 0,01 44,08 3,04 -0,53 2,23
Colmbia 15% 0,02 39,69 2,89 6,21 0,95
Peru 22% 0,02 30,99 2,52 0,70 0,82
Canad 9% 0,01 33,50 1,43 0,25 0,92
Finlndia 10% 0,01 41,86 2,26 -4,98 2,44
Repblica Dominicana 14% 0,02 36,64 3,20 6,28 1,11
Fonte: OCDE, INEP.
8
A inclinao e a fora do gradiente medem diferentes aspectos da relao entre contexto socioeconmico e desempenho dos
estudantes no PISA 2015. Se o declive do gradiente ngreme e a fora da relao entre nvel socioeconmico e desempenho
forte, os desafios para os sistemas educativos so grandes. Ou seja, estudantes nesses sistemas so mais propensos a estar
em determinado nvel de desempenho pela sua condio socioeconmica e h uma maior diferena entre o desempenho
de estudantes socioeconomicamente favorecidos e menos favorecidos. A Figura 8.14 apresenta essas medidas.
Entre os pases aqui considerados, os gradientes socioeconmicos da Coreia do Sul e Finlndia esto ilustrados na parte
superior do grfico, mostrando altos nveis de desempenho dos estudantes em cincias ao longo do espectro socioe-
conmico medido pelo ESCS. O comprimento da linha do gradiente desses pases mostra que, em geral, seus sistemas
de ensino tm de gerir uma gama menor de origens socioeconmicas entre os estudantes do que, por exemplo, os do
Brasil ou do Mxico. A ligeira curva negativa da linha indica que o efeito do nvel socioeconmico em ambos os pases
declina mais do que a mdia nos pases da OCDE quando o nvel socioeconmico aumenta.
Figura 8.14
Gradientes socioeconmicos para os pases selecionados PISA 2015
600
KOR
575
FIN
550
PRT
525
CAN
500 USA
475 CHL
450 URY
425 COL
400 MEX
375 CRI
350 PER
325 BRA
300 DOM
-4 -3 -2 -1 0 1 2 3 4
Fonte: OCDE, INEP. ndice ESCS
No contexto do Brasil, a Figura 8.15 apresenta as estimativas dos coeficientes do gradiente socioeconmico por tipo
de escola.
Figura 8.15
Relao entre o ESCS e o desempenho em cincias por tipo de escola, Brasil PISA 2015
Fora da relao
Tipo de escola Percentual da Diferena de um ponto Diferena de um ponto no
EP EP EP
Brasil 13% 0,01 36,41 2,24 4,80 0,72
Federal 8% 0,03 19,57 6,92 -0,53 4.15
Estadual 4% 0,01 17,48 2,06 1,20 0,63
Municipal 1% 0,01 1,15 5,13 -1,33 1.41
Particular 9% 0,02 28,11 3,39 3,92 2.76
Urbana 13% 0,01 37,04 2,26 5,69 0,75
Rural 11% 0,06 20,43 10,36 -0,04 1.84
Capital 14% 0,03 40,32 3,90 7,16 1.50
Interior 13% 0,02 34,65 2,83 4,25 0,87
Fonte: OCDE, INEP.
8
Verifica-se pela Figura 8.16 as diferenas entre os gradientes socioeconmicos por tipo de escola em que os jovens bra-
sileiros de 15 anos estavam matriculados no PISA 2015. Ao se examinar o desempenho mdio dos estudantes de mesmo
nvel socioeconmico entre diferentes tipos de escola, novamente constata-se que alunos de escolas federais tendem a
ter melhores resultados do que o mesmo pblico em outra rede de ensino.
Figura 8.16
Gradientes socioeconmicos por tipo de escola, Brasil PISA 2015
Dependncia administrativa Localizao

Federal Particular Brasil Estadual Municipal Brasil Urbana Rural
550 550
525 525
500 500
475 475
450 450
425 425
400 400
375 375
350 350
325 325
300 300
-4 -3 -2 -1 0 1 2 3 4 -4 -3 -2 -1 0 1 2 3 4
ndice ESCS ndice ESCS
rea
Brasil Capital Interior
550
525
500
475
450
425
400
375
350
325
300
-4 -3 -2 -1 0 1 2 3 4
ndice ESCS
Fonte: OCDE, INEP.
A Figura 8.17 apresenta os valores das estimativas do gradiente socioeconmico por unidade da Federao.
8
Figura 8.17
Relao entre o ESCS e o desempenho em cincias por unidade da Federao PISA 2015
Fora da relao
Unidade da
Percentual da Diferena de um ponto Diferena de um ponto no
Federao
EP EP EP
Brasil 13% 0,01 36,41 2,24 4,80 0,72
Acre 15% 0,03 27,71 3,72 1,75 2,01
Alagoas 19% 0,08 44,96 7,86 7,94 2,65
Amap 5% 0,05 26,31 13,12 9,18 4,59
Amazonas 11% 0,04 27,11 6,64 2,08 3,31
Bahia 12% 0,06 31,28 14,13 2,81 4,08
Cear 20% 0,10 49,61 9,72 9,27 2,58
Distrito Federal 13% 0,03 33,33 5,66 5,21 2,79
Esprito Santo 16% 0,04 35,36 6,25 4,49 2,32
Gois 20% 0,07 47,31 9,46 8,34 3,42
Maranho 13% 0,10 35,60 20,13 4,89 4,71
Mato Grosso 8% 0,03 25,64 4,72 3,86 2,17
Mato Grosso do Sul 13% 0,03 35,69 5,27 4,68 2,49
Minas Gerais 12% 0,04 32,22 4,39 2,73 1,58
Par 8% 0,04 25,48 9,67 0,92 2,43
Paraba 11% 0,09 46,94 17,74 9,91 4,33
Paran 15% 0,06 35,64 8,14 4,59 3,55
Pernambuco 11% 0,04 31,08 6,27 2,74 1,78
Piau 17% 0,13 47,71 19,54 8,61 5,06
Rio de Janeiro 8% 0,03 29,61 6,03 5,97 2,35
Rio Grande do Norte 8% 0,03 26,17 7,21 3,06 2,12
Rio Grande do Sul 7% 0,03 24,29 6,55 1,84 2,75
Rondnia 10% 0,09 35,91 14,42 8,11 3,98
Roraima 10% 0,03 30,50 5,01 5,95 2,11
Santa Catarina 11% 0,03 33,97 6,53 4,67 2,38
So Paulo 14% 0,04 42,69 5,67 8,85 2,23
Sergipe 19% 0,07 37,56 12,11 2,64 2,92
Tocantins 4% 0,02 20,20 4,60 3,33 1,65
Fonte: OCDE, INEP.
Gois foi a unidade da Federao com o maior percentual de varincia explicada pelo ndice ESCS (20%), e Tocantins, o
menor (4%). A Figura 8.18 apresenta os gradientes socioeconmicos dos estratos agrupados pelas cinco regies brasileiras.
8
Figura 8.18
Gradientes socioeconmicos por regio, Brasil PISA 2015
Regio Norte Regio Nordeste
475 475
BRA CE
BRA
450 450
AC
SE
425 PA 425 PI
PB
AM
400 400
PE
RR
RN
375 375
RO BA
350 350 MA
AP
AL
325 TO 325
-4 -3 -2 -1 0 1 2 3 4 -4 -3 -2 -1 0 1 2 3 4
Regio Sul Regio Sudeste

475 475
ES
SC
450 450
PR MG
RS SP
425 425
BRA BRA
400 400 RJ
375 375
350 350
325 325
-4 -3 -2 -1 0 1 2 3 4 -4 -3 -2 -1 0 1 2 3 4
Regio Centro-Oeste
475
GO
450
DF
MS
425
BRA
400 MT
375
350
325
-4 -3 -2 -1 0 1 2 3 4
ndice ESCS
Fonte: OCDE, INEP.
9
O PISA dialoga
com o SAEB?
9
O PISA dialoga com o SAEB?
9.1 Aspectos gerais

A cada ano mpar do PISA, a aplicao da avaliao no pas coincide com o ano de avaliao do Sistema de Avaliao
da Educao Bsica (SAEB). Em 2015 no foi diferente. Enquanto em maio mais de 20 mil estudantes foram selecionados
aleatoriamente para participar do PISA, em novembro do mesmo ano foram avaliados cerca de 4 milhes de estudantes
em mais de 50 mil escolas no SAEB. Entender as diferenas e semelhanas entre essas avaliaes o tema deste captulo.
Para uma anlise mais coerente do desempenho dos estudantes brasileiros no PISA no contexto nacional, faz-se neces-
srio apresentar elementos que permitam refletir sobre as semelhanas e diferenas entre os marcos referenciais do PISA
e do SAEB. Alm disso, neste captulo sero descritas as principais diferenas metodolgicas da anlise dos resultados
das duas avaliaes. Dados sobre os resultados por unidade da Federao do PISA 2015 e do SAEB 2015 tambm sero
comparados.
Essa anlise foi realizada com particular ateno estratgia 11 da meta 7 do Plano Nacional de Educao (PNE 2014-
2024, Lei n 13.005/2014), na qual o PISA designado como o instrumento externo de referncia na avaliao de
aprendizagem de estudantes brasileiros da Educao Bsica. Entender as particularidades dessa avaliao com relao
ao SAEB e como ela pode contribuir no cumprimento da meta 7 do PNE (Fomentar a qualidade da Educao Bsica
em todas as etapas e modalidades, com melhoria do fluxo escolar e da aprendizagem de modo a atingir as seguintes
mdias nacionais para o Ideb) o foco deste captulo.
Por fim, espera-se que as anlises aqui apresentadas consigam ampliar o debate sobre a compreenso da avaliao PISA,
suas particularidades relativas aos aspectos metodolgicos e aos componentes dos marcos referenciais de cada rea do
conhecimento avaliado, sob a lente de uma das mais importantes avaliaes de larga escala no cenrio nacional, o SAEB.
9.2 O que o SAEB?

O Sistema de Avaliao da Educao Bsica (SAEB) tem como principais objetivos oferecer subsdios a formulao,
reformulao e monitoramento de polticas pblicas, alm de produzir informaes sobre os fatores do contexto so-
cioeconmico, cultural e escolar que influenciam o desempenho dos estudantes brasileiros (INEP, 2015). Atualmente, o
SAEB composto por trs avaliaes externas em larga escala:
Avaliao Nacional da Educao Bsica (Aneb) Avaliao amostral de estudantes das redes pblicas e privadas do
pas, em reas urbanas e rurais, matriculados no 5 e 9 anos do Ensino Fundamental e no 3 ano do Ensino Mdio, em
leitura e matemtica.
Avaliao Nacional do Rendimento Escolar (Anresc) Tambm denominada Prova Brasil, uma avaliao censitria
dos estudantes do 5 e 9 anos do Ensino Fundamental das escolas pblicas das redes municipais, estaduais e federal,
em leitura e matemtica.
Avaliao Nacional da Alfabetizao (ANA) Avaliao censitria dos estudantes do 3 ano do Ensino Fundamental das
escolas pblicas, para avaliar os nveis de alfabetizao e letramento em lngua portuguesa, alfabetizao em matemtica
e condies de oferta do Ciclo de Alfabetizao das redes pblicas.
Alm de produzir informaes sobre o desempenho dos estudantes a partir da aplicao de testes padronizados, o
SAEB fornece dados e indicadores que possibilitam compreender melhor os fatores que influenciam o desempenho dos
estudantes nas reas e nos anos avaliados.
Neste captulo, mostramos uma anlise comparada entre os componentes do construto dos testes do PISA e as matrizes
de referncia do SAEB em leitura, matemtica e cincias da natureza (matriz proposta em 2013) para o 9 ano do Ensino
Fundamental, que engloba, em parte, os estudantes da faixa etria avaliada pelo PISA.
Devido ao histrico, muitas vezes o termo SAEB tem sido utilizado somente para se referir parte amostral da avaliao
(SAEB). Para melhor definio, neste captulo ser utilizado o termo SAEB-Prova Brasil para se referir s matrizes de
referncia que contemplam tanto a Aneb quanto a Anresc (Prova Brasil).
9
No final do captulo tambm ser feita uma anlise comparada entre os resultados do PISA 2015 e do SAEB/Aneb 2015.
A ideia ressaltar as principais diferenas e semelhanas metodolgicas entre as avaliaes e ainda analisar quo as-
sociados esto seus resultados.
9.3 H diferenas entre a avaliao em leitura no PISA e no SAEB?

Um ponto de partida para verificar se h diferenas entre a avaliao em leitura proposta pelo PISA e pelo SAEB-Prova
Brasil comparar suas matrizes de referncia. Para tanto, procuramos relacionar os aspectos definidos para o PISA e os
descritores definidos para o SAEB-Prova Brasil aplicada a estudantes do 9 ano do Ensino Fundamental na Figura 9.1 que,
em certa medida, permite visualizar de que forma estes esto ou no contemplados/representados naqueles.
Figura 9.1
Comparativo entre os marcos referenciais em leitura PISA 2015 e SAEB-Prova Brasil
SAEB-Prova Brasil
PISA
Tpicos Descritores
Localizar e D1 Localizar informaes explcitas em um texto.
recuperar Procedimentos de leitura
informao
D3 Inferir o sentido de uma palavra ou expresso.
D4 Inferir uma informao implcita em um texto.
Procedimentos de leitura
D6 Identificar o tema de um texto.
D14 Distinguir um fato da opinio relativa a esse fato.
Implicaes do suporte, do D12 Identificar a finalidade de textos de diferentes gneros.
gnero e/ou enunciador na D5 Interpretar texto com auxlio de material grfico diverso
compreenso do texto (propagandas, quadrinhos, fotos etc.).
D20 Reconhecer diferentes formas de tratar uma informao na comparao
de textos que tratam do mesmo tema, em funo das condies em que ele foi
Relao entre textos produzido e daquelas em que ser recebido.
D21 Reconhecer posies distintas entre duas ou mais opinies relativas ao
mesmo fato ou ao mesmo tema.
D2 Estabelecer relaes entre partes de um texto, identificando repeties
ou substituies.
Integrar e D7 Identificar a tese de um texto.
interpretar D8 Estabelecer relao entre a tese e os argumentos oferecidos para sustent-la.
D9 Diferenciar as partes principais das secundrias de um texto.
Coerncia e coeso no
processamento do texto D10 Identificar o conflito gerador do enredo e os elementos que constroem
a narrativa.
D11 Estabelecer relao de causa e consequncia entre partes e elementos
do texto.
D15 Estabelecer relaes lgico-discursivas presentes no texto, marcadas por
conjunes, advrbios etc.
D16 Identificar efeitos de ironia ou humor em textos variados.
D17 Identificar o efeito de sentido decorrente do uso da pontuao e
de outras notaes.
Relaes entre recursos
expressivos e efeitos de sentido D18 Reconhecer o efeito de sentido decorrente da escolha de determinada
palavra ou expresso.
D19 Reconhecer o efeito de sentido decorrente da explorao de recursos
ortogrficos e/ou morfossintticos.
Refletir e D13 Identificar as marcas lingusticas que evidenciam o locutor e o interlocutor
Variao lingustica
analisar de um texto.
Fonte: INEP.
Tanto a matriz do SAEB-Prova Brasil quanto a matriz do PISA avaliam o conhecimento do estudante e suas habilidades
de leitura para alm da decodificao. A compreenso de textos desenvolvida nos itens de ambas as provas leva em
conta os diferentes gneros, considerando a situao de comunicao em que surgem e seu espao de circulao social,
o que inclui suas condies de produo e os atores que dela participam.
9
Podemos dizer que a leitura uma competncia que se pretende avaliar de uma forma muito mais abrangente e apro-
fundada a partir da matriz do PISA.
Os Marcos Referenciais do PISA definem trs aspectos para a avaliao do letramento em leitura, a saber: Localizar e
recuperar informao; Integrar e interpretar; e Refletir e analisar.
O primeiro aspecto, Localizar e recuperar informao, pressupe que os estudantes sejam capazes de selecionar uma
informao solicitada (processo indicado por recuperar) e encontrar o espao em que dada informao est localizada
(processo indicado por localizar).
Esse primeiro aspecto do PISA parcialmente contemplado pelo SAEB-Prova Brasil, visto que este exame prev a iden-
tificao de informao explcita, mas no prev o processo de encontrar o espao em que determinada informao se
encontra. A considerao de que o estudante que identifica uma informao explcita em um texto, consequentemente,
localiza seu espao , apenas aparentemente, bvia. O processo de localizar, indicado pelo PISA, pode ser dificultado por
diversos fatores, entre eles a quantidade e extenso de pargrafos de um texto e a quantidade de informao a ser processada.
O segundo aspecto, Integrar e interpretar, pressupe que os estudantes demonstrem uma compreenso mais completa e
especfica do texto que leram. O processo de integrar compreendido como a conexo entre diversas partes de um texto
ou entre diferentes textos para que adquiram significado. Interpretar compreendido como o processo de construo
de significado a partir de informaes implcitas. Na perspectiva adotada pelo PISA, o domnio dos dois aspectos juntos
propicia uma compreenso ampla do texto.
O aspecto Integrar e interpretar contemplado pelo SAEB-Prova Brasil de modo bastante abrangente. Cinco dos seis
tpicos definidos para o exame brasileiro apresentam descritores que procuram avaliar habilidades pressupostas nesses
aspectos. Assim, do total de 21 descritores previstos para o exame, 19 baseiam-se no desenvolvimento de habilidades
que, em tese, propiciam a integrao e a interpretao. No entanto, h pelo menos uma diferena entre as duas matrizes.
Essa diferena, de ordem mais geral, refere-se ao fato de que, no PISA, os processos de integrar e interpretar podem ser
avaliados em quaisquer tipos de texto, com quaisquer modos de apresentao e formato previstos para o exame. No
SAEB-Prova Brasil, diferentemente, alguns descritores restringem-se a tipos textuais especficos como o descritor 10, que
pressupe a leitura de gneros discursivos com tipologia textual predominantemente narrativa, e os descritores 7 e 8,
que pressupem a leitura de gneros discursivos com tipologia textual predominantemente argumentativa (Lopes-Rossi;
Paula, 2012).
Grosso modo, pode-se afirmar que os processos mentais e/ou estratgias requeridos na avaliao do letramento em
leitura proposta pelo PISA so apresentados de maneira mais genrica, ao passo que na Matriz de Referncia da Prova
Brasil esses processos so detalhados na forma de habilidades.
O terceiro aspecto, Refletir e analisar, pressupe que os estudantes sejam capazes de mobilizar seu conhecimento de
mundo e relacion-lo s informaes disponveis no texto com o intuito de elaborar conhecimento, ideias e, tambm,
atitudes. Nesse sentido, o processo de refletir tomado como o ato de o leitor, a partir de suas prprias experincias,
comparar, contrastar ou traar hipteses, e o processo de analisar, como o ato de realizar julgamentos que so elaborados
a partir de padres que extrapolam o texto apresentado. Esse aspecto do PISA coloca em cena um leitor que, alm de
dominar estratgias de leitura, participa ativamente do processo, posicionando-se e avaliando criticamente aquilo que l.
A Matriz de Referncia do SAEB-Prova Brasil no apresenta descritores com a finalidade de avaliar o posicionamento
crtico dos estudantes. Esse fato coloca em cena uma distncia entre a forma como a leitura concebida no exame e
sua efetiva avaliao. No Plano de Desenvolvimento da Educao: Prova Brasil, afirma-se que a leitura fundamental
para o desenvolvimento de outras reas do conhecimento e para o consequente exerccio da cidadania (BRASIL, 2008,
p. 21). Considerando que o exerccio efetivo da cidadania implica a participao na vida poltica, a inexistncia de des-
critores que avaliem posicionamento crtico no SAEB-Prova Brasil, em certa medida, reserva leitura e ao leitor lugares
bem demarcados pelas prticas escolares mais tradicionais: a leitura aparece como atividade escolar de decodificao
e processamento de informaes dispostas em diferentes textos, e o leitor como estando sujeito a todo esse processo.
Considerando, ainda, o alcance nacional dessa avaliao, e o fato de que os exames de avaliao da Educao Bsica,
no Brasil, com frequncia, so tomados como referncia do que deve ser ensinado e de como deve ser ensinado, a
inexistncia de descritores em torno dos processos de refletir e avaliar pode sugerir uma prtica escolar da leitura des-
vinculada do desenvolvimento da cidadania e do senso crtico.
9
No PISA, de modo diferente, a concepo de leitura est em consonncia com a forma como sua avaliao efetivada:
Letramento em leitura a capacidade de compreender, utilizar, refletir e se envolver com textos escritos, com a funo
de alcanar uma meta, desenvolver seu conhecimento e potencial, e participar da sociedade (OCDE, 2016). Esse con-
ceito, de fato, perpassa a avaliao, no s em funo do aspecto Refletir e analisar, definido na Matriz de Referncia,
mas tambm em funo das situaes de leitura nas quais os textos do exame se inserem. Ao contemplar diversos con-
textos de leitura, o PISA assegura a presena, no exame, de textos que so e/ou devem ser lidos pelos estudantes dentro
e fora da escola, assim como diferentes propsitos para sua leitura. Embora seja uma avaliao em larga escala, o PISA
demonstra, de fato, uma preocupao com o letramento em leitura que extrapola as atividades escolares. A nosso ver,
os marcos referencias do PISA estreitam os laos entre o processo de leitura e a vida.
Retomando os dados dispostos no quadro comparativo entre as matrizes de referncia dos dois exames, preciso salien-
tar que a Prova Brasil dispe do tpico Variao lingustica, cujo nico descritor : Identificar as marcas lingusticas
que evidenciam o locutor e o interlocutor de um texto. Por meio desse descritor, espera-se avaliar a habilidade dos
estudantes de reconhecer quem fala no texto e a quem ele se destina, por meio da explorao de diferentes registros
e de linguagens relacionadas a certos domnios e/ou grupos sociais. Esse tpico reflete uma preocupao do sistema
educacional brasileiro de levar o estudante a refletir sobre o valor social atribudo s variedades lingusticas e a no
desvalorizar as realidades lingusticas diferentes daquela que usa. No PISA, a explorao das variedades lingusticas
encontra uma limitao imposta pela forma como o exame concebido, ou seja, procurando lidar com realidades mais
ou menos comuns a todos os pases participantes e suas respectivas lnguas.
A partir da comparao entre as duas matrizes referenciais, outra questo que nos parece importante discutir o fato de
o PISA no mencionar o conceito de gnero discursivo, noo formulada por Mikhail Bakhtin (1992) que tem subsidiado
amplamente todos os documentos oficiais brasileiros a respeito do ensino de lngua portuguesa. O exame internacional
opta por uma tipologia baseada na classificao dos textos de acordo com os modos de organizao do discurso. No
entanto, a diversidade de textos decorrente da combinao entre os modos de apresentao, formatos e tipos previstos
para a avaliao coloca em cena um leitor cuja competncia leitora deva ser desenvolvida a partir do contato com
diversos gneros discursivos associados a diferentes esferas de atividade.
A meno ao conceito bakhtiniano, por si s, no garante uma ampla cobertura, nos exames, dos gneros de discurso
que os estudantes leem ou deveriam ler. No SAEB-Prova Brasil, esse conceito est pressuposto no s em funo do que
estabelecem os Parmetros Curriculares Nacionais (1998), mas tambm em funo de alguns descritores que explicitam
determinados gneros. Entretanto, ao analisarmos os exemplos de itens construdos a partir de cada um dos descritores e
apresentados na Matriz de Referncia do SAEB-Prova Brasil, verificamos que h predomnio de gneros pertencentes s
esferas literria e jornalstica, fato que, em certa medida, expe a fragilidade com que o conceito de gnero de discurso
transposto didaticamente.
guisa de concluso, acreditamos que seja possvel afirmar, a respeito da avaliao em leitura proposta pelo PISA e
pelo SAEB-Prova Brasil, que a semelhana entre esses exames reside no fato de que ambos pressupem o desenvolvi-
mento de habilidades que superam a decodificao. Suas diferenas, no entanto, se acentuam pelo fato de que o PISA
considera a participao ativa do leitor durante todo o processo de leitura, cobrando-lhe a anlise e avaliao dos textos
lidos a partir de suas experincias pessoais e seu conhecimento de mundo, questo que foge ao escopo definido para a
avaliao da leitura pelo SAEB-Prova Brasil.
9.4 H diferenas entre a avaliao em matemtica no PISA e no SAEB?

Nesta seo, procuraremos comparar, em linhas gerais, a Matriz de Referncia de Matemtica do SAEB-Prova Brasil para
avaliao de alunos do 9 ano do Ensino Fundamental e a Matriz do Letramento em Matemtica do PISA. Esse recorte
justifica-se pelo fato de os estudantes do 9 ano avaliados pela Prova Brasil terem uma faixa etria semelhante daqueles
que realizam o exame do PISA.
Em um primeiro olhar, a matriz do PISA parece exigir do estudante um raciocnio mais elaborado do que a matriz do SAEB.
Isso ocorre, possivelmente, porque os descritores que compem a matriz do SAEB so pontuais, identificando habilidades
para resolver situaes especficas, passveis de obteno de soluo utilizando determinados contedos matemticos.
No entanto, podemos observar que h caractersticas comuns que fazem com que haja semelhanas entre as duas ava-
liaes, mesmo reconhecendo que h pontos na matriz do PISA para os quais no h equivalncia na matriz do SAEB.
9
Os contedos matemticos no PISA apresentam-se associados a uma das quatro categorias de contedo que se seguem:
Quantidade; Incerteza e dados; Mudanas e relaes; e Espao e forma. J na Matriz de Referncia do SAEB,
as habilidades e competncias esto estruturadas de acordo com as quatro grandes reas em que os contedos mate-
mticos so divididos nos Parmetros Curriculares Nacionais (PCNs-1998), organizados em quatro temas: Nmeros e
operaes (que, a partir do 6 ano inclui lgebra/funes); Espao e forma; Grandezas e medidas; e Tratamento
da informao. Uma breve descrio de cada uma dessas reas se encontra a seguir.
A dimenso das competncias matemticas na matriz do SAEB.

Nmeros e operaes
Ao longo do Ensino Fundamental, os conhecimentos numricos so construdos e assimilados pelos alunos em um
processo dialtico, no qual intervm como instrumentos eficazes para resolver determinados problemas e como objetos
que sero estudados, considerando-se suas propriedades, relaes e o modo como se configuram historicamente. Nesse
processo, o aluno perceber a existncia de diversas categorias numricas criadas em funo de diferentes problemas
que a humanidade teve de enfrentar nmeros naturais, nmeros inteiros positivos e negativos, nmeros racionais (com
representaes fracionrias e decimais) e nmeros irracionais. medida que se deparar com situaes-problema envol-
vendo adio, subtrao, multiplicao, diviso, potenciao e radiciao, ele ir ampliando seu conceito de nmero.
Com relao s operaes, o trabalho a ser realizado se concentrar na compreenso dos diferentes significados de
cada uma, nas relaes existentes entre elas e no estudo reflexivo do clculo, contemplando diferentes tipos exato e
aproximado, mental e escrito. Embora nas sries iniciais j se possa desenvolver uma pr-lgebra, especialmente nas
sries finais do Ensino Fundamental que os trabalhos algbricos sero ampliados; trabalhando com situaes-problema,
o aluno reconhecer diferentes funes da lgebra (como modelizar, resolver problemas aritmeticamente insolveis,
demonstrar), representando problemas por meio de equaes (identificar parmetros, variveis e relaes e tomar con-
tato com frmulas, equaes, variveis e incgnitas) e conhecendo a sintaxe (regras para resoluo) de uma equao.
Espao e forma
Os conceitos geomtricos constituem parte importante do currculo de matemtica no Ensino Fundamental, porque, por
meio deles, o aluno desenvolve um tipo especial de pensamento que lhe permite compreender, descrever e representar,
de maneira organizada, o mundo em que vive. A geometria um campo frtil para se trabalhar com situaes-problema
e um tema pelo qual os alunos costumam se interessar naturalmente. O trabalho com noes geomtricas contribui
para a aprendizagem de nmeros e medidas, pois estimula a criana a observar, perceber semelhanas e diferenas,
identificar regularidades e vice-versa. Alm disso, se esse trabalho for feito a partir da explorao dos objetos do mundo
fsico, de obras de arte, pinturas, desenhos, esculturas e artesanato, ele permitir ao aluno estabelecer conexes entre a
matemtica e as outras reas do conhecimento.
Grandezas e medidas
Esse bloco caracteriza-se por sua forte relevncia social, com evidente carter prtico e utilitrio. Na vida em sociedade,
as grandezas e as medidas esto presentes em quase todas as atividades. Desse modo, desempenham papel importante
no currculo, pois mostram claramente ao aluno a utilidade do conhecimento matemtico no cotidiano. As atividades
em que as noes de grandezas e medidas so exploradas proporcionam melhor compreenso de conceitos relativos
ao espao e s formas. So contextos muito ricos para o trabalho com os significados dos nmeros e das operaes, da
ideia de proporcionalidade e escala, e um campo frtil para uma abordagem histrica.
Tratamento da informao
A demanda social que leva a destacar esse tema como um bloco de contedo, embora pudesse ser incorporado aos
anteriores. A finalidade do destaque evidenciar sua importncia, em funo de seu uso atual na sociedade. Integraro
este bloco estudos relativos a noes de estatstica, de probabilidade e de combinatria. Evidentemente, o que se preten-
de no o desenvolvimento de um trabalho baseado na definio de termos ou de frmulas envolvendo tais assuntos.
Com relao estatstica, a finalidade fazer com que o aluno venha a construir procedimentos para coletar, organizar,
comunicar e interpretar dados, utilizando tabelas, grficos e representaes que aparecem com frequncia em seu dia a
dia. Com relao combinatria, o objetivo levar o aluno a lidar com situaes-problema que envolvam combinaes,
arranjos, permutaes e, especialmente, o princpio multiplicativo da contagem. Com relao probabilidade, a prin-
cipal finalidade que o aluno compreenda que grande parte dos acontecimentos do cotidiano de natureza aleatria,
e possvel identificar resultados provveis desses acontecimentos. As noes de acaso e incerteza, que se manifestam
intuitivamente, podem ser exploradas na escola em situaes nas quais o aluno realiza experimentos e observa eventos
(em espaos equiprovveis).
9
Comparando as Matrizes de Referncia do SAEB e do PISA

Na Matriz de Referncia de Matemtica do SAEB para o 9 ano do Ensino Fundamental, esto elencados descritores
especficos de cada um dos temas Nmeros e operaes; Espao e forma; Grandezas e medidas; e Tratamento
da informao. Aps anlise, comparamos tais temas com as categorias de contedo presentes na Matriz de Letramento
em Matemtica do PISA, associando-os na Figura 9.2 a seguir.
Figura 9.2
Comparativo entre os temas em matemtica PISA 2015 e SAEB-Prova Brasil
PISA SAEB
Quantidade Nmeros e operaes
Incerteza e dados Tratamento da Informao
Espao e forma Espao e forma
Sem associao bvia Grandezas de medidas
Mudanas e relaes Sem associao bvia
Fonte: INEP.
Observa-se ainda que, apesar das semelhanas, as descries das reas e temas relacionados acima diferem em algumas
caractersticas bsicas. A categoria de rea Mudanas e relaes no tem uma associao bvia a rea alguma encon-
trada nos PCNs (1998) e, consequentemente, na matriz do SAEB. Constata-se, por sua descrio, que esta se assemelha
ao que descreveramos como lgebra/funes: so conceitos gerais que capacitam o estudante a encontrar modelos
matemticos que auxiliem a resoluo de situaes-problema. Outra observao que cabe aqui que a rea relacionada
a clculo no se divide de acordo com as grandes reas tradicionalmente consideradas em nossas escolas (clculos
aritmticos, clculos algbricos, clculos oriundos de problemas relacionados geometria etc.).
A matriz do PISA considera, ainda, as capacidades matemticas acionadas quando da resoluo de uma situao-pro-
blema, a saber: comunicao, matematizao, representao e argumentao, delinear estratgias, utilizar linguagens
e operaes, utilizar ferramentas matemticas. Apesar de essas capacidades matemticas no estarem explicitadas na
matriz do SAEB, algumas associaes podem ser consideradas, como explicitamos a seguir.
Comunicao se refere interpretao da situao apresentada, em geral em lngua materna, e que deve ser compreen-
dida e analisada de modo a permitir sua resoluo, e passar, em seguida, modelagem, ou seja, matematizao.
Essas aes incluiriam, portanto, as de identificar, reconhecer e utilizar, observadas na matriz do SAEB.
Delinear estratgias para resolver problemas se associa utilizao da melhor maneira de se resolver um problema.
Dessa forma, mais uma vez teramos as aes de identificar, reconhecer, utilizar, alm das aes de efetuar, calcular,
resolver.
O uso da linguagem formal pelo estudante no observado em itens do SAEB, uma vez que todas as questes so de
mltipla escolha simples, enquanto no PISA h questes abertas que, por vezes, demandam do aluno algum texto de
justificativa ou descrio. Alm disso, em exames nacionais no so utilizadas ferramentas como computadores e cal-
culadoras.
A matriz do PISA leva em considerao, tambm, os processos matemticos necessrios para um bom letramento ma-
temtico. Embora no explicitados na matriz do SAEB, esses processos so indispensveis na resoluo de problemas
matemticos (contextualizados ou no). Observe que no possvel resolver um problema em matemtica sem, inicial-
mente, identificar informaes relevantes, suas possveis variveis (talvez com o auxlio de grficos ou tabelas para melhor
visualizao de dados), de modo a obter uma expresso (ou conjunto de expresses) que representem, matematicamente,
a situao-problema apresentada. Em seguida, necessrio escolher quais fatos, propriedades e conceitos devem ser
utilizados na resoluo do problema. Itens de exames do SAEB exigem, implicitamente, que o estudante identifique
aspectos matemticos e variveis significativas, reconhea estruturas matemticas, aplique fatos, regras, algoritmos etc.,
de modo a encontrar a soluo de determinada situao-problema utilizando frmulas, grficos e tabelas e manipulando
informaes, expresses algbricas e representaes geomtricas. Portanto, os dois primeiros processos descritos no PISA
(formular situaes matematicamente e empregar conceitos, fatos, procedimentos e raciocnio matemtico) encontram
equivalncia na matriz do SAEB. No entanto, no h, nela, descritores que propiciem, especificamente, situaes onde
9
o estudante possa: (a) avaliar a razoabilidade de um resultado; (b) interpretar um resultado matemtico no contexto real;
(c) explicar por que um resultado matemtico faz ou no sentido dentro do contexto de um problema particular; (d)
criticar/identificar os limites de um modelo utilizvel na resoluo de um problema; (e) fazer generalizaes a respeito
de um resultado ou procedimento.
Outro ponto em que os dois exames so distintos na classificao do contexto do item que, no caso do PISA, pode
ser classificado como pessoal, ocupacional, cientfico ou social. Esse tipo de anlise no est presente, em momento
algum, em exames brasileiros, seja durante a elaborao, a anlise ou a resoluo de itens, seja em avaliaes do Ensino
Bsico ou do Ensino Superior.
Voltando nosso olhar para os contedos matemticos presentes no PISA 2015 e j apresentados na Figura 9.2, procuramos
relacionar aspectos considerados pelo PISA e presentes na Matriz de Referncia do SAEB. Especificamos esses contedos
e suas possveis semelhanas com a matriz do SAEB, na Figura 9.3 a seguir.
Figura 9.3
Comparativo entre os contedos em matemtica PISA 2015 e SAEB-Prova Brasil
SAEB-Prova Brasil
PISA
TEMA DESCRITORES
D15 Resolver problema envolvendo relaes entre diferentes unidades de
II Grandezas e medidas
medida.
D16 Identificar a localizao de nmeros inteiros na reta numrica.
D17 Identificar a localizao de nmeros racionais na reta numrica.
D21 Reconhecer as diferentes representaes de um nmero racional.
Nmeros e
unidades III Nmeros e operaes/ D22 Identificar frao como representao que pode estar associada a
lgebra e funes diferentes significados.
D23 Identificar fraes equivalentes.
D24 Reconhecer as representaes decimais dos nmeros racionais como
uma extenso do sistema de numerao decimal, identificando a existncia de
ordens como dcimos, centsimos e milsimos.
D6 Reconhecer ngulos como mudana de direo ou giros, identificando
I Espao e forma
ngulos retos e no retos.
Medidas D12 Resolver problema envolvendo o clculo de permetro de figuras planas.
II Grandezas e medidas D13 Resolver problema envolvendo o clculo de rea de figuras planas.
D14 Resolver problema envolvendo noes de volume.
D18 Efetuar clculos com nmeros inteiros envolvendo as operaes de adio,
subtrao, multiplicao, diviso e potenciao.
Operaes III Nmeros e operaes/
D25 Efetuar clculos que envolvam operaes com nmeros racionais adio,
aritmticas lgebra e funes
subtrao, multiplicao, diviso e potenciao.
D27 Efetuar clculos simples com valores aproximados de radicais.
Porcentagem, D28 Resolver problema que envolva porcentagem.
III Nmeros e operaes/
razo e D29 Resolver problema que envolva variaes proporcionais, diretas ou inversas
lgebra e funes
proporo entre grandezas.
Expresses III Nmeros e operaes/ D30 Calcular o valor numrico de uma expresso algbrica.
algbricas lgebra e funes
D31 Resolver problema que envolva equao de segundo grau.
D32 Identificar a expresso algbrica que expressa uma regularidade observada
em sequncias de nmeros ou figuras.
Equaes e III Nmeros e operaes/ D33 Identificar uma equao ou uma inequao de primeiro grau que expressa
inequaes lgebra e funes um problema.
D34 Identificar um sistema de equaes do primeiro grau que expressa um
problema.
D35 Identificar a relao entre as representaes algbrica e geomtrica de um
sistema de equaes de primeiro grau.
9

Comparativo entre os contedos em matemtica PISA 2015 e SAEB-Prova Brasil
SAEB-Prova Brasil
PISA
TEMA DESCRITORES
D1 Identificar a localizao/movimentao de objeto em mapas, croquis e outras
representaes grficas.
D2 Identificar propriedades comuns e diferenas entre figuras bidimensionais e
tridimensionais, relacionando-as com suas planificaes.
D3 Identificar propriedades de tringulos pela comparao de medidas de lados
e ngulos.
D4 Identificar relao entre quadrilteros por meio de suas propriedades.
Relaes com D5 Reconhecer a conservao ou modificao de medidas dos lados, do
e entre objetos permetro, da rea em ampliao e/ou reduo de figuras poligonais usando
geomtricos I Espao e forma malhas quadriculadas.
em duas ou
trs dimenses D7 Reconhecer que as imagens de uma figura construda por uma
transformao homottica so semelhantes, identificando propriedades e/ou
medidas que se modificam ou no se alteram.
D8 Resolver problema utilizando a propriedade dos polgonos (soma de seus
ngulos internos, nmero de diagonais, clculo da medida de cada ngulo
interno nos polgonos regulares).
D10 Utilizar relaes mtricas do tringulo retngulo para resolver problemas
significativos.
Fonte: INEP.
Ressaltamos que no observamos relao direta entre descritores da matriz do SAEB e os tpicos presentes no contedo do
PISA 2015 relacionados a: estimativas; amostra e amostragem; variabilidade e descrio de dados; risco e probabilidade.
notrio que diversos conceitos matemticos entre os tpicos presentes na descrio dos contedos do PISA 2015 no
fazem parte do Ensino Fundamental no Brasil. Por exemplo, no Ensino Fundamental, o conceito de mdia aritmtica
comumente explorado, enquanto conceitos relacionados a outras medidas de tendncia central so apresentados no
Ensino Mdio. Problemas que podem ser resolvidos utilizando o Princpio Fundamental de Contagem so, normalmente,
apresentados a estudantes no Ensino Fundamental, enquanto problemas gerais de combinatria e noes de probabi-
lidade so apresentados aos estudantes no Ensino Mdio. Apesar de assuntos relacionados a estimativas fazerem parte
dos conceitos esperados em aulas de matemtica no Ensino Fundamental, no h descritores na matriz do SAEB que
contemplem esse contedo. Parcialmente, no entanto, ainda podemos admitir algumas outras associaes:
1. alguns tpicos relacionados a funes (contedo PISA 2015) podem ser considerados assemelhados a descritores do
Tema III, tais como D31, D34 e D35 (que remetem a resoluo de problemas utilizando equaes do segundo grau
e identificao de equaes que possibilitam solucionar determinados problemas);
2. o descritor D9 (Interpretar informaes apresentadas por meio de coordenadas cartesianas) na matriz do SAEB
(Tema I) pode ser associado a Sistemas coordenados (contedo PISA 2015);
3. os descritores D36 (Resolver problema envolvendo informaes apresentadas em tabelas e/ou grficos) e D37
(Associar informaes apresentadas em listas e/ou tabelas simples aos grficos que as representam e vice-versa)
do Tema IV podem ser considerados semelhantes a alguns contedos de Coleta, representao e interpretao de
dados (contedo PISA 2015).
Na matriz do PISA temos os verbos formular, empregar, interpretar, enquanto na Matriz de Referncia do SAEB utilizam-
se os verbos identificar, reconhecer, resolver, interpretar, utilizar, efetuar, calcular, associar. Os verbos efetuar e calcular
esto associados a descritores do Tema III (Nmeros e operaes/lgebra e funes), em que efetuar significa realizar
clculos com nmeros, enquanto calcular significa encontrar valor numrico. O verbo resolver, por sua vez, aparece
em todos os temas e est associado resoluo de problema. Portanto, deve-se admitir que seu significado engloba os
vrios passos necessrios para isso: identificar, reconhecer, efetuar e calcular. Observa-se que um verbo que poderia ser
utilizado aqui modelar, mas ele no consta na matriz do SAEB. Observa-se, ainda, que h nela somente uma situao
do tipo interpretar, no Tema I (Espao e forma, D9). No existem, na matriz do SAEB, descritores associados ao
avaliar. Portanto, pode-se concluir, exceo da ao de avaliao, que os verbos utilizados para descrever aes em
itens do PISA tm seus correspondentes nos verbos utilizados para descrever aes em itens do SAEB.
9
Por fim, seria oportuno afirmar a dificuldade encontrada ao se buscar associao direta entre os descritores de uma matriz
(SAEB) e os temas ou aspectos da outra matriz (PISA). Para demonstrar tal afirmao, necessrio observar que a matriz
do PISA se baseia em uma relao entre processos e habilidades matemticas, enquanto a matriz do SAEB descrita por
habilidades de resoluo de determinadas situaes-problema utilizando contedos especficos. Por outro lado, ao nos
depararmos com o que se pode considerar como habilidades interpretveis a partir da descrio de exemplos de tpicos
includos no PISA e descritores da matriz do SAEB-Prova Brasil, vemos diversas conexes, mostrando que um aluno do
9 ano do Ensino Fundamental brasileiro capaz, em princpio, de resolver uma boa parte das questes de um exame
do PISA. No se pode esquecer que h tpicos de contedos do PISA que provavelmente s sero apresentados a alunos
no Brasil em classes de matemtica de cursos de Ensino Mdio. Portanto, para podermos qualificar os resultados dos
alunos brasileiros no PISA, necessrio verificar, a cada vez, qual a forma e quais assuntos foram, de fato, solicitados
ao aluno em cada questo.
9.5 H diferenas entre a avaliao em cincias no PISA

e a proposta de matriz do SAEB em cincias?
A avaliao em cincias da natureza no SAEB no tem ocorrido com a mesma regularidade das avaliaes de matem-
tica e leitura. Fez parte das edies de 1997 e 1999 e, mais recentemente, foi apresentada pelo INEP uma proposta de
matriz de avaliao de aprendizado de cincias da natureza para estudantes do 9 ano do Ensino Fundamental (BRASIL,
2013). Embora de carter experimental, essa matriz que pautou a construo de um teste piloto aplicado em 2013 a
referncia mais atual dessa avaliao, e por isso utilizada neste estudo comparativo com a matriz do PISA para essa rea.
A matriz proposta para o SAEB-Prova Brasil pretende avaliar a alfabetizao/letramento em cincias e est estruturada em
trs eixos/dimenses: contextos, operaes cognitivas e conhecimentos. Os contextos so entendidos como a dimenso
na qual o conhecimento deve e/ou pode ser utilizado, relacionando situaes da vida individual e coletiva, temas de
relevncia social e questes contemporneas da histria da cincia e de investigao em cincia. As operaes cogni-
tivas traduzem aes requeridas para a resoluo da situao-problema proposta, explicitando o que foi realizado em
termos cognitivos. Os conhecimentos esto organizados em cinco eixos estruturantes, definidos com base nos Parmetros
Curriculares Nacionais e nos currculos oficiais das diversas unidades da Federao (BRASIL, 2013). A Figura 9.4 mostra
a interao entre as dimenses eixo estruturante e operaes cognitivas. A dimenso do contexto deve ser visualizada
transversalmente (BRASIL, 2013).
Figura 9.4
Estrutura da Matriz de Referncia proposta no SAEB-Prova Brasil 2013 para a avaliao
em cincias da natureza 9 ano do Ensino Fundamental
Operaes cognitivas
A Reconhecer conceitos, B Compreender C Aplicar conceitos,
Eixos estruturantes
ideias, fenmenos conceitos, ideias, ideias e/ou sistemas ou
e/ou sistemas fenmenos e/ou sistemas solucionar problemas
1. Terra e universo A1 B1 C1
2. Vida e ambientes A2 B2 C2
3. Ser humano e sade A3 B3 C3
4. Matria: constituio, propriedades A4 B4 C4
5. Energia: conservao e transformao A5 B4 C5
Fonte: INEP.
Buscando as convergncias/sobreposies entre essa matriz proposta para o SAEB 9 ano e a matriz do PISA, analisamos
as dimenses dos construtos de cada avaliao (Figura 9.5).
9
Figura 9.5
Comparativo entre os marcos referenciais PISA 2015 e SAEB-Prova Brasil 2013
PISA 2015: Proposta SAEB-Prova Brasil 2013:
Letramento cientfico Alfabetizao/letramento cientfico*
Competncias Operaes cognitivas
Explicar fenmenos cientificamente Reconhecer conceitos, ideias, fenmenos e/ou sistemas
Reconhecer, oferecer e avaliar explicaes para fenmenos Identificar,
reconhecer, indicar e apontar, entre diversos objetos,
naturais e tecnolgicos, demonstrando capacidade de: aquele que corresponde a um conceito ou a uma descrio ou,
lembrar e aplicar conhecimento cientfico apropriado; ainda, uma descrio que corresponda a um conceito.
identificar,
utilizar e gerar modelos explicativos e Identificar,
reconhecer, indicar e apontar informao, fatos,
representaes; relaes e propriedades dos fenmenos e suas explicaes.
fazer e justificar previses apropriadas; Descrever
e nomear fenmenos do mundo natural ou
transformado.
oferecer hipteses explicativas;
Localizar
o conhecimento na memria de longo prazo de forma
explicar
as implicaes potenciais do conhecimento cientfico
consistente.
para a sociedade.
Compreender conceitos, ideias, fenmenos e/ou sistemas:
Interpretar dados e evidncias cientificamente envolve a compreenso da informao para construir
significado por meio de mensagens instrucionais; pode ser
Analisar e avaliar dados, suposies e argumentos em
chamada de explicao quando exige construir ou usar
representaes variadas e tecer concluses cientficas apropriadas
modelos mentais de causa/efeito para explicar ou justificar
ao contexto, demonstrando capacidade de:
sistemas, conceitos, ideias ou fenmenos. Pode tambm
transformar dados de uma representao para outra; solicitar a exemplificao ou a classificao ao requerer que se
analisar e interpretar dados e tirar concluses apropriadas; aponte exemplos especficos de conceitos ou princpios gerais.
identificar
premissas, evidncias e argumentos em textos Aplicarconceitos, ideias e/ou sistemas ou solucionar
relacionados s cincias; problemas: requer a interpretao e o uso da informao
distinguirentre argumentos (quais so baseados em evidncia na resoluo de problemas simples e complexos (requer a
cientfica e quais so baseados em outras consideraes); reorganizao das informaes apresentadas). Inclui operaes
cognitivas complementares, tais como: comparar, analisar,
avaliar
argumentos cientficos e evidncias de diferentes fontes
associar, relacionar, executar, interpretar, extrapolar, aplicar,
(por exemplo, jornais, internet, revistas cientficas).
avaliar e criticar conhecimentos, ideias, sistemas, processos e
situaes dadas.
Avaliar e planejar investigaes cientficas
Descrever e avaliar investigaes cientficas e propor meios
para responder cientificamente a questes, demonstrando
capacidade de:
identificar a questo explorada em um dado estudo cientfico;
diferenciar
questes possveis de serem investigadas
cientificamente;
propor formas de explorar uma dada questo cientificamente;
avaliar formas de explorar uma dada questo cientificamente;
descrevere avaliar os vrios caminhos que os cientistas usam
para assegurar a confiabilidade dos dados e a objetividade e
generalizao das explicaes.
Conhecimentos
Contedo Eixos estruturantes
Refere-se o conhecimento dos fatos, conceitos, ideias e teorias Pressupe a identificao e o domnio dos contedos das diversas
sobre o mundo natural estabelecido pela cincia: reas de conhecimento presentes nas propostas curriculares
sistemas fsicos; nacionais. Tpicos:
sistemas vivos; Terra e universo;
Terra e espao. Vida e ambientes;
Ser humano e sade;
Matria: constituio e propriedades;
Energia: conservao e transformao.
9

Comparativo entre os marcos referenciais PISA 2015 e SAEB-Prova Brasil 2013
PISA 2015: Proposta SAEB-Prova Brasil 2013:
Letramento cientfico Alfabetizao/letramento cientfico*
Conhecimento procedimental No explicitado na matriz.
Conceitos de variveis dependentes e independentes.
Conceitos de medidas: qualitativas e quantitativas, escalas,
variveis contnuas e discretas.
Formas de avaliar e minimizar incertezas: repeties, medidas
mdias.
Mecanismos para gerar replicao.
Ferramentasde representao de dados: grficos, tabelas,
mapas, histogramas.
Controle de variveis: desenho experimental, randomizao.
Naturezade desenhos especficos: observao, busca de
padres, experimentao.
Conhecimento epistemolgico No explicitado na matriz.
Natureza das observaes cientficas, fatos, hipteses, modelos
e teorias.
Propsitos e objetivos das observaes cientficas.
Valores da cincia: compromisso, objetividade, eliminao
de vis.
Naturezado raciocnio cientfico: deduo, induo, inferncia,
analogias e uso de modelos.
Como afirmaes cientficas so apoiadas por dados e
raciocnio na cincia.
Funodas diferentes formas de investigao para produo de
conhecimentos.
Como as medidas de erro afetam o grau de confiabilidade do
conhecimento cientfico.
Uso e limites de uso dos modelos fsicos, sistmicos e abstratos.
Papel
dos pares no estabelecimento de confiabilidade nas
comunidades cientficas.
Papel
do conhecimento cientfico e de outras formas
de conhecimento na identificao de questes sociais e
tecnolgicas.
Conhecimento de contedo Eixos estruturantes
Refere-se ao conhecimento dos fatos, conceitos, ideias e teorias Terra e universo;
sobre o mundo natural estabelecido pela cincia: Vida e ambientes;
sistemas fsicos; Ser humano e sade;
sistemas vivos; Matria: constituio e propriedades;
Terra e espao. Energia: conservao e transformao.
Contextos
Os itens no so limitados aos contextos escolares, evidenciando As situaes/contextos devem contemplar a dimenso na qual
situaes relacionadas com: o conhecimento deve e/ou pode ser utilizado, relacionando
o indivduo, a famlia e grupos de amigos (contextos pessoais); diversas situaes da vida individual e coletiva, da esfera social
(cultura, sade individual e coletiva , trabalho, economia,
a comunidade (contextos local e nacional);
poltica, tica etc.); da natureza das coisas (natural, artificial),
a vida em todo o mundo (contexto global). dentre outras possibilidades de desdobramento.
Atitudes
Dimenses medidas a partir do questionrio do aluno: No explicitado na matriz.
interesse em cincias; H um questionrio de contexto aplicado no SAEB, o qual
valorizao da investigao cientfica; engloba questes sobre interesse nas disciplinas avaliadas no
teste.
responsabilidade ambiental.
Fonte: INEP.
9
As operaes cognitivas propostas na matriz do SAEB-Prova Brasil 2013 representam o uso do conhecimento cientfico
em contextos variados e, apesar de no haver uma relao direta entre as aes listadas nas competncias e nas opera-
es cognitivas, h certa sobreposio entre as matrizes. Nota-se, entretanto, que as competncias definidas na matriz
do PISA j so direcionadas a conhecimentos que explicitamente sobrepujam o conhecimento do contedo de cincias
para enfatizar a importncia do conhecimento sobre cincias (procedimental e epistemolgico). Embora em trechos do
documento bsico de apresentao da proposta de matriz do SAEB-Prova Brasil 2013 seja mencionada a preocupao
com uma abordagem mais ampla, englobando os vrios tipos de conhecimento (por exemplo: os itens devem abordar
conhecimentos cientficos historicamente construdos ou quanto aos modos como se d essa construo nos meios de
produo), no h tanta nfase quanto a encontrada na matriz do PISA.
Em relao aos conhecimentos avaliados, os eixos estruturantes propostos na matriz do SAEB convergem nos sistemas
elencados pelo PISA na dimenso conhecimentos de contedo (conhecimento de cincias). Os sistemas fsicos do PISA
englobam os eixos estrurantes Matria: constituio e propriedades e Energia: conservao e transformao matria,
enquanto sistemas vivos englobam os eixos Vida e ambientes e Ser humano e sade. Conforme j mencionado em
relao s operaes cognitivas, a matriz do SAEB no explicita em seus eixos estruturantes o que o PISA 2015 denomina
conhecimento sobre cincias, ou seja, o conhecimento procedimental e o epistemolgico.
A dimenso contexto aparece em ambas as matrizes. Na matriz do PISA 2015, os contextos buscam evidenciar a
utilizao bem-sucedida das competncias definidas em situaes que transcendem os contextos escolares e que evi-
denciam situaes relacionadas com o indivduo, famlia e grupos de amigos (pessoais), com a comunidade (local e
nacional) e com a vida em todo o mundo (global). Na matriz proposta para o SAEB, os contextos no so definidos e,
de acordo com o documento bsico, essa dimenso deve ser visualizada transversalmente em sua estrutura. Tal opo
justificada com os seguintes argumentos:
A compreenso sobre a dimenso dos contextos precisa considerar que esses so mltiplos e variados, no sen-
do necessrio ou desejvel para uma matriz de avaliao da Educao Bsica estabelecer a priori os possveis
contextos, tendo em vista a necessidade de respeito criatividade e liberdade dos educadores, das escolas e
das redes em definir, priorizar e experimentar contextos diversos para o ensino e a aprendizagem, que, por vezes,
podem assumir propores locais, noutras, consideram contextos globais. (BRASIL, 2013, p. 28).
Finalmente, em relao s atitudes, verifica-se tambm uma maior nfase na matriz do PISA 2015. Com base na premissa
de que faz parte dos objetivos do ensino de cincias desenvolver atitudes que promovem o envolvimento dos estudantes
com questes cientficas, e que isso tem papel significativo no interesse e na ateno, o PISA avalia essa dimenso em
trs reas: o interesse pela cincia e tecnologia; a conscincia ambiental; e a valorizao de abordagens cientficas na
pesquisa. As questes que avaliam essa dimenso so includas no questionrio respondido pelos alunos. O SAEB tam-
bm aplica um questionrio para os alunos, incluindo questes relacionadas ao interesse dos estudantes nas disciplinas
especficas do teste, porm ainda no explicita as atitudes como uma dimenso do construto.
Como concluso, pode-se dizer que as matrizes para avaliao em cincias propostas pelo PISA 2015 e pelo SAEB-Prova
Brasil 2013 apresentam similaridades em alguns pontos e ambas definem o letramento cientfico como construto a ser
avaliado. Entretanto, a maior diferena reside na nfase do PISA aos conhecimentos sobre os procedimentos e prticas
associadas com a investigao cientfica, o que no explicitado na matriz do SAEB-Prova Brasil 2013.
9.6 Pode haver divergncias entre os resultados do PISA e os do SAEB?

Embora PISA e SAEB tenham o mesmo objetivo produzir informaes precisas sobre o cenrio da Educao Bsica do
pas , as avaliaes apresentam diferenas no somente quanto s matrizes de referncias, mas tambm com relao
a estrutura e metodologias empregadas. A Figura 9.6 apresenta algumas dessas diferenas com relao ao SAEB 2015.
Como destacado na Seo 9.2, a Avaliao Nacional da Educao Bsica (Aneb) e a Avaliao Nacional do Rendimento
Escolar (Anresc, tambm denominada Prova Brasil) so duas avaliaes complementares que fazem parte do SAEB.
Apesar de algumas caractersticas distintas, todos os estudantes participantes da Aneb e da Anresc (Prova Brasil) utilizam
os mesmos instrumentos na avaliao (testes e questionrios).
9
Figura 9.6
Algumas diferenas metodolgicas entre as avaliaes PISA 2015 e SAEB 2015
SAEB 2015
Caractersticas PISA 2015
Aneb Prova Brasil
Populao Estudantes com 15 anos de idade Estudantes do 5 e do 9 anos Estudantes do 5 e do 9 anos
investigada matriculados em instuies de do Ensino Fundamental e tambm do Ensino Fundamental.
ensino a partir do 7 ano. estudantes da 3 srie do Ensino
Mdio.
Tipo de instituio Escolas da rede pblica e da rede Escolas da rede pblica e da rede Escolas da rede pblica e da rede
avaliada privada localizadas nas reas privada localizadas nas reas privada localizadas nas reas
urbana e rural, exceto as escolas urbana e rural. urbana e rural.
rurais da Regio Norte.
reas avaliadas Maior domnio: cincias Leitura e matemtica
Menor domnio: leitura e
matemtica
Tipo de aplicao Computadorizada Papel
Abrangncia de Nacional Nacional
coleta de informao
Caractersticas da A avaliao amostral. O critrio A avaliao amostral. A avaliao censitria: todos os
avaliao para amostra : Os critrios para amostra so: estudantes do 5 e do 9 anos, de
escolas
com pelo menos um todas as escolas pblicas urbanas
escolas
que tenham entre 10 e
estudante elegvel, ou seja, com e rurais do Brasil com mais de
19 estudantes matriculados no
idade entre 15 anos e 3 meses 20 estudantes matriculados.
5 ano e no 9 ano do Ensino
(completos) e 16 anos e 2 meses Fundamental regular, em escolas
(completos) no incio do perodo pblicas localizadas nas zonas
de aplicao da avaliao, urbanas e rurais;
matriculados em instituies
escolas
que tenham 10 ou mais
educacionais, a partir do 7 ano.
estudantes matriculados no
3 ano do Ensino Mdio, em
escolas pblicas localizadas nas
zonas urbanas e rurais;
escolas
que tenham 10 ou mais
estudantes matriculados no
5 ano e no 9 ano do Ensino
Fundamental regular e no 3 ano
do Ensino Mdio, em escolas
privadas localizadas nas zonas
urbanas e rurais.
Abrangncia de Brasil, Brasil, Brasil,
divulgao dos grandes regies e grandes regies e grandes regies,
resultados unidades da Federao unidades da Federao unidades da Federao,
municpios e escolas
Escalas de Escalas com mdia 500 e desvio- Escalas com mdia 250 e desvio-padro 50, construdas com base no
proficincia padro 100, construdas com base modelo de trs parmetros da TRI.
no modelo de dois parmetros da As proficincias so estimadas com base na metodologia da mdia a
Teoria de Resposta ao Item (TRI). posteriori (EAP).
Os escores so estimados utilizando
a metodologia de valores plausveis
(OCDE, 2016).
Fonte: INEP.
9
Como destacado na Figura 9.5, as avaliaes do PISA 2015 e SAEB 2015 tm diferenas metodolgicas fundamentais e
estruturantes que dizem respeito ao plano amostral, instrumentos, tipo de aplicao e construo das escalas de profi-
cincia. Contudo, uma associao pode ser observada entre os resultados dessas avaliaes.
A Figura 9.7 apresenta um estudo de correlao entre os resultados do PISA 2015 e os resultados dos estudantes da 3
srie do Ensino Mdio (12 ano) no SAEB-Aneb 2015. Para tanto, utilizou-se a anlise da correlao de Spearman que
se baseia no ordenamento dos resultados mdios das unidades da Federao nas duas avaliaes.
Figura 9.7
Anlise da correlao de Spearman dos resultados por unidade da Federao PISA 2015 e SAEB-Aneb 2015
Leitura Matemtica
(correlao de Spearman = 0,8297) (correlao de Spearman = 0,8315)
27 MA 27 MA
BA BA
25 AL 25 AP
RN AL
23 TO 23 PA
PA RN
21 PI 21 TO
AP PI
19 CE 19 AC
SE AM
Saeb -ANEB 2015

Saeb -ANEB 2015
17 PB 17 PB
AM SE
15 RR 15 RR
AC CE
13 MT 13 MT
RO RO
11 MG 11 PE
GO GO
9 PE 9 MG
RS SP
7 PR 7 PR
SP RS
5 RJ 5 RJ
SC MS
3 ES 3 SC
MS DF
1 DF 1 ES
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27
PISA 2015 PISA 2015
Notas:
1. Devido ao delineamento amostral utilizado, nenhuma escola rural da Regio Norte foi considerada no PISA 2015. Para melhor identificao, essas unidades da
Federao esto destacas em laranja.
2. Conforme descrito no Captulo 2, os estados do Amap e Paran no alcanaram as taxas de respostas exigidas no PISA 2015.
Fonte: INEP.
Devido a diferenas entre as avaliaes apresentadas na Figura 9.5 e pelo pas apresentar ainda uma alta defasagem-srie
dos estudantes elegveis do PISA, uma associao perfeita entre esses resultados muito improvvel de se observar. No
entanto, com base no estudo de correlao apresentado na Figura 9.6, h fortes evidncias de que unidades da Federao
com maiores desempenhos no PISA, tendem a ter melhores resultados na Aneb 2015, 12 ano (e a recproca verdadeira).
Apesar de terem focos distintos, ambas as avaliaes so um retrato da Educao Bsica brasileira em 2015. Entender as
particularidades de cada uma, seus fundamentos, mtodos e resultados fundamental para que os atores educacionais,
gestores e pesquisadores da rea faam melhor uso das informaes.
Diferentemente do SAEB, o PISA coloca os resultados do desempenho dos jovens brasileiros na mesma mtrica dos
pases pertencentes OCDE, alm de vrios pases/economias parceiras. No entanto, enquanto estudantes dentro de
um pas podem aprender em contextos diferentes, de acordo com a situao familiar e escolar em que se encontram,
o seu desempenho medido de acordo com normas comuns estabelecidas pela OCDE. Quando se tornarem adultos,
por exemplo, todos enfrentaro desafios comuns e podem chegar a competir para os mesmos postos de trabalho. Da
mesma forma, em uma economia global, o valor de referncia para o sucesso na educao no mais sobre melhorias
e padres nacionais isolados, pois cada vez mais intensa a relao entre os sistemas de ensino em todo o mundo.
Por mais difcil que as comparaes internacionais sejam, so importantes para educadores, e o PISA tem desenvolvido
meios considerveis para assegurar que sejam justas e vlidas (OCDE, 2016).
Consideraes finais
Consideraes finais
Este captulo visa apresentao de algumas consideraes sobre o Brasil no PISA 2015 por domnio avaliado e pela
anlise de fatores associados aos resultados brasileiros.
A avaliao de cincias
Cincias foi o foco da edio de 2015 do PISA e, por isso, o teste de desempenho apresentou um quantitativo maior de
itens do que os demais domnios, alm de questionrios especficos para avaliar as atitudes dos estudantes em relao
a cincia e tecnologia.
Para o PISA, o letramento cientfico requer, alm do conhecimento de conceitos e teorias, o conhecimento sobre os
procedimentos e prticas comuns associados com a investigao cientfica. Um jovem letrado cientificamente est pre-
parado para participar em discusses fundamentadas sobre questes relacionadas com a cincia, pois tem a capacidade
de usar o conhecimento e a informao de maneira interativa.
A avaliao do desempenho dos estudantes em cincias contou com 184 itens e foi delineada para cobrir toda a matriz
de referncia, com base em suas categorias/dimenses: competncias (explicar fenmenos cientificamente, interpretar
dados e evidncias cientificamente e avaliar e planejar experimentos cientficos), conhecimentos (contedo procedi-
mental e epistemolgico) e sistemas de conhecimento de contedo (fsicos, vivos, Terra e espao), e contextos (pessoal,
local/regional e global), alm de duas dimenses adicionais: formato de resposta (mltipla escolha simples e complexa,
resposta aberta ou construda) e demanda cognitiva (baixa, mdia e alta).
Para os estudantes brasileiros, metade dos itens da edio de 2015 se concentrou entre valores do ndice de dificuldade
(Delta) de 13,85 (correspondente a um percentual de acerto de 41,6%) e 16,55 (cerca de 18,7% de acerto). Somente
15,8% dos itens apresentaram ndice Delta menor ou igual a 13 (mdia do ndice), ou seja, aproximadamente 3 itens
em cada 20 apresentaram um percentual de acerto igual ou superior a 50%.
Os itens da competncia Interpretar dados e evidncias cientificamente obtiveram o maior percentual de respostas
corretas (33,7%), seguidos das competncias Explicar fenmenos cientificamente (30,7%) e Avaliar e planejar expe-
rimentos cientficos (26,3%).
Para os estudantes brasileiros, os itens que abordam conhecimento epistemolgico foram mais difceis (Delta 16,8 e
22,1% de acerto) do que os que tratam os outros dois tipos de conhecimento. Mesmo para os estudantes dos pases com
melhor desempenho no teste, o valor de Delta dos itens que abordam esse tipo de conhecimento foi acima da mdia da
escala. Por outro lado, os itens que tratam conhecimento de contedo tiveram, em geral, os menores valores de Delta
e, portanto, maior mdia de acerto (32,5%) entre os estudantes brasileiros.
Independente da mdia de desempenho geral do pas, as diferenas de dificuldade em relao aos trs sistemas de co-
nhecimento de contedo (fsicos, vivos e Terra e espao) foram relativamente pequenas. No Brasil, os valores de Delta
para esses itens ficaram prximos de 15, com variaes muito pequenas no percentual de acerto: 31,5%, 30,0% e 30,6%
para os itens do sistema Terra e espao, sistemas vivos e sistemas fsicos, respectivamente.
Itens relacionados ao contexto pessoal foram considerados mais fceis pelos estudantes brasileiros do que os de contexto
local e global. O ndice de dificuldade dos primeiros foi de 14,67, com 33,8% de acerto, enquanto os que abordaram
contextos de ordem global apresentaram Delta de 15,44, refletindo uma reduo de cerca de 7 pontos no percentual
de acerto. Essa mesma tendncia foi observada em diversos pases e nas unidades da Federao, embora as diferenas
tenham apresentado grandes variaes.
Os estudantes brasileiros tiveram maior dificuldade nos itens de resposta aberta, seguidos pelos de mltipla escolha
complexa e simples tendncia tambm observada em outros pases analisados. No Brasil, a diferena entre o ndice de
Consideraes finais
dificuldade dos itens de resposta aberta (16,34) e o dos itens de escolha mltipla simples (13,71) provocou uma reduo
de 22,8% no percentual de acerto.
A demanda cognitiva (processo mental necessrio resoluo da tarefa de um item) est fortemente associada dificul-
dade do item. Assim, itens de demanda cognitiva alta (exigem a anlise de informao complexa ou de dados, sntese ou
avaliao de evidncias, justificativas e argumentos a partir de vrias fontes ou planejamento de estratgias para resolver
um problema) apresentaram maior dificuldade para os estudantes, inclusive para os dos pases com melhor desempenho.
Para os estudantes brasileiros, o valor de Delta desses itens apresentou mdia de 16,03 (22,4% de acerto), enquanto nos
de demanda cognitiva baixa, o valor do ndice foi de 13,95, cerca de 40% de acerto.
No PISA, um item deixado em branco (resposta omitida) seguido de outro item com resposta vlida considerado como
erro. Em mdia, os estudantes brasileiros omitiram a resposta em 7,2% dos itens, percentual relativamente alto em
comparao com outros pases. Em alguns estados brasileiros, a mdia ultrapassou 10%. A comparao entre itens de
caractersticas similares que tiveram alto percentual de respostas omitidas e outros que no tiveram (mais do que 80%
de respostas vlidas) mostrou que, embora seja difcil traar um padro nico, os fatores relacionados omisso so
basicamente os mesmos relacionados aos altos ndices de dificuldade (por exemplo: resposta aberta, contexto global e
outros fatores determinantes do grau de demanda cognitiva exigida).
Neste relatrio, foram identificados itens que se destacam como indicadores dos pontos fortes e fracos do desempenho
dos estudantes brasileiros em cincias, quando comparados com alguns pases membros da OCDE e da Amrica Latina.
Representam pontos fortes dos estudantes brasileiros, de modo geral, os itens da competncia Explicar fenmenos
cientificamente, de conhecimento de contedo, resposta do tipo mltipla escolha simples. Por outro lado, representam
pontos fracos os itens da competncia Interpretar dados e evidncias cientificamente, de conhecimento procedimental,
resposta aberta e mltipla escolha complexa.
O escore mdio dos jovens brasileiros que participaram da avaliao de cincias foi de 401 pontos, valor significativa-
mente inferior mdia dos estudantes dos pases membros da OCDE (493 pontos). Pouco mais de 40% deles atingiu pelo
menos o nvel 2 da escala, considerado pela OCDE como o nvel bsico de proficincia que possibilita a aprendizagem
e a participao plena na vida social, econmica e cvica das sociedades modernas em um mundo globalizado (OCDE,
2016). Os 10% de estudantes brasileiros com maior nota em cincias obtiveram o escore mdio de 522 pontos, valor
entre os nveis 3 e 4 da escala. Uma pequena parcela (menos de 1%) atingiu os dois nveis mais elevados da escala; nos
pases da OCDE, o percentual de estudantes nesses nveis ultrapassou 7%.
No foram encontradas evidncias empricas que apontem diferenas estatisticamente significativas entre o desempenho
dos jovens brasileiros em cincias no PISA 2015 e as trs ltimas edies da avaliao. Embora os estudantes com maior
desempenho tenham apresentado um acrscimo nos resultados mdios quando comparado ao PISA 2012, os de menor
desempenho apresentaram reduo de 15 pontos no escore.
A avaliao de leitura
Os resultados dos estudantes brasileiros na avaliao de leitura do PISA 2015 fornecem elementos para ampla discusso
sobre o desempenho de jovens de 15 anos ao lidar com textos de diferentes tipos e escritos para servir a propsitos
diversos em contextos variados, seja para atender a interesses pessoais ou para satisfazer razes prticas. Busca-se medir
habilidades que envolvem localizar informao, interpretar e integrar ideias e refletir criticamente sobre informaes
de fontes diversas.
As evidncias produzidas no PISA 2015 indicam que os estudantes brasileiros so capazes de localizar fragmentos de
informao explcita, reconhecer o assunto principal de um texto sobre assuntos conhecidos ou fazer correlaes simples
entre informaes do texto e seu conhecimento cotidiano habilidades expressas no nvel 1 da escala de proficincia
em leitura, no qual esto aproximadamente 44% dos alunos participantes.
Com relao s caractersticas do domnio avaliado, constatou-se que os brasileiros desempenharam melhor itens com
textos representativos da situao pessoal, tais como e-mails pessoais, mensagens instantneas, blogs, biografias e textos
informativos de uma maneira geral. Por outro lado, itens com textos de situao pblica (textos oficiais, notcias, notas
pblicas) foram os mais difceis para eles.
Consideraes finais
Evidenciou-se tambm que esto mais bem preparados para ler textos contnuos do que os combinados que envolvem a
juno de pargrafos em prosa e listas, tabelas, grficos ou diagramas. Esse fato relaciona-se dificuldade dos estudantes
com itens que avaliaram o aspecto integrar e interpretar, uma vez que ele est associado a nveis mais altos de habilidade
em leitura (a partir do nvel 3 da escala de proficincia do PISA).
No estudo dos pontos fortes e fracos dos estudantes brasileiros em leitura, h indcios de que eles tiveram dificuldade em
integrar ideias e fragmentos de informao para fazer comparaes ou estabelecer relaes de causa e efeito, processar
informaes implcitas e fazer suposies a partir dos fatos apresentados em textos narrativos ou expositivos.
O desempenho mdio dos jovens brasileiros em leitura foi 407, inferior s mdias dos estudantes dos pases da OCDE
(493). Esse resultado do Brasil manteve-se estvel desde a ltima edio do PISA, realizada em 2012. Proporcionalmen-
te, observou-se que os 10% com menor desempenho em leitura no PISA 2015 obtiveram uma nota mdia igual a 279,
enquanto os 10% de maior nota atingiram 539.
Conclui-se que os dados levantados neste relatrio podem fornecer informaes para a tomada de decises necessrias
para que o pas alcance melhores nveis de proficincia em leitura e, consequentemente, forme leitores mais crticos e
capazes de atuar na sociedade.
A avaliao de matemtica
Embora matemtica tenha sido um domnio secundrio na edio do PISA 2015, pode-se tirar algumas concluses a
partir da anlise dos resultados discutidos neste relatrio.
Segundo a OCDE, um jovem letrado em matemtica capaz de formular, empregar e interpretar matemtica numa va-
riedade de contextos e no simplesmente atingir um mnimo de conhecimentos tcnicos ou habilidades. No PISA 2015,
foram poucos os estudantes brasileiros que demonstraram atingir esse patamar.
Percebeu-se, no que diz respeito s dificuldades dos itens, uma uniformidade nos resultados. Determinados tipos de
categorias eram sempre cotadas com relao aos estudantes como mais difceis ou mais fceis nas vrias unidades da
Federao ou mesmo nos pases escolhidos para comparao. A ttulo de exemplo, a categoria Espao e forma foi
cotada como sendo aquela com ndice de dificuldade mais elevado, contrastando com a categoria Quantidade, que
tinha o menor ndice de dificuldade dentre as categorias de contedo. Esse resultado foi observado para praticamente
todas as unidades da Federao e demais pases envolvidos. Os estudantes encontram maiores dificuldades na resoluo
de problemas envolvendo assuntos que trabalham com a geometria ou contedos afins.
De maneira anloga, observou-se uma dificuldade maior por parte dos estudantes de modo geral ao lidar com questes
referentes ao trabalho, na categoria ocupacional (contedo). Por outro lado, verificou-se uma maior facilidade ao lidar
com questes de cunho pessoal. Da mesma forma, formular problemas ou situaes matemticas resultou numa cate-
goria mais difcil, mostrando a falta de preparo dos jovens na hora de transformar um problema inserido num contexto
dado em um problema matemtico.
Quanto omisso nas respostas dos estudantes brasileiros, observou-se (por meio da descrio dos dez itens com maior
porcentagem de respostas em branco) uma dificuldade maior para lidar com questes do tipo resposta aberta. Parale-
lamente, pelo estudo dos pontos fortes e fracos, h indcios de que eles tm uma facilidade maior para acertar itens do
tipo mltipla escolha simples, e, em segundo lugar, itens do tipo mltipla escolha complexa.
O desempenho mdio dos estudantes em matemtica no PISA 2015 foi 377, inferior ao desempenho observado em
2012 (389). Alm disso, cerca de 70% deles se situaram abaixo do nvel 2 na escala de proficincia do PISA, que varia
do nvel 1 (menor proficincia) ao nvel 6 (maior proficincia).
Conclui-se que muito importante que professores e toda comunidade escolar reflitam sobre os resultados de matem-
tica apresentados nesse relatrio com vistas melhoria da qualidade da educao dos jovens brasileiros de 15 anos.
Consideraes finais
Fatores associados
Trs captulos foram dedicados discusso do contexto social, familiar e relativo ao ambiente escolar luz das respostas
aos questionrios contextuais do PISA 2015. Uma justa anlise dos resultados dos pases participantes dessa avaliao
s possvel se forem tambm consideradas informaes sobre a realidade em que os jovens de 15 anos esto inseridos.
Mais de 50% dos estudantes brasileiros reportaram no questionrio contextual do PISA 2015 que gostam de ler, tm
interesse ou se divertem quando esto aprendendo sobre tpicos de cincias em geral. Os assuntos de maior interesse
foram Como a cincia pode nos auxiliar a prevenir doenas e O Universo e sua histria.
Em mdia, mais de 80% dos estudantes em todas as unidades da Federao e com respostas vlidas nos questionrios
declaram que os professores ajudam ou do apoio necessrio para seu aprendizado na maioria ou em praticamente todas
as aulas de cincias. Quase metade reportou ainda que o professor muda, na maioria dos encontros dessa disciplina, a
estrutura da aula em um tpico em que a maioria da turma encontra dificuldades; 44,2% indicaram que ele adapta a
aula de acordo com a necessidade e conhecimento dos alunos, e 41,6% responderam que ele fornece ajuda individual
na maioria ou em quase todas as aulas.
preocupante, porm, o percentual de absentesmo dos jovens brasileiros. Quase 50% reportaram ter faltado a um dia
todo de aula nas duas semanas antecedentes avaliao. Segundo a OCDE, o absentesmo regular constitui uma falta
de aproveitamento das oportunidades de aprendizagem, representa pouco interesse por parte dos estudantes, alm de
trazer consequncias negativas ao desenvolvimento da turma, na medida em que contribui para um ambiente de apren-
dizagem com interrupes (OCDE 2013).
A repetncia dos estudantes no contexto escolar um assunto frequentemente discutido luz dos dados do PISA (OCDE,
2016; Bachetto, 2016) e apresenta-se ainda como um grande desafio nas unidades federativas brasileiras. Em mdia,
20,3% dos estudantes com respostas vlidas nesse quesito reportaram ter repetido pelo menos uma vez nos anos iniciais
do Ensino Fundamental, e praticamente o mesmo percentual indicou ter repetido pelo menos uma vez em alguma srie
dos anos finais do Ensino Fundamental. Um percentual abaixo de 5% notado para pases como Finlndia, Canad,
Estados Unidos ou Coreia do Sul.
As anlises do ndice de status econmico, social e cultural (ESCS) revelaram ainda as disparidades socioeconmicas
entre os pases considerados neste relatrio e a realidade brasileira. Diferenas regionais e por tipo de escola foram
apontadas pela anlise dos gradientes socioeconmicos, e espera-se elevar o debate sobre os resultados do PISA com
vistas equiparao dos jovens brasileiros, independentemente do seu estrato social, com as habilidades necessrias
para alcanar seu pleno potencial na vida social e econmica tal como recomendado pela OCDE.
Referncias bibliogrficas
Bacchetto, J. G. (2016). O Pisa e o custo da repetncia no Fundeb. Ensaio: Avaliao e Polticas Pblicas em Educao,
24(91), 424-444.
Bakhtin, M. (2003). Esttica da criao verbal. 4. ed. So Paulo: Martins Fontes.
Brasil. Ministrio da Educao. PDE: Plano de Desenvolvimento da Educao: Prova Brasil: Ensino Fundamental: matrizes
de referncia, tpicos e descritores. Braslia, DF: MEC, SEB, Inep, 2008.
Brasil. Parmetros Curriculares Nacionais, 1998. Incluso de cincias no Saeb: documento bsico. Braslia, DF: Inep, 2013.
Brasil. Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira. O que o Saeb. Disponvel em: <http://
portal.inep.gov.br/saeb>. Acesso em: 20 de maio de 2016.
Brasil. Ministrio da Educao. PNLD 2017: lngua portuguesa Ensino Fundamental anos finais. Braslia, DF: MEC, SEB,
FNDE, 2016. Disponvel em: <http://www.fnde.gov.br/arquivos/category/125-guia-pnld>. Acesso em: 03 de outubro de
2016.
Kleiman, A. (2011). Texto e leitor: aspectos cognitivos da leitura. 14. ed. Campinas: Pontes.
Klein, R. (2011). Uma re-anlise dos resultados do PISA: problemas de comparabilidade. Ensaio: Avaliao e Polticas
Pblicas em Educao, 19(73), 717-768.
Lopes-Rossi, M. A. G.; Paula, O. de (2012). As habilidades de leitura avaliadas pelo PISA e pela Prova Brasil: reflexes
para subsidiar o trabalho do professor de lngua portuguesa. Frum Lingustico, Florianpolis, v. 9, n.1, p. 34-46. Dis-
ponvel em: <https://periodicos.ufsc.br/index.php/forum/article/view/1984-8412.2012v9n1p34/22551>. Acesso em: 20
de maio de 2016.
Matsumoto, D.; van de Vijver, F. J. R. (Eds.) (2010).Cross-cultural research methods in psychology. Cambridge University
Press.
Neves, I. C. B. et al. (Org.) (1999). Ler e escrever: compromisso de todas as reas. 2. ed. Porto Alegre: Ed. da UFRGS.
OCDE (1999).Classifying educational programmes: manual for ISCED-97 implementation in OECD countries. Paris: OECD.
OCDE (2000). Measuring Student Knowledge and Skills: The PISA 2000 Assessment of Reading, Mathematical and
Scientific Literacy. Paris: OECD.
OCDE (2003). The PISA 2003 Assessment Framework: Mathematics, Reading, Science and Problem Solving Knowledge
and Skills. Paris: OECD.
OCDE (2006). The PISA 2006 Assessment Framework for Science, Reading and Mathematics. Paris: OECD.
OCDE (2007). PISA 2006: Science Competencies for Tomorrows World. Volume 1: Analysis. Paris: OECD.
OCDE (2013). PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematics and Financial Literacy.
Paris: OECD.
OCDE (2013). PISA 2012 Results: Ready to Learn: Students Engagement, Drive and Self-Beliefs. Volume III. OECD Pu-
blishing.
OCDE (2013). Lessons from PISA 2012 for the United States, Strong Performers and Successful Reformers in Education.
OECD Publishing.
OCDE (2014). PISA 2012 Technical Report. Paris: OECD.
OCDE (2015). FT Sampling Guidelines. Disponvel em: <https://www.oecd.org/pisa/pisaproducts/PISA2015FT-Sam

plingGuidelines.pdf>. Acesso em: 20 de abril de 2016.
OCDE (2016). PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy.
Paris: OECD Publishing.
OCDE (2016). PISA 2015 Results: Excellence and Equity in Education. Volume I. Paris: OECD Publishing.
Pasquali, L. Psicometria.Revista da Escola de Enfermagem da USP, So Paulo, v. 43, dez. 2009, p. 992-999.
Taylor, R. (1990). Interpretation of the Correlation Coefficient: a Basic Review. Journal of Diagnostic Medical Sonography,
6(1), p. 35-39.
Thomson, S.; De Bortoli, L., Buckley, S., (2013) PISA 2012: How Australia measures up. Camberwell: ACER.
BRASIL NO PISA 2015 | ANLISES E REFLEXES SOBRE O DESEMPENHO DOS ESTUDANTES BRASILEIROS
Anlises e reflexes
estudantes brasileiros
sobre o desempenho dos
Brasil no PISA 2015

Pisa 2015 Brasil

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Pisa 2015 Brasil

Enviado por

Direitos autorais:

Formatos disponíveis

BRASIL NO PISA 2015 | ANLISES E REFLEXES SOBRE O DESEMPENHO DOS ESTUDANTES BRASILEIROS

Braslia, novembro de 2016

Diretora de Avaliao da Educao Bsica

Editorao Eletrnica e Grficos

Dados Internacionais de Catalogao na Publicao (CIP)

Brasil no PISA 2015 : anlises e reflexes sobre o desempenho dos

1. Avaliao educacional 2. Avaliao educacional Brasil 3.

ndices para catlogo sistemtico:

Captulo 2 A participao do Brasil no PISA 2015.................................................................................... 25

Captulo 3 A avaliao de cincias no PISA 2015...................................................................................... 35

Captulo 4 A avaliao de leitura no PISA 2015........................................................................................ 91

Captulo 5 A avaliao de matemtica no PISA 2015.............................................................................. 137

Captulo 6 Interesse, motivao, crenas e outras percepes dos estudantes

Captulo 7 O ambiente escolar e as condies de aprendizagem.................................................... 205

Captulo 8 Equidade nas oportunidades de aprendizagem.............................................................. 233

Captulo 9 O PISA dialoga com o SAEB?..................................................................................................... 251

Consideraes finais....................................................................................................................................... 267

Referncias bibliogrficas............................................................................................................................. 271

Figura 2.1 Definio internacional dos estudantes elegveis ao PISA................................................................... 26

Figura 3.1 A definio de letramento cientfico PISA 2015............................................................................... 37

Figura 4.1 A definio de letramento em leitura PISA 2015.............................................................................. 92

Item R433Q05 O avarento ................................................................................................................................... 126

Figura 5.1 A definio de letramento matemtico PISA 2015......................................................................... 138

1.1 pisa: o que ?

Cincias Cincias Cincias Cincias Cincias Cincias

Escola Escola Escola Escola Escola Escola

Indicadores que fornecem um perfil bsico de conhecimento e habilidades dos estudantes.

1.2 Quais so as principais caractersticas do PISA 2015?

A Figura 1.3 sintetiza as principais caractersticas do PISA 2015.

Figura 1.3 (continuao)

Fonte: OCDE, INEP.

1.3 O PISA dialoga com o SAEB?

1.4 Quais so os objetivos e a organizao do relatrio?

Nota sobre as comparaes estatsticas

Mdia Ciclo Anterior Mdia 2015

Abreviaes dos pases e unidades da Federao comparadas neste relatrio

BRA Brasil AC Acre PB Paraba

2.1 Aspectos gerais

2.2 Quais so os antecedentes e as caractersticas da amostra do PISA

Estudantes entre 15 anos e 3 meses (completos) e 16 anos e 2 meses

Estudantes elegveis Cobertura do PISA

2.3 Quem so e onde esto os estudantes brasileiros elegveis do PISA 2015?

Figura 2.6 (continuao)

Perfil dos estudantes brasileiros no PISA 2015

AC 1,5% 1,7% 8,0% 39,5% 43,3% 5,9% AC 4% 7% 47% 42%

AM 0,0% 4,6% 17,7% 41,5% 32,9% 3,3% AM 9% 13% 42% 36%

GO 0,8% 4,1% 13,0% 44,4% 34,8% 2,8% GO 7% 11% 44% 38%

MT 0,1% 0,2% 6,7% 52,1% 38,6% 2,3% MT 3% 4% 49% 44%

MG 10% 44% 39%

PA 13% 20% 40% 27%

3.1 Aspectos gerais

3.2 Como o letramento cientfico definido no PISA?

3.3 Como o letramento cientfico foi avaliado no PISA 2015?

Valorizaoda (de cincias)

Os componentes (ou dimenses) do construto

Explicar fenmenos cientificamente

lembrar e aplicar conhecimento cientfico apropriado;

Avaliar e planejar investigaes cientficas

identificar a questo explorada em dado estudo cientfico;

Interpretar dados e evidncias cientificamente

transformar dados de uma representao para outra;

Figura 3.4 (continuao)

Estruturas do sistema Terra (litosfera, hidrosfera, atmosfera)

Conceitos de variveis dependentes e independentes