Você está na página 1de 22

ISSN 0103-636X

ARTIGOS

Letramento em Matemtica: um estudo a partir


dos dados do PISA2003
Mathematical Learning: a study based on data from the
PISA2003
Glauco da Silva Aguiar*
Maria Isabel Ramalho Ortigo**
Resumo
Neste trabalho partimos do pressuposto de que os resultados das avaliaes em larga
escala so instrumentos adequados para compreender o currculo aprendido. Entendemos,
ainda, que os resultados obtidos por distintos pases em avaliaes internacionais
constituem-se uma boa estratgia para captar nfases diferenciadas no currculo ensinado.
A partir dos resultados do Programa Internacional de Avaliao dos Estudantes - PISA
2003, buscou-se comparar diferenas nas nfases curriculares em Matemtica entre
Brasil e Portugal. Para isto, a pesquisa utilizou como metodologia a anlise do
Funcionamento Diferencial do Item (DIF). Esta metodologia possibilita identificar itens
que violam um dos principais pressupostos da Teoria de Resposta ao Item (TRI), segundo
o qual, alunos de grupos distintos, mas de mesma habilidade cognitiva, tm a mesma
probabilidade de acertar um item. A anlise em 84 itens da prova de Matemtica do PISA
2003 mostrou que alguns itens apresentam DIF entre alunos brasileiros e portugueses.
De modo sinttico, podemos dizer que alguns itens mostram-se mais fceis aos alunos
brasileiros, em especial os que se referem subrea Quantidade. J os itens da subrea
Mudana e Relaes so, aparentemente, mais fceis aos alunos portugueses. Ao mesmo
tempo, itens envolvendo contextos cientficos mostram-se mais fceis aos alunos
Doutor em Educao. Pontifcia Universidade Catlica do Rio de Janeiro (PUC-Rio). Professor do
Colgio Militar do Rio de Janeiro (CMRJ), Rio de Janeiro, RJ, Brasil. Endereo para correspondncia:
Rua Professor Gabizo, n 159, apto. 206, Tijuca, CEP: 20.271-064. Rio de Janeiro, RJ, Brasil. Email: glaucoaguiar@uol.com.br.
**
Doutora em Educao. Pontifcia Universidade Catlica do Rio de Janeiro (PUC-Rio). Professora
da Universidade do Estado do Rio de Janeiro (UERJ), Rio de Janeiro, RJ, Brasil. Endereo para
correspondncia: Rua Benjamim Batista, n 190, apto. 201, Jardim Botnico, CEP: 22.461-120.
Rio de Janeiro, RJ, Brasil. E-mail: isabelortigao@terra.com.br.
*

Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

AGUIAR, G. S.; ORTIGO, M. I. R.

portugueses, enquanto os que envolvem contextos da vida pessoal so mais fceis aos
brasileiros. Os resultados desta pesquisa evidenciam a relevncia e necessidade da
ampliao do debate curricular no campo da educao matemtica. A compreenso dos
resultados dos testes de avaliao em larga escala pode fornecer novas questes sobre
o como e o qu os alunos aprendem Matemtica.
Palavras-chave: Educao Matemtica. Currculo Aprendido. PISA2003. Funcionamento
Diferencial do Item.

Abstract
This work begins with the assumption that the results of large-scale evaluations are
appropriate tools for understanding the curriculum learned. We also think that the results
of international evaluations conducted in different countries are a good strategy to
identify the different emphases of the various curriculums. Based on the results of the
Program of International Student Assessment - PISA2003, a comparison was made between
differences in math curriculum emphases in Brazil and Portugal. The methodology used
for analysis was Differential Item Functioning (DIF). This methodology enables the
identification of items that violate one of the key assumptions of Item Response Theory
(IRT), whereby students from different groups, but the same cognitive skill, have the
same probability of answering an item correctly. Analysis of 84 items of the mathematics
test of the PISA 2003 showed that some items present DIF between Brazilian and
Portuguese students. Some items are easier for Brazilian students, in particular as regards
the sub-area quantity. On the other hand, the items of the sub-area change and
relationships are apparently easier for students from Portugal. Items involving scientific
contexts are easier for students in Portugal, as well, while involving contexts of personal
life are easier for Brazilians. The results of this survey demonstrate the relevance and
need of expanded debate on curriculum in education mathematics. Understanding the
results of the tests of large-scale evaluations can provide new questions about how and
what students learn about Mathematics.
Keywords: Education Mathematics. Curriculum Learned. PISA2003. Differential Item
Functioning.

1 Introduo
inegvel, atualmente, a convico de que a escola faz diferena na
formao dos jovens. Estudos tm mostrado que algumas escolas, algumas
comunidades, alguns pases so melhores do que outros em ajudar seus alunos
com caractersticas semelhantes a aprenderem Linguagem, Matemtica e
Cincias.
Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

Letramento em Matemtica: um estudo a partir dos dados do PISA2003

Nas ultimas dcadas, diversos estudos, realizados com o intuito de buscar


entender a contribuio das escolas na formao das crianas e jovens,
evidenciaram a relao entre as caractersticas scio-culturais e econmicas
dos estudantes e de suas famlias e os resultados escolares por eles obtidos. Foi
marcante, no final dos anos 1960, o Relatrio Coleman (COLEMAN, 1966), o
qual abalou profundamente a imagem da escola meritocrtica americana,
desencadeando uma imensa produo de pesquisas que focalizaram a questo
das desigualdades educacionais.
Um estudo realizado nos Estados Unidos, no final da dcada de 1970,
com o propsito de discutir o trabalho pedaggico realizado em cinco escolas
americanas, evidenciou a associao entre o perfil social dos alunos da escola e
o currculo ensinado em cada uma delas (ANYON, 1980). No estudo, as cinco
escolas observadas foram selecionadas com base no perfil social de seus alunos.
A partir de observaes de aula, ocorridas no perodo de um ano em turmas de
quinta srie, e de entrevistas com alunos e professores, a autora concluiu que os
currculos, as prticas e as habilidades desenvolvidas associavam-se aos diferentes
perfis de alunos, contribuindo para a manuteno e reproduo das desigualdades
existentes na sociedade.
De maneira geral, as pesquisas educacionais tm sugerido que as escolas
so diferentes, no s em relao ao perfil socioeconmico e cultural dos
estudantes, mas, tambm, quanto aos processos de escolarizao que ocorrem
em cada uma delas (LEE; SMITH, 2002; SOARES, 2005; ORTIGO;
FRANCO; CARVALHO, 2007; FRANCO; SZTAJN; ORTIGO, 2007;
ALVES; ORTIGO; FRANCO, 2007; FRANCO et al., 2007; CASASSUS,
2007; CARNOY; GOVE; MARSHALL, 2007).
Os levantamentos educacionais, bem como as pesquisas vinculadas a
eles, tm contribudo para que pesquisadores e educadores compreendam as
dinmicas que levam desigualdade. Para eles, tal compreenso o primeiro
passo para super-las. Entender como se cria e se mantm uma determinada
situao importante, porque nos indica possveis caminhos a seguir.
O entendimento do que ocorre nas escolas passa, necessariamente, pela
compreenso do contexto e dos processos escolares, bem como dos resultados.
O primeiro abarca a compreenso dos aspectos do contexto social, que agrega
tanto as caractersticas do ambiente onde a escola est situada, como o contexto
da prpria escola, modificveis apenas por polticas fora do controle imediato
dessa. Os estudos sobre o contexto escolar buscam avaliar tanto caractersticas
das polticas educacionais dos rgos centrais e da escola, como o ambiente de
Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

AGUIAR, G. S.; ORTIGO, M. I. R.

seu entorno sua localizao e o perfil socioeconmico e cultural dos alunos e


de suas famlias. O segundo compreende o conhecimento das caractersticas da
comunidade escolar e dos processos associados cultura da escola (FORQUIN,
1995), aos professores e rotina de cada sala de aula. Segundo Soares (2005),
com o desenvolvimento de ferramentas estatsticas as pesquisas educacionais
tm se debruado sobre os processos internos das escolas, interessadas em
compreender o que torna determinadas escolas melhores que outras. Essas
pesquisas resgatam a importncia da escola, principalmente por mostrarem que
h escolas que conseguem fazer o aluno avanar mais do que seria esperado,
tendo em vista o seu contexto familiar.
Neste trabalho usamos os resultados1 do PISA-2003 - Programa
Internacional de Avaliao dos Estudantes - para investigar se h nfases
curriculares diferenciadas, em Matemtica, entre escolas brasileiras e
portuguesas. O estudo aqui apresentado situa-se na compreenso do contexto
escolar, partindo do pressuposto de que os resultados das avaliaes em larga
escala so instrumentos adequados para compreender o currculo aprendido
(FORQUIN, 1995). Especificamente, nosso interesse voltou-se identificao
de caractersticas que fossem capazes de explicar as causas das diferenas nos
resultados em Matemtica entre estudantes do Brasil e de Portugal.
Este texto est organizado em sete sesses, alm desta introduo. Na
sequncia, apresentamos breve discusso acerca do currculo e das recentes
recomendaes ao ensino e aprendizagem da matemtica escolar. De forma
sinttica, descrevemos a pesquisa, suas questes, os dados utilizados e a
abordagem metodolgica adotada. Na continuidade, discutimos os resultados
obtidos e, finalmente, tecemos nossas concluses.
2 Currculo
Existe na literatura educacional uma pluralidade de concepes acerca
da palavra currculo; cada uma pressupe valores e concepes implcitas. O
currculo pode ser entendido como o programa de ensino, os contedos ou matriz
curricular (ORTIGO; SZTAJN, 2001), ou mesmo, as aes que circulam na
escola. Nas ltimas dcadas, a discusso em torno do currculo colocou em
As avaliaes usam a denominao proficincia quando a coleta de dados ocorre uma nica vez, de
forma seccional. Se a avaliao ocorre longitudinalmente, costuma-se usar a denominao medida
de aprendizagem. Essa diferenciao est associada ideia de que a aprendizagem ocorre ao longo
do tempo, no podendo, portanto, ser medida uma nica vez.

Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

Letramento em Matemtica: um estudo a partir dos dados do PISA2003

destaque a relao entre dominao econmica e cultural e o currculo escolar,


enfatizando que a seleo do conhecimento escolar no um ato desinteressado
e neutro, mas culturalmente determinado, historicamente situado, no podendo
ser desvinculado da totalidade do social.
A escola no apenas um local onde se estabelecem relaes de poder
e relaes interpessoais, mas, por excelncia, o espao institucional privilegiado,
por onde circulam saberes e smbolos da sociedade moderna. Diferentes escolas
podem fazer diferentes tipos de seleo no interior da cultura. Os docentes
podem ter hierarquias de prioridades divergentes, mas todos os docentes e todas
as escolas fazem selees de um tipo ou de outro (FORQUIN, 1992).
Forquin utiliza as denominaes currculo formal e currculo ensinado
e currculo aprendido como aspectos possveis dessa seleo no interior da
cultura, conforme nos coloquemos do ponto de vista dos construtores de
programas e responsveis oficiais, ou do ponto de vista dos docentes em suas
salas de aula, ou, ainda, na posio de alunos. Para o autor, aquilo que realmente
aprendido, retido e compreendido pelos alunos no corresponde, tampouco, quilo
que os docentes ensinam ou creem ensinar, pois a recepo da mensagem
depende do contexto social e cultural (FORQUIN, 1992).
A conscincia dessas diferentes concepes acerca do currculo leva a
um deslocamento no modo de olhar a escola, que passa a ser vista como o local
por excelncia, nas sociedades modernas, de gesto e de transmisso de saberes
e de smbolos. Para ele, elaborao curricular envolve tomada de deciso em
relao seleo, organizao e distribuio do conhecimento que toda uma
populao estar sujeita na sua formao escolar (FORQUIN, 1992).
Nosso interesse em compreender os processos internos com relao ao
currculo da matemtica escolar, nos conduziu ao dilogo com a literatura
especfica de Educao Matemtica e suas recomendaes atuais ao ensino e
aprendizagem da Matemtica.
2.1 Currculo de Matemtica: a proposta de renovao das ltimas
dcadas
No Brasil, a divulgao dos Parmetros Curriculares Nacionais - PCN
(BRASIL, 1998) e as sucessivas avaliaes nacionais de livros didticos (PNLD/
MEC) foram decisivas para algumas modificaes ocorridas nos currculos de
Matemtica da escola bsica, dentre as quais se destacam o desaparecimento
dos conjuntos e a ampliao das reas de ensino (ORTIGO; SZTAJN, 2001).
Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

AGUIAR, G. S.; ORTIGO, M. I. R.

Na base dessas propostas, esto as recomendaes contidas no


documento Agenda para a Ao (NCTM, 1989), que nortearam as modificaes
curriculares da Matemtica escolar em diversos pases. Nesse documento, a
resoluo de problemas destacada como o foco do ensino de Matemtica, nos
anos 1980. Alm dos aspectos cognitivos tradicionalmente valorizados o
documento refere-se, tambm, relevncia dos aspectos sociais, antropolgicos
e lingusticos como tendo imprimido novos rumos s discusses curriculares.
Ganha fora, neste momento, a ideia de que os currculos escolares precisam
valorizar a construo de competncias bsicas necessrias ao cidado e no
mais o ensino propedutico, simplesmente.
A literatura em Educao Matemtica tem reportado trs justificativas
que motivaram as reformas curriculares ocorridas a partir dos anos 1980: (1)
pressuposio de que o ensino de Matemtica tem produzido baixos resultados
no desempenho dos alunos; (2) reconhecimento de que o mundo necessita de
estudantes com maiores habilidades no uso de ferramentas matemticas; (3)
avanos educacionais que passaram a valorizar a aprendizagem coletiva, os
conhecimentos prvios dos alunos e a construo do conhecimento pelos
estudantes.
O ensino de Matemtica, na perspectiva renovadora, caracteriza-se pela
ressignificao dos contedos a ser ensinados e pelos novos papis para alunos
e professores. Neste sentido, ampliam-se os ramos da Matemtica, passando a
se considerar Tratamento da Informao e Medidas e Grandezas como reas
fundamentais para a formao da cidadania, alm das j tradicionais Nmeros,
lgebra e Geometria. A resoluo de problemas assume papel central no ensinoaprendizagem, e o que era bsico para a disciplina ressignificado
(CARVALHO; SZTAJN, 1997). Dentro dessa tica, os conhecimentos
matemticos so identificados como meios para compreender e transformar a
realidade. O ensino e a aprendizagem da Matemtica devem conduzir os
estudantes a fazer observaes sistemticas de aspectos qualitativos e
quantitativos da realidade; alm de capacit-los para selecionar, organizar e
produzir informaes relevantes.
Aos alunos e professores, lhes so oferecidos novos papis, tais como:
a construo do conhecimento pelo aluno, o trabalho em equipe e a comunicao
em sala de aula. Neste contexto, o professor o organizador da aprendizagem,
caracterizado como algum que encoraja os alunos na busca de solues dos
problemas, que valoriza os processos de pensamento dos alunos e que os incentiva
a comunicar-se matematicamente, envolvendo-os em tarefas ricas e significativas
- do ponto de vista intelectual e social.
Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

Letramento em Matemtica: um estudo a partir dos dados do PISA2003

3 Questes de pesquisa e mtodo


A recente participao do Brasil na avaliao da OCDE tornou possvel
a investigao do currculo escolar das escolas brasileiras, em uma perspectiva
comparada internacionalmente, a partir dos resultados dos estudantes nos testes
de Leitura, Matemtica e Cincias e em suas respostas aos questionrios
contextuais (BRASIL, 2001; OCDE, 2005a, OCDE, 2005).
Especificamente, esta pesquisa procurou responder s seguintes questes
gerais: (a) h diferenas de competncia cognitiva entre os alunos brasileiros e
portugueses? (b) possvel identificar competncias matemticas que so
exploradas diferentemente nos currculos desses pases? (c) que itens de prova
apresentaram DIF? Esses itens seguem algum padro?
Para responder s questes acima, foram utilizados os dados do PISA
2003. Essa avaliao visa medir o desempenho dos alunos em um momento
especfico de sua vida escolar, aos 15 anos de idade, e produzir indicadores
sobre a efetividade dos sistemas educacionais dos diversos pases participantes.
As avaliaes ocorrem a cada trs anos, com nfases distintas nas reas do
conhecimento de Leitura, Matemtica e Cincias.
Nosso interesse foi o de investigar se h nfases curriculares
diferenciadas, em Matemtica, entre escolas brasileiras e portuguesas. Em
especial, identificar caractersticas curriculares que fossem capazes de explicar
as causas das diferenas nos resultados em Matemtica entre estudantes do
Brasil e de Portugal.
Para a sua viabilidade, a pesquisa fez uso de metodologia especfica
denominada Funcionamento Diferencial do Item DIF (AGUIAR, 2010;
SOARES; GENOVEZ; GALVO, 2005). Esta metodologia possibilita identificar
itens que violam um dos principais pressupostos da Teoria de Resposta ao Item,
segundo o qual a probabilidade de acertar um item funo da proficincia do
aluno. Ou seja, alunos de grupos distintos (por exemplo, brasileiros e portugueses)
com igual proficincia tm a mesma probabilidade de acertar um item. Caso
isso no ocorra, podemos afirmar que algum fator que extrapola a habilidade
cognitiva do aluno est tornando um item mais fcil para um dos grupos. No
total, foram analisados 84 itens da prova de Matemtica do PISA 2003, dos
quais 23 apresentaram DIF.

Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

AGUIAR, G. S.; ORTIGO, M. I. R.

4 O que o PISA avalia em Matemtica


O PISA enfatiza a avaliao das competncias de tipo escolar
necessrias vida moderna, no se concentrando somente nos contedos
curriculares. O programa busca verificar a operacionalizao de esquemas
cognitivos, nas diferentes reas. Para refletir a amplitude dos conhecimentos,
habilidades e competncias que esto sendo avaliados, usa-se o conceito de
letramento, que remete capacidade de o aluno aplicar seus conhecimentos,
analisar, raciocinar e se comunicar com eficincia, medida que expe, resolve
e interpreta problemas, em diversas situaes. O termo letramento foi escolhido
para refletir a amplitude dos conhecimentos, habilidades e competncias que
esto sendo avaliados. Assim, o desenvolvimento do letramento um processo
de aprendizagem ao longo da vida e, portanto, mais amplo do que a noo histrica
da capacidade de ler e escrever.
Para uma melhor compreenso desse modelo dinmico de aprendizagem,
em que novos conhecimentos e habilidades devem ser continuamente adquiridos,
apresentamos, a seguir, um exemplo de item utilizado na avaliao do PISA2003. Destacamos que a apresentao da imagem feita tal como aparece nos
cadernos de teste, exceto o tamanho original, que foi reduzido.

Figura 1 - Exemplo de item de Matemtica do PISA 2003

Trata-se de um item que avalia contedos relacionados subrea


Quantidade, cuja competncia, exigida para sua resoluo, conexo e o
contexto envolvido Educacional/Ocupacional, conforme as definies do
prprio PISA.
Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

Letramento em Matemtica: um estudo a partir dos dados do PISA2003

Para cada rea avaliada existe uma escala contnua, em que os nveis
de desempenho dos alunos e o posicionamento destes ao longo da escala esto
representados pelo nmero de pontos alcanados. Particularmente em
Matemtica, as competncias so avaliadas em itens que abrangem desde a
realizao de operaes bsicas at as habilidades de alta ordem, envolvendo
raciocnio e descobertas matemticas. Especificamente, estas habilidades so
sintetizadas em trs grupos: reproduo, conexo e reflexo. O primeiro
compreende os processos cognitivos que so requeridos para que o aluno
demonstre as habilidades matemticas que esto ligadas de maneira muito
prxima ao que usualmente entendido como contedo. Na maioria das vezes,
a soluo do item da prova est apoiada em dados e fatos memorizados e na
execuo de aes repetidas. O segundo parte do anterior, mas envolve os
processos cognitivos exigidos para que o aluno possa demonstrar habilidades
relacionadas ao saber fazer, mesmo que de maneira incipiente. A resoluo das
tarefas demanda a reunio de ideias para solucionar problemas matemticos
diretos, com maior interpretao da situao. O terceiro desenvolve-se a partir
do grupo de conexo, mas abrange habilidades necessrias para a resoluo de
tarefas que precisam de um pensamento matemtico mais amplo, exigindo insight,
reflexo e at mesmo criatividade para a resoluo do problema.
No PISA os contedos matemticos so organizados em quatro reas
estruturantes, a saber: Quantidade, Espao e forma, Mudanas e relaes,
Incerteza. Para os organizadores da avaliao, as trs primeiras constituem a
essncia de qualquer currculo de Matemtica da educao bsica. A quarta
(Incerteza) atende ao carter mais abrangente da Competncia Matemtica e
se conecta com as necessidades da vida diria do cidado. Observa-se uma
grande proximidade dessa organizao com a que utilizada pelo PCN (BRASIL,
1998), que, embora apresente nomes ligeiramente diferentes, usa as mesmas
categorias.
5 Comparando os desempenhos de Brasil e de Portugal
Os resultados do PISA 2003 sugerem o agrupamento dos pases
participantes em trs grupos distintos, de acordo com seus desempenhos na
prova de Matemtica. O primeiro grupo constitudo por dezoito pases que
obtiveram pontuao acima da mdia da OCDE, que de 500 pontos. Quatro
pases fazem parte do segundo grupo, cujas mdias equivalem mdia geral da
OCDE. Um terceiro grupo, formado por dezenove pases, onde se encontram
Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

10

AGUIAR, G. S.; ORTIGO, M. I. R.

Brasil (356) e Portugal (466), tiveram mdias abaixo da mdia da OCDE.


Embora com resultados muito abaixo do desejvel, o Brasil foi o pas
que apresentou maior crescimento na escala global de Matemtica ao longo dos
trs ciclos do PISA (OCDE, 2005). Samos de 334 pontos, em 2000, para 356,
em 2003, e, em 2006, alcanamos 370. Portugal no apresentou diferenas
estatisticamente significativas em suas mdias nos trs ciclos de avaliao (454,
466 e 466, respectivamente), pois estas esto dentro do mesmo intervalo de
confiana (95%). O grfico abaixo apresenta a evoluo das mdias dos dois
pases.

Grfico 1 - Evoluo dos Desempenhos em Matemtica no PISA Brasil e Portugal

Considerando as mdias por subreas, a anlise evidencia que Portugal


apresenta maior homogeneidade nos resultados mdios do que o Brasil. Os
valores mdios so mais prximos, evidenciando que no h tanta hierarquia de
prioridades nos processos de transmisso e aprendizagem de alguns contedos
da Matemtica. Os resultados mdios por reas variam de 450 (Espao e Forma)
a 471 (Incerteza), uma diferena de 21 pontos. J o Brasil mostra-se bastante
heterogneo, apresentando seu melhor resultado em Incerteza (377), e pior em
Mudana e Relaes (333), uma diferena de 44 pontos.
De modo geral, pode-se constatar que a situao mdia dos alunos
brasileiros no PISA preocupante. Portugal, mesmo estando no mesmo grupo
que o Brasil, na classificao geral, apresenta resultados bem melhores. Essa
situao se mantm ao olharmos para as quatro subreas do contedo de
Matemtica. H uma similaridade quanto melhor performance dos alunos
nos dois pases em Incerteza. Quanto aos piores resultados, os pases divergem.
Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

Letramento em Matemtica: um estudo a partir dos dados do PISA2003

11

No Brasil os alunos se saram pior em Mudana e Relaes, em questes de


lgebra, que envolvem manifestaes matemticas de relaes e dependncias
funcionais entre variveis. Em Portugal o desempenho mais fraco dos alunos se
deu em Espao e Forma. Nesta subrea, os itens buscam captar as habilidades
e competncias em tarefas que envolvem relaes geomtricas, por exemplo, a
compreenso das propriedades dos objetos e de suas posies relativas.
Cabe ressaltar que, para uma melhor dimenso do significado dessas
diferenas de pontuao, a distncia entre dois nveis contguos de proficincia
na escala contnua est estimada em 62 pontos. Ou seja, a diferena da pontuao
mdia, na escala global de Matemtica, entre Brasil (356) e Portugal (466) de
110 pontos, o que significa que, para alm de ser estatisticamente significativa, a
maioria dos nossos alunos se situa dois nveis abaixo da posio ocupada pelos
seus colegas portugueses na escala do PISA. Com esse resultado, Portugal
situa-se, em mdia, no nvel 2 da escala, onde, de modo geral,
neste nvel os alunos so capazes de interpretar e
reconhecer situaes em contextos que no requerem mais
do que uma inferncia direta. So capazes de extrair
informao relevante de uma nica fonte e conseguem fazer
uso de um nico modo de representao. Conseguem
empregar algoritmos, frmulas, procedimentos, ou
convenes a um nvel bsico. So capazes de efetuar
raciocnios diretos e fazem interpretaes literais dos
resultados. (OCDE, 2005, p. 28)

A mdia dos alunos brasileiros situa-se abaixo do nvel 1 na escala de


proficincia, permitindo afirmar que estes no foram capazes de utilizar as
capacidades matemticas requeridas pelas tarefas mais simples do estudo
PISA (OCDE, 2005, p. 32).
O esforo para compreender esses resultados no pode prescindir de
uma anlise cuidadosa das variveis correlacionadas aos resultados e, igualmente,
dos seus efeitos e mecanismos de atuao. Pesquisadores e avaliadores h
muito desenvolvem modelos explicativos de rendimento escolar e pode-se dizer
que existe consenso em relao a algumas variveis que devem ser consideradas
sempre que o objetivo for explicar os rendimentos alcanados pelos alunos
avaliados. Para eles, esses fatores so determinantes da posio dos pases no
ranking.
Um desses fatores a distoro idade-srie. O Brasil apresenta um alto
ndice de atraso escolar: 42,9% dos alunos que participaram do PISA2003, com
Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

12

AGUIAR, G. S.; ORTIGO, M. I. R.

15 anos de idade, cursavam a srie adequada para a idade, ou seja, o primeiro


ano do Ensino Mdio (EM); 13,7% deles cursavam a stima srie, portanto,
com 2 anos de atraso escolar; e 24,8% apresentava um ano de atraso escolar.
O percentual de alunos na segunda srie do Ensino Mdio era de 18,1% e, na
terceira srie, de apenas 0,5%.
Portugal, um dos poucos pases membros da OCDE no qual o atraso
escolar ainda um problema, apresenta: 64,3% de seus alunos na srie adequada;
20,3% com um ano de atraso; 10,6% com dois anos de atraso; 4,2% com trs
anos de atraso; 0,6% em srie mais adiantada.
Os grficos abaixo mostram o desempenho mdio na escala global de
Matemtica, de acordo com o ano de escolaridade, no Brasil e em Portugal.
Observa-se que a mdia dos alunos brasileiros que, em 2003, cursavam o 2 ano
do ensino mdio situa-se abaixo da mdia global da OCDE (424); o mesmo
ocorrendo com aqueles que nesta poca estavam no 3 ano EM (438). O mesmo
no ocorre com a mdia dos alunos portugueses: os que cursavam o 2 ano do
EM tiveram mdia igual a 505 (ligeiramente acima da mdia global, que de
500 pontos); j os que cursavam o 3 ano obtiveram mdia igual a 591, acima da
mdia global. Portanto, no caso de Portugal, excluindo-se os alunos com atraso
nos clculos da mdia de desempenho, a mudana de posicionamento na escala
seria considervel: subiria do nvel 2 para o nvel 4 e passaria a fazer parte dos
pases que compem o grupo 1, com mdias acima da OCDE. J com relao
ao Brasil, mesmo que exclussemos os alunos com atraso escolar, a mdia
daqueles que nunca passaram pela experincia de reprovao continuaria abaixo
da mdia global, independente de cursarem a srie adequada ou estar adiantados.

Grfico 2 - Desempenho Mdio na Escala Global de Letramento em Matemtica,


por Ano de Escolaridade BRASIL
Fonte: Relatrio Tcnico do PISA 2003
Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

Letramento em Matemtica: um estudo a partir dos dados do PISA2003

13

Grfico 3 - Desempenho Mdio na Escala Global de Letramento em Matemtica,


por Ano de Escolaridade - PORTUGAL
Fonte: Relatrio Tcnico do PISA 2003

Na sequncia, apresentamos os resultados da anlise de DIF


Funcionamento Diferencial do Item -, realizada com o intuito de analisar diferenas
curriculares entre os dois grupos de alunos.
6 Resultados e discusses das anlises de DIF com os dados do PISA
Para alm das diferenas encontradas nas mdias globais dos dois pases,
nosso interesse voltou-se compreenso sobre o que leva alguns itens do PISA2003 mostrarem-se mais fceis para estudantes brasileiros ou portugueses.
importante salientar que, aqui, a acepo de itens mais fceis para alunos de
um grupo em relao a outro grupo pressupe, sempre, comparaes
controladas pela proficincia em Matemtica, isto , comparaes entre alunos
com desempenhos semelhantes no teste.
A elaborao de um item para um teste de uma avaliao em larga
escala, como o PISA, deve levar em considerao vrios aspectos, tais como, a
idade e a escolarizao do grupo ao qual o teste ser aplicado. Alm disso, o
item deve ser objetivo e claro, no conter termos que favoream um grupo em
detrimento de outro, bem como, no oferecer dicas que, facilmente, conduzam o
aluno resposta. Tradicionalmente, os itens so pr-testados e analisados
estatisticamente. Portanto, em princpio, no se espera encontrar itens com DIF
elevado. Mesmo assim, existindo poucos itens com DIF, a evidncia estatstica
da diferena entre o desempenho de grupos no deve ser persuasiva quanto
Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

14

AGUIAR, G. S.; ORTIGO, M. I. R.

deciso de excluir ou no esses itens do teste. Pois, alm de interferirem pouco


no resultado da proficincia, podem trazer informaes adicionais relevantes
para entender algumas possveis diferenas pedaggicas e/ou caractersticas
especficas dos grupos.
No mbito da TRI, possvel dizer que um item no apresenta DIF
quando a curva caracterstica do item (CCI), representada na figura abaixo, a
mesma para os grupos comparados em um mesmo nvel de habilidade ou
proficincia medida atravs do item.

Figura 2 - Curva Caracterstica do Item (CCI)

Abaixo, apresentamos a CCI correspondente ao item do exemplo anterior


para Brasil e Portugal. A anlise grfica mostra que esse item apresentou DIF
que favoreceu os alunos brasileiros, representados pela linha verde, pois para
todas as faixas de proficincias, a probabilidade de acertar o item maior para
os alunos brasileiros.

Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

Letramento em Matemtica: um estudo a partir dos dados do PISA2003

15

Grfico 4 - Curva Caracterstica do Item M484q01t

De acordo com esse grfico, alunos com proficincias iguais a 500, nos
dois grupos, tm chances diferentes de acertarem o item. Enquanto os alunos
brasileiros tm 70%, os portugueses tm pouco mais de 50%.
A operacionalizao para se alcanar um dos objetivos propostos na
pesquisa, que implica em explicar o que causa o DIF, foi realizada com base nas
caractersticas dos itens, definidas pelo prprio PISA, como: Subrea da
Matemtica, Processo, Contexto e Tipo de Resposta. Adicionalmente, duas
outras caractersticas, foram consideradas nas anlises: Tamanho do Enunciado
e Recurso Grfico (enunciados apoiados em figura, grfico ou tabela).
Vinte e trs itens de Matemtica apresentaram algum tipo de DIF. A
Tabela 1, abaixo, mostra os itens com DIF, analisados sob o aspecto das subreas
da Matemtica.
Tabela 1 - Itens com DIF, segundo a Subrea da Matemtica

Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

16

AGUIAR, G. S.; ORTIGO, M. I. R.

De acordo com a Tabela 1, alguns itens mostraram-se mais fceis aos


alunos brasileiros, enquanto outros so mais fceis aos portugueses. Dos dez
itens da subrea Quantidade, sete foram mais fceis aos brasileiros. Com relao
Mudana e Relaes, dos cinco itens que apresentaram DIF, quatro foram
mais fceis para alunos portugueses. Esses dados indicam, num primeiro
momento, de forma bastante exploratria, que alunos brasileiros tendem a ter
melhor desempenho do que alunos portugueses quando o contedo avaliado
refere-se Quantidade, se comparado com a subrea Mudana e Relaes.
Tal fato aponta um possvel caminho, na tentativa de encontrar um padro para
explicar o DIF entre esses dois grupos. O xito nesse empreendimento passa,
necessariamente, por uma anlise mais detalhada das caractersticas desses
itens, o que feito a seguir, com a anlise de seus contextos.
A Tabela 2 apresenta os mesmos 23 itens que apresentaram DIF, agora
analisados em funo dos contextos aos quais os itens esto apoiados. Observase que quatro itens apoiados em contexto Cientfico tendem a apresentar DIF,
beneficiando os alunos portugueses. Por outro lado, quando o item est apoiado
em um contexto Pessoal, os itens que apresentam DIF tendem a beneficiar os
estudantes brasileiros.
Tabela 2 - Itens com DIF, segundo o Contexto

A Tabela 3 apresenta os itens classificados de acordo com as habilidades


de reproduo, conexo ou reflexo. Lembrando que a primeira compreende os
processos cognitivos requeridos para que o aluno demonstre as habilidades
matemticas que esto ligadas de maneira muito prxima ao que usualmente
entendido como contedo. A segunda envolve os processos cognitivos exigidos
para que o aluno possa demonstrar habilidades relacionadas ao saber fazer,
mesmo que de maneira incipiente. J a terceira, abrange habilidades necessrias
para a resoluo de tarefas que precisam de um pensamento matemtico mais
amplo.
Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

Letramento em Matemtica: um estudo a partir dos dados do PISA2003

17

Tabela 3 - Itens com DIF, segundo o Processo

curioso observar que, dos oito itens do grupo Reproduo que


apresentaram DIF, seis mostraram-se mais fceis aos estudantes portugueses.
Estes itens exigem, basicamente, que o aluno saiba lidar com situaes simples
que envolvem as operaes matemticas. Os resultados da avaliao nacional
tm evidenciado que mais de 60% dos alunos brasileiros ao trmino do ensino
fundamental desenvolveram algumas habilidades elementares de interpretao,
mas no conseguem transpor o que est sendo pedido no enunciado para uma
linguagem matemtica especfica, estando, portanto, aqum do exigido para a
srie. Com base nesses diagnsticos, espervamos que estes itens fossem mais
fceis aos alunos brasileiros.
Com relao ao grupo Conexo sete itens apresentaram DIF, dos quais
cinco mostraram-se mais fceis aos brasileiros. Estes itens exigem que o aluno
saiba associar ideias e representaes, baseadas em diferentes fontes de
informao para resolver problemas.
A Tabela 4 apresenta a classificao dos itens de acordo com o critrio
Tamanho do enunciado. Como afirmamos anteriormente, esta caracterizao
adicional em relao aos itens foi pensada no sentido de laurear nossos esforos,
na tentativa de explicar as diferenas encontradas.
Tabela 4 - Itens com DIF, segundo o Tamanho do Enunciado

Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

18

AGUIAR, G. S.; ORTIGO, M. I. R.

Observa-se que quatro itens apresentam enunciados longos e, apesar


disso, foram favorveis aos alunos brasileiros, em comparao aos seus colegas
portugueses de mesma habilidade cognitiva. Num primeiro momento, esse
resultado pode causar certa estranheza, por contrariar diagnsticos educacionais
brasileiros, que insistem em revelar que nossos alunos leem mal e demonstram
dificuldades em compreender o que leem. No entanto, ao analisarmos
detalhadamente esses itens, percebemos que o enunciado longo, na verdade,
descreve instrues a serem seguidas, as quais vm acompanhadas de exemplos
ou ilustraes, indicando a tarefa a ser cumprida. Apenas um desses itens no
apresenta diretamente os passos a ser seguidos, acompanhado de exemplos,
mas, implicitamente, nele est a ideia dos procedimentos a seguir. Provavelmente,
para os alunos brasileiros, esse tipo de enunciado seja mais inteligvel, e as
descries dos passos a ser seguidos ajudem na concentrao do que est sendo
pedido, facilitando a resoluo do problema.
A classificao dos vinte e trs itens, segundo as caractersticas Tipo
de Resposta e Recurso Grfico, no apresentou diferenas significativas nessa
fase exploratria, visando a um padro para explicar o DIF. No entanto,
analisando-se os itens mais cuidadosamente, verificvel que aqueles que
requeriam a interpretao de diferentes tipos de grficos foram favorveis aos
alunos portugueses.
Na sequncia, sintetizamos, no Quadro 1, as caractersticas encontradas
que passaram a ser consideradas hipteses formuladas no intuito de explicar o
DIF entre alunos brasileiros e portugueses.

Quadro 1- Resumo das Caractersticas dos Itens com DIF


Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

Letramento em Matemtica: um estudo a partir dos dados do PISA2003

19

As hipteses descritas acima, formuladas para a explicao do DIF,


carecem de uma confirmao mais rigorosa e formal. Assim, utilizamos uma
estrutura de regresso que teve como co-variveis independentes a indicao
dos itens que trazem na sua forma e contedo as caractersticas referidas nas
tabelas acima. Esse novo modelo da TRI, proposto por Soares, Genovez e Galvo
(2005), na verdade uma generalizao do modelo logstico de trs parmetros,
que incorpora a deteco de itens com DIF em sua estrutura.
A utilizao desse modelo integrado tem como objetivos confirmar ou
no as hipteses levantadas, e verificar a concordncia entre os itens detectados
com DIF, atravs das abordagens tradicionais, e os detectados com DIF, pela
abordagem integrada. Esse modelo foi utilizado neste estudo e os resultados
corroboram as hipteses formuladas que emergiram da anlise exploratria.
7 Consideraes finais
A estrutura metodolgica, tcnica e pedaggica de uma avaliao como
o PISA so desenhadas no sentido de contar com itens que no apresentem
DIF entre os diferentes grupos. No entanto, a existncia de comportamento
diferencial mostra-se bastante interessante, pois possibilita apontar diferenas
de competncia dos alunos de diversos pases.
A anlise descritiva das caractersticas dos itens de Matemtica que
apresentaram DIF entre os alunos brasileiros e portugueses revelou a existncia
de diferenas de habilidades cognitivas entre esses grupos, e apontou caminhos
para identificar padres que estariam causando o DIF. As caractersticas prprias
de cada pas exercem influncia na organizao do seu sistema educacional, na
forma como os currculos so organizados e na nfase com que se explora um
determinado contedo em sala de aula. Alm disso, sabemos que os desempenhos
escolares dos alunos so influenciados por seus modos de pensar, seus valores
culturais e sociais, bem como por caractersticas econmicas de suas famlias.
A possibilidade de conhecer essas caractersticas por meio dos itens que
favorecem determinados grupos, e perceber a existncia de padres que passam
despercebidos aos olhos dos especialistas que os elaboram, , sem dvida, a
grande contribuio que a anlise do DIF trs para a avaliao educacional.
Estudos dessa natureza evidenciam que uma boa comparabilidade das
proficincias de diferentes grupos de alunos depende de que haja itens comuns
aplicados a esses grupos que no apresentem DIF. Contudo, a quase impossvel
tarefa de se construrem instrumentos de avaliao sem DIF, para grupos muito
Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

20

AGUIAR, G. S.; ORTIGO, M. I. R.

diferentes, pode ser revertida a favor do avaliador. O DIF pode ajudar a conhecer
as diferenas, e esse o primeiro passo para as aes educacionais que visam
a elimin-las ou, ao menos, minimiz-las.
Referncias
AGUIAR, G. S. O Funcionamento Diferencial do Item (DIF) como estratgia para
captar nfases curriculares diferenciadas em Matemtica. Estudos em Avaliao
Educacional, So Paulo: Fundao Carlos Chagas v. 21, n. 45, p. 169 - 189, jan./abr.
2010.
ALVES, F.; ORTIGO, I.; FRANCO. C. Origem social e risco de repetncia: interao
entre raa-capital econmico. Cadernos de Pesquisa. So Paulo: Fundao Carlos
Chagas / Autores Associados, v. 37, n. 130, p. 161 - 180, jan/abr. 2007.
ANYON, J. Social class and the hidden curriculum at work. Journal of Education,
Boston, v. 162, n. 1, p. 67 - 92, 1980.
BRASIL. Ministrio da Educao. Parmetros Curriculares Nacionais Matemtica
/ 5a a 8a sries. Braslia: MEC/SEEF, 1998.
BRASIL (2001). PISA 2000. Relatrio Nacional. Braslia, DF: INEP/MEC. Disponvel
em: <www.oecd.org/dataoecd/30/19/33683964.pdf> . Acesso em: 12 mar. 2012.
CARNOY, M.; GOVE, A. K.; MARSHALL, J. H. Cubas Academic Advantage. Why
students in Cuba do better in school. Board of Trustees of the Leland Stanford Junior
University. Cidade: Editora. 2007.
CARVALHO, J. B. P.; SZTAJN, P. As habilidades bsicas em Matemtica. Presena
Pedaggica, Belo Horizonte, v. 3, n. 15, p. 15 - 21, 1997.
CASASSUS, J. A escola e a Desigualdade. 2. ed. Braslia: Liber Livro Editora.
UNESCO, 2007.
COLEMAN, J. S. Report on equality of education opportunity. Washington, DC: US
Government Printing Office for Department of Health, Education and Welfare, 1966.
FORQUIN, J. C. As abordagens Sociolgicas do Currculo: orientaes tericas e
perspectivas de pesquisa. Educao e Realidade, Porto Alegre, v. 21, n. 1, p. 187 - 198,
1995.
FORQUIN, J. C. Saberes escolares, Imperativos didticos e dinmicas sociais. Teoria
& Educao, Porto Alegre, n. 5, p .28 - 49, 1992.
Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

Letramento em Matemtica: um estudo a partir dos dados do PISA2003

21

FRANCO, C. et al. Eficcia escolar em Brasil: Investigando prcticas y polticas


escolares moderadoras de desigualdades educacionales. In: CUETO, S. (Org.)
Educacin y brechas de equidad em Amrica Latina, Tomo I, Santiago, Chile: Fondo
de Investigaciones Educativas / PREAL, 2007, p. 223 - 249.
FRANCO, C.; SZTAJN, P. ; ORTIGO, M. I. R. Mathematics teachers, reform and
equity: results from the Brazilian national assessment. Journal for Research in
Mathematics Education, Reston, v. 38, n. 4, p. 393 - 419, July. 2007.
LEE, V. E.; SMITH, J. B. Tamanho da Escola: qual o mais efetivo e para quem?
Estudos em Avaliao Educacional, So Paulo, n. 25, p. 77 - 121, jan./jun., 2002.
NCTM/NATIONAL COUNCIL OF TEACHERS OF MATHEMATICS. Curriculum
and evaluation standards for school mathematics. Reston, VA: Author. 1989.
OCDE. PISA 2003. Technical Report. OCDE- Organization for Economic Co-Operation
and Development, 2005. Disponvel em: <http://www.oecd.org/document/13/
0,3746,en_32252351_32236173_35188685_1_1_1_1,00.html> . Acesso em: 12 mar. 2012.
OCDE. Aprendendo para o mundo de amanh. Primeiros resultados do PISA 2003,
Brasil. So Paulo: Moderna, 2005a. Disponvel em: <http://browse.oecdbookshop.org/
oecd/pdfs/free/960412ue.pdf>. Acesso em: 12 mar. 2012.
ORTIGO, M. I. R.; FRANCO, C.; CARVALHO, J. B. P. A distribuio social do
currculo de matemtica: quem tem acesso a tratamento da informao? Educao
Matemtica Pesquisa, So Paulo, v. 9. n. 2, p. 249 - 273, 2007.
ORTIGO, M. I. R.; SZTAJN, P. Dilemas para a avaliao: o caso dos conjuntos no
ensino da Matemtica. In: FRANCO, C. (Org.). Avaliao, Ciclos e Promoo na
Educao. Porto Alegre: Artmed, 2001.p. 31 - 52.
SOARES, J. F. Qualidade e equidade na educao bsica brasileira: fatos e
possibilidades. In: BROCK, C.; SCHWARTZMAN, S. Os desafios da educao no
Brasil. Rio de Janeiro: Nova Fronteira, 2005. p. 91 - 118.
SOARES, T. M.; GENOVEZ, S. F. M.; GALVO, A. F. Anlise do Comportamento
Diferencial dos Itens de Geografia: estudo da 4 srie avaliada no Proeb/Simave 2001.
Estudos em Avaliao Educacional, So Paulo, v. 16, n. 32, jul./dez., 2005.

Submetido em Novembro de 2010.


Aprovado em Fevereiro de 2011.

Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

22

Bolema, Rio Claro (SP), v. 26, n. 42A, p. 1-21, abr. 2012

AGUIAR, G. S.; ORTIGO, M. I. R.

Você também pode gostar