ARAJ O, K. S.

Avaliao de compreenso em leitura em lngua

estrangeira: itens isolados e itens integradores. Revista Intercmbio,
volume XV. So Paulo: LAEL/PUC-SP, ISSN 1806-275X, 2006.




AVALIAO DE COMPREENSO EM LEITURA EM LNGUA
ESTRANGEIRA: ITENS ISOLADOS E ITENS INTEGRADORES

Ktia da Silva ARAJ O (Universidade Estadual de Campinas)


ABSTRACT: Despite the use of different items in L2 tests, little is known
about the effects integration or isolation of abilities can produce in test
takers approaching to such tests or in their performances. This article
aims at discussing theoretical principles involved in this issue and some
implications to assessment of L2 reading.

KEYWORDS: assessment; reading; foreign language.


0. Introduo
A investigao da avaliao de compreenso em leitura em
Lngua Estrangeira surgiu como um tpico de pesquisa a partir da
reflexo sobre o papel que a Avaliao de Lngua desempenha na
sociedade. Alm dos contextos escolares, vemos a Avaliao
influenciando a vida das pessoas em contextos mais amplos, como o
ingresso em cursos de graduao e ps, aquisio de bolsas de estudo e
empregos e a manuteno dos mesmos. Compreender os processos que
esto envolvidos numa Avaliao podem, portanto, trazer ganhos para a
maneira como elas so formuladas, aplicadas, corrigidas, e os impactos
que possam causar na sociedade tanto no ensino (efeito retroativo)
quanto impactos mais imediatos (o modo como o resultado de um exame
interfere no funcionamento de instituies sociais e na vida das pessoas
mais diretamente).
A escolha no deter-se mais especfico sobre Avaliao de Leitura
em LE e sobre a questo de tipos de itens (integradores e isolados) deve-
se a uma lacuna nas pesquisas sobre esse tpico no que concerne a
adequao do uso de diferentes instrumentos avaliativos nos diferentes
contextos de Avaliao de Lngua.
O uso dos termos item integrador (integrative item) e item
isolado (discrete point item) neste trabalho retirado de Alderson
(2000), no sentido de tarefas presentes numa avaliao que integrem ou
no diferentes habilidades lingsticas. Tarefas que integrem leitura e





ARAJ O, K. S. Avaliao de compreenso em leitura em lngua
estrangeira: itens isolados e itens integradores. Revista Intercmbio,
volume XV. So Paulo: LAEL/PUC-SP, ISSN 1806-275X, 2006.

escrita, por exemplo, seriam exemplos de itens integradores. Uma tarefa
que busque avaliar somente leitura seria um exemplo de item isolado.
Itens integradores e itens isolados so usados como parte de
diversos instrumentos avaliativos, embora neles residam parte de uma
discusso sobre Avaliao de compreenso em leitura em LE sobre a qual
no existe um consenso ou mesmo reflexo mais centrada. O uso de itens
integradores advogado por alguns estudiosos como sendo mais coerente
com uma viso de linguagem como meio de agir no mundo. As pessoas
lem para realizar as mais variadas atividades para fazer uma receita
culinria, para aprenderem algum conceito, para responder uma carta ou
e-mail, para se prepararem para falar em pblico etc. O uso das
habilidades, portanto, feito de forma conjunta, habilidades sendo usadas
de maneira integrada. Dessa forma, se o objetivo de uma avaliao de
lngua tentar ser uma amostra demonstrativa do uso da linguagem que
feito em situaes reais o que nos remete ao conceito de validade da
avaliao , o mais coerente seria formular itens que reflitam essa
concepo de linguagem, que integrem o uso de habilidades na tentativa
de aproximar ao mximo o instrumento avaliativo do tipo de desempenho
que se espera que o examinando (test taker) apresente.
Itens isolados, por outro lado, tambm tm seus defensores. Um
dos fatores mencionados como aspecto que tornaria itens isolados mais
apropriados como instrumentos avaliativos seria a contaminao que
itens integradores acabam causando. Um item isolado, ou seja, aquele em
que apenas uma habilidade avaliada somente leitura ou escrita, por
exemplo teria como principal vantagem o fato de ser um meio mais
puro de acesso capacidade de desempenho do examinando numa
determinada habilidade. Examinar a compreenso em leitura atravs da
escrita, por exemplo, poderia revelar-se uma medida enviesada,
contaminada: a deficincia na habilidade de produo escrita poderia
atrapalhar a avaliao da habilidade de leitura. Assim, a avaliao no
cumpriria seu papel, de corretamente avaliar, diagnosticar os pontos fortes
e fracos de um examinando. Alm disso, h o questionamento sobre se
um item isolado pode realmente ser considerado como baseado numa
concepo de linguagem idealizada e irreal, j que em muitas situaes o
que realmente presenciamos o uso isolado de habilidades, como no caso
dos cursos de Lngua Estrangeira Instrumental.
No meio dessa discusso, entre defesas de itens integradores e
isolados, encontramos ainda outros tipos de proposies que aumentam o
impasse sobre o uso desses diferentes itens. senso comum afirmar que
itens integradores tm um grau de exigncia mais elevado que itens





ARAJ O, K. S. Avaliao de compreenso em leitura em lngua
estrangeira: itens isolados e itens integradores. Revista Intercmbio,
volume XV. So Paulo: LAEL/PUC-SP, ISSN 1806-275X, 2006.

isolados, tornando uma avaliao mais difcil, j que geralmente as
habilidades de compreenso so maiores que as de produo. Esse ponto
de vista acaba traando uma certa tendncia de uso dos itens nas
avaliaes, cujo efeito no claramente conhecido ou mesmo estudado.
Os processos que tornam um item mais ou menos exigente (difcil)
envolvem fatores como propsito da avaliao, modo como os itens so
formulados, nveis de compreenso abrangidos e outros. No entanto, a
posio assumida na elaborao de avaliaes em muitos contextos
exames de proficincia, de seleo, de classificao, de desempenho, de
rendimento etc de que simplesmente itens integradores so mais
difceis que itens isolados, sem a devida ateno a outros processos e
aspectos, pode revelar-se equivocada e trazer conseqncias que no as
previstas pelos elaboradores dos testes.
Tecidas tais consideraes introdutrias, na seo seguinte feita
breve discusso sobre os princpios terminolgicos e conceituais
envolvidos na questo e, em seguida, a considerao sobre alguns
aspectos e implicaes relevantes levantados pela pesquisa para o ensino
e avaliao de ingls LE.

1. Consideraes terminolgicas e conceituais
Falar sobre integrao ou isolamento de habilidades na avaliao
abrange a discusso sobre a viso do uso de lngua de cada uma dessas
abordagens, ou de postura mais estruturalista ou mais comunicativa, ou
pragmtica.
Um dos primeiros trabalhos que identifica essa dimenso
pragmtica na formulao dos itens a discusso de Oller (1979) sobre
itens isolados, integradores e pragmticos. As definies do autor sobre
como se caracterizariam cada um desses tipos de itens traa as diferenas
bsicas entre eles, embora ele ressalte a sobreposio parcial que existe na
definio de itens integradores e itens pragmticos. Para ele, itens
isolados (discrete point itens) so, primordialmente, aqueles que se
concentram sobre um ponto especfico de gramtica, e da se entende a
avaliao somente de uma habilidade, ou um aspecto de uma habilidade.
Discorrendo sobre os objetivos de um item desse tipo, ele afirma que o
propsito principal de um item isolado avaliar a capacidade do
examinando em determinados pontos isolados de gramtica, sistema
fonolgico ou morfolgico, e que desse princpio so formulados tambm
outros testes que isolem um componente ou uma habilidade de outras.






ARAJ O, K. S. Avaliao de compreenso em leitura em lngua
estrangeira: itens isolados e itens integradores. Revista Intercmbio,
volume XV. So Paulo: LAEL/PUC-SP, ISSN 1806-275X, 2006.

A noo de item integrador surgiu como oposio ao item isolado,
constituindo um instrumento que tenta avaliar mais de um elemento,
aspecto ou habilidade ao mesmo tempo. No entanto, no incio essa
definio era mais estreita do que o que hoje chamamos de integrao.
Da o termo testes pragmticos usado por Oller para definir um tipo de
item que procurava no apenas integrar elementos, aspectos ou
habilidades, mas fazia isso tentando seguir uma lgica prpria do uso real
de lngua. Segundo ele, um teste pragmtico sempre seria integrador , na
medida em que nunca testaria um componente isolado, mas no
necessariamente um teste integrador sempre seria pragmtico, pois,
mesmo de forma integrada, ele poderia no se conformar aos moldes
contextuais usuais no uso autntico da lngua. Estudos mais recentes, no
entanto, j se referem integrao como envolvendo o componente
pragmtico em si, sem a necessidade de se referir a testes pragmticos
como algo a mais que integrador.
Alderson (2000:25-27), j trabalhando com o termo integrao
nessa perspectiva mais recente, afirma que a viso de leitura como
socialmente intrincada com outras habilidades, numa perspectiva de
letramento como prtica social, traz implicaes para o modo como a
leitura avaliada. Essa nova postura , conseqentemente, questiona o
modo isolado como alguns testes avaliam a leitura. O autor apresenta
alguns dos argumentos que alguns tericos sustentam para defender o
isolamento evita a contaminao de habilidades, a avaliao
enviesada pela proviso de insumo escrito (que facilitaria o processo de
escrita em LE e at estimularia a simples cpia), e a maior complexidade
do processo integrador que poderia resultar em testes mais difceis
devido construo do item, e no pela complexidade inerente ao
construto avaliado ou a integrao mais condizente a uma viso mais
comunicativa de lngua, trabalha a leitura dentro de um contexto letrado
mais amplo (e, por isso, mais significativo), no v a leitura como simples
habilidade cognitiva, mas tambm como prtica social.
Percebe-se que o autor j remete a uma viso de avaliao
integrada no somente como integrao de macro-habilidades, mas
tambm como integrao da leitura a prticas letradas diversas, a um
contexto de uso que extrapola o lingstico e entra no universo social
mais amplo, no qual a leitura cumpre diferentes papis que devem ser
levados em considerao na construo de avaliaes. E embora concorde
que no h como considerar a leitura somente como uma capacidade
cognitiva, sugere que maior investigao necessria na rea para que se





ARAJ O, K. S. Avaliao de compreenso em leitura em lngua
estrangeira: itens isolados e itens integradores. Revista Intercmbio,
volume XV. So Paulo: LAEL/PUC-SP, ISSN 1806-275X, 2006.

possa ter uma idia mais clara dos resultados prticos que o isolamento ou
a integrao tm quando empregados em avaliaes de leitura em LE.

2. Implicaes da integrao ou isolamento de habilidades para a
avaliao de leitura em LE
A avaliao integrada de habilidades, embora possua as vantagens
advogadas por muitos tericos, tambm tem pontos controversos. Por um
lado, ela busca assemelhar-se ao modo como a lngua usada no
cotidiano e prever de maneira mais direta o desempenho futuro do
candidato usando a LE; por outro, ela no to transparente quanto a
avaliao isolada de uma habilidade em termos do construto mensurado,
problema apontado por Weir (1990) como avaliao contaminada
(muddied measurement). A contaminao ocorre quando a avaliao de
uma macro-habilidade sofre interferncia de outra, de modo que o
produto dessa avaliao como um todo possa demonstrar um desempenho
aqum da proficincia usual do examinando. Assim, um examinando bom
leitor poderia ser prejudicado por deficincias na sua habilidade de
escrita, quando essas duas habilidades estivessem sendo avaliadas de
forma integrada, por exemplo; ou algum com mais dificuldades na
compreenso oral poderia ter sua habilidade de escrita subestimada,
quando dependesse da compreenso de um trecho de uma conversa para
elaborar um texto escrito. No caso de avaliar leitura e escrita
conjuntamente, soma-se uma varivel a mais a esse problema: o das
capacidades de produo e recepo habitualmente no seguirem o
mesmo compasso de desenvolvimento, principalmente nos nveis de
proficincia mais bsicos. Lee (1986), numa pesquisa sobre os efeitos do
conhecimento prvio para a leitura, afirma que a natureza do mtodo
empregado para a coleta de dados respostas dadas em LM e no em LE
num teste de leitura foi essencial para explicar a diferena de seus
resultados dos resultados de pesquisa anteriores, uma vez que geralmente
a capacidade de compreender uma LE maior que a capacidade de
produzi-la, e que, por isso, o modo como a compreenso da leitura
avaliada influencia a avaliao dessa compreenso.
Um dos problemas da contaminao da avaliao mais evidente a
perda da funo diagnstica da avaliao. Quando ocorre a contaminao,
no possvel verificar onde esto localizados os pontos fracos e fortes
do examinando. Numa avaliao de sala de aula, por exemplo, isso
primordial, se pensamos na avaliao como um instrumento formativo, de
auxlio no estabelecimento de um plano de ao que vise a melhora do
rendimento do aluno. Num exame de proficincia esse efeito





ARAJ O, K. S. Avaliao de compreenso em leitura em lngua
estrangeira: itens isolados e itens integradores. Revista Intercmbio,
volume XV. So Paulo: LAEL/PUC-SP, ISSN 1806-275X, 2006.

minimizado, se o objetivo do teste for estabelecer um nvel de
proficincia de maneira global. Se ele almejar reportar separadamente o
desempenho do candidato em faixas de proficincia em cada uma das
habilidades, um fator de dificuldade a mais adicionado, visto que na
integrao as habilidades se mesclam na avaliao, e a contaminao, se
no impedisse, complicaria esse processo.
Num texto que procurava caracterizar o estado da arte da
integrao de habilidades na avaliao, Lewkowicz (1997) discute
brevemente os efeitos da contaminao de habilidades demonstrado por
Weir (op.cit.), assim como identifica outras questes ainda presentes
nesse campo. Entre elas, aponta questes de praticidade do teste,
caracterstica que nem sempre possvel de ser alcanada, dada a
complexidade e o dispndio de recursos (humanos, financeiros, materiais)
necessrios na formulao e aplicao de testes integradores. Ela traa
uma diferena terminolgica entre integrative e integrated, propondo o
primeiro como a avaliao de mais de uma macro-habilidade ao mesmo
tempo, e o segundo como a ligao temtica entre itens de avaliao de
diferentes habilidades num mesmo teste. Sempre apontando a busca de
autenticidade lingstica como inerente a avaliaes que se proponham
integradoras, a autora ainda indica a dificuldade de definir o que
realmente autntico em termos de uso de lngua, assim como as
questes que da derivam, como a complexidade da garantia da
confiabilidade de testes autnticos.

3. Consideraes finais
Ao longo do artigo, demonstramos a complexidade em que est
envolvida a questo da integrao ou isolamento de macro-habilidades na
avaliao de leitura em LE, assim como algumas implicaes que dela
derivam para a formulao, aplicao e correo de testes e exames. A
necessidade de um maior esclarecimento e conscincia do funcionamento
desses diferentes tipos de itens fica clara, pois como j apontado
anteriormente, avaliaes de LE possuem um papel importante
socialmente.
A investigao de como a perspectiva dos examinandos atua nesse
processo pode trazer grandes ganhos para uma maior adequao das
avaliaes, assim como identificar pontos em que h controvrsia entre as
percepes de examinandos, examinadores ou outros stakeholders dos
exames.






ARAJ O, K. S. Avaliao de compreenso em leitura em lngua
estrangeira: itens isolados e itens integradores. Revista Intercmbio,
volume XV. So Paulo: LAEL/PUC-SP, ISSN 1806-275X, 2006.

Muitos so os fatores que atuam na composio da percepo do
examinando sobre o teste. Uma delas a prpria concepo que o
examinando tem sobre o que uma avaliao de LE, que ir, por
exemplo, influenciar o quanto ele acredita que aquela uma avaliao
vlida. O conceito de validade de face est envolvido nessa questo, e
embora trate de um aspecto do conceito de validade muitas vezes
negligenciado, por referir-se a uma espcie de validade mais aparente,
atribuda pelo leigo, em minha opinio um fator importante a ser levado
em considerao. A percepo que o examinando tem sobre o teste pode
influenciar o modo como se prepara para realiz-lo, que contedos e/ou
habilidades ele acredita serem importantes para realizar bem o teste, que
aspectos ele priorizar e que estratgias desenvolver, entre outros
elementos. Esses aspectos, por sua vez, podem atuar no desempenho do
examinando e nos resultados que ele apresentar ao final da avaliao.
Conclumos ressaltando mais uma vez a necessidade de pesquisas
na rea, tanto em contexto de exames de proficincia ou mecanismos de
seleo particulares quanto em avaliaes de contexto escolar. Tais
investigaes podem trazer ganhos num nvel mais imediato, de
aplicao, correo e feedback para os examinandos, quanto num nvel
mais amplo, estimulando o efeito retroativo benfico de exames e testes
adequados e de princpios coerentes.

NOTAS

Esta pesquisa conta com apoio da FAPESP, processo n

o
03/11630-3.
Embora aqui usado, o termo bom leitor no parece muito apropriado,
pois pode dar a impresso que um juzo de valor subjetivo emitido. E
tambm porque, assim como Scaramucci (1990, p.78), julgamos
problemtica a caracterizao do bom leitor. Assim como para a autora,
o termo aqui refere-se aos sujeitos que se sobressaem na aplicao dos
testes.
O termo proficincia aqui usado como relativo situao de uso, e no
como um ponto absoluto que deva ser atingido para que se possa ser
considerado capaz de usar a LE. Um indivduo pode ter proficincia
bsica, intermediria, avanada, proficincia para ler manuais, para ser
comissrio de bordo, para ser tradutor da dizer nveis de proficincia.
Para uma discusso mais detalhada, ver Scaramucci 2000.
O termo stakeholder, na literatura de avaliao de lnguas, refere-se a
todas as pessoas e/ou instituies que fazem parte do processo de
avaliao em algum nvel: os responsveis pela formulao e correo, os





ARAJ O, K. S. Avaliao de compreenso em leitura em lngua
estrangeira: itens isolados e itens integradores. Revista Intercmbio,
volume XV. So Paulo: LAEL/PUC-SP, ISSN 1806-275X, 2006.


examinandos, e as instituies ou pessoas que usam os resultados das
avaliaes para algum fim seletivo, como uma empresa num exame de
seleo para um emprego, uma instituio educacional para o ingresso
num programa de estudos, uma agncia financiadora para distribuio de
bolsas de pesquisa, entre outros usos.


REFERNCIAS BIBLIOGRFICAS

ALDERSON, J . C. Assessing Reading. Cambridge: Cambridge University
Press, 2000.
LEE, J .F. Background Knowledge & L2 Reading. The Modern Language
Journal 70 (4), pp. 350-354, 1986.
LEWKOWICZ, J . A. The integrated testing of a second language. In:
Clapham, C. & Corson, D. (orgs.) Encyclopedia of Language and
Education, Volume 7: Language Testing and Assessment, pp. 121-120,
1997.
OLLER J r., J. W. Language Tests at School. London: Longman, 1979.
SCARAMUCCI, M.V.R. O Resumo e a Avaliao da Compreenso em
Leitura em Lngua Estrangeira. Trabalhos em Lingstica Aplicada 15,
pp. 65-86, 1990.
_____ Proficincia em LE: Consideraes Terminolgicas e Conceituais.
Trabalhos em Lingstica Aplicada 36, pp. 11-22, 2000.
WEIR, C. J . Communicative Language Testing, Prentice Hall: Hemmel
Hampstead, 1990.