difuso de idias

Fundao Carlos Chagas Difuso de Idias dezembro/2006 pgina 1

ELABORAO DE UMA ESCALA PARA AVALIAO DE ALUNOS DA 1 SRIE DO ENSINO FUNDAMENTAL I EM LNGUA PORTUGUESA
Marialva Rossi Tavares Suely Amaral

Texto apresentado no: III Congresso Internacional em Avaliao Educacional Avaliao: da Sala de Aula Instituio Conflitos e Emancipao Cear de 16 a 18 de novembro de 2006

difuso de idias
Fundao Carlos Chagas Difuso de Idias dezembro/2006 pgina 2

Expositora Marialva Rossi Tavares Autores: Marialva Rossi Tavares Fundao Carlos Chagas mtavares@fcc.org.br Suely Amaral Faculdade Diadema suely.a@uol.com.br Resumo Este texto relata uma experincia de avaliao da 1 srie do Ensino Fundamental, em Lngua Portuguesa, e a criao de uma escala de medida que possa servir de referncia para outras avaliaes. Como se trata de um processo em construo, apresentamos a escala (nveis), a descrio das habilidades para cada nvel da escala, os resultados que obtivemos e as futuras providncias para a sua consolidao. Palavras chave Avaliao Educacional, Elaborao de Escalas e Desempenho de Alunos O Instituto Ayrton Senna (a partir de agora IAS), na busca de aperfeioar e garantir a qualidade dos seus programas educacionais tem efetuado, com rigor sistemtico, avaliaes peridicas de suas aes, em todos os estados e municpios em que atua. A partir da parceria que mantm com a Fundao Carlos Chagas (a partir de agora FCC), apresentou como um desafio a necessidade de avaliar as primeiras sries do ensino fundamental e os alunos egressos do Programa Se Liga, a fim de qualificar o desempenho dos alunos ao final do ano e, tambm, criar um instrumento de medida que servisse como referncia para avaliaes futuras, nesse nvel de ensino. As 1 sries do Ensino Fundamental no so avaliadas pelo Sistema Nacional de Avaliao da Educao Bsica SAEB, e os sistemas de avaliao, como SARESP que fazem ,

difuso de idias
Fundao Carlos Chagas Difuso de Idias dezembro/2006 pgina 3

avaliaes neste nvel de ensino no haviam produzido um instrumento que atendesse aos objetivos propostos pelo IAS. Dada a inexistncia de uma escala oficial que fosse validada em nvel nacional e que pudesse ser utilizada, assumimos com o IAS a incumbncia de construir uma escala de avaliao que pudesse dar conta de avaliar as sries inicias do ensino fundamental. A aprendizagem de leitura e escrita como atos de comunicao Garantir o acesso s prticas de leitura e escrita em diferentes domnios da sociedade ainda um desafio para a escola pblica brasileira. A situao de fracasso escolar, denunciada ao longo de dcadas, tem como pano de fundo o contexto scio-histrico da sociedade brasileira e o modelo educativo adotado no pas. No entanto, mesmo levando em conta os aspectos macro, que podem ser identificados no quadro atual dos resultados de aprendizagem de leitura e escrita, os fatores relacionados ao cotidiano escolar, particularmente contedo e mtodo, destacados para dar conta do ensino/aprendizagem, no so menos significativos, j que materializam a relao entre a criana e o conhecimento, no tipo de prtica lingstica de escrita/leitura e fala/escrita a que ela vai ter acesso. Conhecimentos no campo das cincias da linguagem, da psicologia e da educao, que resultaram de anos de pesquisas e de esforos para melhorar a situao de ensino, tornam possvel repensar as aes de sala de aula e as prticas cotidianas que, mesmo bem intencionadas, perpetuam o quadro de iletrismo e de falta de domnio dos discursos pblicos que caracterizam o estudante que completou a educao fundamental no pas. Os avanos no campo da linguagem mostram que a concepo de lngua como discurso, a concepo de escrita como atividade comunicativa, a noo de texto, os princpios que regem as relaes autor-leitor, autor-texto, leitor-texto, as caractersticas dos diferentes gneros e de diferentes portadores de textos, formam um conjunto de conhecimentos que deve fazer parte do dia-a-dia da formao dos educadores e da experincia dos alunos como prticas que ampliam as relaes entre lngua e sociedade, lngua e ensino. Nessa perspectiva que se insere uma avaliao no incio da escolarizao: explicitar e compreender as condies em que se estabelece o ensino/aprendizagem de lngua escrita no programa Se liga, e contribuir com o debate sobre prticas e resultados, tendo como referencial uma concepo de linguagem como discurso, que considera a criana como sujeito que se comunica com outro e no como receptor de conjunto de regras gramaticais.

difuso de idias
Fundao Carlos Chagas Difuso de Idias dezembro/2006 pgina 4

O texto escrito, ao incluir a voz do autor, intencionalidade, portador, leitor para quem se destina o texto, contexto scio-histrico em que foi escrito/lido coloca em destaque uma multiplicidade de sentidos que precisam ser compreendidos, e cuja compreenso tem implicaes profundas na formao do ser humano e do cidado, pois torna possvel o acesso a um mundo no acessvel diretamente pelos sentidos, a diferentes instncias de usos da linguagem e a interaes diversas, para alm daquelas que a criana est acostumada. Nas sries iniciais, o ensino de leitura e o mtodo de alfabetizao no se distinguem na prtica. Quando o ensino da decifrao vem em primeiro plano e a nfase se restringe decifrao de letras e slabas, como interveno para garantir a aprendizagem de leitura, a dificuldade de compreenso da criana atribuda dificuldade de reconhecer todas as letras e suas combinaes no sistema grfico, o que supe a repetio das mesmas atividades at que o indivduo as memorize. Quando, porm, a escola tem como objetivo inserir a criana no universo letrado, o ensino da base alfabtica da escrita se sustenta em prticas que incluem alm da decifrao - colocar a criana frente a desafios de compreenso, envolvendo o exerccio de diferentes estratgias na busca pelo significado. Especialistas tm chamado a ateno para a importncia de se tomar o ensino de leitura como um contedo transversal, como uma habilidade que precisa ser ensinada sistematicamente, nas suas diferentes manifestaes: ler para estudar, ler por prazer, ler para localizar informaes. A compreenso leitora deve ser o objetivo explcito da escola bsica, que precisaria incluir no currculo o ensino de estratgias cognitivas em todas as ocasies em que o aluno leitor se depara com um texto. No que diz respeito especificidade da aprendizagem da lngua escrita, tem sido dado como consenso, nos ltimos anos, o fato de que essa aprendizagem envolve dois processos simultneos: a compreenso da natureza do sistema de escrita da lngua - os aspectos notacionais - e os aspectos que envolvem a situao de comunicao: contexto de produo, finalidade, papel de cada um dos interlocutores e gnero de texto adequado para obter o melhor resultado na comunicao. A habilidade de ler e compreender os diferentes sentidos de um texto e de produzir texto escrito na modalidade adequada ao efeito que o indivduo quer atingir com seu interlocutor so as duas vertentes do ensino de lngua portuguesa, que se constituem em competncias, relacionadas mas distintas, resultantes de diferentes habilidades.

difuso de idias
Fundao Carlos Chagas Difuso de Idias dezembro/2006 pgina 5

Mtodo A construo da escala envolveu duas decises bsicas, a primeira quanto abrangncia, em nvel nacional, que poderia ser atingida para a aplicao das provas e .a segunda quanto estatstica a ser utilizada para a gerao da escala. A prova foi aplicada, em 2001, a 17.450 alunos de primeira srie do ensino fundamental, em 64 municpios de 24 estados da federao. A partir de 2001, j aplicamos provas em 49.614 alunos que passaram pelo programa Se Liga e pela 1 srie do Ensino Fundamental, conforme indica a tabela abaixo.
TOTAL DE ALUNOS POR ANO E PROGRAMA Ano 2002 2003 2004 2005 Total 1 srie E.F. 13087 2770 11299 3781 30937 Se Liga 3463 3898 7001 4315 18677 Total Ano 16550 6668 18300 8096 49614

As aplicaes nestes anos, aps 2001, foram em diferentes estados e municpios, porm guardada a representatividade das regies brasileiras, e pudemos observar que a escala tem se apresentado consistente em todas as aplicaes realizadas. A construo da escala, envolveu o emprego da Teoria de Resposta ao Item (TRI) que tem sido usada nas avaliaes de sistemas educacionais nacionais e internacionais para complementar a Teoria Clssica de Medidas (TCM). A Teoria Clssica, amplamente utilizada nas avaliaes escolares, no permite a comparao entre indivduos que no foram submetidos mesma prova, uma vez que os resultados obtidos dependem do particular conjunto de itens que compe o instrumento de medida. Nesse tipo de procedimento, as anlises e interpretaes esto sempre associadas prova como um todo. O conjunto de procedimentos fundamentados na TRI apresenta uma alternativa de comparao dos resultados obtidos entre grupos pertencentes a populaes diferentes, desde que submetidos a provas que tenham itens comuns, ou ainda, a comparao entre indivduos de uma mesma populao, que tenham sido submetidos provas totalmente diferen-

difuso de idias
Fundao Carlos Chagas Difuso de Idias dezembro/2006 pgina 6

tes. Isto porque uma das principais caractersticas da TRI ter como elemento central os itens, e no a prova como um todo. A TRI prope modelos para os traos latentes (Caractersticas do indivduo que no podem ser observadas diretamente, como habilidades e competncias. Tais caractersticas devem ser inferidas com base nas observaes de variveis secundrias que estejam relacionadas a ela), que procuram representar a relao entre a probabilidade de um aluno responder corretamente a um item e sua real habilidade e/ou competncia em faz-lo. Tal procedimento permite a criao de escalas que so definidas por meio de pontos e/ou nveis, os quais so descritos a partir da identificao dos itens- ncora (Itens-ncoras so itens selecionados estatisticamente e que apiam o especialista na descrio das habilidades para cada nvel da escala), que auxiliam na interpretao do que os alunos sabem e so capazes de fazer em cada nvel da escala. Tal procedimento possibilitou a avaliao da evoluo do desempenho dos alunos, de uma mesma srie ou Programa dos municpios avaliados, em anos diferentes. A Escala O procedimento de montagem e anlise dos dados resultou na construo de duas escalas uma para avaliar a proficincia em leitura e outra em escrita, o que possibilita uma anlise mais detalhada do que os alunos sabem e podem fazer. Proficincia em Leitura Tendo em vista que em cada ato de leitura esto envolvidas operaes cognitivas de diferentes nveis, as avaliaes contemplaram uma diversidade de textos: pequenos poemas, trechos de histrias, histria em quadrinhos, texto informativo, de dificuldade variada quanto ao vocabulrio e temtica, procurando desvelar as dificuldades que a criana enfrenta no reconhecimento do gnero, na mobilizao de conhecimentos prvios ou no conhecimento lingstico. Os resultados da avaliao foram analisados a partir da escala de proficincia em Leitura desenvolvida especialmente para este nvel de escolaridade. Esta escala considera 4 nveis de habilidade em leitura, os quais esto descritos no quadro a seguir.

difuso de idias
Fundao Carlos Chagas Difuso de Idias dezembro/2006 pgina 7 ESCALA NVEL 1 < 75 DESCRIO DAS HABILIDADES LEITORAS O aluno ainda no l Distingue as letras do alfabeto de outros sinais grficos. NIVEL 275|100 O aluno inicia o processo de leitura Conhece o alfabeto; Relaciona a letra ao som, sendo capaz de identificar as palavras com base nas letras iniciais ou finais. NIVEL 3 100|125 O aluno l pequenos textos Identifica informaes explcitas; Faz inferncias baseadas no conhecimento do cotidiano. NIVEL 4 125|150 O aluno se apresenta como leitor fluente Faz inferncias sobre o tema; Distingue idias centrais e secundrias do texto, tendo em vista o conhecimento de seu universo.

Quanto aos nveis de desempenho, podemos dizer que: Nvel 1: As crianas ainda no sabem ler, no foram alfabetizadas. Elas reconhecem as letras do alfabeto, sabem que cada palavra escrita por um nmero determinado e no infinito de letras. Partindo desse conhecimento, a criana tem condies de responder corretamente uma questo em que se exige que relacione palavras, levando em conta o nmero de letras. A viso dominante sobre a produo do aluno que ainda no sabe ler regulada pelo que a criana no consegue fazer, dando-se pouca ateno ao que a criana j conhece. No se trata, entretanto, de um perodo esttico; possvel observar avanos na aprendizagem. Entre o aluno que faz rabiscos e o que consegue copiar o nome h diferenas e o reconhecimento das letras do alfabeto, embora ainda no suficiente para realizar uma leitura, um conhecimento relevante. Nvel 2: a criana inicia seu processo de leitura, ou seja, capaz de: conhecer as representaes grficas das letras nos alfabetos; relacionar palavra ao desenho, apoiando-se na

difuso de idias
Fundao Carlos Chagas Difuso de Idias dezembro/2006 pgina 8

slaba inicial; relacionar palavra a um desenho, observando diferenas em slabas finais; relacionar pequenas frases a um desenho, apoiando-se em uma palavra do texto. Essa criana escreve e l algumas palavras. No entanto, a necessidade de decompor cada slaba faz com que para ela a leitura ainda seja penosa. A pouca familiaridade com a maioria das palavras leva-a lentido para recuperar o significado da palavra inteira e hesitao na decodificao de cada slaba, o que implica grande dispndio de energia, da a dificuldade de realizar a leitura e de extrair significado, mesmo que de um texto curto. Nvel 3: a criana l pequenos textos, alm de saber que a escrita representa a fala, e de que essa representao se faz com base na relao entre letras e sons, a criana j tem capacidade de compreender um texto curto e de selecionar a alternativa que aponta significados que dizem respeito ao texto lido. Embora esse leitor ainda enfrente obstculos para dar conta de textos mais complexos, neste nvel os alunos identificam informao explcita em um texto curto e de vocabulrio simples e inferem uma afirmao implcita baseada no conhecimento do cotidiano. Para que essas crianas avancem preciso continuar a ampliar o seu repertrio de leitura pela interao constante com o material escrito de diferentes gneros e diferentes portadores (livros, revistas, quadrinhos, etc), alm de propiciar atividades que levem a uma reflexo sistemtica sobre as vrias interpretaes possveis de cada texto, de forma que a criana perceba que o significado de uma palavra pode mudar, dependendo do contexto. Nvel 4: como leitor fluente, a criana j no toma o texto no aspecto especfico da decifrao. Consegue ler nas entrelinhas, relacionando as escolhas lingsticas com um propsito do autor em provocar determinado efeito no leitor. Pode-se afirmar que as crianas neste nvel j dominam um conjunto de estratgias de leitura, ou seja, tm conscincia de um conjunto de procedimentos para chegar a diferentes respostas, dependendo do tipo de situao de leitura. Considerando o que a anlise apresentada enfatiza: que as crianas classificadas no nvel 2 atingiram o estgio mnimo de conhecimento, a partir do qual podem avanar na direo de uma leitura competente, podemos dizer que 70% dos alunos da primeira srie do Ensino Fundamental da rede estadual (53% no nvel 2 + 17% no nvel 3) atingiram o desempenho esperado para dar continuidade aos estudos.

difuso de idias
Fundao Carlos Chagas Difuso de Idias dezembro/2006 pgina 9

Proficincia em Escrita Buscou-se avaliar nveis diferentes de conhecimento da escrita: desde completar palavras com uma slaba complexa, completar cruzadinhas com palavras que tenham dgrafos, completar palavra a partir da letra inicial, completar frases, escrever uma palavra indicando a idia central do texto, at escrever uma palavra observando que a escrita diferente da fala. A avaliao do desempenho dos alunos foi feita tendo como base uma escala de proficincia em escrita especialmente montada para este nvel de ensino. Esta escala descrita no quadro a seguir.
ESCALA NVEL 1 < 75 DESCRIO DAS HABILIDADES EM ESCRITA No escrevem; No possvel ler o que est escrito; Produzem rabiscos, desenhos e letras, aleatoriamente. NIVEL 2 75| 100 No tm domnio da escrita; Escrevem sem correspondncia entre a letra e seu som. Quando usam uma letra para representar cada slaba que compe a palavra, nem sempre esta corresponde ao fonema. NIVEL 3 100| 125 Apresentam escrita alfabtica, ou seja, escrevem evidenciando compreender a relao fonema/grafema; Apresentam erros de ortografia mesmo em palavras de uso comum. NIVEL 4 125| 150 Escrevem sem empregar a notao ortogrfica; Apresenta escrita ortogrfica para palavras de uso comum. NIVEL 5 >150 Escrevem atendendo s normas ortogrficas.

difuso de idias
Fundao Carlos Chagas Difuso de Idias dezembro/2006 pgina 10

Nvel 1: As crianas, classificadas neste nvel, apresentam marcas grficas, em linhas onduladas, imitando a escrita cursiva. Nvel 2: A criana ainda no se apropriou da escrita alfabtica, mas possvel ler uma ou algumas palavras em algumas linhas. Esta produo difere bastante da anterior. Em primeiro lugar, porque h escrita, o que indica que a criana se aventurou a produzir a partir do seu conhecimento e, em segundo lugar, porque possvel ler ou inferir algumas palavras: gato, mgica, por exemplo. No se pode afirmar que essa criana tenha domnio da relao letra/som. Pode-se perceber, entretanto, que o conhecimento que demonstra ter palavra escrita aparece como um conjunto de letras separado por espaos em branco, escreve com letras diferenciadas, escreve nas linhas, da esquerda para a direita e a escrita alfabtica de algumas palavras que, muito provavelmente foram produzidas por ela mesma um indicador que falta pouco para adquirir o domnio do cdigo. Nvel 3: Estes alunos apresentam uma escrita alfabtica, em que h possibilidade de leitura, sendo difcil a compreenso de algumas palavras. Assim como na leitura, pode-se dizer que as crianas neste nvel de escrita atingiram um estgio mnimo de conhecimento a partir do qual podem avanar na direo de uma produo de textos mais competentes, desde que sejam orientadas pelos seus professores. Nvel 4: possvel ler todas as palavras, embora as crianas apresentem dificuldades ortogrficas semelhantes ao nvel anterior. Neste nvel as crianas possuem mais domnio na escrita ortogrfica de palavras de uso comum. Nvel 5: corresponde s crianas que dominam a ortografia de palavras de uso comum, inclusive as slabas complexas. Em sua maioria, dominam regras contextuais (ss, rr, gu), mas mantm erros do tipo m/n em contexto como dentro (demtro) e compra (conpra). Resultados Observados Durante os cinco anos de aplicao da escala, em nossos estudos, pudemos perceber que a dificuldade da habilidade em leitura se compara dificuldade da habilidade em redao (os alunos fazem uma redao ao final da prova). A prova tem se mostrado consistente em medir a habilidade de escrita de palavras isoladas. Nossos estudos neste perodo apontam, tambm, para a necessidade de efetuarmos alteraes nos itens de escrita e nos procedimentos de aplicao da prova para que possamos avanar na avaliao da escrita dos alunos.

difuso de idias
Fundao Carlos Chagas Difuso de Idias dezembro/2006 pgina 11

Bibliografia ANDRADE D F, KLEIN, R. Mtodo estatstico para avaliao educacional: teoria de resposta ao item. Boletim da Associao Brasileira de Estatstica, n. 43, p.2128, 1999. BONAMINO, A.; COSCARELLI, C.; FRANCO JR., C. Avaliao e letramento: concepes de alunos letrado subjacentes ao Saeb e ao Pisa. Educao e Sociedade, Campinas, v. 23, n. 81, p. 91-113, dez. 2002. BRASIL. Ministrio da Educao. Parmetros Curriculares Nacionais: lngua portuguesa. Braslia: MEC/SEF, 1997. CAGLIARI, L.C. Alfabetizao e lingstica. So Paulo: Scipione, 2005. FERRARO, Alceu R. Histria quantitativa da alfabetizao no Brasil. In: RIBEIRO, V. M., (org.). Letramento no Brasil: reflexes a partir do INAF 2001. So Paulo: Global, 2003. FERREIRO, E. Alfabetizao em processo. So Paulo: Cortez, 1996. FLETCHER, P A procura do ensino eficaz: relatrio de Pesquisa. Braslia: PNUD/MEC/ . SAEB, 1997. FLEURY, M. T. L.; MATTOS, M. I. L. de. Sistemas educacionais comparados. Estudos Avanados, v. 5, n.12, p.69-89, maio/ago, 1991. RIBEIRO, V. M., (org.). Letramento no Brasil: reflexes a partir do INAF 2001. So Paulo: Global, 2003. SILVA, M. C. A interface entre ensino e avaliao de leitura. The Especialist, So Paulo, v. 23, n. 2, p. 179-193, 2002 SOARES, M. Letramento e escolarizao. In RIBEIRO, V. M., (org.) Letramento no Brasil: reflexes a partir do INAF 2001. So Paulo: Global, 2003.