O conhecimento do professor em avaliao educacional e a procincia do aluno

NEIMAR DA SILVA FERNANDES* TUFI MACHADO SOARES** ANDERSON CRDOVA PENA*** IAGO CARVALHO CUNHA****

RESUMO
Este artigo se prope a mostrar a associao existente entre o desempenho dos alunos nos testes de pro cincia aplicados pelo Proeb/Simave Sistema Mineiro de Avaliao Escolar e o conhecimento que os professores tm sobre o tema da avaliao em larga escala. Foi constatado que, mesmo controlados os efeitos das caractersticas socioeconmicas dos alunos, da escola e das variveis referentes motivao do professor e ao clima escolar, o conhecimento do docente sobre avaliao em larga escala associa-se a um maior desempenho dos alunos. Palavras-chave: Rendimento escolar, Modelos de regresso hierrquicos, Avaliao da educao. * Analista de Dados do Centro de Polticas Pblicas e Avaliao da Educao (CAEd) da Universidade Federal de Juiz de Fora (neimar@caed.u f.br). ** Professor do Programa de Mestrado e Doutorado em Educao e Coordenador de Pesquisa do Centro de Polticas Pblicas e Avaliao da Educao (CAEd) da Universidade Federal de Juiz de Fora (tu @caed.u f.br). *** Psiclogo do Centro de Polticas Pblicas e Avaliao da Educao (CAEd) da Universidade Federal de Juiz de Fora (anderson@caed.u f.br). **** Estatstico do Centro de Polticas Pblicas e Avaliao da Educao (CAEd) da Universidade Federal de Juiz de Fora (iago@caed.u f.br).
Est. Aval. Educ., So Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010 569

RESUMEN
Este artculo se propone mostrar la asociacin existente entre el desempeo de los alumnos en las evaluaciones aplicadas por el Proeb/Simave Sistema de Evaluacin Escolar del Estado de Minas, y el conocimiento que los profesores tienen sobre el tema de la evaluacin en gran escala. Se constat que incluso controlando los efectos de las caractersticas socioeconmicas de los alumnos, de la escuela y de las variables que se re eren a la motivacin del profesor y al ambiente escolar, el conocimiento del profesor sobre la evaluacin en gran escala se asocia a un mayor desempeo de los alumnos. Palabras clave: Rendimiento escolar, Modelos jerrquicos de regresin, Evaluacin de la educacin.

ABSTRACT
is paper aims to show the association between student performance, as measured by the Brazilian Proeb/Simave pro ciency tests, and knowledge that teachers have about this large scale evaluation system. It was found that, even after controlling for socioeconomic characteristics of students and for school variables related to teacher motivation and school atmosphere, teachers knowledge about large scale assessments is associated with students higher performance. Keywords: School e ectiveness, Hierarchical linear models, Educational assessment.

570 Est. Aval. Educ., So Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010

1 INTRODUO A avaliao educacional em larga escala tem-se disseminado no Brasil como uma importante ferramenta para o monitoramento da qualidade da educao bsica. Empregada extensivamente pelo governo federal e por boa parte dos governos estaduais e municipais, nos ltimos anos, os seus resultados tm tido substancial repercusso na sociedade brasileira e, cada vez mais, sido utilizados para orientar polticas pblicas em educao. Contestada por parte de professores e sindicatos docentes, que veem a avaliao externa como desnecessria, uma ingerncia em suas atividades didticas, mas, principalmente, como uma ameaa ao trabalho docente e isonomia de tratamentos dentro da carreira docente, tem-se revelado um importante instrumento de monitorao da qualidade do ensino.

A atitude de rejeio, entretanto, no unnime. Alguns gestores e professores procuram conhecer melhor a forma como so avaliados e at mesmo traar estratgias para a melhoria de seus resultados. Este trabalho se prope a investigar se h associao entre o conhecimento dos docentes e o desempenho dos alunos nos testes. Para isso, so utilizadas informaes oriundas dos questionrios contextuais aplicados aos professores e alunos, bem como do desempenho dos alunos nos testes de pro cincia no Proeb-2007. O trabalho divide-se em quatro partes. Na primeira parte, so apresentadas as populaes de alunos e professores estudadas, bem como suas caractersticas principais; na segunda, construda, com base nos questionrios aplicados, uma srie de variveis que descrevem as caractersticas dos docentes, dos estudantes e do meio escolar; na terceira, apresentada uma medida do conhecimento do professor sobre as avaliaes em larga escala; e, por m, apresenta-se como esse conhecimento est relacionado ao desempenho dos alunos, mesmo quando se controla uma srie de outras variveis contextuais.
2 POPULAO ESTUDADA NAS ANLISES As anlises apresentadas neste estudo foram obtidas considerando as informaes colhidas pelo Proeb/2007 (Programa de Avaliao da Educao Bsica da Secretaria de Educao do Estado de Minas Gerais) em 4.885 escolas pblicas mineiras, das quais 2.631 pertencem rede estadual de ensino e 2.254 rede municipal. Foram utilizados dados contextuais obtidos em questionrios aplicados a 614.366 alunos do 5 e do 9 ano do ensino fundamental e do 3 ano do ensino mdio. Alm dos alunos, foram usadas informaes de um questionrio aplicado a 22.960 professores de Lngua Portuguesa e Matemtica que lecionam nos anos
Est. Aval. Educ., So Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010 571

avaliados. Os alunos, naturalmente, participaram de uma avaliao de habilidade cognitiva, em cada uma dessas disciplinas, por meio de teste de mltipla escolha. Os resultados foram aproveitados para a construo de uma medida de pro cincia, utilizando-se modelos da Teoria da Resposta ao Item (TRI) (Lord, 1980). Na Tabela 1, so mostrados os totais de alunos, professores e escolas includos na pesquisa, em cada ano escolar avaliado.
Tabela 1 Populao estudada para os anos escolares
Anos Escolas Professores Alunos 5 EF* 4.194 10.643 261.491 9 EF* 2.946 8.171 219.292 3 EM* 1.364 4.146 133.583 Total 4.885 22.960 614.366

*Anos avaliados em Minas Gerais utilizando escala nica.

Excluiu-se, de todas as anlises, as escolas cujo nmero de alunos foi menor que 10 no ano escolar de ensino avaliado. Tambm, eliminou-se a escola em que no houve respostas dos professores aos questionrios. 2.1 O instrumento contextual dos alunos O questionrio contextual aplicado aos alunos pode ser dividido em duas partes. Na primeira parte, apresentaram-se questes sociodemogr cas, abrangendo cor, gnero e idade. Na segunda, com o objetivo de construir uma medida da condio socioeconmica dos alunos, solicitou-se a indicao da posse de bens de conforto, tais como geladeira, automvel, freezer, entre outros, e, tambm, se a famlia do aluno recebe Bolsa Famlia. Como um percentual expressivo dos alunos respondeu que recebia Bolsa Famlia, fato que pode ser constatado na tabela 2, em uma anlise espec ca, essa varivel mostrou-se melhor indicador da condio socioeconmica do que os indicadores mltiplos construdos com base na posse de bens materiais apresentados na segunda parte do questionrio (Soares, 2005b). A possvel explicao para o poder discriminante dessa varivel o fato de ela ser categrica, ou seja, estar menos sujeita a erros de coleta de dados. A varivel defasagem do aluno foi calculada pela diferena entre a sua idade e a recomendada para se cursar o ano escolar. As caractersticas dos estudantes avaliados esto descritas na tabela 2, a seguir.
572 Est. Aval. Educ., So Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010

Tabela 2 Caractersticas gerais dos alunos

Anos 5 EF 9 EF 3 EM

261.491 219.292 133.583 193,91 240,81 275,35 Proficincia mdia 203,16 249,78 282,00 Gnero Masculino 50,48% 47,32% 41,61% Branca 30,02% 31,82% 34,82% Parda 50,14% 47,98% 43,49% Cor Negra 11,96% 12,72% 14,87% Outras 7,89% 7,48% 6,82% Bolsa Famlia 48,02% 38,80% 23,13% No defasado 67,54% 61,25% 55,35% 1 ano 19,49% 21,50% 23,12% Defasagem 2 anos 7,65% 9,84% 12,67% 3 anos* 3,69% 4,89% 8,86% 4 ou mais anos 1,62% 2,53% *Os trs anos de defasagem no 3 ano do ensino mdio equivalem a trs anos ou mais, uma vez que no foi possvel calcular defasagens mais elevadas, em razo da formulao do questionrio. Lngua Portuguesa Matemtica

Nmero de alunos

2.2 O instrumento contextual dos professores O questionrio do professor pode ser dividido em trs partes. A primeira parte formada por questes de gnero, formao, tempo de pro sso e pela participao em programas de formao continuada. Na tabela 3, so apresentadas as distribuies dos docentes, segundo essas caractersticas.
Tabela 3 Caractersticas gerais dos professores
Anos Gnero Feminino Ensino mdio Pedagogia Nvel de Normal superior escolaridade Licenciatura Outros Aperfeioamento (mnimo de 180 horas) Especializao (mnimo de 360 horas) PsMestrado Graduao Doutorado Nenhum Participao em atividade de formao continuada em 2007* *Inclui atualizao, treinamento, capacitao, entre outros. 5 EF % 97,1 12,4 24,3 32,7 19,6 10,9 10,0 44,9 0,3 0,0 44,9 66,7 9 EF % 80,0 2,3 1,4 1,8 79,3 15,1 7,6 57,3 1,7 0,1 33,2 48,8 3 EM % 72,6 1,2 0,7 1,1 81,1 15,9 8,5 58,5 1,7 0,1 31,2 44,2 Total % 87,0 7,0 12,3 16,6 50,8 13,2 8,9 51,6 1,0 0,1 38,4 56,6

Est. Aval. Educ., So Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010 573

Nota-se, na tabela 3, que grande parte dos professores entrevistados era do gnero feminino. No entanto, essa proporo decai nas sries mais avanadas. Como era esperado, um maior percentual de docentes com formao em Pedagogia e Normal Superior se concentra no 5 ano e, embora poucos possuam formao stricto sensu, a maioria tem alguma especializao ou, no mnimo, algum curso de aperfeioamento. A segunda parte do questionrio aborda os seguintes temas: relacionamento do professor com o diretor; relacionamento do professor com os colegas; motivao pessoal para o exerccio do trabalho docente; relao com os pais dos alunos; indisciplina dos alunos; disponibilidade de materiais didticos; instalaes da escola; importncia da avaliao em larga escala. Para avaliar a opinio dos professores, foi-lhes solicitado, no questionrio, um conceito a respeito do contedo de determinadas expresses associadas aos diferentes temas. Por exemplo, a a rmativa O projeto educacional desta escola consequncia da troca de ideias entre os professores se relaciona com o tema relacionamento do professor com os colegas. Para esta, assim como para todas as demais expresses, solicitou-se o grau de concordncia do professor, segundo a escala ordinal de Likert de cinco nveis: de discordo plenamente at concordo plenamente. A terceira parte consiste em pequeno teste que procura medir o conhecimento do professor sobre a avaliao em larga escala. As variveis construdas, com base nessas questes, sero apresentadas, em detalhes, a seguir. 2.2.1 Processo de construo de variveis baseado no questionrio do professor Os temas abordados nos questionrios foram escolhidos com base numa reviso da literatura e em opinies de especialistas e gestores, sendo identi cados como potencialmente relacionados ao desempenho dos alunos nos testes. As assertivas, em diversos casos, foram, propositalmente, construdas de maneira que estivessem ligadas a mais de um tema espec co. Entretanto, associaes inesperadas poderiam ocorrer. Assim, as respostas manifestadas para as diferentes assertivas apresentadas aos professores no so totalmente independentes, podendo estar relacionadas a um ou a mais temas. A relao entre as respostas atribudas s assertivas pode ser conceitualmente explicada pela existncia de um constructo ou fator latente, no observado diretamente. Para identi car os constructos, ou ainda, con rmar a existncia dos que foram construdos teoricamente, utiliza-se uma srie de tcnicas estatsticas denominadas, genericamente, de Anlise Fatorial.
574 Est. Aval. Educ., So Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010

Na Anlise Fatorial, a varincia medida de variabilidade observada para as diferentes respostas de uma assertiva pode ser decomposta em uma parte comum, ou seja, compartilhada com as respostas de outras assertivas, e que , teoricamente, explicada pela existncia de fatores (uma possvel representao do constructo latente), ou, em uma parte espec ca, aquela exclusiva assertiva e no explicada pelos fatores (Johnson; Wichern, 1992). Com base no modelo fatorial construdo pode-se:
(i) de nir o nmero de fatores necessrios para explicar, adequadamente, as correlaes observadas para as assertivas e, consequentemente, o grau de explicao obtido com esse modelo; e (ii) observar quais so as assertivas mais correlacionadas a cada fator. Essas assertivas podem ser utilizadas com o intuito de se identi car e interpretar o fator como a representao para a construo terica, isto , para o constructo.

Na soluo do primeiro problema (i), certas diretrizes podem ser utilizadas, algumas das quais foram empregadas neste trabalho, como identi car se o percentual da varincia explicada pelo modelo com um determinado nmero de fatores expressivamente maior que aquela explicada pelo modelo que inclui um nmero maior de fatores. Quanto ao segundo problema (ii), pode ser resolvido pela inspeo das chamadas cargas, estatsticas que medem a associao entre o fator e as assertivas. Uma assertiva que apresenta a sua carga, em um determinado fator, com valor absoluto baixo, provavelmente no est associada quele fator e, portanto, uma candidata eliminao na explicao do fator, ou, at mesmo, do modelo. Uma soluo til, que facilita a anlise e a interpretao dos fatores, um modelo em que um conjunto de assertivas apresenta cargas elevadas para um nico fator e cargas pouco expressivas para os demais. Para se alcanar uma con gurao desse tipo, pode-se utilizar um procedimento muito comum, que consiste na transformao dos fatores originalmente construdos. Esse procedimento a rotao ortogonal pelo mtodo Varimax. Os fatores so interpretados levando-se em considerao o conjunto das cargas de cada uma das assertivas: quanto maior for a carga, em valores absolutos, maior a in uncia do fator na varivel (assertiva) considerada. Seu sinal indica se ambos aumentam na mesma direo ou na direo reversa. Neste trabalho, so usadas apenas assertivas com cargas superiores a 0,3, em valor absoluto, na interpretao do fator. Finalmente, a medida do fator que ser utilizada em anlises posteriores, como, por exemplo, na explicao das pro cincias dos alunos, calculada empregando-se tcnicas apropriadas (Johnson; Wichern, 1992).
Est. Aval. Educ., So Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010 575

2.2.2 Variveis construdas com base no questionrio do professor Por meio da anlise fatorial, concluiu-se que 7 fatores principais explicam 55,5% da varincia total observada para as respostas s 44 assertivas (duas delas foram eliminadas por no se associarem a nenhum dos fatores). A interpretao de cada fator ser apresentada a seguir e, aps interpretado, o fator ser considerado um constructo. O constructo interpretado como a In uncia do diretor no trabalho do professor est relacionado percepo do professor sobre a ao do diretor para induzir ao nimo, ao comprometimento e motivao ao trabalho, s atividades inovadoras e ao bom funcionamento da escola. E est relacionado, tambm, percepo sobre o respeito dispensado pelo diretor ao docente e ao respeito e con ana que este tem pelo diretor; capacidade do diretor em promover reunies dinmicas e em dar uma ateno especial aprendizagem dos alunos. O Empenho da equipe relaciona-se percepo do professor sobre o empenho dos docentes, diretor e demais membros da equipe em suas atividades, tais como: melhorarem as aulas, serem receptivos s novas ideias; coordenarem o contedo entre diferentes sries; considerarem as ideias dos colegas; manterem alta a expectativa acerca do aprendizado dos alunos e se responsabilizarem por esse aprendizado; e, por m, se o ensino da escola sofre in uncia do intercmbio de ideias e experincias entre os membros da equipe. A Coeso e trabalho em equipe se associa ao sentimento do professor quanto ao compartilhamento de ideias e experincias sobre o ensino e a aprendizagem na escola, as preocupaes e frustraes pro ssionais; ao planejamento e discusso do contedo programtico entre as diferentes sries e da sua turma pela equipe. O constructo Importncia das avaliaes em larga escala associa-se ao fato de o professor julgar serem ou no relevantes os resultados das avaliaes em larga escala, de utilizar ou no esses resultados para analisar e rever suas prticas pedaggicas e seu trabalho em sala de aula. Esse fator tambm se correlaciona, negativamente, assertiva: Eu acho as avaliaes desnecessrias, porque eu conheo bem os meus alunos, fato j esperado. A Falta de colaborao dos pais refere-se percepo da participao familiar, abarcando a falta de apoio dos pais na aprendizagem dos lhos, a falta de disciplina dos alunos, a frequncia irregular s aulas, bem como uma percepo, em geral, negativa acerca das famlias dos alunos: Com as famlias que os alunos dessa escola tm, a possibilidade de aprendizado ca muito comprometida.
576 Est. Aval. Educ., So Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010

A Indisciplina dos alunos relaciona-se percepo dos professores quanto indisciplina em diversos nveis: se os alunos da escola intimidam os colegas; se desrespeitam o professor e se so mais propensos ao uso de lcool e drogas. Vale destacar que os professores cuja percepo mais aguada em relao indisciplina dos alunos tambm tendem a identi car a insensibilidade dos outros docentes diante das necessidades individuais dos estudantes. Por ltimo, a Falta de materiais didticos e instalaes est relacionada, na percepo do professor, carncia de recursos materiais e estruturais da escola, e, tambm, indiferena de alguns docentes diante das necessidades individuais dos alunos e aos descasos, em geral, com a educao no pas. 2.2.3 A medida do conhecimento do professor sobre a avaliao educacional em larga escala No questionrio contextual aplicado aos professores, foi inserido um pequeno instrumento a m de se mensurar o nvel de conhecimento dos docentes sobre a avaliao em larga escala. O instrumento constitudo por quatro questes (57 a 60). Cabe ressaltar que embora o nmero de questes seja pequeno o de respondentes consideravelmente grande mais de dez mil o que possibilita o uso de modelos da TRI. Por outro lado, o erro obtido para as mdias, em cada escola, substancialmente menos importante que o erro individual de medida. Foi utilizado o modelo de dois parmetros da TRI para os itens, exceto para o item 57, para o qual foi usado o modelo de respostas graduadas de Samejima (1969), tendo em vista que uma outra opo, que no a correta, mostrou-se importante na escolha dos professores. Para os clculos, foi utilizado o software Parscale 4.1 (Muraki; Bock, 2003). Na tabela 4, so apresentados os itens com seus respectivos percentuais de respostas e as correlaes polisseriais que, semelhantes s cargas fatoriais, representam uma medida da correlao entre as respostas dadas ao item e o escore total. Quanto maior o valor da correlao polisserial maior a capacidade de discriminao do item.

Est. Aval. Educ., So Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010 577

Tabela 4 Estatsticas dos itens

Questes Q.57 Q.58 Q.59 Q.60 Percentual de escolha por alternativa 1 2 3 4 5 % % % % % 50,2 4,3 38,3 0,5 2,8 66,0 12,8 3,1 0,9 3,5 22,1 3,8 59,0 46,9 20,8 3,1 2,7 5,7 16,9 19,3 No respondido % 3,9 2,8 4,7 5,9 Correlao polisserial 0,654 0,661 0,735 0,603

*O percentual da resposta correta apresentado em negrito.

Percebe-se, pelos parmetros b dos itens apresentados na tabela 5, que o teste foi formado por questes com nveis de di culdade diferenciados e por parmetros de discriminao (a) razoavelmente bons, de no mnimo 0,76. Ou seja, os itens so bem informativos ao longo da escala de medida que foi produzida.
Tabela 5 Parmetros dos itens
Questes Q.57 Q.58 Q.59 Q.60 a 0,86 0,88 1,09 0,76 Parmetros b0 0,22 0,16 0,13 0,00 b 1* 1,28 -

* O modelo de crdito parcial foi ajustado somente para o item Q.57.

apresentada, a seguir, uma interpretao do contedo dos itens, levando-se em considerao a inteno de seus elaboradores.
Figura 1 Imagem do item 1

Fonte: Questionrio aplicado aos professores no Proeb (2007).

578 Est. Aval. Educ., So Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010

O item 1 examina o foco da anlise da avaliao externa. O teste do Proeb aplicado aos alunos que cursam as sries nais de um ciclo, ou seja, queles do 5 e 9 anos do ensino fundamental e do 3 ano do ensino mdio. Apesar de a coleta de informao de desempenho ter por fonte o aluno, o seu resultado no teste no se re ete em alguma forma de progresso ou admisso, como acontece nas provas para avaliao da aprendizagem no decorrer do ano letivo, ou em exames de concursos como o Enem e os vestibulares. No caso da avaliao do Simave/Proeb, o resultado do teste aplicado objetiva o conhecimento relativo ao que a escola ofereceu aos alunos em termos de competncias e habilidades. Em outras palavras, o que se tenta extrair dos testes so os resultados gerais dos alunos de cada escola. Assim, o foco da anlise , essencialmente, a escola. Essa questo, todavia, gera dvidas nos professores, que, na maioria, acreditam que o aluno o foco da anlise das avaliaes em larga escala. No de estranhar esse resultado, uma vez que a concepo de aplicao de provas remete ao universo de sala aula, em que o elemento avaliado a aprendizagem do aluno em determinado contedo. Nesse ltimo caso, a unidade correspondente o prprio indivduo em sua capacidade de compreenso dos contedos tratados pelo professor, fato que difere da avaliao externa. Pode-se supor que essa percepo aproxima a noo de desempenho aos aspectos do indivduo, ao mesmo tempo em que a afasta do plano da instituio.
Figura 2 Imagem do item 2

Fonte: Questionrio aplicado aos professores no Proeb (2007).

O item 2 trata de informaes sobre a composio da Matriz de Referncia para Avaliao. A Matriz de Referncia para a avaliao em larga escala apenas uma amostra representativa da Matriz Curricular do Sistema de Ensino, no caso do Proeb, uma amostra do Contedo Bsico Comum (CBC) de Lngua Portuguesa e Matemtica. A Matriz de Referncia para Avaliao agrupa um conjunto de descritores de habilidades e competncias que do origem aos itens dos testes de pro cincia.
Est. Aval. Educ., So Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010 579

Esse assunto tem sido abordado nos Boletins Pedaggicos com bastante frequncia. Alm disso, termos competncias, habilidades e aprendizagem signi cativa que j fazem parte do discurso dos coordenadores, supervisores e orientadores pedaggicos h algum tempo. Talvez, por essa razo, a frequncia de respostas tenha sido maior para a alternativa 1, seguida da alternativa 2. Assim, a alternativa correta contedo curricular e habilidades/competncias a que apresenta os conceitos mais comumente incorporados s polticas de capacitao de professores e diretrizes pedaggicas. Logo, espera-se que, mesmo aqueles que possuam um menor conhecimento acerca da Matriz de Referncia para Avaliao, possam ter optado por essa alternativa, em virtude da familiaridade com os termos, o que contribuiu para o elevado ndice de acerto desse item (66%).
Figura 3 Imagem do item 3

Fonte: Questionrio aplicado aos professores no Proeb (2007).

O item 3 basicamente uma questo que avalia se o professor reconhece uma escala de pro cincia mostrada exaustivamente nos Boletins Pedaggicos. A escala de pro cincia uma representao do desempenho do aluno por meio de um esquema gr co em que se agrupam as habilidades e competncias avaliadas. Essa questo teve alto ndice de acerto (59%). Esse alto ndice de respostas alternativa correta pode, tambm, estar vinculado forma de divulgao dos resultados que as escolas recebem. As polticas de avaliao em larga escala, tanto em nvel nacional (Prova Brasil) quanto estadual (Simave, Proalfa), apresentam, de diversas formas, os resultados dos testes, dentre eles, a mdia geral do desempenho da escola, bem como a forma mais utilizada pela imprensa para elaborao de ranking das escolas. Assim, das alternativas apresentadas, a nica que est relacionada mdia de desempenho a alternativa escala de pro cincia, pois esses conceitos so apresentados de maneira vinculada nos instrumentos de divulgao dos resultados, como os Boletins Pedaggicos. Assim, mesmo aqueles que no
580 Est. Aval. Educ., So Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010

possuem conhecimento do assunto podem ter assinalado a alternativa correta em virtude da familiaridade com os termos Mdia de Desempenho e Escala de Pro cincia.
Figura 4 Imagem do item 4

Fonte: Questionrio aplicado aos professores no Proeb (2007).

Em um primeiro momento, s seria possvel resolver corretamente o item 4, memorizando-se os percentuais de acerto associados a cada uma das cores empregadas na interpretao da escala do Proeb e apresentados nos Boletins de Resultados. Entretanto, possvel chegar soluo correta (50% a 80%) por meio do bom senso e da eliminao dos distratores.
3 MODELOS LINEARES HIERRQUICOS DE REGRESSO Os modelos de regresso tradicionais admitem quatro pressupostos bsicos para as caractersticas dos dados: linearidade, normalidade, homocedasticidade e independncia entre os elementos amostrais. Para uma exposio mais detalhada de tais pressupostos, pode-se consultar Raudenbush e Bryk (2002). Em geral, os trs primeiros so razoavelmente admissveis nos dados educacionais, ou contornados com base na utilizao de grandes amostras. Por outro lado, no admissvel a independncia dos elementos amostrais em dados de pesquisas educacionais, uma vez que a populao de alunos est organizada em turmas e, estas, em escolas. Alunos de uma mesma escola tendem a apresentar caractersticas sociodemogr cas mais homogneas do que a populao em geral, alm de serem submetidos a processos pedaggicos que diferem dos de outras escolas. Logo, a estrutura dos dados na poEst. Aval. Educ., So Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010 581

pulao naturalmente correlacionada e hierrquica. Por outro lado, estudos empricos indicam que essa correlao muito importante. Essa di culdade contornada pelo uso dos modelos lineares hierrquicos, cujo objetivo principal o de considerar a correlao das medidas em funo da estrutura hierrquica dos dados. Esse modelo tem a possibilidade, ainda, de explicar, mais apropriadamente, a in uncia das variveis independentes, nos diferentes nveis, sobre as pro cincias dos alunos nos testes. Ele possibilita, inclusive, que algumas variveis, como a condio socioeconmica do aluno, possam ser consideradas em diferentes nveis: no nvel de aluno, como a in uncia da sua condio socioeconmica individual, ou no nvel de escola, como a in uncia da condio socioeconmica de todo o grupo de alunos. 3.1 Metodologia de construo e a anlise dos modelos O processo bsico mais utilizado na construo de um modelo hierrquico o bottom-up, isto , parte-se do modelo nulo no qual somente se ajustam os termos constantes relativos a cada nvel representado; logo aps, so includas variveis seguindo uma heurstica de nida pelo especialista (Soares, 2005a). Todos os clculos foram realizados utilizando o software HLM 5.04 (Raudenbush; Bryk; Congdon, 2001). Procurou-se, tambm, a existncia de efeitos randmicos nos coe cientes estimados. O parmetro foi aceito como xo quando no apresentou signi cncia ao nvel de 0,001. No Proeb-2007, s possvel construir modelos de trs nveis para o 5 ano escolar, uma vez que para o 9 ano do ensino fundamental e 3 ano do ensino mdio no possvel associar o professor s suas turmas. De fato, h uma diferena conceitual importante entre os modelos de trs e de dois nveis. Pode-se a rmar que ambos contribuem para o entendimento da realidade, sob um enfoque diferente, no sendo, portanto, o modelo de dois nveis apenas uma viso parcial, inferior ou menos adequada daquela obtida com o modelo de trs nveis. Inicialmente, note-se que um modelo estruturado em trs nveis hierrquicos s pode ser construdo para escolas com pelo menos duas turmas e, portanto, para parte da populao envolvida. Na estrutura de dois nveis (alunos e escola), determinados alunos so analisados comparativamente aos demais estudantes da escola, enquanto no modelo de trs nveis, eles so analisados comparando-os aos colegas de turma. Por outro lado, no modelo de trs nveis, as turmas so analisadas, comparativamente, dentro das escolas. Nesse modelo, por exemplo, possvel identi car
582 Est. Aval. Educ., So Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010

melhor o efeito do tipo de poltica de distribuio de alunos pelas turmas adotada pela escola, entretanto, polticas que afetam a escola como um todo, como as estudadas em questo, so melhores analisadas por modelos de dois nveis. 3.2 Modelo nulo Pelo ajuste somente de constantes nos modelos, pde-se estimar a proporo da variabilidade (varincia) atribuda a cada nvel, calculada a partir das varincias estimadas para os erros entre o nvel dos alunos e o nvel de escolas (Soares, 2005a). O resultado apresentado na tabela 6 mostra que do percentual de variabilidade total das pro cincias dos alunos as variveis de segundo nvel o nvel de escola explicam entre 11,4% e 19,0%.
Tabela 6 Decomposio da varincia entre os diferentes nveis para cada ano e disciplina
Anos Nvel 1 2 Total LP* % 83,7 16,3 100,0 5 EF MAT* % 81,0 19,0 100,0 9 EF Disciplina LP* MAT* % % 88,1 85,1 11,9 100,0 14,9 100,0 3 EM LP* % 88,6 11,4 100,0 MAT* % 84,9 15,1 100,0

*LP: Lngua Portuguesa; MAT: Matemtica.

3.3 Processo de agregao das variveis Para se obter as variveis do nvel de escola, calcularam-se os valores dos escores de cada constructo para cada professor e, posteriormente, a sua mdia nas respectivas escolas, obtendo-se, assim, as medidas para as variveis Coeso e trabalho em equipe e Conhecimento sobre avaliao em larga escala, entre outras. A mdia desses escores constitui-se em um indicador mais dedigno dos per s das escolas do que apenas a medida da percepo individual. Por m, todas essas variveis foram padronizadas para serem utilizadas adequadamente nas anlises fatoriais. Calculou-se, tambm, o percentual de alunos negros, o de meninos, o de alunos que recebem Bolsa Famlia e a defasagem mdia dos que so representados pelas variveis Percentual de alunos de cor negra, Percentual de alunos do gnero masculino, Percentual de alunos que recebem Bolsa Famlia e Defasagem mdia dos alunos, respectivamente.
Est. Aval. Educ., So Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010 583

3.4 Variveis empregadas na construo dos modelos As variveis utilizadas neste estudo podem ser sintetizadas no quadro 1, apresentado a seguir.
Quadro 1 Variveis utilizadas nos modelos de dois nveis
Nvel da varivel Descrio das variveis Variveis referentes condio socioeconmica do aluno Variveis referentes situao escolar Varivel Gnero masculino Cor negra Bolsa Famlia Defasagem

Aluno

Escola

Conhecimento do professor acerca da avaliao em larga escala Influncia do diretor no trabalho do professor Variveis referentes s questes Empenho da equipe acerca da escola, na percepo dos Coeso e trabalho em equipe professores Importncia das avaliaes em larga escala Falta de colaborao dos pais Indisciplina dos alunos Falta de materiais didticos e instalaes Percentual de alunos do gnero masculino Percentual de alunos de cor negra Variveis referentes condio Percentual de alunos que recebem Bolsa socioeconmica da escola Famlia Defasagem mdia dos alunos

3.5 Modelos nais Os coe cientes dos modelos construdos pelos procedimentos descritos anteriormente, para cada ano e disciplina estudados, esto apresentados nas tabelas 7 e 8.

584 Est. Aval. Educ., So Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010

Tabela 7 Modelos em Lngua Portuguesa e Matemtica para cada ano escolar

Anos Disciplina Variveis do primeiro nvel Intercepto Gnero masculino Cor negra Defasagem Bolsa Famlia Variveis do segundo nvel Percentual de alunos do gnero masculino Percentual de alunos de cor negra Defasagem mdia dos alunos Percentual de alunos que recebem Bolsa Famlia Conhecimento do professor sobre a avaliao em larga escala Influncia do diretor no trabalho do professor Empenho da equipe Coeso e trabalho em equipe Importncia das avaliaes em larga escala Falta de colaborao dos pais Indisciplina dos alunos -8,38 -20,83* 1,59 -6,06 -32,77* 5,71* 187,29* -10,06* -7,91* -10,34* -11,24* 190,55* 0,85* -10,13* -11,75* -11,84* LP** 5 EF MAT** LP** 9 EF MAT** 3 EM LP** MAT**

Coeficientes 234,97* -11,49* -3,54* -8,42* -7,38* 240,82* 6,89* -6,74* -10,69* -8,22* 268,31* -6,43* -3,13* -10,62* -4,64* 275,12* 14,32* -7,11* -12,03* -4,82*

Coeficientes -15,62* -18,15* 1,39 -34,17* -18,88* -38,66* 4,16* -32,53* -19,85* -11,57* -4,03* -34,91* -13,27* -27,33* -4,69* -26,71*

-35,87* -36,41*

2,28*

2,23*

1,84*

2,37*

1,59*

2,32*

0,68* 0,93* 0,85* 0,71* -1,78* -1,07*

0,80* 1,15* 1,17* 0,72* -1,86* -1,53* -2,24*

0,49 0,15 -0,79* 0,80* -1,29* -1,33* -1,22*

0,73* 0,55 -0,98* 1,25* -1,97* -1,72* -1,37*

0,20 -0,64 -0,79 1,43* -1,10* -1,46* -0,84

0,32 -0,39 -1,03 1,67* -1,00 -2,30* -1,14*

Falta de materiais didticos e -2,06* instalaes *Coeficiente significante ao nvel de 0,01. **LP: Lngua Portuguesa; MAT: Matemtica.

Est. Aval. Educ., So Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010 585

Tabela 8 Efeitos randmicos em Lngua Portuguesa e Matemtica para cada ano considerado
5 EF LP* Intercepto Gnero masculino Defasagem Bolsa Famlia 14,03 3,87 4,24 4,38 MAT* 17,00 4,37 4,61 5,22 9 EF Desvio Padro LP* MAT* 11,83 4,29 2,79 14,69 5,84 3,31 3 EM LP* 12,09 3,89 3,20 MAT* 15,95 6,09 3,94 -

*LP: Lngua Portuguesa; MAT: Matemtica.

4 ANLISE DOS RESULTADOS DOS MODELOS 4.1 Associao das variveis do aluno com o desempenho

As variveis do aluno associadas com o desempenho podem ser divididas em dois grupos: as caractersticas referentes s suas condies socioeconmicas e as relacionadas sua trajetria escolar. No primeiro grupo, esto inseridas trs variveis: o gnero, a cor/raa negra e Bolsa Famlia. Quanto ao gnero, os modelos indicaram associao positiva do gnero masculino com a pro cincia em Matemtica e negativa em Lngua Portuguesa, resultado tradicionalmente citado em muitos outros estudos (Carvalho, 2003). baixa condio socioeconmica dos alunos, representada pela varivel Bolsa Famlia, associa-se uma menor pro cincia, resultado muito discutido na literatura espec ca (Luz, 2006). Por outro lado, que a varivel cor negra esteja associada aos piores desempenhos um efeito tambm j descrito e discutido anteriormente por muitos outros autores (Roscigno; Ainsworth-Darnell, 1999); o que surpreende (Soares; Mendona, 2003) que se observa um efeito lquido, pois o modelo j inclui controle pela condio socioeconmica. A Defasagem, uma varivel caracterstica da trajetria escolar do aluno, como vem sendo observadas neste tipo de estudo, tem in uncia negativa, ou seja, quanto mais defasado o aluno menor a sua pro cincia. Novamente, ca claro que, apesar de esses efeitos serem muito conhecidos, o que se deseja controlar o efeito das variveis de interesse por essas variveis socioeconmicas. Alm disso, permitem testar a robustez dos modelos e dos efeitos mencionados.
586 Est. Aval. Educ., So Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010

4.2 Associao das variveis da escola com as pro cincias Inicialmente, observam-se os efeitos j esperados e relatados pela literatura; em estudos anteriores ver, por exemplo, Soares (2005a). Variveis indicadoras das condies socioeconmicas da escola, como Percentual de alunos que recebem Bolsa Famlia, Percentual de alunos de cor negra e Percentual de alunos do gnero masculino, inseridas no segundo nvel, apresentaram-se, em geral, signi cantes mesmo tendo sido consideradas no nvel do aluno. Pode-se, assim, interpretar esses resultados da seguinte maneira: alunos, de qualquer condio socioeconmica, gnero, ou raa/cor, apresentam menores pro cincias quando inseridos em escolas onde maior a concentrao de alunos negros, de meninos e de alunos de baixa condio socioeconmica. No foi signi cante a in uncia das variveis, agregadas para o nvel de escola, que descrevem o relacionamento entre os professores e o do professor com o diretor, como a In uncia do diretor no trabalho do professor, Empenho da equipe e Coeso e trabalho em equipe. Por outro lado, as variveis Indisciplina dos alunos, a Falta de materiais didticos e instalaes e a Falta de colaborao dos pais foram estatisticamente signi cantes, apresentando efeito negativo. O fator Importncia das avaliaes em larga escala, que mede a importncia atribuda pelos professores s avaliaes em larga escala, apresentou um efeito positivo e signi cativo sobre o desempenho dos alunos. Uma possvel explicao para a no signi cncia de boa parte das variveis originadas nas respostas dadas pelos professores aos instrumentos contextuais pode ser atribuda subjetividade e falta de neutralidade, que di cultaria um diagnstico mais objetivo, por parte do docente, do conjunto da escola. Assim, a avaliao dos diretores e de outras caractersticas relativas instituio, como coeso e entrosamento, cariam comprometidas. Eysenck (1964), em suas pesquisas espec cas, j informava sobre o carter julgador que alguns questionrios podem assumir. Seria, ento, de esperar um diagnstico mais acurado dos professores sobre a indisciplina dos alunos, a colaborao dos pais e os materiais e instalaes na escola do que aspectos que avaliam diretamente as suas atividades ou as de seus colegas. Entretanto, a maior importncia da incluso dessas variveis no modelo est no fato de que elas podem se constituir em possveis variveis de confundimento para a in uncia da varivel foco no estudo, que o Conhecimento do professor sobre avaliao em larga escala. Por exemplo, presume-se que quem d mais importncia a esse tema tambm o conhece mais (e vice- versa) e, por outro lado, escolas em que a coeso interna maior, maior dever ser o conhecimento sobre a avaliao.
Est. Aval. Educ., So Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010 587

A varivel Conhecimento do professor sobre avaliao em larga escala foi estatisticamente signi cativa em todos os modelos construdos. No entanto, notvel que as demais variveis relativas percepo dos professores sobre a escola parecem ter uma importncia menor quando se analisa os coe cientes dos modelos. No entanto, no possvel concluir se o Conhecimento do professor sobre avaliao em larga escala de fato mais importante, ou se a medida mais precisa. Deve-se lembrar que o instrumento destinado a medir o conhecimento do professor em avaliao mais objetivo que os demais.
CONCLUSO Ficou comprovado, ento, neste estudo, que o Conhecimento do professor sobre avaliao em larga escala est associado ao desempenho do aluno nos testes de avaliao. Nota-se, ainda, que h uma variao expressiva de atitudes quando o tema tratado a avaliao em larga escala. Entretanto, nesse leque de variaes, possvel constatar um eixo basal, no qual tais atitudes podem ser projetadas: (i) em um extremo, estariam os mais receptivos aplicao dos testes, os mais informados e que mais discutem e utilizam os seus resultados e, tambm, os mais sintonizados com os objetivos e formas de tais avaliaes; (ii) no outro extremo, estariam os mais resistentes aplicao de testes, os mais inconformados e crticos dos resultados e, possivelmente, os menos conhecedores dos objetivos de tais avaliaes. Poderia se cogitar se o primeiro grupo estaria procurando ajustar suas prticas escolares s avaliaes em larga escala. Assim, independentemente de suas demais caractersticas, este grupo se empreenderia em conhecer melhor o funcionamento do processo de avaliao em larga escala e, consequentemente, prepararia melhor os seus alunos. Por outro lado, pode-se cogitar que os professores com melhor conhecimento sobre o processo de avaliao educacional so aqueles que priorizam a formao dos alunos. Outras hipteses para explicar essa associao, como tambm as duas apresentadas, precisam ser levantadas e analisadas em estudos futuros.

REFERNCIAS BIBLIOGRFICAS
BROOKE, N.; SOARES, J. F. (Org.). Pesquisa em e ccia escolar: origem e trajetrias. Belo Horizonte: UFMG, 2008. 552 p. CARVALHO, M. P. Sucesso e fracasso escolar: uma questo de gnero. Educao e Pesquisa. So Paulo, v. 29, n. 1, p. 185-193, jan./jun. 2003. EYSENCK, H. J. Usos e abusos da psicologia. 2.ed. So Paulo: IBRASA, 1964.

588 Est. Aval. Educ., So Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010

FREIRE, P. Educao como prtica da liberdade. 30.ed. So Paulo: Paz e Terra, 2007. HOX, J. Multilevel analysis of regression and structural equation models. In: HOX, J. (Ed.). Hierarchical Models of Survey Data. 54th ed. Michigan: Summer Institute, 2001. JOHNSON, R. A.; WICHERN, D. W. Applied multivariate statistical analysis. 3.ed. New Jersey: Prentice Hall, 1992. LEE, V. L. What are multilevel questions, and how might we explore them with quantitative methods? Estudos em Avaliao Educacional, n. 24, p.31-68, 2001. LORD, F. Applications of item response theory to practical testing problems. New York: Lawrence Erlbaum Associates, 1980. LUZ, L. S. Os Determinantes do desempenho escolar: a estrati cao educacional e o efeito valor adicionado. In: ENCONTRO NACIONAL DE ESTUDOS POPULACIONAIS DA ABEP, 15. 2006, Caxambu. Anais do Caxambu, ABEP, 2006. MURAKI, E.; BOCK, R. D. Parscale 4.01 for Windows. Chicago: Scienti c Software International, 2003. RAUDENBUSH, S. W.; BRYK, S. A. Hierarchical linear models. Califrnia: Sage, 2002.

RAUDENBUSH, S. W.; BRYK, S. A.; CONGDON, R. HLM 5.04 - Hierarchical linear and nonlinear modeling. Illinois: Scienti c Software International, 2001. ROSCIGNO, V. J.; AINSWORTH-DARNELL, J. W. Race, cultural capital, and educational resources: persistent inequalities and achievement returns. Sociology of Education, v. 72, p. 158-178, jul. 1999. SAMEJIMA, F. Estimation of latent ability using a response pattern of graded scores. Michigan: Psychometric Society, 1969. SOARES, T. M. Modelo de trs nveis hierrquicos para a pro cincia dos alunos de 4 srie avaliados no teste de Lngua Portuguesa do Simave/Proeb-2002. Revista Brasileira de Educao, So Paulo, v. 29, p. 73-87, 2005a. _________ . Utilizao da Teoria da Resposta ao Item na produo de indicadores socioeconmicos. Pesquisa Operacional, Rio de Janeiro, v. 25, n. 1, p. 83-112, jan./abr. 2005b. SOARES, T. M.; MENDONA, M. C. M. Construo de modelo de regresso hierrquico para os dados do Simave-2000. Pesquisa Operacional, Rio de Janeiro, v. 23, n. 3, p. 421-441, 2003.

Recebido em: setembro 2009 Aprovado para publicao em: outubro 2010
Est. Aval. Educ., So Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010 589