O conhecimento do professor em avaliação educacional e a proficiência do aluno

NEIMAR DA SILVA FERNANDES* TUFI MACHADO SOARES** ANDERSON CÓRDOVA PENA*** IAGO CARVALHO CUNHA****

RESUMO
Este artigo se propõe a mostrar a associação existente entre o desempenho dos alunos nos testes de pro ciência aplicados pelo Proeb/Simave – Sistema Mineiro de Avaliação Escolar – e o conhecimento que os professores têm sobre o tema da avaliação em larga escala. Foi constatado que, mesmo controlados os efeitos das características socioeconômicas dos alunos, da escola e das variáveis referentes à motivação do professor e ao clima escolar, o conhecimento do docente sobre avaliação em larga escala associa-se a um maior desempenho dos alunos. Palavras-chave: Rendimento escolar, Modelos de regressão hierárquicos, Avaliação da educação. * Analista de Dados do Centro de Políticas Públicas e Avaliação da Educação (CAEd) da Universidade Federal de Juiz de Fora (neimar@caed.u f.br). ** Professor do Programa de Mestrado e Doutorado em Educação e Coordenador de Pesquisa do Centro de Políticas Públicas e Avaliação da Educação (CAEd) da Universidade Federal de Juiz de Fora (tu @caed.u f.br). *** Psicólogo do Centro de Políticas Públicas e Avaliação da Educação (CAEd) da Universidade Federal de Juiz de Fora (anderson@caed.u f.br). **** Estatístico do Centro de Políticas Públicas e Avaliação da Educação (CAEd) da Universidade Federal de Juiz de Fora (iago@caed.u f.br).
Est. Aval. Educ., São Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010 • 569

RESUMEN
Este artículo se propone mostrar la asociación existente entre el desempeño de los alumnos en las evaluaciones aplicadas por el Proeb/Simave –Sistema de Evaluación Escolar del Estado de Minas, y el conocimiento que los profesores tienen sobre el tema de la evaluación en gran escala. Se constató que incluso controlando los efectos de las características socioeconómicas de los alumnos, de la escuela y de las variables que se re eren a la motivación del profesor y al ambiente escolar, el conocimiento del profesor sobre la evaluación en gran escala se asocia a un mayor desempeño de los alumnos. Palabras clave: Rendimiento escolar, Modelos jerárquicos de regresión, Evaluación de la educación.

ABSTRACT
is paper aims to show the association between student performance, as measured by the Brazilian Proeb/Simave pro ciency tests, and knowledge that teachers have about this large scale evaluation system. It was found that, even after controlling for socioeconomic characteristics of students and for school variables related to teacher motivation and school atmosphere, teachers’ knowledge about large scale assessments is associated with students’ higher performance. Keywords: School e ectiveness, Hierarchical linear models, Educational assessment.

570 • Est. Aval. Educ., São Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010

não é unânime. 47. bem como suas características principais. com base nos questionários aplicados. principalmente. na segunda. é apresentada uma medida do conhecimento do professor sobre as avaliações em larga escala. Foram utilizados dados contextuais obtidos em questionários aplicados a 614. 2010 • 571 . os seus resultados têm tido substancial repercussão na sociedade brasileira e. bem como do desempenho dos alunos nos testes de pro ciência no Proeb-2007. mas. “uma ingerência em suas atividades didáticas”. como uma “ameaça ao trabalho docente e à isonomia de tratamentos dentro da carreira docente”.960 professores de Língua Portuguesa e Matemática que lecionam nos anos Est. na terceira.366 alunos do 5º e do 9° ano do ensino fundamental e do 3° ano do ensino médio. O trabalho divide-se em quatro partes. Este trabalho se propõe a investigar se há associação entre o conhecimento dos docentes e o desempenho dos alunos nos testes. sido utilizados para orientar políticas públicas em educação. p. Alguns gestores e professores procuram conhecer melhor a forma como são avaliados e até mesmo traçar estratégias para a melhoria de seus resultados. mesmo quando se controla uma série de outras variáveis contextuais. v. 569-590. A atitude de rejeição. por m. entretanto. Além dos alunos. cada vez mais. Aval. Para isso.631 pertencem à rede estadual de ensino e 2. das quais 2. tem-se revelado um importante instrumento de monitoração da qualidade do ensino.. Empregada extensivamente pelo governo federal e por boa parte dos governos estaduais e municipais. n.254 à rede municipal. são utilizadas informações oriundas dos questionários contextuais aplicados aos professores e alunos. Na primeira parte. Contestada por parte de professores e sindicatos docentes. 2 POPULAÇÃO ESTUDADA NAS ANÁLISES As análises apresentadas neste estudo foram obtidas considerando as informações colhidas pelo Proeb/2007 (Programa de Avaliação da Educação Básica da Secretaria de Educação do Estado de Minas Gerais) em 4. que veem a avaliação externa como “desnecessária”. é construída. são apresentadas as populações de alunos e professores estudadas.1 INTRODUÇÃO A avaliação educacional em larga escala tem-se disseminado no Brasil como uma importante ferramenta para o monitoramento da qualidade da educação básica. dos estudantes e do meio escolar. nos últimos anos. São Paulo. uma série de variáveis que descrevem as características dos docentes. e. 21.885 escolas públicas mineiras. set. apresenta-se como esse conhecimento está relacionado ao desempenho dos alunos. Educ./dez. foram usadas informações de um questionário aplicado a 22.

A variável “defasagem” do aluno foi calculada pela diferença entre a sua idade e a recomendada para se cursar o ano escolar. entre outros. 2.292 3° EM* 1. Na primeira parte. set. Na Tabela 1.366 *Anos avaliados em Minas Gerais utilizando escala única. 569-590. em uma análise especí ca.. 1980). v.171 219. ou seja.960 614.491 9° EF* 2. A possível explicação para o poder discriminante dessa variável é o fato de ela ser categórica. também. eliminou-se a escola em que não houve respostas dos professores aos questionários. freezer.946 8. Os alunos. são mostrados os totais de alunos. Os resultados foram aproveitados para a construção de uma medida de pro ciência. a seguir.194 10. e. 21. n. Como um percentual expressivo dos alunos respondeu que recebia Bolsa Família. 47. se a família do aluno recebe Bolsa Família. participaram de uma avaliação de habilidade cognitiva. por meio de teste de múltipla escolha. automóvel. Tabela 1 – População estudada para os anos escolares Anos Escolas Professores Alunos 5° EF* 4. professores e escolas incluídos na pesquisa. tais como geladeira.146 133.885 22. abrangendo cor. 572 • Est. estar menos sujeita a erros de coleta de dados. Na segunda.1 O instrumento contextual dos alunos O questionário contextual aplicado aos alunos pode ser dividido em duas partes. fato que pode ser constatado na tabela 2. em cada ano escolar avaliado. de todas as análises.364 4. 2005b). Excluiu-se. 2010 . em cada uma dessas disciplinas. utilizando-se modelos da Teoria da Resposta ao Item (TRI) (Lord. naturalmente. as escolas cujo número de alunos foi menor que 10 no ano escolar de ensino avaliado. Aval. As características dos estudantes avaliados estão descritas na tabela 2. São Paulo.643 261.avaliados.583 Total 4./dez. Também. Educ. apresentaram-se questões sociodemográ cas. essa variável mostrou-se melhor indicador da condição socioeconômica do que os indicadores múltiplos construídos com base na posse de bens materiais apresentados na segunda parte do questionário (Soares. solicitou-se a indicação da posse de bens de conforto. p. com o objetivo de construir uma medida da condição socioeconômica dos alunos. gênero e idade.

84% 12. n.8 79.0 0.0 44.7 19.9 0.2 O instrumento contextual dos professores O questionário do professor pode ser dividido em três partes. Aval./dez.7 0.5 1.292 133.3 1.69% 4.1 31.82% Parda 50.81 275.53% *Os três anos de defasagem no 3° ano do ensino médio equivalem a três anos ou mais.67% 3 anos* 3.3 1.25% 55.61% Branca 30. treinamento.6 1.49% 21.1 81. 5° EF % 97. 21.8 3° EM % 72.00 Gênero Masculino 50.9 10.02% 31.3 0.1 38.4 24.98% 43.86% 4 ou mais anos 1.6 1.4 1.62% 2.6 50.82% 34.2 44. capacitação.9 8. entre outros.6 57.7 0.0 12.8 13.9 66. p.02% 38.5 58.4 56.Tabela 2 – Características gerais dos alunos Anos 5° EF 9° EF 3° EM 261. v.72% 14.48% 6.89% 7.14% 47.3 16.54% 61. 569-590.7 9° EF % 80. Na tabela 3.2 0.13% Não defasado 67.50% 23.16 249.583 193.1 15..491 219.2 48.32% 41. São Paulo. tempo de pro ssão e pela participação em programas de formação continuada. Língua Portuguesa Matemática Número de alunos 2. A primeira parte é formada por questões de gênero. Tabela 3 – Características gerais dos professores Anos Gênero Feminino Ensino médio Pedagogia Nível de Normal superior escolaridade Licenciatura Outros Aperfeiçoamento (mínimo de 180 horas) Especialização (mínimo de 360 horas) PósMestrado Graduação Doutorado Nenhum Participação em atividade de formação continuada em 2007* *Inclui atualização. Educ.0 7.2 8.0 2.2 Total % 87. 47.1 12.87% Outras 7. formação.9 51.35 Proficiência média 203.82% Bolsa Família 48. são apresentadas as distribuições dos docentes.1 33.3 15.48% 47.35% 1 ano 19.89% 8.3 32.6 10.80% 23. set.91 240.1 7.65% 9.78 282. segundo essas características.7 1. em razão da formulação do questionário.12% Defasagem 2 anos 7.0 44.49% Cor “Negra” 11.6 Est.96% 12. uma vez que não foi possível calcular defasagens mais elevadas. 2010 • 573 .

com base nessas questões. instalações da escola. Para esta. podendo estar relacionadas a um ou a mais temas. As variáveis construídas.2. solicitou-se o grau de concordância do professor. relação com os pais dos alunos. ou ainda. segundo a escala ordinal de Likert de cinco níveis: de “discordo plenamente’’ até “concordo plenamente”. na tabela 3. 569-590. Como era esperado. motivação pessoal para o exercício do trabalho docente. importância da avaliação em larga escala. a maioria tem alguma especialização ou. disponibilidade de materiais didáticos. propositalmente. assim como para todas as demais expressões. foi-lhes solicitado. utiliza-se uma série de técnicas estatísticas denominadas. embora poucos possuam formação stricto sensu. A terceira parte consiste em pequeno teste que procura medir o conhecimento do professor sobre a avaliação em larga escala.. a seguir. a a rmativa “O projeto educacional desta escola é consequência da troca de ideias entre os professores” se relaciona com o tema “relacionamento do professor com os colegas”. indisciplina dos alunos. algum curso de aperfeiçoamento. essa proporção decai nas séries mais avançadas. A relação entre as respostas atribuídas às assertivas pode ser conceitualmente explicada pela existência de um constructo ou fator latente. As assertivas. genericamente. 574 • Est. Por exemplo. em diversos casos. sendo identi cados como potencialmente relacionados ao desempenho dos alunos nos testes. serão apresentadas. Para identi car os constructos./dez. que grande parte dos professores entrevistados era do gênero feminino. 21. 47.Nota-se. no questionário. de Análise Fatorial. Assim. não observado diretamente. um maior percentual de docentes com formação em Pedagogia e Normal Superior se concentra no 5º ano e. A segunda parte do questionário aborda os seguintes temas: relacionamento do professor com o diretor. foram. em detalhes. Entretanto. 2. as respostas manifestadas para as diferentes assertivas apresentadas aos professores não são totalmente independentes. v. no mínimo. relacionamento do professor com os colegas. Aval. n. um conceito a respeito do conteúdo de determinadas expressões associadas aos diferentes temas. p.1 Processo de construção de variáveis baseado no questionário do professor Os temas abordados nos questionários foram escolhidos com base numa revisão da literatura e em opiniões de especialistas e gestores. set. con rmar a existência dos que foram construídos teoricamente. Educ. No entanto. associações inesperadas poderiam ocorrer. 2010 . construídas de maneira que estivessem ligadas a mais de um tema especí co. São Paulo. Para avaliar a opinião dos professores.

Para se alcançar uma con guração desse tipo. Os fatores são interpretados levando-se em consideração o conjunto das cargas de cada uma das assertivas: quanto maior for a carga.Na Análise Fatorial. 1992). pode ser resolvido pela inspeção das chamadas cargas. Uma solução útil. Seu sinal indica se ambos aumentam na mesma direção ou na direção reversa. Aval. portanto. set. e que é. com valor absoluto baixo. o grau de explicação obtido com esse modelo. Na solução do primeiro problema (i). Educ.. é calculada empregando-se técnicas apropriadas (Johnson. é um modelo em que um conjunto de assertivas apresenta cargas elevadas para um único fator e cargas pouco expressivas para os demais. Est. 1992). é uma candidata à eliminação na explicação do fator. Quanto ao segundo problema (ii). do modelo. Uma assertiva que apresenta a sua carga. a medida do fator que será utilizada em análises posteriores. são usadas apenas assertivas com cargas superiores a 0. para o constructo. compartilhada com as respostas de outras assertivas. 2010 • 575 . que consiste na transformação dos fatores originalmente construídos. p. São Paulo. as correlações observadas para as assertivas e. até mesmo. que facilita a análise e a interpretação dos fatores. v. a variância – medida de variabilidade observada para as diferentes respostas de uma assertiva – pode ser decomposta em uma parte comum. estatísticas que medem a associação entre o fator e as assertivas. Essas assertivas podem ser utilizadas com o intuito de se identi car e interpretar o fator como a representação para a construção teórica. na interpretação do fator. consequentemente. pode-se utilizar um procedimento muito comum. explicada pela existência de fatores (uma possível representação do constructo latente). 569-590. adequadamente. provavelmente não está associada àquele fator e. Neste trabalho. Esse procedimento é a rotação ortogonal pelo método Varimax. algumas das quais foram empregadas neste trabalho. por exemplo. como identi car se o percentual da variância explicada pelo modelo com um determinado número de fatores é expressivamente maior que aquela explicada pelo modelo que inclui um número maior de fatores. teoricamente. e (ii) observar quais são as assertivas mais correlacionadas a cada fator. em uma parte especí ca. ou./dez. como. em valor absoluto. Finalmente. em valores absolutos. aquela exclusiva à assertiva e não explicada pelos fatores (Johnson. maior a in uência do fator na variável (assertiva) considerada. isto é. na explicação das pro ciências dos alunos. Com base no modelo fatorial construído pode-se: (i) de nir o número de fatores necessários para explicar. n. 21. certas diretrizes podem ser utilizadas. em um determinado fator.3. ou seja. ou. 47. Wichern. Wichern.

negativamente. à percepção sobre o respeito dispensado pelo diretor ao docente e ao respeito e à con ança que este tem pelo diretor. fato já esperado. A interpretação de cada fator será apresentada a seguir e. porque eu conheço bem os meus alunos”. as preocupações e frustrações pro ssionais. Educ.2.5% da variância total observada para as respostas às 44 assertivas (duas delas foram eliminadas por não se associarem a nenhum dos fatores). negativa acerca das famílias dos alunos: “Com as famílias que os alunos dessa escola têm. a falta de disciplina dos alunos. considerarem as ideias dos colegas. em geral. à capacidade do diretor em promover reuniões dinâmicas e em dar uma atenção especial à aprendizagem dos alunos. tais como: melhorarem as aulas. 569-590. 2010 . 21. v. 576 • Est. A “Falta de colaboração dos pais” refere-se à percepção da participação familiar. abarcando a falta de apoio dos pais na aprendizagem dos lhos. serem receptivos às novas ideias. após interpretado. Aval. por m. manterem alta a expectativa acerca do aprendizado dos alunos e se responsabilizarem por esse aprendizado. p. 47. O “Empenho da equipe” relaciona-se à percepção do professor sobre o empenho dos docentes.. e. o fator será considerado um constructo. ao comprometimento e à motivação ao trabalho. São Paulo. às atividades inovadoras e ao bom funcionamento da escola. n. também. O constructo interpretado como a “In uência do diretor no trabalho do professor” está relacionado à percepção do professor sobre a ação do diretor para induzir ao ânimo.2 Variáveis construídas com base no questionário do professor Por meio da análise fatorial. bem como uma percepção. a possibilidade de aprendizado ca muito comprometida”. E está relacionado. a frequência irregular às aulas. de utilizar ou não esses resultados para analisar e rever suas práticas pedagógicas e seu trabalho em sala de aula./dez. ao planejamento e à discussão do conteúdo programático entre as diferentes séries e da sua turma pela equipe.2. O constructo “Importância das avaliações em larga escala” associa-se ao fato de o professor julgar serem ou não relevantes os resultados das avaliações em larga escala. A “Coesão e trabalho em equipe” se associa ao sentimento do professor quanto ao compartilhamento de ideias e experiências sobre o ensino e a aprendizagem na escola. coordenarem o conteúdo entre diferentes séries. à assertiva: “Eu acho as avaliações desnecessárias. Esse fator também se correlaciona. concluiu-se que 7 fatores principais explicam 55. set. diretor e demais membros da equipe em suas atividades. se o ensino da escola sofre in uência do intercâmbio de ideias e experiências entre os membros da equipe.

com a educação no país. Para os cálculos. que não a correta. a “Falta de materiais didáticos e instalações” está relacionada. p. Cabe ressaltar que embora o número de questões seja pequeno o de respondentes é consideravelmente grande – mais de dez mil – o que possibilita o uso de modelos da TRI. 2010 • 577 ./dez. semelhantes às cargas fatoriais.A “Indisciplina dos alunos” relaciona-se à percepção dos professores quanto à indisciplina em diversos níveis: se os alunos da escola intimidam os colegas. n. Por último. O instrumento é constituído por quatro questões (57 a 60). Por outro lado. em geral. v. Aval. à indiferença de alguns docentes diante das necessidades individuais dos alunos e aos descasos. também.2. à carência de recursos materiais e estruturais da escola.. 21. o erro obtido para as médias. São Paulo.3 A medida do conhecimento do professor sobre a avaliação educacional em larga escala No questionário contextual aplicado aos professores. Vale destacar que os professores cuja percepção é mais aguçada em relação à indisciplina dos alunos também tendem a identi car a insensibilidade dos outros docentes diante das necessidades individuais dos estudantes. Educ. 47. em cada escola. para o qual foi usado o modelo de respostas graduadas de Samejima (1969). é substancialmente menos importante que o erro individual de medida. mostrou-se importante na escolha dos professores. e. 569-590. foi inserido um pequeno instrumento a m de se mensurar o nível de conhecimento dos docentes sobre a avaliação em larga escala. se desrespeitam o professor e se são mais propensos ao uso de álcool e drogas. foi utilizado o software Parscale® 4. exceto para o item 57. set. 2. representam uma medida da correlação entre as respostas dadas ao item e o escore total. Na tabela 4.1 (Muraki. Foi utilizado o modelo de dois parâmetros da TRI para os itens. tendo em vista que uma outra opção. na percepção do professor. Quanto maior é o valor da correlação polisserial maior é a capacidade de discriminação do item. 2003). Est. Bock. são apresentados os itens com seus respectivos percentuais de respostas e as correlações polisseriais que.

8 3. uma interpretação do conteúdo dos itens.57 Q.7 5.9 19. que o teste foi formado por questões com níveis de di culdade diferenciados e por parâmetros de discriminação (a) razoavelmente bons.58 Q.Tabela 4 – Estatísticas dos itens Questões Q. Educ.7 5.5 2. 2010 . p.654 0. Aval.9 2. Percebe-se. Ou seja.661 0. É apresentada.. 47. 569-590. de no mínimo 0.8 4.86 0. v.88 1. 578 • Est.0 12.8 3.59 Q.735 0.57 Q.1 3.9 20.59 Q.9 Correlação polisserial 0.57.9 3.58 Q.8 59. os itens são bem informativos ao longo da escala de medida que foi produzida. São Paulo. 21. pelos parâmetros b dos itens apresentados na tabela 5.60 a 0.76.2 4.60 Percentual de escolha por alternativa 1ª 2ª 3ª 4ª 5ª % % % % % 50.76 Parâmetros b0 0.3 0. n.22 0.0 46.09 0.28 - * O modelo de crédito parcial foi ajustado somente para o item Q.5 22.7 16.1 2. levando-se em consideração a intenção de seus elaboradores.13 0.00 b 1* 1.3 38.16 0.3 Não respondido % 3. a seguir.1 0. Figura 1 – Imagem do item 1 Fonte: Questionário aplicado aos professores no Proeb (2007)./dez.603 *O percentual da resposta correta é apresentado em negrito. set. Tabela 5 – Parâmetros dos itens Questões Q.8 66.

p. em que o elemento avaliado é a aprendizagem do aluno em determinado conteúdo. 569-590. Em outras palavras. a unidade correspondente é o próprio indivíduo em sua capacidade de compreensão dos conteúdos tratados pelo professor. gera dúvidas nos professores. Est. no caso do Proeb. na maioria. Figura 2 – Imagem do item 2 Fonte: Questionário aplicado aos professores no Proeb (2007). o que se tenta extrair dos testes são os resultados gerais dos alunos de cada escola. Não é de estranhar esse resultado./dez. uma vez que a concepção de “aplicação de provas” remete ao universo de sala aula. set. São Paulo. O item 2 trata de informações sobre a composição da Matriz de Referência para Avaliação. o seu resultado no teste não se re ete em alguma forma de progressão ou admissão. Apesar de a coleta de informação de desempenho ter por fonte o aluno. o foco da análise é. A Matriz de Referência para Avaliação agrupa um conjunto de descritores de habilidades e competências que dão origem aos itens dos testes de pro ciência. àqueles do 5° e 9° anos do ensino fundamental e do 3° ano do ensino médio. uma amostra do Conteúdo Básico Comum (CBC) de Língua Portuguesa e Matemática. 21. ou em exames de concursos como o Enem e os vestibulares. 47. Pode-se supor que essa percepção aproxima a noção de desempenho aos aspectos do indivíduo. Essa questão. que.O item 1 examina o foco da análise da avaliação externa. todavia. ao mesmo tempo em que a afasta do plano da instituição. Aval. fato que difere da avaliação externa. 2010 • 579 . Nesse último caso. a escola. Assim. A Matriz de Referência para a avaliação em larga escala é apenas uma amostra representativa da Matriz Curricular do Sistema de Ensino.. No caso da avaliação do Simave/Proeb. como acontece nas provas para avaliação da aprendizagem no decorrer do ano letivo. v. essencialmente. Educ. ou seja. o resultado do teste aplicado objetiva o conhecimento relativo ao que a escola ofereceu aos alunos em termos de competências e habilidades. acreditam que é o aluno o foco da análise das avaliações em larga escala. n. O teste do Proeb é aplicado aos alunos que cursam as séries nais de um ciclo.

Aval. a frequência de respostas tenha sido maior para a alternativa 1.Esse assunto tem sido abordado nos Boletins Pedagógicos com bastante frequência. a única que está relacionada à “média de desempenho” é a alternativa “escala de pro ciência”. Essa questão teve alto índice de acerto (59%). Proalfa). das alternativas apresentadas. como os Boletins Pedagógicos. tanto em nível nacional (Prova Brasil) quanto estadual (Simave. dentre eles. Esse alto índice de respostas à alternativa correta pode. Educ. espera-se que. As políticas de avaliação em larga escala. Além disso. mesmo aqueles que possuam um menor conhecimento acerca da Matriz de Referência para Avaliação. Assim. apresentam. mesmo aqueles que não 580 • Est. Assim. possam ter optado por essa alternativa. supervisores e orientadores pedagógicos há algum tempo. A escala de pro ciência é uma representação do desempenho do aluno por meio de um esquema grá co em que se agrupam as habilidades e competências avaliadas. os resultados dos testes. Talvez. O item 3 é basicamente uma questão que avalia se o professor reconhece uma escala de pro ciência mostrada exaustivamente nos Boletins Pedagógicos. 21. também. 47. 569-590. set. em virtude da familiaridade com os termos. o que contribuiu para o elevado índice de acerto desse item (66%). “habilidades” e “aprendizagem signi cativa” que já fazem parte do discurso dos coordenadores. v. a média geral do desempenho da escola. Assim. de diversas formas. seguida da alternativa 2. por essa razão. termos “competências”. p. bem como é a forma mais utilizada pela imprensa para elaboração de ranking das escolas. 2010 . Figura 3 – Imagem do item 3 Fonte: Questionário aplicado aos professores no Proeb (2007). São Paulo./dez.. n. a alternativa correta “conteúdo curricular e habilidades/competências” é a que apresenta os conceitos mais comumente incorporados às políticas de capacitação de professores e diretrizes pedagógicas. Logo. estar vinculado à forma de divulgação dos resultados que as escolas recebem. pois esses conceitos são apresentados de maneira vinculada nos instrumentos de divulgação dos resultados.

em escolas. a estrutura dos dados na poEst. 21. além de serem submetidos a processos pedagógicos que diferem dos de outras escolas. p. Por outro lado. pode-se consultar Raudenbush e Bryk (2002). 47. Para uma exposição mais detalhada de tais pressupostos. os três primeiros são razoavelmente admissíveis nos dados educacionais. normalidade. Entretanto. n. São Paulo. Alunos de uma mesma escola tendem a apresentar características sociodemográ cas mais homogêneas do que a população em geral. só seria possível resolver corretamente o item 4.. uma vez que a população de alunos está organizada em turmas e. v. Figura 4 – Imagem do item 4 Fonte: Questionário aplicado aos professores no Proeb (2007). memorizando-se os percentuais de acerto associados a cada uma das cores empregadas na interpretação da escala do Proeb e apresentados nos Boletins de Resultados. Educ. Aval. 3 MODELOS LINEARES HIERÁRQUICOS DE REGRESSÃO Os modelos de regressão tradicionais admitem quatro pressupostos básicos para as características dos dados: linearidade./dez. 2010 • 581 . ou contornados com base na utilização de grandes amostras. Em geral. set. não é admissível a independência dos elementos amostrais em dados de pesquisas educacionais. 569-590. Em um primeiro momento. estas.possuem conhecimento do assunto podem ter assinalado a alternativa correta em virtude da familiaridade com os termos “Média de Desempenho” e “Escala de Pro ciência”. Logo. é possível chegar à solução correta (“50% a 80%”) por meio do bom senso e da eliminação dos distratores. homocedasticidade e independência entre os elementos amostrais.

569-590. a existência de efeitos randômicos nos coe cientes estimados. logo após. No Proeb-2007. Por outro lado. note-se que um modelo estruturado em três níveis hierárquicos só pode ser construído para escolas com pelo menos duas turmas e. Procurou-se. Inicialmente. inferior ou menos adequada daquela obtida com o modelo de três níveis. sobre as pro ciências dos alunos nos testes. Por outro lado. uma vez que para o 9° ano do ensino fundamental e 3° ano do ensino médio não é possível associar o professor às suas turmas.001. nos diferentes níveis.04 (Raudenbush. também. São Paulo. 3. possam ser consideradas em diferentes níveis: no nível de aluno. Ele possibilita. isto é. 2005a). cujo objetivo principal é o de considerar a correlação das medidas em função da estrutura hierárquica dos dados. Pode-se a rmar que ambos contribuem para o entendimento da realidade. é possível identi car 582 • Est. como a condição socioeconômica do aluno. estudos empíricos indicam que essa correlação é muito importante. mais apropriadamente. para parte da população envolvida. por exemplo. v. comparativamente. 2001). dentro das escolas. ainda. parte-se do modelo nulo – no qual somente se ajustam os termos constantes relativos a cada nível representado. portanto. De fato. Esse modelo tem a possibilidade. as turmas são analisadas.pulação é naturalmente correlacionada e hierárquica. portanto. de explicar. há uma diferença conceitual importante entre os modelos de três e de dois níveis. 47. 2010 . como a in uência da condição socioeconômica de todo o grupo de alunos. Todos os cálculos foram realizados utilizando o software HLM® 5./dez. não sendo. 21. n. eles são analisados comparando-os aos colegas de turma. Nesse modelo. inclusive. O parâmetro foi aceito como xo quando não apresentou signi cância ao nível de 0. a in uência das variáveis independentes. Bryk. ou no nível de escola. determinados alunos são analisados comparativamente aos demais estudantes da escola. como a in uência da sua condição socioeconômica individual. são incluídas variáveis seguindo uma heurística de nida pelo especialista (Soares. enquanto no modelo de três níveis.. o modelo de dois níveis apenas uma visão parcial. Essa di culdade é contornada pelo uso dos modelos lineares hierárquicos. Congdon. só é possível construir modelos de três níveis para o 5° ano escolar. p.1 Metodologia de construção e a análise dos modelos O processo básico mais utilizado na construção de um modelo hierárquico é o bottom-up. set. Educ. Aval. no modelo de três níveis. sob um enfoque diferente. que algumas variáveis. Na estrutura de dois níveis (alunos e escola).

o de alunos que recebem Bolsa Família e a defasagem média dos que são representados pelas variáveis “Percentual de alunos de cor ‘negra’”. “Percentual de alunos que recebem Bolsa Família” e “Defasagem média dos alunos”. entre outras. MAT: Matemática. Aval.9 100. também.9 100.4% e 19. n..0 5° EF MAT* % 81. v. p. são melhores analisadas por modelos de dois níveis. políticas que afetam a escola como um todo.7 16. o percentual de alunos “negros”. “Percentual de alunos do gênero masculino”.0 100. 3. 21.3 100. 47. todas essas variáveis foram padronizadas para serem utilizadas adequadamente nas análises fatoriais.1 85. como as estudadas em questão. 569-590. calcularam-se os valores dos escores de cada constructo para cada professor e. Tabela 6 – Decomposição da variância entre os diferentes níveis para cada ano e disciplina Anos Nível 1° 2° Total LP* % 83. respectivamente.0%. 2005a). A média desses escores constitui-se em um indicador mais dedigno dos per s das escolas do que apenas a medida da percepção individual. São Paulo. Calculou-se. as medidas para as variáveis “Coesão e trabalho em equipe” e “Conhecimento sobre avaliação em larga escala”.4 100.6 11.9 15. calculada a partir das variâncias estimadas para os erros entre o nível dos alunos e o nível de escolas (Soares. a sua média nas respectivas escolas. pôde-se estimar a proporção da variabilidade (variância) atribuída a cada nível.3 Processo de agregação das variáveis Para se obter as variáveis do nível de escola. assim.1 11.0 MAT* % 84. 3. Est.2 Modelo nulo Pelo ajuste somente de constantes nos modelos.melhor o efeito do tipo de política de distribuição de alunos pelas turmas adotada pela escola. obtendo-se.1 100. o de meninos.0 3° EM LP* % 88. Por m. posteriormente.0 14. Educ. set. O resultado apresentado na tabela 6 mostra que do percentual de variabilidade total das pro ciências dos alunos as variáveis de segundo nível – o nível de escola – explicam entre 11. entretanto. 2010 • 583 .0 *LP: Língua Portuguesa.0 9° EF Disciplina LP* MAT* % % 88.0 19./dez.

n.. São Paulo. Quadro 1 – Variáveis utilizadas nos modelos de dois níveis Nível da variável Descrição das variáveis Variáveis referentes à condição socioeconômica do aluno Variáveis referentes à situação escolar Variável Gênero masculino Cor “negra” Bolsa Família Defasagem Aluno Escola Conhecimento do professor acerca da avaliação em larga escala Influência do diretor no trabalho do professor Variáveis referentes às questões Empenho da equipe acerca da escola.5 Modelos nais Os coe cientes dos modelos construídos pelos procedimentos descritos anteriormente. na percepção dos Coesão e trabalho em equipe professores Importância das avaliações em larga escala Falta de colaboração dos pais Indisciplina dos alunos Falta de materiais didáticos e instalações Percentual de alunos do gênero masculino Percentual de alunos de cor “negra” Variáveis referentes à condição Percentual de alunos que recebem Bolsa socioeconômica da escola Família Defasagem média dos alunos 3. set. 47.3. 584 • Est. 2010 ./dez. estão apresentados nas tabelas 7 e 8. v. Aval. Educ. apresentado a seguir. 569-590. p. para cada ano e disciplina estudados. 21.4 Variáveis empregadas na construção dos modelos As variáveis utilizadas neste estudo podem ser sintetizadas no quadro 1.

42* -7.84* LP** 5° EF MAT** LP** 9° EF MAT** 3° EM LP** MAT** Coeficientes 234.59 -6.06* -7.24* 190.84 0.59* 2.13* -11. Educ.55* 0.32 -0.27* -27.64 -0.32* 0.28* 2.62* -4.49* -3.55 -0.77* 5.37* 0.88* -38. **LP: Língua Portuguesa.38* 240.75* -11.85* 0.03* -34.85* -11.71* -1.37* 1.12* 14.69* -26.01.32* -7.29* -1.16* -32.39 -34.97* -1.14* Falta de materiais didáticos e -2.03 1.72* -1.25* -1.23* 1. n.67* -1.38 -20.39 -1. 569-590.Tabela 7 – Modelos em Língua Portuguesa e Matemática para cada ano escolar Anos Disciplina Variáveis do primeiro nível Intercepto Gênero masculino Cor “negra” Defasagem Bolsa Família Variáveis do segundo nível Percentual de alunos do gênero masculino Percentual de alunos de cor “negra” Defasagem média dos alunos Percentual de alunos que recebem Bolsa Família Conhecimento do professor sobre a avaliação em larga escala Influência do diretor no trabalho do professor Empenho da equipe Coesão e trabalho em equipe Importância das avaliações em larga escala Falta de colaboração dos pais Indisciplina dos alunos -8.00 -2.98* 1.15* 1.11* -12.71* 187.89* -6.57* -4.80* -1. MAT: Matemática.22* 268.93* 0.15 -0. Est.34* -11.62* -18.69* -8.31* -6.83* 1.72* -1.54* -8. set. 2010 • 585 .43* -1.86* -1.97* -11.15* 1.46* -0.53* -19.03* -4.84* 2. v. p.79* 0..24* 0.73* 0.74* -10. Aval.91* -10.33* -1.80* 1.71* -35.64* 275.29* -10.53* -2.91* -13.85* -10. 47.33* -4.49 0.87* -36.82* 6.82* Coeficientes -15.06 -32.06* instalações *Coeficiente significante ao nível de 0.07* 0.79 1.78* -1.20 -0.13* -10. São Paulo.66* 4.41* 2. 21.30* -1.17* -18.22* 0.17* 0.68* 0.10* -1.43* -3./dez.

ca claro que.69 5. Quanto ao gênero. permitem testar a robustez dos modelos e dos efeitos mencionados.Tabela 8 – Efeitos randômicos em Língua Portuguesa e Matemática para cada ano considerado 5° EF LP* Intercepto Gênero masculino Defasagem Bolsa Família 14.95 6. p.87 4.31 3° EM LP* 12.94 - *LP: Língua Portuguesa. São Paulo.84 3.29 2. 4 ANÁLISE DOS RESULTADOS DOS MODELOS 4.20 MAT* 15. Educ. ou seja. n. representada pela variável “Bolsa Família”./dez. 2003). como vem sendo observadas neste tipo de estudo. estão inseridas três variáveis: o gênero. A “Defasagem”. 2006). Por outro lado. 2010 . À baixa condição socioeconômica dos alunos. 47.37 4.09 3. associa-se uma menor pro ciência. Além disso.24 4.38 MAT* 17. 586 • Est. que a variável cor “negra” esteja associada aos piores desempenhos é um efeito também já descrito e discutido anteriormente por muitos outros autores (Roscigno. 2003) é que se observa um efeito líquido. 569-590. o que se deseja é controlar o efeito das variáveis de interesse por essas variáveis socioeconômicas. resultado muito discutido na literatura especí ca (Luz..61 5. quanto mais defasado é o aluno menor é a sua pro ciência. MAT: Matemática. tem in uência negativa. uma variável característica da trajetória escolar do aluno. pois o modelo já inclui controle pela condição socioeconômica. No primeiro grupo.1 Associação das variáveis do aluno com o desempenho As variáveis do aluno associadas com o desempenho podem ser divididas em dois grupos: as características referentes às suas condições socioeconômicas e as relacionadas à sua trajetória escolar.00 4. v. 1999). Mendonça.79 14. Aval. set. 21. Novamente.83 4.22 9° EF Desvio Padrão LP* MAT* 11.09 3. resultado tradicionalmente citado em muitos outros estudos (Carvalho.03 3. o que surpreende (Soares. apesar de esses efeitos serem muito conhecidos.89 3. os modelos indicaram associação positiva do gênero masculino com a pro ciência em Matemática e negativa em Língua Portuguesa. Ainsworth-Darnell. a cor/raça “negra” e “Bolsa Família”.

a maior importância da inclusão dessas variáveis no modelo está no fato de que elas podem se constituir em possíveis variáveis de “confundimento” para a in uência da variável foco no estudo. de esperar um diagnóstico mais acurado dos professores sobre a indisciplina dos alunos. São Paulo. então. ou raça/cor. observam-se os efeitos já esperados e relatados pela literatura. de meninos e de alunos de baixa condição socioeconômica. O fator “Importância das avaliações em larga escala”. Variáveis indicadoras das condições socioeconômicas da escola. a avaliação dos diretores e de outras características relativas à instituição. apresentou um efeito positivo e signi cativo sobre o desempenho dos alunos. assim.versa) e. como a “In uência do diretor no trabalho do professor”. Entretanto. 47. presume-se que quem dá mais importância a esse tema também o conhece mais (e vice. Soares (2005a). Est. por outro lado. gênero. Uma possível explicação para a não signi cância de boa parte das variáveis originadas nas respostas dadas pelos professores aos instrumentos contextuais pode ser atribuída à subjetividade e à falta de neutralidade. que mede a importância atribuída pelos professores às avaliações em larga escala. cariam comprometidas. “Percentual de alunos de cor ‘negra’” e “Percentual de alunos do gênero masculino”. Eysenck (1964). em suas pesquisas especí cas. signi cantes mesmo tendo sido consideradas no nível do aluno. inseridas no segundo nível. apresentam menores pro ciências quando inseridos em escolas onde é maior a concentração de alunos negros.4. que é o “Conhecimento do professor sobre avaliação em larga escala”. já informava sobre o caráter julgador que alguns questionários podem assumir. Pode-se. “Empenho da equipe” e “Coesão e trabalho em equipe”.2 Associação das variáveis da escola com as pro ciências Inicialmente. Por outro lado. Não foi signi cante a in uência das variáveis. 2010 • 587 . por parte do docente. que di cultaria um diagnóstico mais objetivo. n. a “Falta de materiais didáticos e instalações” e a “Falta de colaboração dos pais” foram estatisticamente signi cantes. em geral. Assim.. 21. Seria. por exemplo. de qualquer condição socioeconômica. v. as variáveis “Indisciplina dos alunos”. apresentando efeito negativo. agregadas para o nível de escola. p. apresentaram-se. Aval. interpretar esses resultados da seguinte maneira: alunos. set. Por exemplo. em estudos anteriores ver. 569-590. maior deverá ser o conhecimento sobre a avaliação. do conjunto da escola. a colaboração dos pais e os materiais e instalações na escola do que aspectos que avaliam diretamente as suas atividades ou as de seus colegas./dez. que descrevem o relacionamento entre os professores e o do professor com o diretor. como “coesão” e “entrosamento”. escolas em que a coesão interna é maior. Educ. como “Percentual de alunos que recebem Bolsa Família”.

pode-se cogitar que os professores com melhor conhecimento sobre o processo de avaliação educacional são aqueles que priorizam a formação dos alunos.. 29. Poderia se cogitar se o primeiro grupo estaria procurando ajustar suas práticas escolares às avaliações em larga escala. no qual tais atitudes podem ser projetadas: (i) em um extremo. São Paulo. Assim.ed. Usos e abusos da psicologia. CARVALHO. os mais inconformados e críticos dos resultados e. set. Entretanto. F. Educação e Pesquisa. Pesquisa em e cácia escolar: origem e trajetórias. prepararia melhor os seus alunos. EYSENCK. que há uma variação expressiva de atitudes quando o tema tratado é a avaliação em larga escala. 552 p./jun. M. REFERÊNCIAS BIBLIOGRÁFICAS BROOKE. estariam os mais resistentes à aplicação de testes. No entanto. n. 2. 569-590. n. Belo Horizonte: UFMG. jan. Aval. como também as duas apresentadas. No entanto. 185-193. neste estudo. 2008. 47. Deve-se lembrar que o instrumento destinado a medir o conhecimento do professor em avaliação é mais objetivo que os demais. os mais sintonizados com os objetivos e formas de tais avaliações. p. Outras hipóteses para explicar essa associação. J. que o “Conhecimento do professor sobre avaliação em larga escala” está associado ao desempenho do aluno nos testes de avaliação. São Paulo: IBRASA. Educ. independentemente de suas demais características.. 21. P. ou se a medida é mais precisa. 2003. 2010 . H. (Org. é possível constatar um eixo basal.A variável “Conhecimento do professor sobre avaliação em larga escala” foi estatisticamente signi cativa em todos os modelos construídos. também. os mais informados e que mais discutem e utilizam os seus resultados e./dez. CONCLUSÃO Ficou comprovado. p. Nota-se. ainda. 588 • Est. v. não é possível concluir se o “Conhecimento do professor sobre avaliação em larga escala” é de fato mais importante.). possivelmente. SOARES. 1. precisam ser levantadas e analisadas em estudos futuros. N. São Paulo. este grupo se empreenderia em conhecer melhor o funcionamento do processo de avaliação em larga escala e. nesse leque de variações. J. (ii) no outro extremo. é notável que as demais variáveis relativas à percepção dos professores sobre a escola parecem ter uma importância menor quando se analisa os coe cientes dos modelos. os menos conhecedores dos objetivos de tais avaliações. v. consequentemente. Por outro lado. Sucesso e fracasso escolar: uma questão de gênero. estariam os mais receptivos à aplicação dos testes. então. 1964.

ed. v. W. S. W.FREIRE. 421-441. V. New Jersey: Prentice Hall. Anais do… Caxambu. São Paulo. BOCK. 2003. 21.ed. Rio de Janeiro. p. 24. Sociology of Education. 2005a. A. Michigan: Summer Institute. jul. R. 2001. D. ROSCIGNO. v. Educ. Califórnia: Sage. Pesquisa Operacional. Pesquisa Operacional. W. LEE.. cultural capital. Multilevel analysis of regression and structural equation models. São Paulo: Paz e Terra.31-68.. Hierarchical linear models. M. Michigan: Psychometric Society. v. 15. M. p. MENDONÇA. New York: Lawrence Erlbaum Associates. Construção de modelo de regressão hierárquico para os dados do Simave-2000. 1969. n. L. v. jan. 1999. p./dez. 2002. São Paulo. P. M. SAMEJIMA. J. Aval. In: ENCONTRO NACIONAL DE ESTUDOS POPULACIONAIS DA ABEP.01 for Windows. n. and how might we explore them with quantitative methods? Estudos em Avaliação Educacional. Estimation of latent ability using a response pattern of graded scores. F. A. Recebido em: setembro 2009 Aprovado para publicação em: outubro 2010 Est. T. _________ . Caxambu. n.). S. 73-87.04 . SOARES. Chicago: Scienti c Software International. p. HLM 5. 1980. 25. Os Determinantes do desempenho escolar: a estrati cação educacional e o efeito valor adicionado. WICHERN. p. (Ed. Applied multivariate statistical analysis. Utilização da Teoria da Resposta ao Item na produção de indicadores socioeconômicos. Applications of item response theory to practical testing problems. A. MURAKI.. Race. 3. 158-178. 2003. LORD. J. S. 2006. 47. 2010 • 589 . M. v. W. 2001. RAUDENBUSH. Revista Brasileira de Educação. S. p. 29. 72. BRYK. What are multilevel questions. BRYK. Rio de Janeiro. Educação como prática da liberdade. 2006. 1992. JOHNSON.... ABEP.Hierarchical linear and nonlinear modeling.. T. 3. Parscale 4. L.. 83-112. n. 2007. LUZ. CONGDON. Illinois: Scienti c Software International. R. R. E. C. J. 23. In: HOX. 1. 2005b. RAUDENBUSH. J. and educational resources: persistent inequalities and achievement returns. D. 2001. 54th ed. Hierarchical Models of Survey Data. S. SOARES. HOX./abr. F. V. 569-590. 30. set. Modelo de três níveis hierárquicos para a pro ciência dos alunos de 4ª série avaliados no teste de Língua Portuguesa do Simave/Proeb-2002. AINSWORTH-DARNELL.

Sign up to vote on this title
UsefulNot useful