P. 1
O Conhecimento Do Professor

O Conhecimento Do Professor

|Views: 28|Likes:
Publicado porMiguel Dias

More info:

Published by: Miguel Dias on Oct 12, 2011
Direitos Autorais:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See more
See less

10/12/2011

pdf

text

original

O conhecimento do professor em avaliação educacional e a proficiência do aluno

NEIMAR DA SILVA FERNANDES* TUFI MACHADO SOARES** ANDERSON CÓRDOVA PENA*** IAGO CARVALHO CUNHA****

RESUMO
Este artigo se propõe a mostrar a associação existente entre o desempenho dos alunos nos testes de pro ciência aplicados pelo Proeb/Simave – Sistema Mineiro de Avaliação Escolar – e o conhecimento que os professores têm sobre o tema da avaliação em larga escala. Foi constatado que, mesmo controlados os efeitos das características socioeconômicas dos alunos, da escola e das variáveis referentes à motivação do professor e ao clima escolar, o conhecimento do docente sobre avaliação em larga escala associa-se a um maior desempenho dos alunos. Palavras-chave: Rendimento escolar, Modelos de regressão hierárquicos, Avaliação da educação. * Analista de Dados do Centro de Políticas Públicas e Avaliação da Educação (CAEd) da Universidade Federal de Juiz de Fora (neimar@caed.u f.br). ** Professor do Programa de Mestrado e Doutorado em Educação e Coordenador de Pesquisa do Centro de Políticas Públicas e Avaliação da Educação (CAEd) da Universidade Federal de Juiz de Fora (tu @caed.u f.br). *** Psicólogo do Centro de Políticas Públicas e Avaliação da Educação (CAEd) da Universidade Federal de Juiz de Fora (anderson@caed.u f.br). **** Estatístico do Centro de Políticas Públicas e Avaliação da Educação (CAEd) da Universidade Federal de Juiz de Fora (iago@caed.u f.br).
Est. Aval. Educ., São Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010 • 569

RESUMEN
Este artículo se propone mostrar la asociación existente entre el desempeño de los alumnos en las evaluaciones aplicadas por el Proeb/Simave –Sistema de Evaluación Escolar del Estado de Minas, y el conocimiento que los profesores tienen sobre el tema de la evaluación en gran escala. Se constató que incluso controlando los efectos de las características socioeconómicas de los alumnos, de la escuela y de las variables que se re eren a la motivación del profesor y al ambiente escolar, el conocimiento del profesor sobre la evaluación en gran escala se asocia a un mayor desempeño de los alumnos. Palabras clave: Rendimiento escolar, Modelos jerárquicos de regresión, Evaluación de la educación.

ABSTRACT
is paper aims to show the association between student performance, as measured by the Brazilian Proeb/Simave pro ciency tests, and knowledge that teachers have about this large scale evaluation system. It was found that, even after controlling for socioeconomic characteristics of students and for school variables related to teacher motivation and school atmosphere, teachers’ knowledge about large scale assessments is associated with students’ higher performance. Keywords: School e ectiveness, Hierarchical linear models, Educational assessment.

570 • Est. Aval. Educ., São Paulo, v. 21, n. 47, p. 569-590, set./dez. 2010

/dez. 569-590. Alguns gestores e professores procuram conhecer melhor a forma como são avaliados e até mesmo traçar estratégias para a melhoria de seus resultados. p. sido utilizados para orientar políticas públicas em educação. principalmente. é construída. na terceira.366 alunos do 5º e do 9° ano do ensino fundamental e do 3° ano do ensino médio. mas. entretanto. é apresentada uma medida do conhecimento do professor sobre as avaliações em larga escala. 47. Para isso. Empregada extensivamente pelo governo federal e por boa parte dos governos estaduais e municipais. nos últimos anos.885 escolas públicas mineiras. Educ. 2010 • 571 . São Paulo.254 à rede municipal. das quais 2. bem como suas características principais. bem como do desempenho dos alunos nos testes de pro ciência no Proeb-2007. Na primeira parte. cada vez mais.. são apresentadas as populações de alunos e professores estudadas. são utilizadas informações oriundas dos questionários contextuais aplicados aos professores e alunos. Contestada por parte de professores e sindicatos docentes. Este trabalho se propõe a investigar se há associação entre o conhecimento dos docentes e o desempenho dos alunos nos testes.1 INTRODUÇÃO A avaliação educacional em larga escala tem-se disseminado no Brasil como uma importante ferramenta para o monitoramento da qualidade da educação básica. foram usadas informações de um questionário aplicado a 22. mesmo quando se controla uma série de outras variáveis contextuais. Foram utilizados dados contextuais obtidos em questionários aplicados a 614. O trabalho divide-se em quatro partes. A atitude de rejeição. Além dos alunos. uma série de variáveis que descrevem as características dos docentes. v. e. 21. dos estudantes e do meio escolar. não é unânime.960 professores de Língua Portuguesa e Matemática que lecionam nos anos Est.631 pertencem à rede estadual de ensino e 2. tem-se revelado um importante instrumento de monitoração da qualidade do ensino. na segunda. n. apresenta-se como esse conhecimento está relacionado ao desempenho dos alunos. como uma “ameaça ao trabalho docente e à isonomia de tratamentos dentro da carreira docente”. 2 POPULAÇÃO ESTUDADA NAS ANÁLISES As análises apresentadas neste estudo foram obtidas considerando as informações colhidas pelo Proeb/2007 (Programa de Avaliação da Educação Básica da Secretaria de Educação do Estado de Minas Gerais) em 4. os seus resultados têm tido substancial repercussão na sociedade brasileira e. “uma ingerência em suas atividades didáticas”. set. que veem a avaliação externa como “desnecessária”. com base nos questionários aplicados. Aval. por m.

São Paulo. Na segunda. 2.avaliados. solicitou-se a indicação da posse de bens de conforto.1 O instrumento contextual dos alunos O questionário contextual aplicado aos alunos pode ser dividido em duas partes. as escolas cujo número de alunos foi menor que 10 no ano escolar de ensino avaliado.366 *Anos avaliados em Minas Gerais utilizando escala única. 2010 . em cada ano escolar avaliado. 21. tais como geladeira. em cada uma dessas disciplinas. 572 • Est. ou seja. utilizando-se modelos da Teoria da Resposta ao Item (TRI) (Lord. Tabela 1 – População estudada para os anos escolares Anos Escolas Professores Alunos 5° EF* 4.491 9° EF* 2. gênero e idade. A possível explicação para o poder discriminante dessa variável é o fato de ela ser categórica. Como um percentual expressivo dos alunos respondeu que recebia Bolsa Família. 569-590. Os alunos.643 261. naturalmente. eliminou-se a escola em que não houve respostas dos professores aos questionários./dez. por meio de teste de múltipla escolha.583 Total 4.885 22.960 614.146 133. p. set. professores e escolas incluídos na pesquisa. n. Os resultados foram aproveitados para a construção de uma medida de pro ciência. a seguir. 1980). com o objetivo de construir uma medida da condição socioeconômica dos alunos. em uma análise especí ca. Na primeira parte. A variável “defasagem” do aluno foi calculada pela diferença entre a sua idade e a recomendada para se cursar o ano escolar. freezer. Educ.946 8. Aval. apresentaram-se questões sociodemográ cas. participaram de uma avaliação de habilidade cognitiva.364 4. automóvel. também. fato que pode ser constatado na tabela 2.194 10. estar menos sujeita a erros de coleta de dados. 2005b).171 219. entre outros. abrangendo cor. Na Tabela 1. v.. As características dos estudantes avaliados estão descritas na tabela 2. essa variável mostrou-se melhor indicador da condição socioeconômica do que os indicadores múltiplos construídos com base na posse de bens materiais apresentados na segunda parte do questionário (Soares. se a família do aluno recebe Bolsa Família. Excluiu-se. de todas as análises.292 3° EM* 1. Também. e. 47. são mostrados os totais de alunos.

54% 61.3 16.3 1.14% 47./dez.1 15. tempo de pro ssão e pela participação em programas de formação continuada.3 1.5 1. 5° EF % 97.4 1. v.8 79.1 38.02% 31.16 249.02% 38.86% 4 ou mais anos 1.4 24. são apresentadas as distribuições dos docentes.0 0. Na tabela 3. entre outros.87% Outras 7. Educ.3 0. capacitação.13% Não defasado 67.0 2.491 219.9 0.9 10. Aval.50% 23.53% *Os três anos de defasagem no 3° ano do ensino médio equivalem a três anos ou mais.0 7.2 O instrumento contextual dos professores O questionário do professor pode ser dividido em três partes. Tabela 3 – Características gerais dos professores Anos Gênero Feminino Ensino médio Pedagogia Nível de Normal superior escolaridade Licenciatura Outros Aperfeiçoamento (mínimo de 180 horas) Especialização (mínimo de 360 horas) PósMestrado Graduação Doutorado Nenhum Participação em atividade de formação continuada em 2007* *Inclui atualização.80% 23.9 8.2 0.82% 34. 2010 • 573 .0 12.7 1.. uma vez que não foi possível calcular defasagens mais elevadas. p. São Paulo.89% 8. treinamento.91 240.3 32.6 10.96% 12.292 133.35 Proficiência média 203.00 Gênero Masculino 50.49% Cor “Negra” 11.78 282.6 Est.9 66.65% 9.6 1. A primeira parte é formada por questões de gênero.81 275.67% 3 anos* 3.49% 21.0 44.0 44.9 51.6 50.7 19.69% 4.7 0.583 193.2 44.82% Parda 50. em razão da formulação do questionário.89% 7.82% Bolsa Família 48. set.Tabela 2 – Características gerais dos alunos Anos 5° EF 9° EF 3° EM 261.32% 41. n.98% 43.8 13.84% 12. Língua Portuguesa Matemática Número de alunos 2.2 48.61% Branca 30.62% 2.1 31.3 15.7 0.35% 1 ano 19.2 Total % 87.1 81. 47.4 56.1 12.2 8.1 33.6 1.72% 14.5 58. 21.8 3° EM % 72. segundo essas características.48% 47. 569-590.48% 6.7 9° EF % 80. formação.6 57.12% Defasagem 2 anos 7.25% 55.1 7.

Para avaliar a opinião dos professores. em diversos casos. Por exemplo. embora poucos possuam formação stricto sensu. 21./dez. instalações da escola. n. 574 • Est.Nota-se. motivação pessoal para o exercício do trabalho docente. 47. propositalmente. construídas de maneira que estivessem ligadas a mais de um tema especí co. de Análise Fatorial. Para esta. A relação entre as respostas atribuídas às assertivas pode ser conceitualmente explicada pela existência de um constructo ou fator latente. 569-590. importância da avaliação em larga escala. Aval. 2. indisciplina dos alunos. foram. no mínimo. essa proporção decai nas séries mais avançadas. não observado diretamente. set.2. as respostas manifestadas para as diferentes assertivas apresentadas aos professores não são totalmente independentes. Como era esperado. Entretanto. São Paulo. genericamente. ou ainda. a maioria tem alguma especialização ou. solicitou-se o grau de concordância do professor. No entanto. disponibilidade de materiais didáticos. foi-lhes solicitado. algum curso de aperfeiçoamento. um maior percentual de docentes com formação em Pedagogia e Normal Superior se concentra no 5º ano e. A terceira parte consiste em pequeno teste que procura medir o conhecimento do professor sobre a avaliação em larga escala. sendo identi cados como potencialmente relacionados ao desempenho dos alunos nos testes. segundo a escala ordinal de Likert de cinco níveis: de “discordo plenamente’’ até “concordo plenamente”.. relacionamento do professor com os colegas.1 Processo de construção de variáveis baseado no questionário do professor Os temas abordados nos questionários foram escolhidos com base numa revisão da literatura e em opiniões de especialistas e gestores. p. 2010 . um conceito a respeito do conteúdo de determinadas expressões associadas aos diferentes temas. Para identi car os constructos. serão apresentadas. v. podendo estar relacionadas a um ou a mais temas. utiliza-se uma série de técnicas estatísticas denominadas. As assertivas. a seguir. relação com os pais dos alunos. As variáveis construídas. A segunda parte do questionário aborda os seguintes temas: relacionamento do professor com o diretor. assim como para todas as demais expressões. na tabela 3. no questionário. em detalhes. con rmar a existência dos que foram construídos teoricamente. Assim. que grande parte dos professores entrevistados era do gênero feminino. com base nessas questões. associações inesperadas poderiam ocorrer. a a rmativa “O projeto educacional desta escola é consequência da troca de ideias entre os professores” se relaciona com o tema “relacionamento do professor com os colegas”. Educ.

3. aquela exclusiva à assertiva e não explicada pelos fatores (Johnson. na interpretação do fator. em uma parte especí ca. Wichern. Os fatores são interpretados levando-se em consideração o conjunto das cargas de cada uma das assertivas: quanto maior for a carga. set. e (ii) observar quais são as assertivas mais correlacionadas a cada fator. 569-590. Quanto ao segundo problema (ii). do modelo. é um modelo em que um conjunto de assertivas apresenta cargas elevadas para um único fator e cargas pouco expressivas para os demais. e que é. isto é. estatísticas que medem a associação entre o fator e as assertivas. Est. é uma candidata à eliminação na explicação do fator. em valor absoluto./dez. Essas assertivas podem ser utilizadas com o intuito de se identi car e interpretar o fator como a representação para a construção teórica. a medida do fator que será utilizada em análises posteriores. teoricamente. Uma assertiva que apresenta a sua carga. consequentemente. é calculada empregando-se técnicas apropriadas (Johnson. em valores absolutos. ou seja. com valor absoluto baixo. Seu sinal indica se ambos aumentam na mesma direção ou na direção reversa. Aval. Finalmente. 21. n. Para se alcançar uma con guração desse tipo. a variância – medida de variabilidade observada para as diferentes respostas de uma assertiva – pode ser decomposta em uma parte comum. certas diretrizes podem ser utilizadas. as correlações observadas para as assertivas e. como identi car se o percentual da variância explicada pelo modelo com um determinado número de fatores é expressivamente maior que aquela explicada pelo modelo que inclui um número maior de fatores. são usadas apenas assertivas com cargas superiores a 0. Com base no modelo fatorial construído pode-se: (i) de nir o número de fatores necessários para explicar.Na Análise Fatorial. algumas das quais foram empregadas neste trabalho. o grau de explicação obtido com esse modelo. pode-se utilizar um procedimento muito comum. 1992). para o constructo. adequadamente. como.. 1992). Neste trabalho. maior a in uência do fator na variável (assertiva) considerada. v. Educ. 47. ou. explicada pela existência de fatores (uma possível representação do constructo latente). São Paulo. até mesmo. na explicação das pro ciências dos alunos. portanto. Uma solução útil. em um determinado fator. Wichern. compartilhada com as respostas de outras assertivas. 2010 • 575 . Na solução do primeiro problema (i). pode ser resolvido pela inspeção das chamadas cargas. que facilita a análise e a interpretação dos fatores. p. ou. por exemplo. que consiste na transformação dos fatores originalmente construídos. Esse procedimento é a rotação ortogonal pelo método Varimax. provavelmente não está associada àquele fator e.

porque eu conheço bem os meus alunos”. E está relacionado. diretor e demais membros da equipe em suas atividades. bem como uma percepção. em geral. v. a possibilidade de aprendizado ca muito comprometida”. 569-590. A “Falta de colaboração dos pais” refere-se à percepção da participação familiar./dez. 47. serem receptivos às novas ideias. 576 • Est. concluiu-se que 7 fatores principais explicam 55. 2010 . de utilizar ou não esses resultados para analisar e rever suas práticas pedagógicas e seu trabalho em sala de aula. se o ensino da escola sofre in uência do intercâmbio de ideias e experiências entre os membros da equipe. 21. manterem alta a expectativa acerca do aprendizado dos alunos e se responsabilizarem por esse aprendizado. p.2 Variáveis construídas com base no questionário do professor Por meio da análise fatorial. tais como: melhorarem as aulas. ao planejamento e à discussão do conteúdo programático entre as diferentes séries e da sua turma pela equipe. n. abarcando a falta de apoio dos pais na aprendizagem dos lhos. set. o fator será considerado um constructo. negativamente. Aval.. às atividades inovadoras e ao bom funcionamento da escola. A interpretação de cada fator será apresentada a seguir e.2. também. à capacidade do diretor em promover reuniões dinâmicas e em dar uma atenção especial à aprendizagem dos alunos. Esse fator também se correlaciona. O constructo “Importância das avaliações em larga escala” associa-se ao fato de o professor julgar serem ou não relevantes os resultados das avaliações em larga escala. as preocupações e frustrações pro ssionais. negativa acerca das famílias dos alunos: “Com as famílias que os alunos dessa escola têm. após interpretado. O “Empenho da equipe” relaciona-se à percepção do professor sobre o empenho dos docentes. considerarem as ideias dos colegas. a frequência irregular às aulas.2. O constructo interpretado como a “In uência do diretor no trabalho do professor” está relacionado à percepção do professor sobre a ação do diretor para induzir ao ânimo. coordenarem o conteúdo entre diferentes séries. Educ. fato já esperado. A “Coesão e trabalho em equipe” se associa ao sentimento do professor quanto ao compartilhamento de ideias e experiências sobre o ensino e a aprendizagem na escola. à assertiva: “Eu acho as avaliações desnecessárias. à percepção sobre o respeito dispensado pelo diretor ao docente e ao respeito e à con ança que este tem pelo diretor. por m. e. a falta de disciplina dos alunos. ao comprometimento e à motivação ao trabalho.5% da variância total observada para as respostas às 44 assertivas (duas delas foram eliminadas por não se associarem a nenhum dos fatores). São Paulo.

São Paulo. é substancialmente menos importante que o erro individual de medida. tendo em vista que uma outra opção. Na tabela 4. na percepção do professor.A “Indisciplina dos alunos” relaciona-se à percepção dos professores quanto à indisciplina em diversos níveis: se os alunos da escola intimidam os colegas.1 (Muraki. em cada escola. n. foi inserido um pequeno instrumento a m de se mensurar o nível de conhecimento dos docentes sobre a avaliação em larga escala.3 A medida do conhecimento do professor sobre a avaliação educacional em larga escala No questionário contextual aplicado aos professores. 21. Bock. Educ. representam uma medida da correlação entre as respostas dadas ao item e o escore total. são apresentados os itens com seus respectivos percentuais de respostas e as correlações polisseriais que. 569-590. que não a correta. set. O instrumento é constituído por quatro questões (57 a 60). à indiferença de alguns docentes diante das necessidades individuais dos alunos e aos descasos. Para os cálculos. v. à carência de recursos materiais e estruturais da escola. mostrou-se importante na escolha dos professores. se desrespeitam o professor e se são mais propensos ao uso de álcool e drogas. Aval. o erro obtido para as médias. 2003). exceto para o item 57. a “Falta de materiais didáticos e instalações” está relacionada. 47. p. Est. 2010 • 577 . foi utilizado o software Parscale® 4. com a educação no país. semelhantes às cargas fatoriais.. 2. Por último./dez. Vale destacar que os professores cuja percepção é mais aguçada em relação à indisciplina dos alunos também tendem a identi car a insensibilidade dos outros docentes diante das necessidades individuais dos estudantes. para o qual foi usado o modelo de respostas graduadas de Samejima (1969). e.2. Quanto maior é o valor da correlação polisserial maior é a capacidade de discriminação do item. Foi utilizado o modelo de dois parâmetros da TRI para os itens. Cabe ressaltar que embora o número de questões seja pequeno o de respondentes é consideravelmente grande – mais de dez mil – o que possibilita o uso de modelos da TRI. em geral. Por outro lado. também.

3 0.8 66.57.59 Q. Tabela 5 – Parâmetros dos itens Questões Q.8 59.9 Correlação polisserial 0.5 2.0 46.8 4.603 *O percentual da resposta correta é apresentado em negrito.5 22.Tabela 4 – Estatísticas dos itens Questões Q.8 3.1 3. Ou seja.09 0./dez.59 Q. 2010 .22 0. 21. Educ. levando-se em consideração a intenção de seus elaboradores.60 a 0.86 0.735 0.0 12. Figura 1 – Imagem do item 1 Fonte: Questionário aplicado aos professores no Proeb (2007).9 20.3 Não respondido % 3.9 2. set.3 38. uma interpretação do conteúdo dos itens. 569-590. os itens são bem informativos ao longo da escala de medida que foi produzida.58 Q.88 1.661 0.7 5.1 2.7 5. p. Aval. 47.76 Parâmetros b0 0.57 Q.76.60 Percentual de escolha por alternativa 1ª 2ª 3ª 4ª 5ª % % % % % 50.8 3.9 19.58 Q. que o teste foi formado por questões com níveis de di culdade diferenciados e por parâmetros de discriminação (a) razoavelmente bons. Percebe-se. 578 • Est.57 Q.28 - * O modelo de crédito parcial foi ajustado somente para o item Q.7 16. de no mínimo 0. v. É apresentada.2 4.1 0.9 3. São Paulo.00 b 1* 1. a seguir. pelos parâmetros b dos itens apresentados na tabela 5. n..654 0.16 0.13 0.

21. Apesar de a coleta de informação de desempenho ter por fonte o aluno.O item 1 examina o foco da análise da avaliação externa.. Nesse último caso./dez. Pode-se supor que essa percepção aproxima a noção de desempenho aos aspectos do indivíduo. o que se tenta extrair dos testes são os resultados gerais dos alunos de cada escola. acreditam que é o aluno o foco da análise das avaliações em larga escala. todavia. no caso do Proeb. o foco da análise é. n. gera dúvidas nos professores. Em outras palavras. 2010 • 579 . v. O item 2 trata de informações sobre a composição da Matriz de Referência para Avaliação. Essa questão. na maioria. A Matriz de Referência para Avaliação agrupa um conjunto de descritores de habilidades e competências que dão origem aos itens dos testes de pro ciência. àqueles do 5° e 9° anos do ensino fundamental e do 3° ano do ensino médio. ao mesmo tempo em que a afasta do plano da instituição. como acontece nas provas para avaliação da aprendizagem no decorrer do ano letivo. 569-590. p. o seu resultado no teste não se re ete em alguma forma de progressão ou admissão. ou seja. Assim. ou em exames de concursos como o Enem e os vestibulares. Educ. A Matriz de Referência para a avaliação em larga escala é apenas uma amostra representativa da Matriz Curricular do Sistema de Ensino. essencialmente. São Paulo. que. 47. O teste do Proeb é aplicado aos alunos que cursam as séries nais de um ciclo. uma amostra do Conteúdo Básico Comum (CBC) de Língua Portuguesa e Matemática. Aval. em que o elemento avaliado é a aprendizagem do aluno em determinado conteúdo. set. Figura 2 – Imagem do item 2 Fonte: Questionário aplicado aos professores no Proeb (2007). uma vez que a concepção de “aplicação de provas” remete ao universo de sala aula. Est. a unidade correspondente é o próprio indivíduo em sua capacidade de compreensão dos conteúdos tratados pelo professor. No caso da avaliação do Simave/Proeb. a escola. o resultado do teste aplicado objetiva o conhecimento relativo ao que a escola ofereceu aos alunos em termos de competências e habilidades. Não é de estranhar esse resultado. fato que difere da avaliação externa.

em virtude da familiaridade com os termos. Essa questão teve alto índice de acerto (59%). possam ter optado por essa alternativa. mesmo aqueles que não 580 • Est. como os Boletins Pedagógicos. 21. set.. a frequência de respostas tenha sido maior para a alternativa 1. A escala de pro ciência é uma representação do desempenho do aluno por meio de um esquema grá co em que se agrupam as habilidades e competências avaliadas. São Paulo. mesmo aqueles que possuam um menor conhecimento acerca da Matriz de Referência para Avaliação. Assim. Figura 3 – Imagem do item 3 Fonte: Questionário aplicado aos professores no Proeb (2007). 2010 . pois esses conceitos são apresentados de maneira vinculada nos instrumentos de divulgação dos resultados. termos “competências”./dez. 47. As políticas de avaliação em larga escala. Aval. Esse alto índice de respostas à alternativa correta pode. v. p. tanto em nível nacional (Prova Brasil) quanto estadual (Simave. o que contribuiu para o elevado índice de acerto desse item (66%). a única que está relacionada à “média de desempenho” é a alternativa “escala de pro ciência”. n. Assim. O item 3 é basicamente uma questão que avalia se o professor reconhece uma escala de pro ciência mostrada exaustivamente nos Boletins Pedagógicos. a média geral do desempenho da escola. estar vinculado à forma de divulgação dos resultados que as escolas recebem. espera-se que. Talvez. das alternativas apresentadas. apresentam. 569-590. seguida da alternativa 2. Logo. por essa razão. supervisores e orientadores pedagógicos há algum tempo. Além disso. dentre eles. os resultados dos testes. também. bem como é a forma mais utilizada pela imprensa para elaboração de ranking das escolas. de diversas formas. Proalfa). Assim.Esse assunto tem sido abordado nos Boletins Pedagógicos com bastante frequência. Educ. “habilidades” e “aprendizagem signi cativa” que já fazem parte do discurso dos coordenadores. a alternativa correta “conteúdo curricular e habilidades/competências” é a que apresenta os conceitos mais comumente incorporados às políticas de capacitação de professores e diretrizes pedagógicas.

São Paulo. é possível chegar à solução correta (“50% a 80%”) por meio do bom senso e da eliminação dos distratores. Entretanto. Logo. Por outro lado. Figura 4 – Imagem do item 4 Fonte: Questionário aplicado aos professores no Proeb (2007). Alunos de uma mesma escola tendem a apresentar características sociodemográ cas mais homogêneas do que a população em geral. estas. p. normalidade. a estrutura dos dados na poEst. Educ. não é admissível a independência dos elementos amostrais em dados de pesquisas educacionais../dez. Em geral. v. além de serem submetidos a processos pedagógicos que diferem dos de outras escolas. só seria possível resolver corretamente o item 4. os três primeiros são razoavelmente admissíveis nos dados educacionais. Para uma exposição mais detalhada de tais pressupostos. 2010 • 581 . set. Aval. uma vez que a população de alunos está organizada em turmas e. Em um primeiro momento. pode-se consultar Raudenbush e Bryk (2002).possuem conhecimento do assunto podem ter assinalado a alternativa correta em virtude da familiaridade com os termos “Média de Desempenho” e “Escala de Pro ciência”. n. memorizando-se os percentuais de acerto associados a cada uma das cores empregadas na interpretação da escala do Proeb e apresentados nos Boletins de Resultados. ou contornados com base na utilização de grandes amostras. 47. 3 MODELOS LINEARES HIERÁRQUICOS DE REGRESSÃO Os modelos de regressão tradicionais admitem quatro pressupostos básicos para as características dos dados: linearidade. em escolas. 569-590. 21. homocedasticidade e independência entre os elementos amostrais.

Inicialmente. Essa di culdade é contornada pelo uso dos modelos lineares hierárquicos. 47. sobre as pro ciências dos alunos nos testes. mais apropriadamente. 3. logo após. são incluídas variáveis seguindo uma heurística de nida pelo especialista (Soares. 21. determinados alunos são analisados comparativamente aos demais estudantes da escola. Pode-se a rmar que ambos contribuem para o entendimento da realidade. Nesse modelo. há uma diferença conceitual importante entre os modelos de três e de dois níveis. enquanto no modelo de três níveis. isto é. n. v. também.1 Metodologia de construção e a análise dos modelos O processo básico mais utilizado na construção de um modelo hierárquico é o bottom-up. note-se que um modelo estruturado em três níveis hierárquicos só pode ser construído para escolas com pelo menos duas turmas e. como a condição socioeconômica do aluno. No Proeb-2007. por exemplo. Esse modelo tem a possibilidade. ou no nível de escola. estudos empíricos indicam que essa correlação é muito importante. a in uência das variáveis independentes. Por outro lado. Bryk. Congdon. 2010 . nos diferentes níveis. uma vez que para o 9° ano do ensino fundamental e 3° ano do ensino médio não é possível associar o professor às suas turmas. parte-se do modelo nulo – no qual somente se ajustam os termos constantes relativos a cada nível representado. p./dez. De fato. Aval. eles são analisados comparando-os aos colegas de turma.pulação é naturalmente correlacionada e hierárquica. O parâmetro foi aceito como xo quando não apresentou signi cância ao nível de 0. para parte da população envolvida. não sendo. possam ser consideradas em diferentes níveis: no nível de aluno. como a in uência da condição socioeconômica de todo o grupo de alunos. comparativamente.04 (Raudenbush. Todos os cálculos foram realizados utilizando o software HLM® 5. portanto. portanto. sob um enfoque diferente. Procurou-se. no modelo de três níveis. as turmas são analisadas. de explicar. é possível identi car 582 • Est. a existência de efeitos randômicos nos coe cientes estimados. set. São Paulo. inclusive. Por outro lado. dentro das escolas.. só é possível construir modelos de três níveis para o 5° ano escolar. 2005a). ainda. Na estrutura de dois níveis (alunos e escola). Ele possibilita. como a in uência da sua condição socioeconômica individual. que algumas variáveis. 569-590. Educ. o modelo de dois níveis apenas uma visão parcial. inferior ou menos adequada daquela obtida com o modelo de três níveis. 2001). cujo objetivo principal é o de considerar a correlação das medidas em função da estrutura hierárquica dos dados.001.

47. assim.0 5° EF MAT* % 81. também.7 16.melhor o efeito do tipo de política de distribuição de alunos pelas turmas adotada pela escola./dez.3 100. todas essas variáveis foram padronizadas para serem utilizadas adequadamente nas análises fatoriais. São Paulo. 569-590. Aval. o de meninos. a sua média nas respectivas escolas.0 3° EM LP* % 88. 2005a). políticas que afetam a escola como um todo. 3. o de alunos que recebem Bolsa Família e a defasagem média dos que são representados pelas variáveis “Percentual de alunos de cor ‘negra’”. “Percentual de alunos do gênero masculino”.9 15.0 100. calcularam-se os valores dos escores de cada constructo para cada professor e. entretanto. calculada a partir das variâncias estimadas para os erros entre o nível dos alunos e o nível de escolas (Soares.1 85. p.0 9° EF Disciplina LP* MAT* % % 88. “Percentual de alunos que recebem Bolsa Família” e “Defasagem média dos alunos”. como as estudadas em questão.9 100. Por m. v. o percentual de alunos “negros”.9 100.6 11. posteriormente. O resultado apresentado na tabela 6 mostra que do percentual de variabilidade total das pro ciências dos alunos as variáveis de segundo nível – o nível de escola – explicam entre 11. n.0 19. 21. set. obtendo-se. Calculou-se.0 MAT* % 84.1 100.0%.0 *LP: Língua Portuguesa.4% e 19.1 11. pôde-se estimar a proporção da variabilidade (variância) atribuída a cada nível. são melhores analisadas por modelos de dois níveis. Educ. respectivamente. Est..2 Modelo nulo Pelo ajuste somente de constantes nos modelos. 2010 • 583 . MAT: Matemática. 3. A média desses escores constitui-se em um indicador mais dedigno dos per s das escolas do que apenas a medida da percepção individual. as medidas para as variáveis “Coesão e trabalho em equipe” e “Conhecimento sobre avaliação em larga escala”.0 14. entre outras.4 100. Tabela 6 – Decomposição da variância entre os diferentes níveis para cada ano e disciplina Anos Nível 1° 2° Total LP* % 83.3 Processo de agregação das variáveis Para se obter as variáveis do nível de escola.

p. estão apresentados nas tabelas 7 e 8. para cada ano e disciplina estudados. 21. v. Educ./dez. n. 2010 . na percepção dos Coesão e trabalho em equipe professores Importância das avaliações em larga escala Falta de colaboração dos pais Indisciplina dos alunos Falta de materiais didáticos e instalações Percentual de alunos do gênero masculino Percentual de alunos de cor “negra” Variáveis referentes à condição Percentual de alunos que recebem Bolsa socioeconômica da escola Família Defasagem média dos alunos 3. set..3. Aval. 47. São Paulo.5 Modelos nais Os coe cientes dos modelos construídos pelos procedimentos descritos anteriormente. Quadro 1 – Variáveis utilizadas nos modelos de dois níveis Nível da variável Descrição das variáveis Variáveis referentes à condição socioeconômica do aluno Variáveis referentes à situação escolar Variável Gênero masculino Cor “negra” Bolsa Família Defasagem Aluno Escola Conhecimento do professor acerca da avaliação em larga escala Influência do diretor no trabalho do professor Variáveis referentes às questões Empenho da equipe acerca da escola.4 Variáveis empregadas na construção dos modelos As variáveis utilizadas neste estudo podem ser sintetizadas no quadro 1. 584 • Est. 569-590. apresentado a seguir.

88* -38.62* -18.17* 0.82* Coeficientes -15.85* -11.03* -34.32 -0.33* -1.22* 0.64 -0.49 0.39 -34.79* 0. São Paulo.33* -4.82* 6.73* 0.98* 1.12* 14.62* -4.86* -1.06* -7.55 -0.53* -2.93* 0. p.17* -18.34* -11. Educ.16* -32. **LP: Língua Portuguesa.11* -12.39 -1.22* 268.66* 4.23* 1.03* -4.72* -1.00 -2.14* Falta de materiais didáticos e -2.49* -3. Aval.91* -10.59 -6.83* 1.38 -20.69* -26.84* 2.57* -4.71* 187.41* 2.32* -7.Tabela 7 – Modelos em Língua Portuguesa e Matemática para cada ano escolar Anos Disciplina Variáveis do primeiro nível Intercepto Gênero masculino Cor “negra” Defasagem Bolsa Família Variáveis do segundo nível Percentual de alunos do gênero masculino Percentual de alunos de cor “negra” Defasagem média dos alunos Percentual de alunos que recebem Bolsa Família Conhecimento do professor sobre a avaliação em larga escala Influência do diretor no trabalho do professor Empenho da equipe Coesão e trabalho em equipe Importância das avaliações em larga escala Falta de colaboração dos pais Indisciplina dos alunos -8.43* -1..85* 0.06* instalações *Coeficiente significante ao nível de 0.20 -0.85* -10.69* -8. MAT: Matemática.80* -1.28* 2.46* -0.97* -11.97* -1.89* -6.54* -8./dez.59* 2. 47.25* -1.71* -1.84* LP** 5° EF MAT** LP** 9° EF MAT** 3° EM LP** MAT** Coeficientes 234.13* -10. 2010 • 585 .32* 0.72* -1.78* -1.15 -0.15* 1.42* -7.31* -6.37* 1.67* -1.38* 240. 21. n.10* -1.29* -10. Est.84 0.77* 5.80* 1. v. set.74* -10.13* -11.87* -36.24* 190.01. 569-590.07* 0.30* -1.75* -11.27* -27.91* -13.79 1.15* 1.53* -19.68* 0.03 1.29* -1.43* -3.06 -32.24* 0.55* 0.64* 275.37* 0.71* -35.

79 14. São Paulo. 21.61 5.03 3. permitem testar a robustez dos modelos e dos efeitos mencionados. Educ.22 9° EF Desvio Padrão LP* MAT* 11.94 - *LP: Língua Portuguesa. A “Defasagem”. ca claro que. pois o modelo já inclui controle pela condição socioeconômica. estão inseridas três variáveis: o gênero. Além disso.38 MAT* 17.87 4.09 3.00 4. n. que a variável cor “negra” esteja associada aos piores desempenhos é um efeito também já descrito e discutido anteriormente por muitos outros autores (Roscigno.20 MAT* 15. 2003).29 2.83 4.09 3.84 3. Aval. a cor/raça “negra” e “Bolsa Família”. representada pela variável “Bolsa Família”. 4 ANÁLISE DOS RESULTADOS DOS MODELOS 4. 586 • Est. tem in uência negativa. No primeiro grupo. resultado muito discutido na literatura especí ca (Luz.37 4. 2003) é que se observa um efeito líquido. 2006). ou seja.1 Associação das variáveis do aluno com o desempenho As variáveis do aluno associadas com o desempenho podem ser divididas em dois grupos: as características referentes às suas condições socioeconômicas e as relacionadas à sua trajetória escolar. 47. Mendonça.24 4. Quanto ao gênero. v. apesar de esses efeitos serem muito conhecidos./dez. 1999). set. quanto mais defasado é o aluno menor é a sua pro ciência. associa-se uma menor pro ciência. resultado tradicionalmente citado em muitos outros estudos (Carvalho. Ainsworth-Darnell..69 5. o que se deseja é controlar o efeito das variáveis de interesse por essas variáveis socioeconômicas. uma variável característica da trajetória escolar do aluno.31 3° EM LP* 12. 2010 .89 3. Novamente. o que surpreende (Soares.95 6. Por outro lado. os modelos indicaram associação positiva do gênero masculino com a pro ciência em Matemática e negativa em Língua Portuguesa. 569-590. À baixa condição socioeconômica dos alunos. p. MAT: Matemática.Tabela 8 – Efeitos randômicos em Língua Portuguesa e Matemática para cada ano considerado 5° EF LP* Intercepto Gênero masculino Defasagem Bolsa Família 14. como vem sendo observadas neste tipo de estudo.

versa) e. agregadas para o nível de escola. a colaboração dos pais e os materiais e instalações na escola do que aspectos que avaliam diretamente as suas atividades ou as de seus colegas. em estudos anteriores ver. signi cantes mesmo tendo sido consideradas no nível do aluno. como a “In uência do diretor no trabalho do professor”. Assim. Est. Eysenck (1964). inseridas no segundo nível. p. ou raça/cor. O fator “Importância das avaliações em larga escala”. assim. Entretanto. apresentam menores pro ciências quando inseridos em escolas onde é maior a concentração de alunos negros. em geral. apresentando efeito negativo. de esperar um diagnóstico mais acurado dos professores sobre a indisciplina dos alunos. já informava sobre o caráter julgador que alguns questionários podem assumir. de meninos e de alunos de baixa condição socioeconômica. São Paulo. cariam comprometidas. observam-se os efeitos já esperados e relatados pela literatura. 47. Não foi signi cante a in uência das variáveis. do conjunto da escola. Seria. por exemplo. por outro lado. que mede a importância atribuída pelos professores às avaliações em larga escala. apresentaram-se. as variáveis “Indisciplina dos alunos”. “Percentual de alunos de cor ‘negra’” e “Percentual de alunos do gênero masculino”. que é o “Conhecimento do professor sobre avaliação em larga escala”. presume-se que quem dá mais importância a esse tema também o conhece mais (e vice. por parte do docente. 569-590. apresentou um efeito positivo e signi cativo sobre o desempenho dos alunos. Por exemplo. escolas em que a coesão interna é maior. v. n. Uma possível explicação para a não signi cância de boa parte das variáveis originadas nas respostas dadas pelos professores aos instrumentos contextuais pode ser atribuída à subjetividade e à falta de neutralidade. a maior importância da inclusão dessas variáveis no modelo está no fato de que elas podem se constituir em possíveis variáveis de “confundimento” para a in uência da variável foco no estudo. set. maior deverá ser o conhecimento sobre a avaliação. a “Falta de materiais didáticos e instalações” e a “Falta de colaboração dos pais” foram estatisticamente signi cantes. a avaliação dos diretores e de outras características relativas à instituição. Por outro lado. interpretar esses resultados da seguinte maneira: alunos./dez. em suas pesquisas especí cas. 2010 • 587 . então. Aval. de qualquer condição socioeconômica.4. Pode-se. como “coesão” e “entrosamento”. que di cultaria um diagnóstico mais objetivo. Variáveis indicadoras das condições socioeconômicas da escola. Educ. gênero. 21.. Soares (2005a). “Empenho da equipe” e “Coesão e trabalho em equipe”. como “Percentual de alunos que recebem Bolsa Família”.2 Associação das variáveis da escola com as pro ciências Inicialmente. que descrevem o relacionamento entre os professores e o do professor com o diretor.

os menos conhecedores dos objetivos de tais avaliações. v. estariam os mais receptivos à aplicação dos testes. possivelmente. precisam ser levantadas e analisadas em estudos futuros. Entretanto. J. este grupo se empreenderia em conhecer melhor o funcionamento do processo de avaliação em larga escala e.ed. é notável que as demais variáveis relativas à percepção dos professores sobre a escola parecem ter uma importância menor quando se analisa os coe cientes dos modelos. os mais sintonizados com os objetivos e formas de tais avaliações. H. é possível constatar um eixo basal. São Paulo. 2003. que o “Conhecimento do professor sobre avaliação em larga escala” está associado ao desempenho do aluno nos testes de avaliação. não é possível concluir se o “Conhecimento do professor sobre avaliação em larga escala” é de fato mais importante. 2. estariam os mais resistentes à aplicação de testes. (Org. prepararia melhor os seus alunos.. 47. Aval. P. São Paulo. também. Belo Horizonte: UFMG. Sucesso e fracasso escolar: uma questão de gênero. Nota-se. como também as duas apresentadas. no qual tais atitudes podem ser projetadas: (i) em um extremo. Usos e abusos da psicologia. set. 1. F.A variável “Conhecimento do professor sobre avaliação em larga escala” foi estatisticamente signi cativa em todos os modelos construídos. 552 p. nesse leque de variações./jun. (ii) no outro extremo. neste estudo. Deve-se lembrar que o instrumento destinado a medir o conhecimento do professor em avaliação é mais objetivo que os demais.. independentemente de suas demais características. Pesquisa em e cácia escolar: origem e trajetórias. REFERÊNCIAS BIBLIOGRÁFICAS BROOKE. M. n. Poderia se cogitar se o primeiro grupo estaria procurando ajustar suas práticas escolares às avaliações em larga escala. 185-193. Assim. Educ. ou se a medida é mais precisa. No entanto. consequentemente. v. os mais informados e que mais discutem e utilizam os seus resultados e. os mais inconformados e críticos dos resultados e. Educação e Pesquisa.). 2010 . SOARES. N. que há uma variação expressiva de atitudes quando o tema tratado é a avaliação em larga escala. EYSENCK. pode-se cogitar que os professores com melhor conhecimento sobre o processo de avaliação educacional são aqueles que priorizam a formação dos alunos. 569-590. J. p. Outras hipóteses para explicar essa associação. então./dez. 1964. 29. 21. No entanto. ainda. 2008. São Paulo: IBRASA. p. Por outro lado. n. CARVALHO. jan. CONCLUSÃO Ficou comprovado. 588 • Est.

J. Pesquisa Operacional. M. Anais do… Caxambu. In: ENCONTRO NACIONAL DE ESTUDOS POPULACIONAIS DA ABEP.. WICHERN. CONGDON. p. 73-87. New York: Lawrence Erlbaum Associates. 54th ed. set. T. Caxambu. 2006.. and educational resources: persistent inequalities and achievement returns. Illinois: Scienti c Software International. R./abr. p. 72. MURAKI. D./dez. F. Educação como prática da liberdade. 2001..Hierarchical linear and nonlinear modeling.. p.04 . n. BOCK. 30. L. 2007. R. M. Applications of item response theory to practical testing problems. RAUDENBUSH. 2002. Parscale 4. p. JOHNSON. R. v. Michigan: Psychometric Society. Aval. In: HOX. 23. Chicago: Scienti c Software International. 29. jul. 1969. LORD. P. 47. Estimation of latent ability using a response pattern of graded scores. V. AINSWORTH-DARNELL. What are multilevel questions. 158-178. E. New Jersey: Prentice Hall. Applied multivariate statistical analysis. p. J. 421-441. F. n. (Ed. 2001. LUZ. SOARES. 2001. A. Califórnia: Sage.. 569-590. 15. São Paulo: Paz e Terra. S. C. 1980. Os Determinantes do desempenho escolar: a estrati cação educacional e o efeito valor adicionado. 3. S. and how might we explore them with quantitative methods? Estudos em Avaliação Educacional. 2006.). SOARES. 2003. 2010 • 589 . _________ . W. Modelo de três níveis hierárquicos para a pro ciência dos alunos de 4ª série avaliados no teste de Língua Portuguesa do Simave/Proeb-2002. jan. Recebido em: setembro 2009 Aprovado para publicação em: outubro 2010 Est. Race. 83-112. Construção de modelo de regressão hierárquico para os dados do Simave-2000. A. São Paulo. ABEP. HOX. T. SAMEJIMA.ed. São Paulo..01 for Windows. MENDONÇA. V. 1992. 21. v. J. S. Educ. Pesquisa Operacional. HLM 5. A. Sociology of Education. Rio de Janeiro. 1999. Michigan: Summer Institute. BRYK.ed. 1. M. 3. n. LEE. Hierarchical linear models. Multilevel analysis of regression and structural equation models. n.31-68. S. W. v. S. p. Hierarchical Models of Survey Data. v. W. RAUDENBUSH. 25. 2003. 2005b.FREIRE. L. J. ROSCIGNO. BRYK.. 24. Utilização da Teoria da Resposta ao Item na produção de indicadores socioeconômicos. D. W.. v. Rio de Janeiro. cultural capital. M. 2005a. Revista Brasileira de Educação.

You're Reading a Free Preview

Descarregar
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->