Escolar Documentos
Profissional Documentos
Cultura Documentos
NATAL/RN
2014
2014
BANCA EXAMINADORA
______________________________________
Prof. Dr. Luciano Menezes Bezerra Sampaio - UFRN
Orientador
_______________________________________
Prof. Dr(a) Breno Ramos Sampaio – UFPE
Membro externo
________________________________________
Prof. Dr(a) Janaína da Silva Alves – UFRN
Membro interno
AGRADECIMENTOS
A educação formal, compreendida pelo processo gradual que ocorre na escola, tem
como objetivo a aprendizagem de conhecimentos sistematizados e é de grande
interesse da sociedade, pois beneficia seus indivíduos e acarreta em diversos efeitos
positivos, como o aumento de produtividade e de bem-estar (JOHNES; JOHNES,
2007). Entender o que influencia o resultado educacional é tão importante quanto o
resultado em si, porque permite gerir estas variáveis de forma a obter um melhor
desempenho estudantil. Este trabalho faz uso da análise envoltória de dados (DEA)
para comparar a eficiência das escolas do Rio Grande do Norte. Neste método não-
paramétrico, é construída uma fronteira de eficiência a partir das escolas que melhor
usam os insumos definidos para gerar os produtos educacionais. Para tanto, os dados
utilizados foram obtidos através da Prova Brasil e Censo Escolar do ano 2011 para as
escolas públicas estaduais e municipais do Rio Grande do Norte. Algumas das
variáveis consideradas como insumos e produtos já foram obtidas diretamente destas
bases – outras duas foram elaboradas, com uso da Teoria de Resposta ao Item (TRI)
– são elas o índice socioeconômico e de infraestrutura escolar. Numa primeira etapa,
foram comparados diversos modelos DEA, com alterações de variáveis de insumos.
Em seguida, foi escolhido o modelo não discricionário para o qual foi aprofundada a
análise de resultados. Os resultados mostraram que apenas sete escolas foram
eficientes no 5° e 9° ano simultaneamente; não houve diferenças significativas entre
a eficiência das escolas municipais e estaduais; bem como não houve diferenças entre
escolas grandes e pequenas. Analisando os municípios, Mossoró se destacou em
ambos os anos com maior proporção de escolas eficientes. Por fim, o trabalho sugere
que, utilizando as projeções proporcionadas pelo método DEA, as escolas mais
ineficientes conseguiriam alcançar a meta do IDEB em 2011, ou seja, é possível
melhorar a educação do estado de forma significativa tomando as escolas eficientes
como base para as demais.
Formal education, understood by the gradual process that occurs at school, aims at
learning and systematic knowledge is of great interest to society as it benefits its
individuals and leads to many positive effects, such as increased productivity and
welfare (Johnes, Johnes, 2007). Understanding what influences the educational
outcome is as important as the result itself, because lets you manage these variables
in order to obtain a better student performance. This work uses the data envelopment
analysis (DEA) to compare the efficiency of Rio Grande do Norte schools. In this non-
parametric method, an efficiency frontier was construct from the best schools that use
the inputs set to generate educational products. Therefore, the data used were obtain
by Test Brazil and year 2011 School Census to state and municipal schools of Rio
Grande do Norte. Some of the variables considered as inputs and outputs have been
obtain directly these bases - the other two were prepared, using the Item Response
Theory (IRT) - they are the socioeconomic and school infrastructure indices. As a first
step, we compared several DEA models, with changes of input variables. Then was
chose the non-discretionary model for which was deep the analysis of results. The
results showed that only seven schools were efficient in the 5th and 9th grades
simultaneously; there were no significant differences between the efficiency of
municipal and state schools; and there were no differences between large and small
schools. Analyzing the municipalities, Mossoró excelled in both years with the highest
proportion of efficient schools. Finally, the study suggests that using the projections
provided by the DEA method, the most inefficient schools would be able to achieve the
goal IDEB in 2011, in other words, it is possible to improve the education of significant
state taking the efficient schools as a basis for too much.
1 INTRODUÇÃO ................................................................................................... 11
2 REVISÃO DA LITERATURA.............................................................................. 17
3 METODOLOGIA ................................................................................................. 42
4 RESULTADOS ................................................................................................... 50
6 REFERÊNCIAS .................................................................................................. 65
1 INTRODUÇÃO
2 A prova é construída de forma que a média dos países integrantes da OCDE seja 500 e com um
desvio-padrão igual a 100. O primeiro lugar em 2012 foi Xangai com uma pontuação média nas 3
disciplinas de 588 pontos, o Brasil ficou 402 pontos, ou seja, 186 pontos atrás e aproximadamente 1
desvio padrão abaixo da média.
3 Education at glance, 2014, p.257 Fonte: http://www.oecd.org/edu/Education-at-a-Glance-2014.pdf
13
4Exemplos de provas padronizadas internacionais são o PISA (Programme for International Student
Assessment) e o TIMSS (Trends in International Mathematics and Science Study)
No âmbito nacional as provas mais abrangentes são o ENEM (Exame Nacional do Ensino Médio) e a
ANRESC (Avaliação Nacional do Rendimento Escolar – Prova Brasil)
As provas são consideradas padronizadas por serem projetadas de modo que as questões, a aplicação,
procedimentos de pontuação e as interpretações dos resultados são consistentes, possibilitando uma
comparação entre provas longitudinalmente no tempo e transversalmente entre todos os respondentes.
14
políticos; (c) apesar da gestão das escolas do Ensino Básico estar dividida entre as
esferas municipais e estaduais, mesmo assim há uma interface entre ambas e estão
sob a mesma divisão política; (d) há uma ausência de trabalhos acadêmicos com essa
amostra e com o mesmo objetivo proposto; (e) possibilidade de compartilhar o
resultado da pesquisa com os gestores públicos do sistema educacional; (f) interesse
pessoal do pesquisador.
Dessa forma o objetivo geral do estudo é analisar a eficiência das escolas
públicas do ensino fundamental norte rio-grandense.
Para tanto, procedeu-se a consecução dos seguintes objetivos específicos:
a) Construção de dois índices – um socioeconômico e outro de
infraestrutura, ambos por escola do Estado do RN;
b) Análise da sensibilidade dos resultados à diferentes modelos propostos
do DEA;
c) Associação dos resultados de eficiência dos modelos a algumas
características das escolas, como a propriedade (se estadual ou
municipal), o tamanho e o índice socioeconômico da escola
d) Identificação das escolas que devem servir de referência no Estado do
Rio Grande do Norte para as demais.
Diante do exposto, espera-se que os resultados do trabalho possam ser usados
como um indicativo de possíveis falhas relacionadas à gestão e ofereçam subsídios
aos gestores das escolas nas tomadas de decisões e ao poder público no
direcionamento de políticas para que as escolas ineficientes busquem uma melhor
alocação de seus recursos.
Além desta Introdução, este trabalho contém outras quatro seções. A segunda
seção contém uma revisão da literatura sobre educação, a qual inclui os principais
autores e embasamento teórico e a revisão da literatura empírica sobre mensuração
de eficiência na educação com uso do DEA, além da apresentação dos modelos DEA
e da teoria de resposta ao item. Na terceira seção consta a descrição dos dados
utilizados, dos modelos escolhidos e dos procedimentos metodológicos adotados. A
quarta seção apresenta os resultados obtidos e a discussão relacionada a estes
resultados. Por fim, na quinta seção, há a conclusão e fechamento do trabalho
englobando os principais achados, limitações e possíveis extensões deste estudo.
17
2 REVISÃO DA LITERATURA
A Constituição obriga, nos termos do artigo 212, dessa forma definindo parte
do financiamento da educação pública, que a União aplicará, anualmente, nunca
menos de dezoito por cento, e os Estados, o Distrito Federal e os Municípios vinte e
cinco por cento, no mínimo, da receita resultante de impostos, compreendida a
proveniente de transferências, na manutenção e desenvolvimento do ensino.
No seu artigo 206, inciso VI, a Carta Magna defende a “‘gestão democrática do
ensino público, na forma da lei”, pela primeira vez, algo inexistente durante o período
da ditadura militar. Além disso, defendeu a profissionalização do setor, com a entrada
exclusiva por concurso público, a liberdade e independência do pensamento e a
autonomia financeira e pedagógica. Sendo assim a divisora de águas entre a
administração escolar e a atual gestão escolar e também sendo a fundação para a
posterior Lei de Diretrizes e Bases da Educação Nacional e o Plano Nacional de
Educação, os quais complementam e ampliam o que é afirmado pela Constituição.
A Lei de Diretrizes e Bases da Educação Nacional (LDB) 9.394/96 em seu artigo
1º diz que “a educação abrange os processos formativos que se desenvolvem na vida
familiar, na convivência humana, no trabalho, nas instituições de ensino e pesquisa,
nos movimentos sociais e organizações da sociedade civil e nas manifestações
culturais”. O 2º artigo estabelece que a educação é dever da família e do Estado,
inspirada nos princípios de liberdade e nos ideais de solidariedade humana, e que tem
por finalidade o pleno desenvolvimento do educando, seu preparo para o exercício da
cidadania e sua qualificação para o trabalho.
19
A Tabela 2 mostra que o Brasil possui uma escolaridade média de 7,2 anos,
empatando em último lugar com Suriname. O país fica em penúltimo lugar no quesito
de adultos alfabetizados e satisfação com a qualidade de ensino, com 90,3% e 53,7%,
respectivamente. Percentual de 49,5% da população possui ensino médio ou superior,
sendo este valor próximo à média dos outros países, porém aquém de Chile e
Equador, ambos com mais de 70% da população nesta categoria. A evasão escolar
no ensino fundamental é a mais alta da América do Sul e a terceira maior entre os 100
países com maiores Índice de Desenvolvimento Humano (IDH).
O desempenho médio do Brasil, no PISA, na média das disciplinas, fica em
terceiro lugar, atrás do Chile e Uruguai. Considerando todos os países participantes
do PISA 2012, um total de 65, o Brasil está na posição 57.
Portanto, aparentemente, os resultados educacionais brasileiros são,
relativamente, inferiores a outros países semelhantes da mesma região.
20
5 Houve algumas modificações na edição de 2013 em relação às edições anteriores. Dentre elas está
a construção do nível socioeconômico para as escolas classificando-as em 7 grupos e do índice de
formação dos professores, que corresponde ao percentual de professores com formação superior
adequada à sua posição. Ambas as variáveis foram construídas neste trabalho para os anos de 2007,
2009 e 2011.
22
A partir dessa escala é possível calcular o número de alunos que estão com o
conhecimento adequado ou não para cada disciplina e ano escolar. A Tabela 5
apresenta a porcentagem de alunos do Brasil e do Rio Grande do Norte com o
conhecimento adequado ou superior de acordo com a escala SAEB.
6No nível insuficiente os alunos não têm domínio dos conteúdos da série em que estão; no nível básico
os estudantes têm apenas domínio mínimo dos conteúdos; no adequado os alunos têm domínio pleno
dos conteúdos da sua respectiva série; por fim no nível avançado os estudantes têm domínio superior
ao exigido para a série que cursam. Para maiores detalhes o INEP disponibiliza os conteúdos
específicos apreendidos em cada categoria. Fonte: http://portal.inep.gov.br/web/saeb/escalas-da-
prova-brasil-e-saeb
23
7Fonte::http://download.inep.gov.br/educacao_basica/portal_ideb/o_que_e_o_ideb/Nota_Tecnica_n1_
concepcaoIDEB.pdf
24
𝑦𝑖 = 𝑓 (𝑥𝑖 , 𝑧𝑖 , 𝑑𝑖 ) (1)
dois níveis de análise: o nível 1 para os alunos e o nível 2 para as escolas. Um ponto
significante no estudo, no nível escolar, foi observar que o processo de seleção dos
alunos é responsável por 76% da variância do desempenho entre as escolas. Um
segundo ponto é que os fatores intraescolares representam 13% da variação do
desempenho escolar. Em outro trabalho, utilizando metodologia semelhante, Jesus e
Laros (2004) encontram um efeito de 6% dos fatores intraescolares.
Neto et al. (2013) desenvolveram um índice de infraestrutura escolar para todas
as escolas do Brasil usando os dados do Censo escolar 2011. Esse índice pode
sintetizar o efeito da infraestrutura escolar que é uma das variáveis dos fatores
intraescolares. O questionário do censo escolar informa apenas a existência ou não
do determinado item na escola, para essa característica dos dados (dicotômicos) e
tipo de questionário (somente preenchimento) o mais apropriado é o modelo logístico
dicotômico de dois parâmetros. Inicialmente os autores empregaram 24 variáveis para
a construção do índice, após um pré-teste foram descartadas duas variáveis por
possuírem um poder de discriminação (a) abaixo de 0,5.
Por razões sociais, econômicas, geográficas entre outras, a distribuição dos
alunos pelas escolas não é aleatória. A preferência dos pais possui um papel
importante e estas preferências estão pautadas pela proximidade da escola, violência
da região, atividades educacionais oferecidas e o desempenho da escola medida por
índices, como o IDEB, aprovação e reprovação (BARBOSA; FERNANDES, 2013).
Dessa forma, o nível de escolaridade dos pais, sobretudo da mãe, possui uma
das relações mais robustas e significantes com o aprendizado dos filhos em todos os
trabalhos pesquisados. Menezes-Filho (2007) encontra impacto significativo de ter
uma mãe com ensino superior. Além de haver um efeito de espalhamento (spill over)
dessa variável, pois o aumento da média da escolaridade das mães tem um impacto
maior do que o aumento da escolaridade da própria mãe do aluno. Portanto, a
localização geográfica e a seleção da escola pelos pais dos alunos são elementos
fundamentais que influenciam o desempenho das escolas públicas, entretanto as
mesmas não possuem domínio sobre esta etapa.
A performance escolar pode mensurada a partir de indicadores que utilizam os
fatores acima descritos. Esses indicadores, em geral, tem a forma de proporções que
representam a eficiência na produção de produtos ou na redução de insumos,
descrevendo o quão bom as organizações estão no critério escolhido. É preciso haver
cautela na utilização desses indicadores, sobretudo se há adequação entre os
27
possível para cada DMU, permitindo que DMUs que são competentes em apenas
alguma relação insumo/produto sejam consideradas eficientes, ou seja, bonifica os
pontos fortes da DMU enquanto não penaliza os pontos fracos; caracteriza a DMU
como eficiente ou ineficiente a partir de uma única medida (score) de fácil
interpretação; possibilita a projeção de valores ótimos para que a DMU alcance a
fronteira de eficiência; constrói uma matriz de DMUs de referência (benchmark) para
as DMUs ineficientes; promove uma comparação relativa entre as DMUs de acordo
com a amostragem, ou seja, a comparação e a projeção da eficiência são baseadas
em resultados reais (COOPER; SEIFORD; TONE, 2007).
A forma linear do modelo de retorno constante de escala (CCR) orientado a
insumo é descrita no problema de maximização abaixo (COOPER; SEIFORD; TONE,
2007, p. 23–24):
𝑋𝑚 é a quantidade de insumos, x ∈ ℝ𝑚
+;
𝑘 (3)
𝑀𝑖𝑛 ∑ 𝑣𝑘 𝑥𝑗𝑘
𝑘=1
𝑚
𝑠𝑢𝑗𝑒𝑖𝑡𝑜 𝑎 ∑ 𝑢𝑚 𝑦𝑗𝑚 = 1
𝑚=1
𝑘 𝑚
∑ 𝑣𝑘 𝑥𝑗𝑘 − ∑ 𝑢𝑚 𝑦𝑗𝑚 ≥ 0, 𝑗 = 1, … , 𝑁
𝑘=1 𝑚=1
𝑢𝑚 , 𝑣𝑘 ≥ 0, 𝑚 = 1, … , 𝑀, 𝑘 = 1, … , 𝐾
produção (𝑦𝑟𝑜 ) é atingida sobre uma restrição maior (quantidade menor de insumos
não discricionários) é merecido um score maior de eficiência, em relação a uma
produção atingida com uma abundancia maior desses recursos (𝑥𝑖𝑜 ). Para o contexto
da educação, o nível socioeconômico dos alunos é considerado um insumo não
discricionário. Em alguns estudos, foram usadas outras variáveis que captam esse
efeito como a quantidade de estudantes de minorias e a quantidade de estudantes
carentes por escola (COOPER; SEIFORD; TONE, 2007, p. 65).
Há dois modelos de DEA para variáveis não controláveis: o modelo DEA não
controlável9 (NCN) e o DEA não discricionário10 (NDSC) - a diferença entre eles é que
o primeiro não faz projeção para a variável não controlável (COOPER; SEIFORD;
TONE, 2007, p. 189).
As restrições do modelo não controlável fazem com que os insumos/produtos
do lado esquerdo da equação (DMU em análise) sejam iguais a combinação não
negativa das variáveis não controláveis do lado direito (conjunto de todas as DMUs).
Isso significa que DMUs devem ser comparadas com as DMUs com o mesmo nível
de variável não controlável. O modelo não discricionário (NDSC) permite que a
combinação entre o insumo não discricionário seja maior igual ou menor igual do que
a combinação não negativa dos insumos não discricionários de todas as DMUs.
𝑠
(4)
𝑀𝑎𝑥 𝜃 ∑ 𝑢𝑟 𝑦𝑟𝑜 − ∑ 𝑣𝑖 𝑥𝑖𝑜
𝑟=1 𝑖∈𝑁𝐷
𝑠
∑ 𝑣𝑖 𝑥𝑖𝑜 = 1
𝑖∈𝐷
𝑣𝑖 ≥ 𝜀, 𝑖 ∈ 𝐷
𝑢𝑖 ≥ 0, 𝑖 ∈ 𝑁𝐷
𝑢𝑟 ≥ 𝜀, 𝑟 = 1, . . . , 𝑠.
Onde:
𝜃 é o score de eficiência
o = DMU em análise
Uma suposição do modelo é que cada indivíduo possui uma habilidade latente distinta.
Dessa forma, pode ser criada uma escala numérica situando cada respondente. Cada
nível de habilidade latente (θ) terá uma probabilidade P(θ) de acerto do item. Sendo
assim, a probabilidade é pequena para respondentes com baixa habilidade, enquanto
a probabilidade é alta para respondentes com alta habilidade. O gráfico de P(θ) em
função de θ chama-se curva de característica do item e cada item do teste possui uma
curva distinta.
Existem vários modelos de TRI amplamente usados os quais variam no que diz
respeito ao número de parâmetros incluídos que, por sua vez, modificam a forma da
Curva de Característica do Item.
Os parâmetros são incluídos nesta ordem: localização/dificuldade (b);
discriminação (a); adivinhação/guessing (c) e assíntota superior (d) (ROBINS;
FRALEY; KRUEGER, 2009). A seguir há uma breve descrição de cada modelo com
sua respectiva equação para o cálculo da P(θ).
O modelo de um parâmetro (1PL) assume que é a adivinhação faz parte da
habilidade latente e que todos os itens que se ajustam ao modelo têm discriminações
equivalentes, de modo que os itens são descritos apenas pela dificuldade (b):
𝑒 (𝜃−𝑏) (5)
𝑃 (𝑋 = 1|𝜃, 𝑏) = .
1 + 𝑒 (𝜃−𝑏)
O modelo de dois parâmetros (2PL) assume que a resposta do item não têm
adivinhação (guessing - c), mas que os itens podem variar em termos de dificuldade
(b) e discriminação (a):
𝑒 𝑎(𝜃−𝑏) (6)
𝑃 (𝑋 = 1|𝜃, 𝑎, 𝑏) = .
1 + 𝑒 𝑎(𝜃−𝑏)
Este foi o modelo escolhido para construir o índice de infraestrutura e
socioeconômico, porque não é necessário um componente aleatório (c = 0) para o
preenchimento de questionários (AYALA, 2009; ROBINS; FRALEY; KRUEGER,
2009), sendo este o modelo usado para construção do índice de infraestrutura escolar
por Neto et al. (2013) e o índice socioeconômico por Alves et al. (2014).
39
(7)
P(𝑋𝑖𝑗 = 𝑘|𝜃 𝑎𝑖 𝑏𝑗 )
1 1
= −
1 + exp[−𝑎𝑖 (𝜃𝑗 − 𝑏𝑖𝑗 , 𝑘 − 1)] 1 + exp[−𝑎𝑖 (𝜃𝑗 − 𝑏𝑖 , 𝑘)]
P(K) sendo a probabilidade que a resposta ao i-ésimo indicador seja igual ou superior
a K, para valor de 𝜃.
3 METODOLOGIA
3.1 Amostra
Este estudo utiliza os microdados da Prova Brasil e Censo escolar no ano 2011,
disponibilizados no site do Instituto Nacional de Estudos e Pesquisas Educacionais
Anísio Teixeira (INEP)12. Os dados educacionais nas bases brasileiras são
organizados hierarquicamente nos seguintes níveis: alunos; turma; escola; município;
estado; país. Além de dados no nível escolar, dados no nível dos alunos são
agregados para criação do índice socioeconômico das escolas. O objetivo foi construir
as variáveis de insumo e produto que serão usadas no modelo DEA e que estão
listadas na Tabela 6.
12 Fonte: http://portal.inep.gov.br/basica-levantamentos-acessar
43
Tabela 7 - Escolas participantes do Censo Escolar e Prova Brasil para o Brasil e Rio
Grande do Norte no período de 2007, 2009 e 2011
A média de aluno por turma do quinto e nono ano são próximas, sendo 27,6 e
29,7 respectivamente. O máximo dessa variável para o nono ano é de 55,3 e o desvio
padrão é de 6,6, isto sugere que as turmas no nono ano são um pouco maiores em
relação às do quinto ano.
A proporção aluno/professor difere bastante entre os anos, tendo média de 10,9
para o quinto ano e 5,4 para o nono ano. Esse dado aponta para existência de uma
maior quantidade de professores para esta série visto que as quantidades de alunos
por turma são semelhantes.
O nono ano possui em média uma maior porcentagem de professores com
ensino superior quando comparado ao quinto ano, sendo para o nono ano 87,1% e
76,5% para quinto ano. Pode ser que o próprio conteúdo da disciplina faça com que
sejam alocados professores com maior qualificação para o nono ano.
Os índices de infraestrutura e socioeconômico foram construídos com média 0
e medidos em desvios padrão entre -3 e 3. Para possuir valores positivos, a fim de
serem utilizados no DEA, foi preciso fazer uma transformação linear para que os
valores ficassem entre 0 e 10. Com isso, o resultado foram médias de 5 para ambos
os índices e o desvio padrão em torno de 1,5 para o índice de infraestrutura escolar e
0,3 para o índice socioeconômico, ou seja, as escolas possuem uma composição
socioeconômica parecidas. Uma hipótese sugerida é que ao estender a análise para
outros estados ou o país inteiro, talvez a importância do modelo não controlável ganhe
49
4 RESULTADOS
eficientes neste modelo foi de 52, sendo assim, 772 foram ineficientes. Este foi o
menor número de DMUs eficientes entre todos os modelos, com 6,7% do total.
O modelo 413 possui os mesmos insumos e produtos do modelo 1. A diferença
é o método usado do DEA, sendo este o método não controlável. Os resultados deste
modelo foram muito próximos aos do modelo 1 com a eficiência média ficando um
pouco maior, 85,2%, enquanto o número de DMUs eficientes apenas uma unidade
menor, ou seja, 84. Este modelo faz com que não haja projeções para o índice
socioeconômico por este ser uma variável não discricionária.
A eficiência mínima para os modelos 1, 3 e 4 foi de 62,8% e para o modelo 2
de 60,6%, não havendo assim uma grande diferença entre os modelos e, de certa
forma, apontando para uma homogeneidade nos resultados da eficiência, uma vez
que a eficiência técnica média nos modelos ficou entre 83,1% e 85,2%. Assim, há uma
oportunidade de acréscimo nos resultados educacionais de pelo menos 15% somente
a partir da melhoria da eficiência dos insumos escolares.
A análise para o nono ano seguiu o mesmo procedimento, sendo testados os 4
modelos propostos. O total de escolas da amostra participantes da Prova Brasil 2011
no nono ano foi de 546, conforme os resultados na tabela 14.
O modelo 1 com todos os insumos e produtos e retorno variável de escala com
orientação produto obteve 88.8% de eficiência média e 47 escolas na fronteira de
eficiência. Este resultado foi muito parecido com o modelo 4 - a única diferença nas
estatísticas foi que a eficiência média do modelo 4 é 0,2% maior e o mínimo de
eficiência foi 0,1% menor que o modelo 1.
Os modelos 2 e 3 também possuíram resultados semelhantes com 28 escolas
eficientes e eficiência média para os modelos de, respectivamente, 87,6% e 86,6%.
É possível visualizar uma semelhança nos resultados entre os diferentes
modelos, para ambas as séries. O modelo 4 foi aquele com maior eficiência média
seguido dos modelos 1, 2 e 3, ou seja, o escore de eficiência média dos modelos foi:
𝜃4̅ > 𝜃1̅ > 𝜃2̅ > 𝜃3̅ .
13 O modelo não discricionário (NDSC) foi testado nas análises, porém o seu resultado foi idêntico ao
retorno variável de escala (BCC).
52
Para o quinto ano, a ordem dos modelos com maior número de DMUs eficientes
foram: modelo 1 > modelo 4 > modelo 2 > modelo 3. Para o nono ano, a ordem foi:
modelo 1 = 4 > 2 = 3. Apesar do número de DMUs eficientes ser o mesmo para o
modelo 1 e 4, e também para os modelos 2 e 3, a ordem de eficiência se assemelha
à ordem do quinto ano. Essas igualdades podem ter ocorrido por causa de um menor
número de DMUs no nono ano; com isso, não foi possível captar diferenças entre os
modelos, visto que elas são pequenas.
Dentre todos os modelos, aquele escolhido para análise em pormenor foi o
número quatro, devido a sua melhor adequação teórica ao problema proposto. A
justificativa para esta escolha foi: o modelo DEA não controlável é o que reflete a
natureza do insumo ‘índice socioeconômico’ não gerenciável pelas escolas; também
é o modelo mais completo com todos os insumos escolares disponíveis, o que permite
um leque de opções maior para que cada DMU seja eficiente no processo produtivo.
Portanto, as análises a seguir tem como base apenas o modelo 4.
do 5° ano, 543 são municipais e 281 estaduais, havendo assim uma grande diferença
entre as amostras, já no nono ano a diferença é bem pequena com 281 escolas
municipais e 265 escolas estaduais.
A eficiência média, a eficiência mínima e a porcentagem de escolas eficientes
são um pouco maiores no quinto ano para as escolas estaduais do que para as
municipais (86% contra 84,8%; 68% contra 62,8%; e 11% contra 9,8%,
respectivamente). A situação é invertida quando se analisa o desempenho no nono
ano: a eficiência média é muito próxima entre os dois tipos de escolas (88,8% para as
municipais e 89,2%, para as estaduais), entretanto o valor da eficiência mínima e o
número de escolas eficientes municipais é maior (71,6% contra 66,7%; e 9,3% contra
7,9%, respectivamente).
Em resumo, não foi constatada grande diferença entre as eficiências médias das
escolas municipais e estaduais, nos dois anos de ensino; as eficiências mínimas
apresentaram uma diferença razoável, porém foi menor para uma escola da rede
municipal, no quinto ano, e menor, para uma escola da rede estadual, no nono ano; o
número de escolas eficientes variou bastante entre as duas redes, mas pouco quando
se observam os percentuais de escolas eficientes. Assim, no geral, não há uma clara
diferença de eficiência entre as duas redes.
O total de escolas com turmas no 5° e 9° ano que realizaram a Prova Brasil foi
de 328. Desse subgrupo, 22 escolas foram eficientes no 5° ano e 21 escolas no 9°
54
A Tabela 16 aponta que a escola pode ser considerada eficiente mesmo não
possuindo as maiores notas e os maiores IDEBs, sendo este um dos objetivos da
análise - ponderar o resultado pelos insumos utilizados. No quinto ano, três escolas -
Professor Manuel Assis, Rotary e Barão do Rio Branco – obtiveram IDEB acima de 6,
que é a meta do Plano de Desenvolvimento da Educação (PDE) para 2021; a nota 6
também é equivalente a média dos países da OCDE; apenas 8 escolas da amostra
tiveram nota 6 ou superior. Todas as escolas da tabela 16 tiveram IDEB acima da
média do estado, para o quinto ano, que foi de 3,8.
55
Apesar da nota padronizada para o nono ano ser próxima de 5 para essas
escolas, uma nota bem acima da média, o IDEB para as escolas Heirmann Gmeiner,
Tancredo de Almeida Neves e Palmira de Souza foi baixo devido a taxa de aprovação.
Com isso o IDEB ficou em 2,8, 3,5 e 3,9 e, assim, a escola Heirmann Gmeiner ficou
abaixo da média que é 3,0 e as escolas Tancredo de Almeida Neves e Palmira de
Souza um pouco acima da média. Nesta primeira análise, não foi possível identificar
se a taxa de aprovação dessas escolas foi baixa por optarem por um sistema
pedagógico mais rigoroso.
A Tabela 17 compara a eficiência das escolas entre os modelos 1 e 4. O ponto
de destaque nessa tabela são as escolas que somente são eficientes em um dos
modelos. O modelo 1 possui 20 escolas no 5° ano e 10 escolas no 9° ano, enquanto
o modelo 4 possui 19 e 10 escolas para o 5° e 9° ano, respectivamente. As escolas
que foram eficientes no modelo 1 e não foram no modelo 4, quase foram eficientes -
todas elas obtiveram acima de 99% de eficiência.
Entretanto, o mesmo não aconteceu para as escolas que foram eficientes no
modelo 4 e não foram no modelo 1. Essas escolas possuíram níveis de eficiência
bastante diversificados, umas muito próximas da fronteira, outras bastante
ineficientes. Dessa forma, apesar do número de escolas e a média desses dois
modelos serem muito próximas, por volta de um terço das escolas que compõe a
fronteira são diferentes, e consequentemente, a fronteira e o benchmark calculado é
distinto entre os modelos.
.8
.7
.6
1
.9
Eficiência
.8
.7
.6
14
As tabelas 20 e 21 não foram construídas com as informações de todos os municípios porque são
mais de 160 por amostra e a maioria deles possuindo menos de 3 escolas.
59
A Tabela 21 contém as mesmas informações que a Tabela 20, sendo que para
as escolas do 9° ano do ensino fundamental. A eficiência média oscila entre 84,5%
para Santa cruz até 93,6% para Apodi. Apesar do mínimo e máximo da eficiência
média da Tabela 21 serem maiores do que os da Tabela 20, o número de escolas
eficientes por município no nono ano é bem menor. Cinco municípios – São Gonçalo
do Amarante, Ceará-Mirim, Apodi, Currais Novos e Santa Cruz – não possuem
nenhuma escola eficiente; e três municípios – Parnamirim, Macaíba e Caicó –
60
possuem apenas uma escola eficiente. Natal e Mossoró estão empatadas com sete
escolas eficientes, sendo que Mossoró possui uma maior proporção de escolas
eficientes (16,7%), do que Natal (8,3%). É importante ressaltar que no 9° ano a
eficiência aparenta estar relacionada com o tamanho do município. Isto pode indicar
que os municípios menores não possuem tanta preocupação com níveis mais
superiores de ensino. Outra hipótese é que o estado se preocupa mais com o ensino
médio, por ser sua real competência, fazendo com que o governo e secretaria de
educação estadual prestem menos atenção aos menores municípios.
Mossoró é o melhor município em relação à proporção de escolas eficientes no
5° ano e no 9° ano e também obteve a melhor posição na eficiência média no 5° ano
e segunda melhor no 9° ano. A partir desse resultado, este município pode servir de
modelo para outros em uma análise para gestores estaduais. Outra sugestão seria
identificar se há alguma diferença desse município em relação aos outros que poderia
explicar este resultado.
Desse modo, é possível visualizar que a mudança proposta pelo método DEA
teria um efeito significante no resultado e que essa mudança é ponderada pelos
insumos intraescolares, potencial socioeconômico dos alunos e comparando com
escolas próximas e semelhantes, do mesmo estado e município.
Apesar de já existirem as metas do IDEB, criadas pelo MEC, o método DEA
também é capaz de sugerir metas no desempenho educacional para cada escola
analisada, com o diferencial de considerar as escolas semelhantes para a projeção
da meta, a localidade e a competência da escola da escola ao ponderar por insumos
não discricionários. O resultado do DEA ainda sugere que as metas propostas pelo
MEC são possíveis de serem alcançadas pelas escolas, ou seja, a meta não está além
da capacidade da escola.
63
5 CONSIDERAÇÕES FINAIS
quantidade de escolas para as quais elas servem como referência (benchmark). Este
resultado pode ser complementado por estudos qualitativos com o intuito de
compreender melhor as razões do sucesso das escolas que mais serviram de
referência para as ineficientes.
Esses resultados são importantes porque assim é possível aumentar o
desempenho através da melhoria da eficiência das variáveis intraescolares baseando-
se no benchmark encontrado das escolas. À partir da construção de um IDEB usando
as notas projetadas do DEA em português e matemática foi demonstrado que as
escolas estão operando de forma ineficiente e possuem enorme potencial para
melhora, e caso esse potencial fosse utilizado, conseguiriam superar a meta proposta
do MEC. O método ainda permite a criação de metas para cada escola, de forma
semelhante a meta do MEC.
Dentre as principais limitações do trabalho estão a análise transversal e uma
base de dados relativamente pequena devido ao foco no ensino fundamental apenas
do Rio Grande do Norte. Sendo assim, o trabalho pode ser estendido futuramente
através de análises longitudinais, ou seja, da análise da eficiência e sua mudança ao
longo dos anos, através do índice de Malmquist ou DEA dinâmico. Uma outra
possibilidade é tentar captar as duas fases da eficiência escolar através da utilização
do DEA network, computando a eficiência da transformação dos recursos financeiros
em insumos escolares e, em seguida, o uso destes insumos em desempenho. Outra
possibilidade é realizar um DEA dois estágios em conjunto com algum modelo
econométrico. Por fim, pode-se comparar o modelo proposto neste estudo com um
modelo incluindo a nova variável socioeconômica e de qualificação do professor
disponíveis na Prova Brasil 2013.
65
6 REFERÊNCIAS
AYALA, R. J. D. The Theory and Practice of Item Response Theory. [s.l.] Guilford
Press, 2009.
BAKER, F. B. The Basics of Item Response Theory. Second Edition. [s.l.] For full
text: http://ericae.net/irt/baker., 2001.
BARBETTA, G. P.; TURATI, G. Efficiency of Junior High Schools and the Role of
Proprietary Structure. Annals of Public and Cooperative Economics, v. 74, n. 4, p.
529–552, 2003.
FRIED, H. O. et al. Accounting for Environmental Effects and Statistical Noise in Data
Envelopment Analysis. Journal of Productivity Analysis, v. 17, n. 1-2, p. 157–174,
1 jan. 2002.
GIMÉNEZ, V.; PRIOR, D.; THIEME, C. Technical efficiency, managerial efficiency and
objective-setting in the educational system: an international comparison. Journal of
the Operational Research Society, v. 58, n. 8, p. 996–1007, 19 jul. 2006.
GOLANY, B.; ROLL, Y. An application procedure for DEA. Omega, v. 17, n. 3, p. 237–
250, 1989.
HU, Y.; ZHANG, Z.; LIANG, W. Efficiency of primary schools in Beijing, China: an
evaluation by data envelopment analysis. International Journal of Educational
Management, v. 23, n. 1, p. 34–50, 2009.
7 APÊNDICE A
As 84 escolas eficientes do 5° ano – Modelo 4, 2011
8 APÊNDICE B
As 47 escolas eficientes do 9° ano – Modelo 4, 2011