Você está na página 1de 15

Polticas de incluso no ensino superior: avaliao do

desempenho dos alunos baseado no Enade de 2012 a 2014I

Jacques WainerII
Tatiana MelguizoIII

Resumo

Este artigo compara as notas obtidas nos Enades de 2012 a 2014 por
alunos que entraram no ensino superior via cotas, receberam bolsa
ProUni ou emprstimo via Fies com a nota de seus colegas de classe
que no receberam o benefcio correspondente. A comparao
feita usando a diferena entre as mdias das notas padronizadas
dos exames gerais e especficos do Enade. O artigo define um limite
de equivalncia como sendo a diferena da mdia das notas dos 5%
dos alunos com resultados logo acima da mdia e dos 5% dos alunos
logo abaixo da mdia de todos os alunos. Diferenas abaixo desse
valor foram consideradas sem importncia prtica. Tendo em vista
essa definio, alunos cotistas tiveram desempenho equivalente ao
de seus colegas de classe no cotistas, assim como os alunos que
recebem emprstimo do Fies. Alunos que recebem bolsa do ProUni
tiveram desempenho superior ao dos seus colegas de classe.

Palavras-chave

Educao superior Cotas ProUni Fies Enade Desempenho.

I- Agradecimentos: a pesquisa reportada


neste artigo foi financiada pelo projeto
Fapesp 15/19288-0.
II- Instituto de Computao. Universidade
de Campinas (Unicamp), Campinas, SP,
Brasil.
Contato: wainer@ic.unicamp.br
III- Rossier School of Education. University
of Southern California. Los Angeles, CA, EUA.
Contato: melguizo@usc.edu

Educ. Pesqui., So Paulo, Ahead of print, 2017. DOI: http://dx.doi.org/10.1590/S1517-9702201612162807 1


Inclusion policies in higher education: evaluation of student
performance based on the Enade from 2012 to 2014

Jacques WainerII
Tatiana MelguizoIII

Abstract

This paper compares the grades on the Enade exams from 2012 to
2014 of students who were accepted into higher education through
affirmative action, who received the ProUni scholarship, or who
received the government sponsored student loans (FIES) with
the grades of students in the same class who did not receive the
corresponding benefit. The mean of the standardized exam grades
(both general and specific exams) are used for the comparison.
The paper defines a limit of equivalence between grades as the
difference of the mean grade of the 5% students with grades just
above the mean and of the 5% students with grades just below the
mean of all students. Differences below this limit of equivalence
are considered of no practical relevance. Under this definition, the
performance of students who were accepted through affirmative
action is equivalent to that of their classmates who did not receive
such benefit, as is the performance of students who received the
FIES student loan. Students who received the ProUni scholarship
performed better than their classmates.

Keywords

Higher education Affirmative action ProUni FIES Enade


Performance

I- Acknowledgment: this research was


funded by FAPESP grant 15/19288.
II- Instituto de Computao. Universidade
de Campinas (Unicamp), Campinas, SP,
Brasil.
Contato: wainer@ic.unicamp.br
III- Rossier School of Education. University
of Southern California. Los Angeles, CA, EUA.
Contato: melguizo@usc.edu

2 DOI: http://dx.doi.org/10.1590/S1517-9702201612162807 Educ. Pesqui., So Paulo, Ahead of print, 2017.


Introduo H alguns programas federias de bolsas
e auxlios, mas o mais famoso o Programa
H trs famlias de aes de incluso no Universidade para Todos (ProUni) que d bolsas
ensino superior (ES). A primeira a poltica de para o pagamento das mensalidades de alunos
cotas, ou poltica de ao afirmativa, que reserva em IES pagas (as bolsas cobrem 100% ou 50%
vagas de Instituies de Ensino Superior (IES) para da mensalidade). Existem tambm alguns
alunos de grupos desprivilegiados (seja por critrio programas federais de bolsas e auxlio para
de raa ou social). A segunda uma poltica de ajuda de custo: associado ao ProUni existe o
bolsas para alunos de grupos desprivilegiados, Programa Bolsa Permanncia, que d um auxlio
e a terceira, uma poltica de emprstimo para o no valor de uma bolsa de iniciao cientfica
pagamento das mensalidades em IES pagas. para alunos com bolsa integral do ProUni. H
As polticas de cotas atingem tambm o Programa de Bolsa Permanncia
principalmente IES federais e estaduais, que (PBP), que d bolsas para alunos indgenas ou
na sua maioria, reservam vagas para alunos em vulnerabilidade socioeconmica que esto
de grupos desprivilegiados. Em poucos casos, cursando IES federais. Bolsas de manuteno
alunos dos grupos desprivilegiados recebem um e permanncia, auxlios e ajudas de custo no
bnus na pontuao do vestibular. As polticas sero objetos deste estudo.
de cotas surgiram em 2000 nas universidades Finalmente, o mais conhecido programa
estaduais, em particular UERJ e UENF dentro da terceira famlia o Fundo de
(Universidade Estadual do Norte Fluminense). Financiamento Estudantil (Fies). Alunos recebem
A partir de ento, IES estaduais e federais um emprstimo para pagar as mensalidades da
passaram a crescentemente incluir polticas de instituio e comeam a pagar o emprstimo um
cotas, com critrios diferentes, baseados em leis ano aps a concluso do curso. At 2015, a taxa
estaduais ou decises dos respectivos conselhos de juros do Fies era de 3,4%, e a partir de 2015, de
universitrios (FERES JUNIOR; DAFLON, 2014; 6,5%. Como as taxas de juros so efetivamente
EURISTENES; CAMPOS; FERES JUNIOR, 2015). menores que a inflao, pode-se considerar
Um marco fundamental para as polticas que o Fies um programa de transferncia de
de cotas foi a aprovao da Lei 12.711/2012. A lei recursos para as famlias de alunos com maior
impe um programa crescente de cotas em todas vulnerabilidade econmica.
as universidades e institutos federais at atingir, O objetivo deste artigo analisar se, ao
em 2016, o patamar de 50% das vagas de todos os final do curso, o rendimento dos alunos que
cursos dedicadas a cotas, e uniformiza os critrios se beneficiaram de qualquer uma dessas trs
para sua distribuio. A lei impe que: variaes de programas de incluso (cotas,
no mnimo 25% das vagas sejam ProUni ou emprstimo) equivalente ou no ao
preenchidas por estudantes de escolas pblicas de seus colegas que no se beneficiaram dessas
e com renda bruta de at 1,5 salrios mnimos; polticas. Para tanto, usaremos dados do Enade
um percentual apropriado dessas de 2012, 2013 e 2014. O Enade um exame para
vagas seja alocado para alunos pretos, pardos alunos que esto concluindo um curso superior
e indgenas, que deve corresponder proporo e contm duas partes: uma geral, comum para
de pessoas dessas etnias/raas no estado; todos os alunos de um determinado ano, que
at 25% das vagas sejam ocupadas mede habilidades cognitivas gerias, tais como
por estudantes de escolas pblicas com renda interpretao de textos e grficos, raciocnio
superior a 1,5 salrios mnimos; lgico etc.; e a parte especfica, que mede
um porcentual apropriado dessas conhecimentos particulares de cada curso.
vagas seja preenchido por alunos pretos, pardos De forma geral, a ideia desta pesquisa
e indgenas. sempre comparar dois grupos: os alunos

Educ. Pesqui., So Paulo, Ahead of print, 2017. 3


que se beneficiaram de alguma das polticas superior. Espera-se que uma maior diversidade
de incluso discutidas acima e seus colegas de de alunos passe a frequentar o ES em relao ao
classe que no se beneficiaram delas. Classe, que se esperaria sem essas polticas de incluso.
neste artigo, uma combinao nica de IES, A segunda e terceira dimenses so evaso
curso, perodo das aulas e municpio todos os e tempo para a graduao. Alunos cotistas e
alunos do curso A, no perodo noturno, da IES B, potencialmente alunos bolsistas provavelmente
na cidade C so considerados colegas de classe. tm piores condies socioeconmicas e
Assim, por exemplo, se estamos comparando educacionais para cursar o ES. Dificuldades
o rendimento de alunos que se beneficiaram financeiras para pagar as mensalidades e para se
de polticas de cotas (sejam sociais ou raciais), sustentar durante o ES e uma pior formao no
ento faremos a comparao de todos os alunos ensino secundrio podem forar alunos cotistas
cotistas nos trs anos analisados, com os e bolsistas a abandonar o ensino superior
demais alunos das classes em que os cotistas (aumentando a evaso), ou, no mnimo, atrasar
cursaram seu ensino superior. E compararemos a concluso dos cursos (aumentando o tempo
os dois grupos usando tanto as notas dos para graduao) em comparao a seus colegas
exames especficos como as notas dos exames no cotistas e no bolsistas. Embora essas
gerais. Discutiremos, na seometodologia, que dimenses sejam importantes, este artigo no
possvel combinar os resultados dos exames tratar delas. Finalmente, a quarta dimenso
de diferentes cursos/carreiras num s resultado. o rendimento dos alunos: alunos bolsistas
Dessa forma, os objetivos deste trabalho e cotistas se formam com o mesmo nvel de
so determinar se: conhecimento que seus colegas? Esse o foco
estudantes cotistas (tanto por razes deste artigo.
sociais quanto raciais) tm um desempenho nos H alguns artigos cientficos sobre o
exames do Enade equivalente ou no ao dos ProUni, mas a maioria so pesquisas qualitativas
seus colegas de classe no cotistas; sobre as opinies e experincias dos bolsistas
estudantes que recebem bolsas do (AMARAL; OLIVEIRA, 2011; SARAIVA; NUNES,
ProUni tm desempenho equivalente ou no ao 2011; CARVALHO, 2008). Almeida et al. (2010)
dos seus colegas que no receberam a bolsa; inclui um levantamento de testes e dissertaes
estudantes que receberam emprstimo sobre o ProUni at 2009. O nico artigo sobre
do Fies tm um desempenho equivalente ou polticas de financiamento e rendimento dos
no ao dos seus colegas que no receberam o alunos o de Barbosa e Santos (2011). As
emprstimo. autoras usam dados do Enade e comparam as
Acreditamos que as respostas a essas notas no exame de alunos com e sem bolsa
questes so importantes na avaliao das ProUni, e com e sem emprstimo do Fies, em
polticas de incluso no ensino superior. Dessa oito cursos diferentes. Com poucas excees,
forma, achamos importante no discutir, por alunos com bolsa do ProUni tm melhores
exemplo, diferenas de desempenho entre notas nos exames e, em trs dos cursos, alunos
diferentes cursos, como tem sido feito na grande com emprstimos do Fies tm notas maiores
maioria das publicaes sobre o assunto. que os alunos sem nenhuma bolsa ou auxlio.
As autoras no fazem a anlise de significncia
Avaliao de programas de estatstica para as diferenas encontradas.
incluso A poltica de cotas recebeu muito mais
ateno no debate pblico, seja em artigos
H quatro dimenses a partir das quais cientficos, seja em debates. A grande maioria
um programa de incluso em ES pode ser de artigos cientficos sobre a poltica de cotas
avaliado. A primeira delas o acesso educao inclui dados sobre acesso, evaso e rendimento

4 Jacques WAINER; Tatiana MELGUIZO. Polticas de incluso no ensino superior: avaliao...


de cotistas em relao a no cotistas. A grande dois grupos no expressiva. O autor conclui
maioria dessas pesquisas usa dados privilegiados que para dois teros das turmas (combinao
de uma IES em particular. Nesses casos, os de curso e ano) no h diferenas expressivas
pesquisadores tm acesso s notas das vrias entre as mdias dos dois grupos ou estas foram
disciplinas de alunos cotistas e no cotistas e favorveis aos cotistas (VELLOSO, 2009, p.
comparam uma mdia ponderada das notas 621). Garcia e Jesus (2015) analisam os CR de
(que algumas IES chamam de coeficiente de alunos ingressantes de 2004 a 2012, semestre a
rendimento - CR - nome que usaremos neste semestre, em nove cursos. Diferente da grande
artigo) dos dois grupos. A maior parte dos artigos maioria dos outros artigos, esse estudo usa
sobre rendimento tem algumas caractersticas testes estatsticos para verificar se as diferenas
e limitaes metodolgicas em comum (as entre o CR de cotistas e o de no cotistas em
excees sero destacadas mais adiante): um semestre so estatisticamente significativas.
Os dados so separados por cursos/ Os autores definem que cotistas e no cotistas
carreiras. Normalmente os autores separam os tm CR equivalentes ao longo de um curso se,
cursos num grupo de maior prestgio, ou maior em pelo menos 50% dos semestres do curso,
concorrncia no vestibular, e o grupo de menor as diferenas entre cotistas e no cotistas no
prestgio. A anlise feita separadamente para sejam estatisticamente significativas. Dada essa
cada curso e no h uma forma de agregar os definio, em cinco dos nove cursos, cotistas e
dados, a no ser contando o nmero de cursos no cotistas tiveram CR equivalentes.
nos quais h ou no diferena nos CR de cotistas Universidade Federal da Bahia (UFBA)
e no cotistas. Queiroz e Santos (2006) analisaram os alunos
O CR utilizado na anlise no o CR ingressantes em 2005 aps dois semestres. Os
dos alunos ao final do curso, mas em algum autores computaram a proporo dos alunos
momento durante curso. Dessa forma, a anlise (cotistas e no cotistas) que tiveram um CR
no reflete a diferena (ou no diferena) do acima de 5,1 nos dezoito cursos de maior
rendimento dos alunos quando se formam, mas concorrncia. Em 61% dos cursos, a proporo
um ou dois anos aps iniciarem o ES. dos cotistas com CR acima de 5,1 foi maior ou
No so feitos testes estatsticos, assim igual proporo equivalente dos no cotistas.
no possvel dizer se a diferena ou no Santos e Queiroz (2013) estenderam a anlise
estatisticamente significativa, ou seja, se a para alunos ingressantes em 2006, cursando
diferena na mdia dos CRs pode ser atribuda o stimo semestre nos dezoito cursos. Os
apenas sorte (ou, mais formalmente, a erros resultados foram similares aos reportados no
amostrais). artigo anterior.
Os artigos trazem afirmaes de que Universidade Estadual do Rio de Janeiro
as diferenas no so importantes ou que (UERJ) Pinto (2006) comenta que existem
as mdias dos CR so equivalentes sem uma duas pesquisas divulgadas pela UERJ com
definio explcita do que sejam diferenas resultados contraditrios, uma mostrando que
importantes ou limites de equivalncia. alunos cotistas tinham resultados equivalentes
Abaixo descrevemos brevemente ao de no cotistas, e outra mostrando que o
as principais publicaes nacionais sobre resultado era pior. Bezerra e Gurgel (2011, p. 12)
rendimento de cotistas. comparam o CR de ingressantes em 2005 e 2006
Universidade de Braslia (UnB) para seis cursos e concluem que a diferena
Velloso (2009) analisa alunos ingressantes de se reduz a quase nada. Mendes Junior (2014)
2004 a 2006 em todos os cursos. Diferente da analisa os CRs em 2006 e 2009 e o CR final de
maioria dos artigos, esse estudo define que alunos ingressantes em 2005. Nos trs perodos,
uma diferena de 5% na mdia dos CR dos o CR mdio de alunos no cotistas maior que

Educ. Pesqui., So Paulo, Ahead of print, 2017. 5


o de alunos cotistas em 6,57%, 6,72% e 8,5%, que os alunos cotistas tiveram um impacto
na mdia para todos os cursos. negativo (e estatisticamente significativo)
Tessler (2006) mostra que, no terceiro nos cursos de pedagogia, histria e fsica, e
semestre, alunos beneficiados por aes tiveram um impacto positivo (e estatisticamente
afirmativas da Unicamp tinham notas maiores significativo) no curso de agronomia. Gutterres
que seus colegas em 56% dos cursos, e que essa (2015) usa os dados da prova geral do Enade
diferena era estatisticamente significativa (a de 2012 e compara cotistas por razo de terem
Unicamp d uma bonificao nos pontos do feito segundo grau em escola pblica, por raa e
vestibular em vez de reservar vagas para alunos por renda familiar. O autor encontra diferenas
que se beneficiam das polticas de incluso). a favor de cotistas que entraram por razo de
Silva e Pacheco (2013) apresentam dados de terem feito escola pblica.
distribuio de alunos cotistas, rendimento dos
mesmos em cursos de alta e baixa concorrncia Dados e Metodologia
e suas taxas de evaso e de reprovao na
Universidade Estadual de Londrina. Beraldo e Dados
Magrone (2013) apresentam dados sobre evaso Esta pesquisa usa dados do Enade de 2012, 2013
e rendimento de cotistas da Universidade Federal e 2014. O exame de 2012 cobre dezessete cursos
de Juiz de Fora, e Neves (2013) apresenta dados na rea de Cincias Sociais Aplicadas e seis
sobre evaso, repetncia e rendimento de alunos cursos superiores de tecnologia. O de 2013 cobre
cotistas e no cotistas da Universidade Federal dezessete cursos da rea de Cincias da Sade
de Sergipe. No fcil sumarizar os resultados e quatro cursos de tecnologia. E, finalmente, o
desses trabalhos, pois as anlises so geralmente Enade de 2014 cobre 43 cursos, a maioria da
separadas por curso e ano (e tambm por tipo rea de Engenharias e Cincias Exatas, mas
de ao afirmativa). Portanto, no h uma tambm reas como Filosofia, Histria, Letras
concluso nica que resuma os resultados. etc. e quatro cursos de tecnologia.
Artigos sobre cotas que usam dados do Foram eliminados os dados de alunos
Enade, como o caso da presente pesquisa, so que no participaram efetivamente do exame
poucos. Waltenberg e Carvalho (2012) usaram (varivel tp_pres nos dados do Enade) e
dados da prova especfica do Enade 2008 e daqueles que no preencheram os campos de
encontram uma diminuio de quatro pontos resposta relativo entrada no ES por meio ou
(sobre um mximo de cem) nas notas dos alunos no de cotas, ou se receberam bolsa. A medida
cotistas de universidades federais e estaduais. A de desempenho especfico a nota total na
diferena estatisticamente significativa. Nas parte especfica do Enade (nt_ce), e a medida de
IES privadas a diferena no significativa. Os desempenho geral a nota total na parte geral
autores tambm criaram modelos de regresso do exame (nt_fg).
que levam em considerao a situao A questo se o aluno entrou no ES por
socioeconmica do aluno, mas, mesmo assim, meio de cotas possui uma ambiguidade. As
encontram um desempenho mais baixo para respostas nos trs questionrios so: a) No
alunos cotistas em IES pblicas de todas entrou via o sistema de cotas; b) Sim, por critrio
as reas, enquanto que em IES privadas a tnico-racial; c) Sim, por critrio de renda; d) Sim,
diferena de rendimento se faz presente apenas por ter estudado em escola pblica ou particular
em cursos de maior prestgio social. Pereira, com bolsa de estudos; e) Sim, por sistema que
Bittencourt e Braga (2015) usam um modelo combina dois ou mais critrios anteriores; f) Sim,
de diferenas-em-diferenas e propensity score por sistema diferente dos anteriores.
matching para calcular o efeito de alunos Consideramos que a resposta b) indica
cotistas no Enade de 2008. Os autores concluem que o aluno entrou no ES pelo sistema de cotas

6 Jacques WAINER; Tatiana MELGUIZO. Polticas de incluso no ensino superior: avaliao...


raciais, e as respostas c) e d) indicam cotas por alunos que responderam a alternativa e), e
critrios sociais. Mas a resposta e) pode indicar outra em que o critrio racial inclui todos os
tanto que o aluno combinou os dois critrios alunos que escolheram as alternativas b) ou
sociais (baixa renda e ter estudado em escola e). Similar procedimento foi adotado para o
pblica) ou um critrio social com um racial critrio social: inclui apenas as alternativas c)
(aluno pardo que estudou em escola pblica). e d) ou c), d) e e).
Como no foi possvel distinguir entre essas Consideramos que os alunos que
alternativas, fizemos duas anlises separadas: receberam bolsa integral ou parcial pelo ProUni,
uma em que o critrio racial no inclui os ou bolsa parcial mais o Fies.

Tabela 1 Quantidade de alunos em cada grupo

2012 2013 2014 Total

Dados originais 469.460 167.787 396.880 1.034.127

Alunos analisados 461.241 160.321 395.477 1.017.039

Cota racial 4.630 (1%) 2.070 (1,3%) 6.447 (1,6%) 13.147 (1,3%)

Cota social 4.2194 (9,1%) 1.4753 (9,2%) 4.3524 (11%) 10.0471 (9,9%)

Cota (outro) 30.401 (6,6%) 8.113 (5,1%) 24.749 (6,3%) 63.263 (6,2%)

Total cotas 77.225 (16,7%) 24.936 (15,6%) 74.720 (18,9%) 176.881 (17,4%)

ProUni 45.354 (9,8%) 11.781 (7,3%) 25.442 (6,4%) 82.577 (8,1%)

Fies 17.724 (3,8%) 18.945 (11,8%) 34.721 (8,8%) 71.390 (7,0%)

Classes 6.193 3.422 8.735 18.350

Cursos 17 17 43 77

As colunas se referem aos anos do Enade. A linha Dados originais indica a quantidade de alunos nos respectivos Enades. Alunos analisados informa a
quantidade de alunos aps a remoo dos registros com dados faltantes (cf. texto). Cota racial indica o nmero de alunos que declararam ter sido admitidos
por critrio racial - o nmero entre parnteses indica a proporo em relao ao nmero de alunos analisados. Cota social se referee ao nmero de alunos
que foram admitidos por critrio social (respostas c) e d) cf. texto). Cota (outro) informa o nmero de alunos que foram admitidos por uma combinao de
critrios. ProUni, alunos que receberam bolsa do ProUni. Fies, alunos que receberam financiamento pelo Fies. Classes indica o nmero de diferentes classes
no banco de dados, e Cursos, o nmero de cursos diferentes.
Fonte: Dados do Enade 2012 a 2014 processados pelos autores.

A Tabela 1 apresenta as propores de


alunos com algum benefcio, em relao ao seus colegas de classe. Essa proporo uma
nmero total de alunos analisados. A linha aproximao da proporo de alunos com
Classes indica o nmero de classes (segundo benefcios em relao a todos os outros alunos
a nossa definio cf. abaixo) includas nos que poderiam t-lo recebido; por exemplo,
exames. Curso o numero de cursos/carreiras alunos de IES no pagas no so elegveis
que fizeram o exame naquele ano. para ter emprstimos via Fies, portanto, no
Um outro nmero interessante a poderiam receber o benefcio. A Tabela 2
proporo de alunos com benefcios entre reporta essas propores

Educ. Pesqui., So Paulo, Ahead of print, 2017. 7


Tabela 2 Proporo de alunos com algum benefcio apenas de notas transformadas dos alunos que no se
em relao ao total de seus colegas de classe beneficiaram de polticas e que estavam nas
2012 2013 2014 Total
mesmas classes que os primeiros. Vamos indicar
como zig a nota transformada do aluno i que
Cota racial 1,9% 3,0% 3,4% 2,6% pertence a classe g, de modo que o conjunto das
notas transformadas dos alunos beneficiados
Cota social 10,0% 10,7% 11,9% 10,8%
por uma poltica de incluso p definido como:
Cota (outro) 6,6% 5,1% 6,2% 6,2% B(p) = {zig tal que i foi beneficiado pela poltica
p}, e o conjunto de notas transformadas dos
Total cotas 15,9% 14,4% 17,4% 16,3%
no beneficiados definido como: NB(p) = {zig
ProUni 13,8% 11,1% 9,1% 11,9% tal que i no foi beneficiado por p e existe um
aluno j tal que zjg B(p)}.
Fies 3,9% 12,2% 9,9% 7,5% Note que, para que um aluno i entre no
conjunto NB(p), requer-se que haja algum aluno
Fonte: Dados do Enade processados pelos autores.
naquela classe que tenha sido beneficiado pela
Metodologia poltica de incluso (o aluno j na frmula).
A necessidade de se comparar os alunos
O primeiro ponto importante da beneficiados com seus colegas de classe
metodologia que quisemos uma anlise que importante, pois isso remove o vis relativo
fosse independente do curso. Obtivemos isso aos tipos diferentes de IES. Por exemplo, vamos
padronizando as notas dos exames especficos assumir para efeito de argumentao que alunos
por curso, isto , subtraindo de cada nota a de IES pagas tm, em mdia, resultados piores
mdia das notas para aquele curso, e dividindo no Enade do que alunos de IES pblicas e que
o resultado pelo desvio padro das notas do polticas de cotas s existem em IES pblicas.
curso. Ou seja, zic = (yic mdia(yjc))/desvio Como alunos cotistas esto em IES pblicas,
padro(yjc), sendo que yic a nota no exame se formos compar-los como todos os alunos
especfico do aluno i, que est no curso c; zic no cotistas, que incluiria tambm alunos de
a nota transformada do aluno, mdia(yjc) a IES pagas, a nota mdia do segundo grupo
mdia das notas para todos os alunos do curso seria provavelmente menor que a do primeiro.
c, e desvio padro (yjc) o desvio padro das Selecionando no cotistas apenas de IES e
notas dos alunos do curso c. cursos nos quais existem cotistas, eliminamos
A nota transformada deve ser entendida esse vis. Por outro lado, alunos que receberam
como a nota acima da mdia do curso medida o Fies, e que esto em IES pagas, teriam uma
em desvios padro. Se zi = 1,3, ento o aluno desvantagem injusta quando comparados com
i tirou uma nota 1,3 desvios padro acima da todos os alunos de IES pblicas, j que estes
nota mdia no seu curso; se zi = -0,7, ento o com certeza no receberam o Fies.
aluno tirou uma nota 0,7 desvios padro abaixo A comparao entre o conjunto de
da nota mdia do curso. notas transformadas de beneficirios e de no
Como o exame geral o mesmo a cada beneficirios que estavam nas mesmas classes
ano, a padronizao da nota calculada pela feita por meio de duas medidas. A primeira
mdia e desvio padro dos alunos que fizeram apenas a diferena da mdia dos dois conjuntos,
o Enade naquele ano. que chamaremos de ganho padronizado dos
Nas anlises, faremos sempre a alunos beneficiados pela poltica: ganho(p) =
comparao entre o conjunto de notas media(B(p)) media(NB(p)).
transformadas dos alunos que se beneficiaram Um ganho de 1,3 para alunos cotistas,
de alguma poltica de incluso e o conjunto por exemplo, indica que a mdia das notas do

8 Jacques WAINER; Tatiana MELGUIZO. Polticas de incluso no ensino superior: avaliao...


cotistas est 1,3 desvios padro acima da mdia as tcnicas pedaggicas, os planos de aula e
dos no cotistas; um ganho de -0,7 para alunos possivelmente os professores so os mesmos
do Fies indica que a mdia das notas dos alunos nos diferentes campi.
com emprstimo pelo Fies 0,7 desvios padro
abaixo da nota dos alunos sem emprstimos. Anlise estatstica e limite de
A segunda medida de comparao o d equivalncia prtica
de Cohen, que a mais comum em educao.
O d de Cohen a diferena entre as mdias das Como mencionamos, a grande maioria
notas transformadas, mas divididas pelo desvio dos estudos publicados sobre rendimento no
padro dos dois grupos (mais precisamente, o faz a nenhuma anlise estatstica dos resultados.
desvio padro dos dois grupos a raiz quadrada Verificar se as diferenas encontradas so
da mdia ponderada da varincia dos dois estatisticamente significativas um passo
grupos). fundamental para entender se elas so grandes o
Note que, a no ser que um grupo tenha suficiente para que no tenham surgido apenas
um desvio padro muito diferente do outro, o por acaso ou, mais formalmente, devido a um
d de Cohen no deve ser numericamente muito erro amostral. Neste artigo, faremos tal anlise,
diferente do ganho padronizado, j que o desvio mas em vez de usar o mais tradicional p-valor
padro para todas as notas transformadas (para para mostrar que as diferenas so (ou no)
todos os alunos) 1. significativas, usaremos intervalos de confiana
na medida de ganho padronizado. Os intervalos
A definio de uma classe de confiana sero calculados usando t de
Student, com 95% de confiana. Se o intervalo de
Neste artigo, uma classe a combinao confiana para a diferena inclui o zero, ento as
de valores para curso, municpio, perodo de diferenas no so estatisticamente significativas.
aula e IES de um aluno. Assim, assume-se que Contudo, entendimentos mais modernos
todos os alunos do perodo noturno do curso A, sobre inferncia estatstica indicam que apenas
da IES B na cidade C so colegas de classe, e a anlise de significncia estatstica no
sero pareados com seus colegas que receberam suficiente. preciso definir um limite para o qual
algum benefcio de uma poltica de incluso. as diferenas, mesmo que sejam estatisticamente
Nos dados do Enade 2012-2014, essa significativas, no tenham consequncia
definio de classe resulta em 22.689 classes prtica. Em particular, devido quantidade de
diferentes, com em mdia 44,83 alunos por dados (veja Tabela1), quase todas as diferenas
classe (mediana = 27 alunos). H 213 classes sero estatisticamente significativas, mas,
com mais de trezentos alunos (at o mximo de mesmo assim, algumas diferenas sero muito
9.689 alunos numa mesma classe). Acreditamos pequenas para serem relevantes do ponto de
que h duas explicaes para essas classes vista educacional. Lembramos que dois dos
numerosas: elas podem representar cursos de artigos analisados (VELLOSO, 2009; GARCIA;
grandes IES privadas que so oferecidos em JESUS, 2015) propem algo similar, isto , um
vrios campi da mesma cidade, ou representam limite abaixo do qual as diferenas entre os dois
cursos a distncia. Infelizmente os dados do grupos sejam consideradas irrelevantes, ou seja,
Enade no nos permitem distinguir entre essas os grupos so considerados equivalentes.
duas alternativas. Consideraremos que as classes Neste artigo, definiremos tal limite de
mais numerosas no so um problema para a irrelevncia ou equivalncia usando a medida
anlise, pois, no caso dos cursos a distncia, os de ganho padronizado. Definimos como o limite
alunos so efetivamente da mesma classe e, nos de equivalncia o ganho padronizado dos alunos
casos de cursos distribudos em uma metrpole, que esto no grupo com nota at 5% abaixo da

Educ. Pesqui., So Paulo, Ahead of print, 2017. 9


mdia e daqueles que esto no grupo com nota menor dos valores (0,132) como o limite de
at 5% acima da mdia. Ou seja, se dividirmos equivalncia no restante deste artigo.
os alunos em vinte grupos de mesmo tamanho,
baseado na nota transformada, a menor Ganhos padronizados e d de Cohen para todos os
diferena que consideraremos como importante benefcios
ou relevante a diferena na mdia dos alunos
que esto no grupo imediatamente acima e A Tabela3 reporta os valores do ganho
imediatamente abaixo da mdia. A ideia que padronizado, o intervalo de confiana para o
a diferena entre esses dois grupos a menor ganho padronizado e o valor do d de Cohen
diferena entre quaisquer dos 20 grupos (j que para todas as comparaes dos beneficiados
as notas esto distribudas normalmente e esses por diferentes polticas de incluso com seus
dois grupos esto imediatamente em volta da colegas de classe que no foram beneficiados.
mdia), e essa a menor diferena relevante.
Infelizmente, essa construo no nos Tabela 3 Resultados do ganho padronizado, intervalo de
permite definir um limite de equivalncia para o d 95% de confiana e d de Cohen para alunos com benefcios e
de Cohen, o qual mede a separao na distribuio seus colegas sem o benefcios.
entre as medidas de dois grupos. Na nossa Benefcio Exame Ganho IC 95% d
construo, os grupos logo abaixo e logo acima
da mdia esto separados, embora a distncia das Cota Especfico 0,04 0,04 0,05 0,04
duas mdias entre eles seja pequena (e essa a
Cota Geral 0,01 0,01 0,02 0,01
nossa definio de uma diferena pequena), os
grupos esto separados j que no h interseco ProUni Especfico 0,47 0,46 0,47 0,49
entre eles. Dessa forma, no faremos a anlise de
ProUni Geral 0,41 0,41 0,42 0,43
equivalncia para o d de Cohen.
Fies Especfico -0,05 -0,06 -0,04 -0,05
Reprodutibilidade dos resultados
Fies Geral 0,01 0,00 0,02 0,01
Os dados do Enade de 2012 a 2014
A primeira coluna indica o benefcio; a segunda, o exame do Enade; a
esto disponveis no site do Inep (http:// terceira, o ganho padronizado e o intervalo de 95% de confiana; e a ltima,
portal.inep.gov.br/basica-levantamentos- o d de Cohen. Em negrito os ganhos padronizados superiores ao limite de
equivalncia adotado neste artigo.
acessar). O programa (em R) para ler os Fonte: Dados do Enade processados pelos autores.
dados e computar as anlises estatsticas
realizadas neste artigo est disponvel em Para cotas, a primeira linha se refere ao
https://figshare.com/articles/Pol_ticas_de_ exame especfico, a segunda ao exame geral.
inclus_o_no_ensino_superior_avalia_o_ Note que os ganhos padronizados para os dois
do_desempenho_dos_alunos_baseado_no_ exames esto muito abaixo do que consideramos
ENADE_de_2012_a_2014/3180112. como o limite de equivalncia. Portanto, no h
diferena prtica entre as notas de alunos que
Resultados se beneficiaram da poltica de cotas e as de seus
Limites de equivalncia colegas de classe que no se beneficiaram dela.
Note tambm que o intervalo de confiana
De acordo com procedimento para o ganho padronizado em nenhum caso
discutido na seode metodologia, o limite inclui o zero, o que significa que a diferena
de equivalncia para o exame especfico entre cotistas e no cotistas estatisticamente
0,132, e para o geral, 0,139. Tendo em vista significativa, o que era esperado, j que h um
a proximidade dos dois limites, usaremos o nmero muito grande de dados.

10 Jacques WAINER; Tatiana MELGUIZO. Polticas de incluso no ensino superior: avaliao...


Para alunos bolsistas do ProUni, nos dois Tabela 4 Anlise dos diferentes tipos de cotas: raciais, ou
exames, o um ganho padronizado bem maior sociais
do que o limite de equivalncia, a favor dos Benefcio Exame Ganho IC 95% d
bolsistas. Ou seja, os alunos do ProUni tiveram
em mdia notas maiores que seus colegas, tanto Raa Especfico 0,03 0,01 0,05 0,03
no exame geral quanto no especfico. Essas
Raa Geral 0,02 0,00 0,04 0,02
diferenas so estatisticamente significativas
(no so devidas sorte) e so de importncia Raa + combinao Especfico 0,08 0,07 0,09 0,08
prtica na definio deste artigo. Finalmente,
Raa + combinao Geral 0,04 0,04 0,05 0,04
para alunos com emprstimo do Fies, tambm
no h diferena prtica entre eles e seus Social Especfico 0,03 0,02 0,04 0,03
colegas sem emprstimo.
Social Geral 0,01 0,00 0,01 0,01

Estudo aprofundado dos resultados de cotas Social + combinao Especfico 0,05 0,04 0,05 0,05

Muito da literatura sobre o desempenho Social + combinao Geral 0,02 0,01 0,02 0,02
de alunos cotistas no Brasil faz distino entre
Veja texto para a explicao do termo combinao.
diferentes tipos de cursos e diferentes tipos de Fonte: Dados do Enade processados pelos autores.
alunos cotistas. Gutterres (2015) separa alunos
cotistas por razo racial, por razo de renda Os resultados mostram que, para todas
familiar e por razo de ter feito o segundo as diferentes formas de anlise, no existe
grau em escola pblica. Vrios autores, entre diferena prtica entre os alunos cotistas e seus
eles Queiroz e Santos (2006), Waltenberg e colegas no cotistas.
Carvalho (2012) e Silva e Pacheco (2013), A Tabela5 apresenta o ganho padronizado
separam os cursos entre os de maior e os de de alunos cotistas para as melhores classes. As
menor prestgio e de forma geral encontram melhores classes so os 10% das classes com as
que o desempenho dos cotistas nos cursos de maiores mdias na nota especfica. Entendemos
maior prestgio pior que o de no cotistas. que as classes com mdia alta representam
Nesta seo vamos fazer esse tipo de anlise combinaes de cursos e IES de maior prestgio.
mais aprofundada sobre o desempenho de Por exemplo, se o curso A da IES B considerado
alunos cotistas. muito bom e prestigioso, ento esperamos que
A Tabela4 apresenta os resultados essa classe esteja entre os 10% melhores no
dos alunos separados pelo tipo de cota exame especfico. Da mesma forma, se o curso C
(racial e/ou social). Nesse caso, comparamos da IES D tambm considerado muito bom, ento
alunos que declaram ter ingressado por ele tambm deve estar entre as 10% melhores
cota racial com alunos que no ingressaram classes. Assim no fazemos distino entre cursos
por benefcio de cotas, e da mesma forma de maior prestgio, mas sim entre combinaes
para cotas sociais. Como mencionamos, de curso e IES de maior prestgio. Entendemos
uma das respostas pergunta de cotas nos que a separao de classes melhores captura em
questionrios ambgua e pode indicar que parte o fato de que devem haver combinaes
o aluno recebeu uma cota por razes raciais entre curso e IES que so mais competitivas e
ou por razes sociais. Portanto, fizemos duas para as quais alunos cotistas talvez tenham um
anlises para as cotas raciais e sociais, nas ganho padronizado pior. Mas no isso que
quais a resposta ambgua (combinao) est encontramos nos dados: o desempenho de alunos
uniformemente includa ou no em cada uma cotistas e no cotistas equivalente para todos os
das duas categorias. efeitos prticos nas classes melhores.

Educ. Pesqui., So Paulo, Ahead of print, 2017. 11


Tabela 5 Anlise da diferena entre cotistas e no cotistas ou bolsistas se faz necessrio em algum dos
nos 10% das classes com maiores mdias no exame especfico seus cursos. A divulgao de que cotistas tm
um desempenho menor que no cotistas para o
Exame Ganho IC 95% d
curso A s criaria um constrangimento para os
Especfico -0,02 -0,04 0,00 -0,02 primeiros, sem fornecer nenhuma informao
til aos outros agentes envolvidos.
Geral -0,07 -0,08 -0,05 -0,07
Nossos resultados, diferentemente de
Fonte: Dados do Enade processados pelos autores. grande parte das anlises j publicadas, se referem
a estudantes amostrados de todo do Brasil e no
Discusso apenas de uma ou outra IES e, portanto, devem
ser mais generalizveis (ver discusso sobre os
Acreditamos que esta pesquisa tem alguns limites da pesquisa mais abaixo).
pontos positivos importantes em relao s Um outro importante aspecto desta
outras j publicadas. Em primeiro lugar, ela mede pesquisa que no estamos controlando os
o rendimento de alunos ao final da graduao resultados por nvel socioeconmico. Pesquisas
e, portanto, uma melhor aproximao aos baseadas no Enade, como as de Waltenberg e
conhecimentos totais adquiridos pelo aluno Carvalho (2012) e Pereira, Bittencourt e Braga
durante o ensino superior e sua preparao para (2015), modelam as notas dos alunos por meio
a futura carreira profissional. A grande maioria de uma regresso que envolve muitas variveis
dos artigos publicados sobre rendimento de que descrevem o nvel socioeconmico do aluno.
alunos cotistas mede o desempenho mais cedo Diz-se que essas pesquisas controlam pelo nvel
durante o curso. socioeconmico. Pela regresso, essas pesquisas
Outra caracterstica importante que os criam um modelo de qual deveria ser a nota de
nossos resultados so agregados para todos os um aluno tendo de vista as muitas variveis e
cursos, isto , no calculamos as diferenas no descobrem se o fato de o aluno ser cotista entra
rendimento de bolsistas e cotistas por curso. na equao com um coeficiente positivo, que
Acreditamos que uma anlise por curso no indica que cotistas tm uma nota acima do que
avana o debate pblico sobre polticas de deveriam, ou se o coeficiente negativo, que
incluso. Por exemplo, digamos que para o indica que ser cotista tem um efeito negativo
curso A, descobrimos que o ganho de cotistas na nota esperada. Nesta pesquisa no usamos
negativo e maior que o nosso limite de ferramentas de regresso que permitem modelar
equivalncia, ou seja, que, para todos os efeitos uma nota esperada. Comparamos o conjunto das
prticos, os cotistas tm um desempenho pior notas obtidas pelos cotistas, bolsistas e alunos que
que os no cotistas. Por um lado, as polticas receberam emprstimos do Fies com o conjunto
pblicas no devem criar excees para um das notas de seus colegas de classe e, comparando
curso e, nesse caso, propor que no haja as mdias desses conjuntos, determinamos se
cotas para o curso A. Por outro lado, uma cotistas de fato sabem tanto quanto seus colegas
IES no pode usar essa informao para criar de classes. Do ponto de vista da avaliao de
mecanismos para um melhor acompanhamento uma poltica pblica, acreditamos que esta a
a cotistas do curso A, pois os dados so globais, medida mais correta para o resto da sociedade:
isto , se referem a todos os cursos A de todas os alunos que se beneficiaram de uma poltica de
IES. A diferena no desempenho pode no ser incluso no terminam do ensino superior como
verdadeira para uma IES em particular. Assim, profissionais de menor qualidade.
as IES devem fazer suas prprias anlises O mais importante limite na generalizao
dos dados do Enade para verificar se um desta pesquisa quanto validade do
acompanhamento mais cuidadoso de cotistas instrumento exame em si. O primeiro problema

12 Jacques WAINER; Tatiana MELGUIZO. Polticas de incluso no ensino superior: avaliao...


que o Enade um exame sem riscos ou benefcios a uma s IES (WALTENBERG; CARVALHO, 2012;
para os alunos (low stake). A nota do Enade PEREIRA; BITTENCOURT; BRAGA, 2015). Mas a
no tem impacto sobre a graduao do aluno literatura mais recente faz uma anlise separada
ou sobre oportunidades futuras de emprego e, por tipo de IES ou por curso, procedimento que
portanto, o aluno pode ir mal no exame, sem no adotamos, pois no acreditamos que esses
custo pessoal. Por outro lado, espera-se que em nveis de anlise respondam a questes teis
grandes nmeros, o Enade corresponda em parte sobre a poltica de cotas.
ao conhecimento adquirido pelos alunos, j que Quanto ao ProUni, nossos resultados
ele uma parte importante da avaliao das concordam com os de Barbosa e Santos (2011).
instituies de ensino superior. Tambm pode- Mas no difcil explicar o melhor desempenho
se argumentar que outros exames nacionais, de alunos do ProUni. Os critrios de concesso da
por exemplo Pisa, Saeb e Prova Brasil (nas no bolsa no so claros no que tange ordenao
o Enem) so exames sem risco ou benefcios e, dos candidatos, mas razovel assumir que a
no entanto, polticas de pblicas e avaliaes nota do Enem seja um componente importante
de escolas so feitas baseado nesses exames. e, portanto, provvel que alunos com bolsa
Finalmente, embora a avaliao de rendimento ProUni so alunos com uma melhor formao
baseada em CR parea ser mais precisa, pode-se ao final do segundo grau que seus colegas de
argumentar que o CR possui riscos e benefcios classe. O ProUni ainda exige uma aprovao
no lineares para os alunos e, portanto, no em pelo menos 75% das disciplinas cursadas
um instrumento to preciso. Para a grande no semestre anterior, e isto talvez tenha um
maioria dos alunos uma nota menor que cinco impacto positivo no desempenho do bolsista.
traz o risco enorme de repetir na disciplina, mas Finalmente, nossos resultados sobre o
notas maiores que cinco no trazem nenhum Fies so parcialmente conflitantes com os de
benefcio (a no ser nos poucos casos em que Barbosa e Santos (2011). Elas apresentam dados
o aluno compete com os colegas por uma bolsa de que alunos que receberam emprstimos via
de iniciao cientfica ou monitoria). Uma outra Fies tm um desempenho melhor do que alunos
questo se o Enade um instrumento capaz sem bolsas ou emprstimos, mas a anlise das
de medir o conhecimento profissional de um autoras inclui apenas alguns cursos.
formando nos diversos cursos. Essa questo, at
onde sabemos, no foi verificada empiricamente, Concluso
a no ser por uns poucos trabalhos que avaliam
as caractersticas psicomtricas de alguns exames No h diferena prtica entre o
especficos (PRIMI; HUTZ; SILVA, 2011; LOPES; conhecimento de alunos cotistas e o de seus
VENDRAMINI, 2014; CAMARGO; CAMARGO; colegas de classes no cotistas ao final do
ANDRADE; BORNIA, 2016). curso, se assumirmos que o exame do Enade
Quo surpreendentes so os resultados mede o tanto habilidades gerais de raciocnio
reportados neste artigo? A equivalncia prtica como conhecimentos especficos do curso. No
entre os resultados de cotistas e no cotistas h diferena prtica entre o conhecimento de
parece concordante com parte da literatura mais alunos cotistas por razes raciais ou sociais e o
antiga, que normalmente afirma uma equivalncia de seus colegas de classes que no so cotistas.
entre os dois grupos, mas so menos rigorosas No h diferena prtica de conhecimentos
em mostrar essa equivalncia (VELLOSO, 2009; entre cotistas e no cotistas em classes com
QUEIROZ; SANTOS, 2006; TESSLER, 2006). Por mdia alta nos exames de conhecimento
outro lado, esta pesquisa parcialmente conflitante especfico. Tambm no h diferena prtica
com resultados mais recentes, que usam o Enade de conhecimento ao final da graduao entre
para computar resultados que no so limitados alunos que receberam emprstimo pelo Fies

Educ. Pesqui., So Paulo, Ahead of print, 2017. 13


e seus colegas de classe que no receberam o para os anos analisados, os cotistas totalizavam
emprstimo. Finalmente, alunos que receberam 17% dos alunos. Notamos tambm que esses
bolsa do ProUni parecem ter acumulado mais resultados se referem apenas a comparaes de
conhecimentos que seus colegas de classes. rendimento ao final do curso. Como discutimos,
Notamos que esses resultados, em h outras medidas de interesse para polticas de
particular no que se refere a polticas de cotas, incluso: acesso, evaso e tempo de graduao,
se refere a uma situao anterior lei 12.711; alm do rendimento.

Referncias

ALMEIDA, Cleide et al. Programa universidade para todos ProUni polticas pblicas e incluso social. Educao & Linguagem,
So Paulo, v.13, n.21, p. 67-88, 2010.

AMARAL, DanielaPatti do; OLIVEIRA, FtimaBayma de. O Prouni e a concluso do ensino superior: novas trajetrias pessoais e
profissionais dos egressos. Ensaio: Avaliao e Polticas Pblicas em Educao, Rio de Janeiro, v.19, n.73, p. 861-890, 2011.

BARBOSA, Maria Ligia de Oliveira; SANTOS, Clarissa Tagliari. A permeabilidade social das carreiras do ensino superior. Caderno
CHR, Salvador. v. 24, n. 63, p. 535-554, 2011.

BERALDO, AntonioFernando; MAGRONE, Eduardo. Poltica de cotas na Universidade Federal de Juiz de Fora: avaliao 2006-2011. In:
SANTOS, JoclioTeles dos (Ed.). O impacto das cotas nas universidades brasileiras (2004-2012). Salvador: CEAO, 2013. p.105-136.

BEZERRA, Tereza OlindaCaminha; GURGEL, Claudio. A poltica pblica de cotas em universidades, desempenho acadmico e
incluso social. Sustainable Business International Journal, Rio de Janeiro, v.9, p. 1-22, 2011.

CAMARGO, Raphael Vinicius Weigert; CAMARGO, Rita de Cssia Correa Pepinelli; ANDRADE, Dalton Francisco; BORNIA, Antonio
Cezar. Desempenho dos alunos de cincias contbeis na prova ENADE/2012: uma aplicao da Teoria da Resposta ao Item.
Revista de Educao e Pesquisa em Contabilidade (REPeC), Braslia v. 10, n. 3, p. 332-355, 2016

CARVALHO, Jos Carmello. O ProUni como poltica de incluso: estudo de campo sobre as dimenses institucionais e intersubjetivas
da incluso universitria, junto a 400 bolsistas no binio 2005-2006. In: 30o Reunio anual da ANPEd. [S.l.: s.n.], 2008.

EURSTENES, Poema; CAMPOS, Luiz Augusto; FERES JNIOR, Joo. As polticas de ao afirmativa nas universidades
estaduais (2015). [S.l.], 2015.

GARCIA, FranciscoAugusto da Costa; JESUS, GirleneRibeiro de. Uma avaliao do sistema de cotas raciais da universidade de
Braslia. Estudos em Avaliao Educacional, So Paulo, v.26, n.61, p. 146-165, 2015.

GUTTERRES, Rafael dosSantos. Alunos que ingressaram no ensino superior por aes afirmativas apresentam melhor
desempenho? Uma anlise empregando a decomposio de Oaxaca para o ENADE 2012. Dissertao (Mestrado) Faculdade
de Administrao, Contabilidade e Economia, Pontifcia Universidade Catlica do Rio Grande do Sul, 2015.

MENDES JUNIOR, Alvaro Alberto Ferreira; WALTENBERG, FbioDomingues. Polticas de cotas no raciais aumentam a admisso de
pretos e pardos na universidade? Simulaes para a UERJ. Planejamento e Polticas Pblicas, Braslia, v.44, p. 229-256, 2015.

MENDES JUNIOR, AlvaroAlberto Ferreira. Uma anlise da progresso dos alunos cotistas sob a primeira ao afirmativa brasileira
no ensino superior: o caso da universidade do estado do rio de janeiro. Revista Ensaio: Avaliao e Polticas Pblicas em Educao,
Rio de Janeiro, v.22, n.82, p. 31-56, 2014.

FERES JNIOR, Joo; DAFLON, VernicaToste. Polticas da igualdade racial no ensino superior. Cadernos do Desenvolvimento
Fluminense, Rio de Janeiro, v. 5, p. 31-43, 2014.

KIRK, RogerE. Practical significance: A concept whose time has come. Educational and psychological measurement, v.56,
n.5, p. 746759, 1996.

LOPES, Fernanda Luiza; VENDRAMINI, Claudette Maria Medeiros. Propriedades psicomtricas das provas de pedagogia do ENADE
via TRI. Avaliao: Revista da Avaliao da Educao Superior, Campinas, v. 20, n. 1, p. 27-47, 2014.

14 Jacques WAINER; Tatiana MELGUIZO. Polticas de incluso no ensino superior: avaliao...


NEVES, PauloSrgio da Costa. A poltica de reserva de vagas da universidade federal de Sergipe para alunos de escolas pblicas e
no brancos: uma avaliao preliminar. In: SANTOS, JoclioTeles dos (Ed.). O impacto das cotas nas universidades brasileiras
(2004-2012). Salvador: CEAO, 2013. p.243-278.

PEREIRA, Joaquim IsraelRibas; BITTENCOURT, Mauricio; BRAGA, Bernardo. Affirmative action in higher education: Impacts of the
national exam in Brazil. In: 55th Congress of the European Regional Science Association: World Renaissance: Changing roles
for people and places. [S.l.: s.n.], 2015.

PINTO, Paulo GabrielHilu da Rocha. Ao afirmativa, fronteiras raciais e identidades acadmicas: uma etnografia das cotas para
negros na Uerj. In: ZONINSEIN, Jonas; FERES JNIOR, Joo (Org.). Ao afirmativa e universidade: experincias nacionais
comparadas. Braslia: Editora da Universidade de Braslia, 2006.

PRIMI, Ricardo; HUTZ, Claudio Simon; SILVA, Marjorie Cristina Rocha da. A prova do ENADE de psicologia 2006: concepo,
construo e anlise psicomtrica da prova. Avaliao Psicolgica: Interamerican Journal of Psychological Assessment,
Itatiba, v. 10, n. 3, p. 271-294, 2011.

QUEIROZ, DelceleMascarenhas; SANTOS, Joclio Telesdos. Sistema de cotas: um debate dos dados manuteno de privilgios
e de poder. Educao e Sociedade, Campinas, v.27, n.96, p. 717737, 2006.

ROSSETTO, CristinaB. de Souza; GONALVES, Flvio de Oliveira. Equidade na educao superior no Brasil: Uma anlise multinomial
das polticas pblicas de acesso. DADOS Revista de Cincias Sociais, Rio de Janeiro, v.58, n.3, p. 791-824, 2015.

SANTOS, JoclioTeles dos; QUEIROZ, DelceleMascarenhas. O impacto das cotas na universidade federal da Bahia (2004-2012).
In: SANTOS, JoclioTeles dos (Ed.). O impacto das cotas nas universidades brasileiras (2004-2012). Salvador: CEAO, 2013.
p.37-66, 2013.

SARAIVA, Luiz AlexSaraiva; NUNES, Adriana de Souza. A efetividade de programas sociais de acesso educao superior: o caso
do ProUni. Revista de Administrao Pblica, Rio de Janeiro, v.45, n.4, p. 941-965, 2011.

SILVA, MariaNilza da; PACHECO, JairoQueiroz. As cotas na universidade estadual de londrina: balano e perspectivas. In: SANTOS,
JoclioTeles dos (Ed.). O impacto das cotas nas universidades brasileiras (2004-2012). Salvador: CEAO, 2013. p. 67-104.

SILVEIRA, Paulo RobertoCardoso da; SILVEIRA, Marta ris CamargoMessias da; MESSIAS, AndressaRodrigues. Monitoramento,
permanncia e promoo da diversidade: as aes afirmativas em risco na Universidade Federal de Santa Maria. In: SANTOS,
JoclioTeles dos (Ed.). O impacto das cotas nas universidades brasileiras (2004-2012). Salvador: CEAO, 2013. p.171-202.

TESSLER, LeandroR. Ao afirmativa sem cotas: O Programa de Ao Afirmativa e Incluso Social da Unicamp. [S.l.], 2006.

TRAGTENBERG, Marcelo HenriqueRomano et al. Impacto das aes afirmativas na universidade federal de Santa Catarina (2008-2011). In:
SANTOS, JoclioTeles dos (Ed.). O impacto das cotas nas universidades brasileiras (2004-2012). Salvador: CEAO, 2013. p.203-242.

VELLOSO, Jacques. Cotistas e no-cotistas: rendimento de alunos da Universidade de Braslia. Cadernos de Pesquisa, So Paulo,
v.39, n.137, p. 621644, 2009.

WALTENBERG, Fbio; CARVALHO Mrcia. Cotas aumentam a diversidade dos estudantes sem comprometer o desempenho?
Sinais Sociais, Rio de Janeiro, v. 7, n. 20, p. 36-77, 2012.

Recebido em: 20.04.2016

Aprovado em: 13.09.2016

Jacques Wainer professor titular do Instituto de Computao da Unicamp. Ele tem PhD em Cincia da Computao
pela Pennsylvania State University e atua em vrias reas da computao incluindo impactos sociais da computao. Sua
pesquisa em educao foi publicada em Educao e Sociedade, Computers & Education, e Higher Education.

Tatiana Melguizo professora associada da Rossier School of Education, University of Southern California. Ela tem PhD
em Economia da Educao pela Stanford University e mestrado em Polticas Sociais pela London School of Economics. Ela
atua principalmente na rea de Economia da Educao Superior. Sua pesquisa em educao foi publicada em Education
Evaluation and Policy Analysis, The Journal of Higher Education, The Review of Higher Education, Research in Higher
Education e Higher Education.

Educ. Pesqui., So Paulo, Ahead of print, 2017. 15