2006-Do Provão Ao ENADE

Resumo
Nesse artigo, os autores analisam, de

maneira comparativa, o Exame Nacional de
Avaliao do Desempenho de Estudante
ENADE, e o Exame Nacional de Cursos
ENC, mais conhecido como Provo, a par-
tir de crticas feitas ao segundo e da capaci-
dade do ENADE de en-
dere-las. Ao faz-lo,
identificam diferenas e
similaridades entre os
dois exames, argumen-
tam que ambos tm in-
tegridade tcnica e apre-
sentam contribuies
para o aprimoramento
do exame vigente, tais
como a elaborao de
uma matriz permanente
e a pr-testagem dos ins-
trumentos. Em sntese, as
anlises apontam para
uma grande similarida-
de dos processos tcnicos das duas abor-
dagens, enquanto que as diferenas se apre-
sentam mais no plano conceitual, vez que o
ENADE se prope a apresentar um indica-
dor de diferena de desempenho e, especi-
almente, perde o carter high stakes do exa-
Do Provo ao ENADE: uma anlise
comparativa dos exames nacionais
utilizados no Ensino Superior Brasileiro
*
Robert Evan Verhine
Lys Maria Vinhaes Dantas
Jos Francisco Soares
Robert Evan Verhine
PhD em Educao, Universitat
Hamburg, UH, Alemanha.
Professor Adjunto, UFBA
verhine@ufba.br
Lys Maria Vinhaes Dantas
Doutoranda, UFBA
lysv@ufba.br
Jos Francisco Soares
PhD em Educao, University of Michigan
Professor do Programa de
Ps-Graduao em Educao, UFMG
franciscosoares@ufmg.br
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v.14, n.52, p. 291-310, jul./set. 2006
*
O presente artigo baseado em um relatrio intitulado A Avaliao da Educao Superior no Brasil: do Provo ao ENADE,
financiado pelo Banco Mundial sob encomenda do seu representante Alberto Rodriguez. Os autores agradecem a colaborao
de Dilvo Ristoff, Diretor de Estatsticas e Avaliao da Educao Superior no INEP, de Hlgio Trindade, Presidente da CONAES, e
dos membros das suas respectivas equipes que prestaram informaes para esta pesquisa.
me que o antecedeu. Os autores concluem
que o novo exame no conseguiu, at o
momento, resolver vrios dos problemas iden-
tificados na abordagem anterior, mas que
algumas das propostas, se implementadas,
constituiro um avano real para a utiliza-
o dos seus resultados.
Palavras-chave: Avaliao do ensino su-
perior. Provo. ENADE.
SINAES.
Abstract
From the
National
Course Exam
(Provo) to
ENADE: a
comparative
analysis of
national
exams used in Brazilian
High School
In this article, the authors comparatively
analyze the National Exam for Evaluating
292 Robert Evan Verhine, Lys Maria Vinhaes Dantas e Jos Francisco Soares
Student Achievement ENADE, and the
National Course Exam ENC, better
known as the Provo, focusing on
criticisms directed at the latter and the
ENADEs ability to address them. In so
doing, they identify similarities and
differences between the two exams, argue
that both sustain an adequate level of
technical integrity, and present
suggestions for improving the present
exam regarding aspects such as test
specification and instrument
pretesting. The analyses reveal that the
technical processes adopted by the two
approaches are very similar. Their
differences are primarily conceptual in
nature, since
the ENADE, in contrast to the Provo,
proposes to indicate achievement gain
over time and is not high stakes in
orientation. The authors conclude that the
new exam has not, as yet, resolved a
number of problems associated with the
previous approach, but some of the
current proposals, if implemented,
constitute a genuine advance with respect
to the utilization of the exam results.
Keywords: High Education Evaluation.
Provo. ENADE. SINAES.
Resumen
Del Provo al ENADE:
un anlisis comparativo
de los exmenes
nacionales utilizados en
la Enseanza Superior
Brasilea
En este artculo, los autores analizan, de un
modo comparativo, el Examen Nacional de
Evaluacin del Desempeo de los
Estudiantes (ENADE) y el Examen Nacional
de Carreras (ENC, ms conocido como
Provo), a partir de crticas hechas al
segundo y de la capacidad del ENADE de
encaminarlas. Al hacerlo, identifican
diferencias y similitudes entre los dos
exmenes, argumentan que ambos tienen
integridad tcnica y presentan
contribuciones para el perfeccionamiento
del examen vigente, tales como la
elaboracin de una matriz permanente y el
testeo previo de los instrumentos. En
sntesis, los anlisis sealan una gran
similitud entre los procesos tcnicos de los
dos abordajes, siendo que las diferencias
aparecen ms en el mbito conceptual,
dado que el ENADE se propone presentar
un indicador de diferencia de desempeo y,
especialmente, pierde el carcter high
stakes del examen que lo antecedi. Los
autores concluyen que el nuevo examen no
consigui, hasta el momento, resolver
varios de los problemas identificados en el
abordaje anterior, pero que algunas de las
propuestas, si fueran implementadas,
constituiran un avance real para la
utilizacin de sus resultados.
Palabras clave: Evaluacin de la enseanza
superior Provo ENADES - SINAES
Introduo
Na metade da dcada de 90, o governo
brasileiro iniciou um processo gradual de im-
plementao de um sistema de avaliao do
ensino superior. O processo teve incio em
1995 com a Lei 9.131 (BRASIL, 1995), que
estabeleceu o Exame Nacional de Cursos
ENC, a ser aplicado a todos os estudantes
concluintes de campos de conhecimento pr-
definidos. Leis subseqentes incluram no sis-
tema o Censo de Educao Superior e a Ava-
liao das Condies de Ensino ACE, atra-
vs de visitas de comisses externas s institui-
Do Provo ao ENADE: uma anlise comparativa dos
exames nacionais utilizados no Ensino Superior Brasileiro 293
es de ensino, mas o ENC, popularmente
conhecido como Provo, permaneceu no cen-
tro desse sistema. Ainda que inicialmente boi-
cotado em muitos campi, esse exame tornou-
se parte da cultura da educao superior no
Brasil. Apesar do seu crescimento (de 3 reas
de conhecimento testadas em 1995 para 26
em 2003) e da sua larga aceitao pela soci-
edade em geral, o Provo
1
foi veementemente
criticado por muitos membros da comunidade
acadmica e especialistas em avaliao. Mu-
danas para esse exame foram amplamente
debatidas durante a campanha presidencial
de 2002 e, logo aps o novo presidente (Luiz
Incio Lula da Silva) ter assumido o cargo,
sua administrao anunciou a formao de
uma comisso cujo trabalho teve como obje-
tivo sugerir alteraes significativas ao sistema
de avaliao vigente. Em agosto de 2003, a
comisso props um novo sistema, chamado
SINAES Sistema Nacional de Avaliao da
Educao Superior, que foi formalmente institu-
do atravs da Lei 10.861 (BRASIL, 2004), apro-
vada em abril de 2004. Esse novo sistema in-
clua uma diferente abordagem para o exame
de cursos, denominado ENADE Exame
Nacional de Desempenho dos Estudantes.
O presente artigo busca descrever, com-
parar e analisar o modelo do ENADE em
relao ao exame que se props a substi-
tuir, atravs do levantamento das principais
crticas feitas ao Provo e da sua resolu-
o, ou no, pelo ENADE. Ao faz-lo, pro-
cura identificar as diferenas e similarida-
des entre o ENADE e o Provo e discute a
integridade tcnica dos exames.
Para cumprir tais propsitos, alm da
reviso da documentao existente (leis,
relatrios e artigos), foram conduzidas en-
trevistas com membros da equipe do INEP
e da CONAES. importante enfatizar que
todos os dados levantados a respeito da
implementao do ENADE referem-se
aplicao realizada em 2004. Assim, even-
tuais mudanas efetuadas para a aplica-
o em 2005 no so aqui consideradas.
O presente artigo est organizado em
trs sees alm dessa Introduo. A pri-
meira seo descreve e contextualiza os dois
exames o Provo e o ENADE. A segunda
traz a comparao entre eles, a partir de
seis das principais crticas feitas ao Provo
e da tentativa do ENADE de endere-las.
A terceira seo apresenta as considera-
es finais, avaliando a integridade tcni-
ca dos exames e oferecendo contribuies
para a melhoria do modelo vigente.
Os diferentes contextos
do Provo e do ENADE
Conforme amplamente documentado na
literatura, o Provo nasce no mbito de glo-
balizao e neoliberalismo, em que o ensi-
no superior caracterizado por massifica-
o e diversificao, por um lado, e maior
autonomia institucional, por outro. Neste
contexto, o estado, tanto no Brasil como no
exterior, buscando conter despesas pblicas
e valorizando o mercado como mecanismo
de alocao de recursos escassos, inicia uma
poltica de gerenciamento distncia,
garantindo qualidade e responsabilidade
social atravs de processos de avaliao em
lugar dos de interveno e de controle dire-
to.
2
A partir da dcada de 80, no cenrio
internacional, um modelo geral de avalia-
1
Nesse artigo optou-se por utilizar a terminologia popular, Provo, em lugar de sua abreviao oficial, ENC, ao se mencionar
o Exame Nacional de Cursos.
2
As relaes entre globalizao, neo-liberalismo e a avaliao do ensino superior so discutidos no contexto internacional por Brennan;
Shah (2002), Heywood (2000) e Huisman; Curry (2004) e, no contexto brasileiro, por Dias Sobrinho (2003) e Gouveia e outros (2005).
o de ensino superior comea a emergir,
caracterizado pela combinao de auto-ava-
liao e avaliao externa realizada por pares
(BILLING, 2004). Embora este modelo no
tenha se manifestado uniformemente, vari-
ando de acordo com as caractersticas es-
pecficas dos diversos contextos nacionais,
interessante observar que, dentre aproxima-
damente 40 pases para os quais existem
estudos na literatura disponvel, apenas o
Brasil adotou o uso de um exame nacional
de cunho obrigatrio.
A legislao que criou o Provo deter-
minou que exames escritos fossem aplica-
dos anualmente, em todo o territrio nacio-
nal, a estudantes concluintes de cursos de
graduao. Embora precedido por outras
iniciativas buscando fomentar a avaliao
do ensino superior no Brasil,
3
foi a primeira
poltica desta natureza a ser aplicada de for-
ma universal e obrigatria (condicionada
liberao do diploma). Desde o incio, foi
planejada uma expanso gradual do n-
mero de cursos sob avaliao de modo a
garantir cobertura de todas as reas.
A poltica do Provo foi detalhada atra-
vs do Decreto n 2.026/96 (BRASIL, 1996),
que estabeleceu medidas adicionais para a
avaliao da educao superior, determi-
nando uma anlise de indicadores-chave da
performance geral do Sistema Nacional de
Educao Superior, por estado e por regio,
de acordo com a rea de conhecimento e o
tipo de instituio de ensino (baseada no
Censo da Educao Superior). O Decreto
acrescentava a avaliao institucional, co-
brindo as dimenses Ensino, Pesquisa, e
Extenso. Alm disso, determinava que to-
dos os cursos deveriam ser avaliados atra-
vs dos resultados do Provo e dos relatri-
os de especialistas, que verificariam in situ
as condies de ensino em termos do curr-
culo, da qualificao docente, das instala-
es fsicas e da biblioteca. Desde o incio,
a responsabilidade pela avaliao de insti-
tuies de ensino superior (IES) e de cursos
de graduao foi concedida ao INEP. O
nico componente do sistema que perma-
neceu fora do domnio do INEP foi relativo
avaliao da ps-graduao, desde 1976
sob responsabilidade da CAPES.
O aspecto high stakes
4
das avaliaes
conduzidas pelo INEP, que deveriam servir
para orientar decises relativas ao recre-
denciamento institucional e ao reconheci-
mento e renovao do reconhecimento dos
cursos, foi estabelecido oficialmente atra-
vs do Decreto n 3.860/01 (BRASIL, 2001).
Apesar dessas determinaes, tais aspec-
tos nunca foram implementados. Somente
em casos extremos as instituies perderam
credenciamento e o processo de recreden-
ciamento peridico no chegou a ser pos-
to em prtica (SCHWARTZMAN, 2004).
Fruto da gesto de Fernando Henrique
Cardoso, o Provo foi mantido pelo Parti-
do dos Trabalhadores no seu primeiro ano
de governo. Sensvel ao modelo dito neoli-
beral atrelado avaliao, o desagrado
no novo governo tornou-se explcito quan-
do da elaborao do Relatrio Tcnico do
Provo 2003 (BRASIL, 2003b), do qual
constam severas crticas a esse exame en-
quanto instrumento para medida de quali-
dade. Todavia, vale ressaltar que, ainda
quanto aplicao em 2003, o INEP in-
3
Para informao sobre os programas de avaliao do ensino superior que antecederam o Provo, ver Brasil (2004) e Gouveia
e outros (2005).
4
Termo tcnico da rea de avaliao, sem traduo consensuada para o portugus, que significa com conseqncias
significativas para aquele que est sendo avaliado. O termo low stakes significa o contrrio.
troduziu duas novidades na tentativa de
enderear essas crticas. Primeiro, publicou
os resultados dos cursos em ordem alfab-
tica, em lugar de ordem crescente de clas-
sificao nas escalas (dificultando, portan-
to, o ranking das IES). Em segundo lugar,
inseriu como um dos resultados a mdia
absoluta das reas de conhecimento, an-
tes relativa, baseada na curva normal.
Em paralelo operacionalizao do
Provo 2003, o Ministrio de Educao
designou a CEA para estudar o tema da
avaliao do ensino superior.
5
Em 27 de
agosto de 2003, a Comisso divulgou a
proposta preliminar para uma nova rede
de avaliao, com componentes articula-
dos e integrados, chamada Sistema Naci-
onal de Avaliao da Educao Superior,
ou mais sucintamente, SINAES.
6
No final de 2003, o governo Lula apro-
vou a Medida Provisria 147, mudando a
legislao que regia a avaliao da edu-
cao superior e, em paralelo, o MEC pu-
blicou e divulgou um documento detalhan-
do todos os aspectos da nova abordagem
de avaliao (BRASIL, 2003a). Ao faz-lo,
se ocupou em identificar vrias das defici-
ncias do exame utilizado anteriormente e
em fundamentar os conceitos, princpios e
caractersticas da nova proposta.
Em contraste com o sistema anterior de
avaliao, a abordagem do SINAES foi pen-
sada como verdadeiramente sistmica e com
foco na instituio. O documento acima re-
ferido, de apresentao do SINAES, obser-
vou que as avaliaes institucionais deveri-
am fornecer anlises abrangentes das di-
menses, estruturas, objetivos, relaes, ati-
vidades, compromissos e responsabilidade
sociais, das IES e de seus cursos, nas diver-
sas reas de conhecimento. A proposta con-
siderou tambm que os procedimentos, da-
dos e resultados deveriam ser pblicos; que
a autonomia e identidade das instituies e
cursos deveriam ser respeitadas, preservan-
do-se assim a diversidade que caracteriza o
setor no pas; e que todos os membros da
comunidade do ensino superior deveriam
participar, bem como outros representantes
da sociedade civil.
Medida Provisria 147 se seguiu a Lei
10.861 (BRASIL, 2004), de 14 de abril de
2004, aprovada por grande maioria na c-
mara federal e no senado. Uma anlise des-
sa lei deixa claro que nem todos os aspectos
da proposta inicial para o SINAES foram acei-
tos e, especialmente, que vrias das caracte-
rsticas da abordagem de avaliao do go-
verno anterior foram mantidas, o que parece
indicar que houve uma grande negociao
entre dezembro de 2003 at a passagem da
lei em abril do ano seguinte. Com ela, pode-
se perceber a separao ntida entre avalia-
o institucional e avaliao de curso e, nes-
se momento, a avaliao de desempenho de
estudante (ENADE) foi instituda como a ter-
ceira parte do sistema, com igual peso. Foi
tambm instituda a Comisso Nacional de
Avaliao da Educao Superior CONA-
ES, j prevista no delineamento do sistema
proposto pela CEA, mas no contemplada
na Medida Provisria.
5
A Comisso Especial de Avaliao (CEA) foi formalmente instituda pelo Ministro da Educao, em 29 de abril de 2003 e
apresentou sua proposta inicial para o sistema de avaliao em 27 de agosto do mesmo ano. Ela foi composta por 22 membros,
incluindo 14 professores universitrios, 3 estudantes, e 5 representantes do MEC (do INEP, CAPES e SESu). A CEA foi presidida pelo
Prof. Jos Dias Sobrinho, da Universidade de Campinas, um arquiteto-chave do PAIUB, programa de avaliao anterior ao
Provo, considerado por muitos como o modelo a adotar, por ter sido participativo, voluntrio e centrado na auto-avaliao.
6
Embora alguns autores tenham se referido ao esforo de avaliao pr-SINAES como um sistema, ele nunca foi legalmente
rotulado como tal e nunca recebeu um acrnimo referendando esse status.
Apesar das mudanas, ficaram assegu-
rados os principais conceitos norteadores:
respeito diferena, autonomia, iden-
tidade, alm da nfase na misso pblica
e nos compromissos e responsabilidades
sociais das IES. Tambm ficou mantido o
protocolo de compromisso para aqueles
que no obtivessem um conceito satisfat-
rio e garantido o carter regulatrio do SI-
NAES, sem excluir os aspectos avaliativo-
educativos do sistema.
Alm disso, enquanto o Provo se pres-
tava a ser um mecanismo de regulao, o
ENADE passaria a fornecer no s um in-
dicador com esse fim, mas principalmente
seria uma ferramenta de avaliao, atra-
vs do diagnstico de competncias e ha-
bilidades adquiridas ao longo de um ciclo
de 3 anos de escolarizao superior, cru-
zado com a viso do aluno sobre sua ins-
tituio e com seu conhecimento sobre as-
pectos mais gerais, no relacionados a
contedos especficos.
O estabelecimento desses princpios trou-
xe um grande impacto no processo de ava-
liao: no s os resultados deixaram de se
prestar a ranking e a competies, como os
novos objetivos do sistema o tornaram mais
subjetivo, conseqentemente, dificultando os
processos de avaliao, em especial quanto
ao estabelecimento de critrios e de padres
a partir dos quais decises quanto regula-
o viriam a ser tomadas.
Muitos dos aspectos de articulao en-
tre as trs peas do SINAES (avaliao ins-
titucional, de curso e do estudante) s fo-
ram melhor regulados com a publicao,
em julho de 2004, da Portaria n 2.051
(BRASIL, 2004). Essa portaria se incumbiu
de detalhar as atribuies da CONAES e
do INEP (com uma grande mudana nas
responsabilidades do INEP, que passa a
ser apenas executor da poltica), bem
como os procedimentos a serem usados
em cada instncia a ser avaliada (insti-
tuio, curso, e aluno).
Os componentes do SINAES que tra-
tam da avaliao institucional e da ava-
liao de cursos no so objetos deste
estudo e, assim, suas caractersticas no
sero aqui det al hadas.
7
Quant o ao
ENADE, da mesma forma que o Pro-
vo, tornou-se um componente curri-
cular obrigatrio, com registro no his-
trico escolar de cada estudante. Ou-
tras similaridades podem ser encontra-
das entre o Provo e o ENADE: os re-
sultados individuais dos estudantes so
disponveis apenas para eles prprios;
h premiao para os alunos com me-
lhores desempenhos, por rea de co-
nhecimento; dados de perfil do aluna-
do, do curso e da instituio, e percep-
o sobre a prova, so levantados em
paralelo aplicao do teste, forneci-
dos pelos estudantes e pelo coordena-
dor do curso avaliado; alm da j men-
cionada expanso gradual do sistema.
Dentre as diferenas entre o Provo e o
ENADE, pode-se relacionar:
1 O ENADE aplicado para estudantes
ingressantes e concluintes do curso
sob avaliao, desta forma incluindo
nos resultados uma aproximao da
noo de valor agregado;
8
7
Para uma descrio de tais caractersticas, ver Brasil (2004).
8
De acordo com o Diretor de Estatsticas e Avaliao da Educao Superior no INEP, o ENADE foi desenhado para medir a
trajetria de aprendizagem e no para conferir desempenho (entrevista em 01/05/2005).
2 O ENADE avalia cada curso trienal-
mente, em lugar da freqncia anual
do Provo;
3 O ENADE promete ser referenciado a
critrio, baseando seus testes em pa-
dres mnimos pr-determinados;
4 O ENADE se prope a englobar vrias
dimenses em seu teste, de modo a
cobrir a aprendizagem durante o cur-
so (em lugar de apenas medir o de-
sempenho dos alunos ao final do cur-
so) e dar um peso maior s competn-
cias profissionais e formao geral,
com nfase nos temas transversais;
9
5 O ENADE visa reduzir custos atravs
da administrao dos testes a uma
amostra representativa;
6 O ENADE divulga seus resultados de for-
ma discreta, com pouco alarde da mdia;
7 O ENADE se atribui um uso diagnsti-
co na medida em que se diz capaz de
identificar as competncias no desen-
volvidas pelos alunos ao longo de 3
anos de escolarizao superior;
10
e,
8 O ENADE parte da premissa de que as
instituies e cursos utilizaro seus resul-
tados como ingrediente em um processo
avaliativo institucional mais abrangente.
O estabelecimento de semelhanas e
diferenas entre ENADE e Provo interes-
sante no sentido de se poder observar at
que ponto o novo exame enderea as crti-
cas feitas ao antigo, sem uma quebra de
integridade tcnica. Por essa razo, uma
vez situados os contextos de ambas as abor-
dagens avaliativas, a seo a seguir rela-
ciona as principais crticas feitas ao Provo
e comenta a capacidade do ENADE de
solucion-las.
Anlise comparativa
entre o Provo e o
ENADE a partir das
crticas feitas ao primeiro
Ao comparar o Provo com o ENADE,
os autores pretendem responder s per-
guntas: que deficincias do Provo o ENA-
DE pretendeu suprir? Essa nova aborda-
gem de fato trabalhou as deficincias? Para
sintetizar sua resposta, optaram por rela-
cionar a seguir seis das principais crticas
feitas ao Provo e, para cada uma, co-
mentar tecnicamente o movimento do
ENADE no sentido de san-la.
1 Crtica
Faltou articulao do Provo com os
demais componentes da Avaliao da Edu-
cao Superior que, por sua caracterstica
de criao, no chegou a ser implementa-
da atravs de um sistema, no qual as par-
tes contribussem para uma viso geral da
qualidade de cada instituio.
Comentrio
O SINAES, ainda que com algumas al-
teraes advindas da promulgao da Lei
n 10.861/04 (BRASIL, 2004), em relao
proposta original, contempla esse pro-
blema. Cada componente do sistema con-
tribui na composio do conceito da ins-
tncia maior, ou seja, o ENADE utilizado
para a composio da nota do curso e essa
empregada para a composio do con-
ceito da instituio.
Trs ressalvas so necessrias: em pri-
meiro lugar, os critrios de participao
9
Essa diferena foi enfatizada pelos consultores do ENADE em suas apresentaes na 1. Conferncia da Associao de Avaliao
Educacional da Amricas (Braslia, 11-13 jul. 2005).
10
Para um aprofundamento sobre o aspecto diagnstico do ENADE, consultar Limana e Brito (2005).
das notas do ENADE nos conceitos dos
cursos e instituies ainda no foram di-
vulgados e, a depender das decises fei-
tas nesse sentido, podem dissipar a im-
portncia do exame; em segundo lugar,
no foram encontradas informaes so-
bre como as informaes provenientes do
roteiro de auto-avaliao (ferramenta da
Avaliao Institucional) sero processa-
das e analisadas; e por fim, em terceiro
lugar, tambm no fica claro como ou-
tros componentes no centrais do siste-
ma, como os conceitos da CAPES e as
informaes do Censo, vo contribuir
para o conceito final da instituio.
2 Crtica
O Provo foi imposto de fora para den-
tro, sem a participao das instituies a
serem avaliadas. Alm disso, a sociedade,
de maneira geral, e a comunidade acad-
mica no eram vistas como parceiros, ape-
nas como consumidores de informao.
Comentrio
Embora o componente de auto-ava-
liao institucional seja a pea chave do
SINAES, atravs da qual so respeita-
das a autonomia, a identidade e a di-
versidade das instituies da educao
superior, o ENADE, visto de maneira iso-
lada, adota os mesmos procedimentos
de representao utilizados pelo Provo.
As instituies e a comunidade acad-
mica so convidadas a participar ao se-
rem representadas nas comisses de ava-
liao, ao terem membros fazendo parte
das bancas de elaborao de testes, ao
responderem ao questionrio do coor-
denador de curso, e ao participarem de
seminrios e eventos com objetivo de
discutir os resultados obtidos e possveis
melhoras para o exame.
Quanto composio das comisses
assessoras de avaliao, uma ateno deve
ser dada ao nmero pequeno de represen-
tantes envolvidos, tanto para o Provo
quanto para o ENADE. A indicao de
membros das comisses por diversas ins-
tncias e regies do pas garante algum
tipo de representatividade, mas sete parti-
cipantes por rea de conhecimento um
nmero muito reduzido (embora os autores
reconheam que comisses com uma gran-
de quantidade de membros tendam a ser
improdutivas). Essa deficincia potenci-
alizada pela inexistncia de um processo
de validao externa, que envolva um n-
mero representativo de atores relevantes
debruando-se sobre as especificaes pro-
duzidas por cada comisso.
Merece reflexo um segundo problema
relacionado s comisses: na busca por re-
presentatividade, nem sempre o perfil tcnico
dos participantes garantido e no h, nos
relatrios tcnicos do INEP, meno pre-
sena de especialistas em avaliao em lar-
ga escala fazendo parte desses grupos, ain-
da que experincia em avaliao seja um
item para anlise do currculo dos membros
das comisses. Isso pode ter um especial im-
pacto nas especificaes do ENADE por que
as comisses so tambm responsveis pela
determinao do formato da prova.
A sociedade, de maneira geral, conti-
nua apenas sendo informada dos resulta-
dos do exame, agora com menos alarde.
No entanto, importante mencionar os pla-
nos do INEP de envolver, ainda mais, a
comunidade cientfica no processo de dis-
cusso sobre a qualidade do Ensino Supe-
rior, atravs de convites formais para sub-
misso de projetos de pesquisa baseados
na utilizao dos dados do ENADE. Os
projetos aprovados em termos de mrito
devero ser financiados pelo INEP. Essa
estratgia tem a vantagem de gerar uma
variedade bem maior de pesquisas acad-
micas e de talvez angariar um apoio junto
academia nunca desfrutado pelo Provo.
Essa proposta de envolvimento, at o mo-
mento de elaborao desse artigo, ainda
no tinha sido concretizada; se implemen-
tada, constitui um avano real do ENADE
em relao ao Provo.
3 Crtica
O Provo enfatizou competncias finais
especficas de cada rea de conhecimento,
deixando de lado aspectos fundamentais
relacionados ao processo de ensino-apren-
dizagem e formao do alunado, como
compromisso profissional, tico e socialmen-
te engajado. Alm disso, o Provo se con-
centrou no desempenho dos alunos, em
lugar de atentar para o valor agregado,
gerado pelo curso no decorrer do tempo.
Comentrio
Assim como o Provo, o ENADE se uti-
liza de quatro diferentes instrumentos para a
coleta de dados: 1) os testes; 2) um questio-
nrio para levantar a percepo dos alunos
sobre o teste (que faz parte do caderno de
prova); 3) um questionrio sobre o perfil
socioeconmico-educacional do aluno (em
caderno prprio, de preenchimento volun-
trio, e que deve ser entregue no dia da pro-
va); e 4) um questionrio a ser respondido
pelo coordenador de curso sob avaliao,
no qual se pedem suas impresses sobre o
projeto pedaggico e as condies gerais de
ensino de seu curso. No caso do ENADE,
possvel comparar as respostas dos alunos
ingressantes com aquelas apresentadas pe-
los alunos concluintes, no s em relao
aos testes, mas tambm quanto ao perfil e
percepo da prova, o que, contrastado com
o Provo, implica o acrscimo de uma im-
portante dimenso analtica a compor os
relatrios de avaliao.
Quando comparado ao Provo, o
ENADE se prope a ampliar a gama de
aspectos avaliados atravs do teste. O Pro-
vo manteve o foco no conhecimento pro-
fissional especfico, esperado em alunos
concluintes. No caso do ENADE, forma-
o geral e componente especfico repre-
sentam duas dimenses distintas da prova
e so analisados separadamente. Alm dis-
so, vez que o ENADE aplicou o mesmo
teste a alunos ingressantes e a concluin-
tes, as questes utilizadas deveriam cobrir
os diferentes estgios (ou nveis) de apren-
dizagem esperados na trajetria do curso.
Considerando o novo perfil do exame,
o nmero de questes de teste, especial-
mente no componente de formao geral,
parece ser muito pequeno para medir o
conhecimento e as competncias que esto
postas nas especificaes. De acordo com
o Resumo Tcnico do ENADE (BRASIL, 2005,
p. 10), os dez itens que compem a forma-
o geral devem medir: 1) tica profissio-
nal, 2) competncia profissional, e 3) com-
promisso profissional com a sociedade em
que vive. Ao mesmo tempo, devem avali-
ar a habilidade do estudante para anali-
sar, sintetizar, criticar, deduzir, construir hi-
pteses, estabelecer relaes, fazer com-
paraes, detectar contradies, decidir,
organizar, trabalhar em equipe, e admi-
nistrar conflitos. Alm dessas 12 compe-
tncias, as 10 questes do teste devem
considerar 11 diferentes temas, a inclu-
sos bio e sociodiversidade, polticas p-
blicas, redes sociais, cidadania, e pro-
blemticas contemporneas.
Contudo, a anlise dos itens do compo-
nente de Formao Geral oferecida nos Re-
latrios de rea do ENADE 2004 traz como
habilidades avaliadas: analisar relaes,
interpretar para inferir, interpretar texto po-
tico para associar, estabelecer pontos co-
muns, identificar para associar, refletir, de-
duzir, e efetuar leitura de grfico. Em que
medida essas oito habilidades esto relacio-
nadas tica, competncia e ao compro-
misso profissionais no fica claro, assim como
as anlises no aprofundam a relao do
desempenho dos alunos com os temas trans-
versais propostos. A partir da leitura dos re-
latrios e do Resumo Tcnico (BRASIL, 2005),
no possvel identificar uma lgica coe-
rente embasando o componente de forma-
o geral. Registra-se ainda que no houve
relato de estudos que considerassem se o
nmero de questes foi realmente adequa-
do. Como ser visto adiante, a inadequa-
o do componente de formao geral do
teste evidenciada pelo fato de que os alu-
nos ingressantes e concluintes atingiram, em
mdia, escores muito prximos.
As questes do componente especfico
foram mais difceis de avaliar por que dife-
rem entre as vrias reas. Tambm elas fo-
ram, a priori, insuficientes para cobrir todo
o escopo proposto. O problema foi exacer-
bado pelo fato de o nmero total de ques-
tes ser supostamente igual a 30.
11
Como
conseqncia, o grau de cobertura do es-
copo proposto de cada teste deve ter varia-
do enormemente pelas reas.
Esses problemas tambm foram identi-
ficados em relao ao Provo. Entretanto,
eles so mais graves no caso do ENADE
porque, como j observado, esse exame
aplica o mesmo teste a ingressantes e con-
cluintes e, por essa razo, as questes de-
veriam tambm cobrir os vrios estgios de
aprendizagem esperados em diferentes
momentos do curso. O Provo, em contra-
partida, foi menos ambicioso, vez que tra-
zia seu foco para o conhecimento profissi-
onal especfico de final de curso.
fundamental registrar uma limitao
importante identificada no processo de cons-
truo dos instrumentos, tanto para o Pro-
vo quanto para o ENADE: a ausncia de
pr-testagem dos itens, o que significa que
um procedimento tcnico fundamental para
assegurar a validade e confiabilidade do
instrumento no foi realizado. De acordo com
fontes do INEP, essa ausncia tem sido re-
sultante de cronogramas apertados para a
elaborao dos testes, muitas vezes associ-
ados quantidade de tempo gasta no pro-
cesso licitatrio para contratao de empre-
sas especializadas em avaliao, que rea-
lizado a cada ano. Ainda que os itens e as
provas, aps aplicao, sejam tornados
pblicos e discutidos pelas comisses, agn-
cias elaboradoras, e INEP, alm de serem
submetidos a um crivo estatstico (parte do
processo de anlise dos dados), essas aes
pos-facto no podem ser consideradas ade-
quadas para a composio das provas de-
vido s caractersticas de ambos os exames,
especialmente em uma situao onde os itens
no so reutilizados.
Como pode ser visto acima, muito da
promessa do ENADE de aumento do esco-
po avaliado no pode ser atendida nas suas
provas. Quanto ao valor agregado, o INEP
o rotulou, posterior e adequadamente,
como indicador de diferena de desempe-
11
A anlise de exemplos dos testes usados no ENADE 2004 mostrou que, ao contrrio das recomendaes oficiais de 30 itens, esse
nmero variou no componente especfico. Por exemplo, a prova de agronomia teve 40 itens.
nho. A abordagem utilizada permite dois
tipos de comparao. O primeiro a com-
parao, em uma mesma aplicao, entre
as mdias obtidas pelo grupo de alunos
ingressantes com as mdias do grupo de
concluintes. O segundo tipo pode ser obti-
do atravs dos resultados dos alunos in-
gressantes no primeiro ano do ciclo trienal
de avaliao com aqueles dos alunos con-
cluintes no terceiro ano do mesmo ciclo.
No caso do Provo, isso no era exe-
qvel, j que no havia a medio de en-
trada. No entanto, usando-se como medi-
da de entrada o resultado de vestibulares
seria possvel produzir, em regies restritas,
uma medida do valor agregado como feito
por Soares, Ribeiro e Castro (2001).
H problemas bvios com essas duas
comparaes. Quando se comparam alu-
nos ingressantes e concluintes em um de-
terminado ano, parte-se da premissa de que
esses dois grupos so comparveis, mas
preciso lembrar que o perfil de estudantes
de um determinado curso ou instituio
pode ter sido alterado ao longo do tempo.
Alm disso, pode haver efeito de seleo
ao longo do curso (atravs da aprovao/
reprovao dos alunos), que tende a artifi-
cialmente inflacionar o indicador de dife-
rena de desempenho. No caso da anlise
dos resultados de diferentes anos, a com-
parao de alunos ingressantes com con-
cluintes pode gerar incentivos indesejveis
e processos de avaliao, internos em cada
curso, mais voltados para um bom indica-
dor de diferena de desempenho. Nesse
sentido, como exemplos de possveis polti-
cas institucionais se podem citar o encora-
jamento de alunos ingressantes a demons-
trar um desempenho ruim no teste e/ou o
aumento da seletividade no processo de
aprovao das disciplinas nos cursos ava-
liados, segurando no percurso aqueles alu-
nos com desempenho que venha a com-
prometer o resultado da instituio no
ENADE. Se os mesmos estudantes fossem
avaliados no primeiro e no ltimo ano do
curso, esses problemas estariam sanados,
mas as dificuldades logsticas associadas a
um estudo em painel em larga escala so
to grandes que, embora inicialmente pen-
sados, essa opo foi julgada no factvel
pela equipe do INEP. Alm disso, outros
problemas poderiam advir do uso do pai-
nel, como, por exemplo, o fato que os alu-
nos, uma vez identificados, poderiam, des-
de o primeiro ano, sofrer presses e polti-
cas especiais da instituio, no sentido de
garantir um bom indicador de diferena de
desempenho aps trs anos.
Deve-se registrar ainda um outro pro-
blema com a tentativa de o ENADE calcu-
lar o valor agregado: os alunos ingressan-
tes so avaliados ao final do seu primeiro
ano letivo (com de 7% a 22% da carga
horria curricular cumprida). Com isso,
algum efeito institucional poder ter sido
introduzido, de modo que a diferena entre
os escores dos alunos ingressantes e con-
cluintes no capture todo o processo de
aprendizagem no contexto do curso.
Problemas com comparabilidade so
agravados por causa de deciso, para o
ENADE 2004, de se calcular um escore fi-
nal nico por curso, baseado na combina-
o dos resultados dos alunos ingressantes
e concluintes. Mais especificamente, neste
clculo, o escore padronizado dos alunos
ingressantes nos itens do componente espe-
cfico recebeu peso 15, o escore padroniza-
do dos alunos concluintes nos itens do com-
ponente especfico recebeu peso 60, e o es-
core padronizado de todos os alunos in-
gressantes e concluintes nos itens do com-
ponente de formao geral recebeu peso 25.
Dessa maneira, os alunos concluintes con-
triburam mais no clculo dos resultados
(aproximadamente 75% de concluintes contra
25% dos ingressantes, considerando-se que
a proporo de ingressantes e concluintes
na amostra total era aproximadamente de 2
para 1). Do mesmo modo, os componentes
especficos dos testes tiveram muito mais peso
que a formao geral (novamente, 75% e
25%, refletindo o nmero relativo de ques-
tes 30 x 10 que supostamente compu-
seram os dois blocos de itens das provas).
A razo para a composio de um resulta-
do nico, a partir dos resultados dos ingressan-
tes e concluintes, est ligada ao fato de que a
diferena entre os resultados dos dois grupos foi
muito pequena, especialmente no componente
de formao geral. Essa pouca diferena sur-
preendente e levanta questionamentos sobre a
qualidade dos itens. Simon Schwartzman (2005)
chamou esse fenmeno de O enigma do ENA-
DE. Uma das razes para o problema pode
estar no fato, j mencionado, da utilizao de
um nmero pequeno de itens. Uma outra con-
siderao que os itens do componente de for-
mao geral podem ter sido mais bem respon-
didos pelos alunos ingressantes por que tende-
ram similaridade com as questes comuns
aos vestibulares, dessa maneira favorecendo-
os. Vale repetir que, sem pr-testagem, no foi
possvel que os desenvolvedores de teste pre-
dissessem o comportamento dos itens, fazendo
adequaes que se mostrassem necessrias de
forma a evitar esses problemas.
Apesar dos possveis problemas listados
acima, no h dvidas de que o foco na
diferena entre os ingressantes e concluintes
o grande avano do ENADE, quando con-
trastado com o Provo, por que essa compa-
rao fornece algumas informaes a mais
sobre a aprendizagem e o perfil do aluno. O
Provo, com foco exclusivo no desempenho
do aluno concluinte, favorecia programas que
tivessem sido mais seletivos nos seus vestibu-
lares, ainda que esses programas no neces-
sariamente tivessem proporcionado um am-
biente mais favorvel aprendizagem. Infe-
lizmente, esse avano potencial do ENADE
foi prejudicado pela maneira escolhida pelo
INEP para o clculo da nota final do curso.
Atravs do uso de uma nota unificada, cal-
culada a partir de pesos dos resultados de
ingressantes e concluintes, essa comparao
desaparece. Novamente, o efeito de um pro-
cesso de seleo de entrada (vestibular) mais
exigente, que enviesava o Provo, se apre-
senta no ENADE. possvel, no entanto, que
esse escore unificado seja uma proposta
temporria. Fontes do INEP mencionaram
que, em trs anos, uma nova abordagem
ser adotada, vez que, nesse momento, ser
possvel comparar, para certos cursos, os es-
cores dos estudantes ingressantes em 2004
com os concluintes em 2007.
4 Crtica
O Provo no se mantm como indica-
dor de qualidade, pois a no equalizao
dos seus instrumentos contribui para resul-
tados instveis e sem comparabilidade,
Comentrio
Essa crtica, presente no Resumo Tcnico
do ENC 2003 (BRASIL, 2003b), poderia ser
aplicada inteiramente ao ENADE 2004. No
s os instrumentos no foram pensados para
garantir comparabilidade, como a frmula
utilizada para a composio dos conceitos
implicou resultados instveis e, pelo menos nas
reas de Medicina e Odontologia, inflaciona-
dos, como ser melhor explicado a seguir.
Em relao atribuio dos conceitos,
h duas maneiras de se transformar os esco-
res para obt-las. Testes referenciados a nor-
ma classificam os avaliados com base na
comparao entre eles. Testes referenciados
a critrios utilizam padres pr-estabelecidos
para o desempenho esperado ou desejado.
Tanto o Provo quanto o ENADE argumen-
tam que seu objetivo determinar se os alu-
nos demonstram ter o conhecimento e as
competncias que seus cursos requerem e,
por essa razo, idealmente deveriam ser refe-
renciados a critrio. Em realidade, muito
difcil o estabelecimento de especificaes de
teste para o ensino superior, dada a comple-
xidade das competncias requeridas pelas
carreiras que demandam grau superior. Um
teste referenciado a critrio adequado deve-
ria conter um amplo nmero de questes, o
que inviabilizaria sua aplicao em um per-
odo razovel. Assim, nem o Provo nem o
ENADE so referenciados a critrio. Esses dois
exames apenas classificam os cursos avalia-
dos a partir da comparao de seus resulta-
dos entre si, no mesmo campo de conheci-
mento, sem o estabelecimento de um padro
mnimo satisfatrio a ser alcanado.
Tanto o ENADE quanto o Provo base-
aram-se nos escores de testes padroniza-
dos para dar nota e classificar os cursos
avaliados
12
. Mas, ao faz-lo, eles optaram
por abordagens tcnicas diferentes. Por
exemplo, no Provo o ponto de referncia
para o estabelecimento da nota final de
cada curso considerou os escores mdios
obtidos por todos os cursos de uma deter-
minada rea. No caso do ENADE 2004, o
ponto de referncia no considerou as m-
dias obtidas pelos cursos em uma rea, mas
a distribuio dos escores brutos de todos
os estudantes do campo de conhecimento
sob avaliao. Como os escores dos alu-
nos variam mais que os escores mdios dos
cursos, a abordagem usada pelo ENADE
reduziu substancialmente o tamanho dos
escores padronizados (z), potencialmente
criando distores para a comparabilida-
de dos resultados.
13
Um segundo problema apontado que,
no caso do ENADE 2004, a nota do curso
dependeu dos melhores e piores escores dos
cursos em um dado campo de conhecimen-
to. A nota de cada curso foi determinada
atravs da seguinte frmula:
Onde nota a nota do curso, x
i
a
nota do curso i, x
(1)
a nota mnima entre
todos os cursos e x
(n)
a maior nota entre
todos os cursos.
A nota resultante foi ento multiplicada por
cinco e arredondada, de modo a que pudesse
ser situada em uma escala de cinco nveis, va-
riando de 01 a 05. Basear as notas nos escores
mais altos e mais baixos cria distores e insta-
bilidades para as comparaes ao longo do
tempo. Uma mudana na posio relativa en-
tre a menor nota e as outras notas das diferen-
tes instituies far com que o processo produ-
za valores substancialmente diferentes. Esse fe-
nmeno pode j ser observado em Medicina.
Em 2004, o mais baixo escore de curso foi subs-
tancialmente inferior aos outros. Se esse curso
12
Os autores prepararam uma nota tcnica explicando os detalhes estatsticos da atribuio de notas no Provo e no ENADE, que
est disposio dos leitores interessados.
13
Para calcular o escore padronizado (z), subtrai-se o escore bruto da mdia de distribuio dos escores brutos e divide-se o
resultado pelo desvio padro dessa distribuio. Dessa maneira, uma maior variao aumenta o valor do denominador da
equao, reduzindo, portanto, o valor do escore z.
nota
i
= ,
X
i
X
(1)
X
(n)
X
(1)
tivesse sido excludo da anlise, as notas dos
demais teriam sido drasticamente alteradas para
valores inferiores aos divulgados. Assim, o fato
de que, em Medicina, o curso de mais baixo
resultado tenha sido muito inferior aos demais
resultou, no geral, que as notas da rea tives-
sem ficado artificialmente altas. Dos 84 cursos
de Medicina avaliados pelo Provo em 2003,
64 (76%) melhoraram suas notas no ENADE
2004. O percentual dos cursos de medicina
classificados nas duas faixas mais altas da es-
cala subiu de 29% (24 cursos) em 2003 para
87% (73 cursos) em 2004. O percentual de
cursos nas duas categorias mais inferiores na
escala caiu de 21% (18 cursos) em 2003 para
zero, em 2004.
O caso de Odontologia igualmente
emblemtico em relao instabilidade dos
resultados. O nmero de cursos alocados
nas duas categorias superiores da escala
subiu de 41 (32% do total) para 115 (90%),
enquanto que o nmero de cursos das duas
categorias mais baixas caiu de 36 (28%)
para apenas um.
De maneira inversa ao fenmeno que
aconteceu em Medicina e Odontologia, mas
de acordo com o mesmo raciocnio, as notas
de um determinado campo de conhecimento
tornar-se-iam artificialmente baixas quando
o maior escore de um dos cursos fosse subs-
tancialmente superior aos demais. Esse caso
no foi identificado em nenhum dos sete cam-
pos de conhecimento avaliados em 2003 e
em 2004, mas poder acontecer no futuro,
contribuindo assim para a instabilidade dos
resultados ao longo do tempo.
14
A instabilidade do indicador da qualida-
de dos cursos, proveniente tanto do Provo
quanto do ENADE, aumentada pela fre-
qncia de revises feitas matriz de refern-
cia de cada rea de conhecimento. No s
os instrumentos em si no so equalizados
ao longo dos anos, como tambm aquilo que
avaliado pode mudar a cada reviso. Nes-
se caso, o prprio conceito de qualidade
que instvel, o que dificulta a tomada de
decises das instituies e formuladores de
polticas pblicas no sentido de atingir um
patamar, no mnimo, satisfatrio.
5 Crtica
O Provo seria economicamente invi-
vel com o passar dos anos.
Comentrio
No h um valor preciso ou estimado
do custo total do Provo ou do ENADE. Em
2002, o custo relativo contratao de
agncias de avaliao representou um va-
lor de aproximadamente R$ 100,00 por alu-
no (por volta de US$ 33,00 dlares). Quan-
to ao mesmo custo no ENADE 2005, o INEP
estima que tenha gasto R$ 62,00 por aluno,
equivalentes a US$ 27,00. No h informa-
es disponveis sobre os custos internos do
Ministrio da Educao com despesas com
viagens para seus membros e para aqueles
que fazem parte das comisses assessoras
de avaliao; com seminrios e eventos, com
impresso de material de divulgao; com
valor/hora do staff envolvido, com os paga-
mentos dos consultores responsveis pelas
anlises de dados e com outros servios.
14
Os autores compararam os resultados de 2003 e 2004 em quatro campos: Medicina, Odontologia, Agronomia e Farmcia.
Nesse grupo, os resultados melhoraram marcadamente nos casos de Medicina e Odontologia e moderadamente em Farmcia,
permanecendo os mesmos em Agronomia. difcil ignorar o fato de que a tendncia geral de melhoria traz benefcios polticos
potenciais e pergunta-se se essa conseqncia influenciou a deciso sobre a abordagem estatstica utilizada no ENADE. Pode-se,
entretanto, argumentar que no h qualquer evidncia de que essas melhorias nos resultados tenham sido exploradas publicamen-
te pelo INEP, pela imprensa ou por grupos poltico-partidrios. Na verdade, o INEP tem sido muito discreto na divulgao dos
resultados do ENADE.
A magnitude do esforo do ENADE 2004
foi consideravelmente menor que aquela do
Provo 2003. No seu ltimo ano de existn-
cia, o Provo foi aplicado a um total de
423.946 alunos matriculados em 5.897 dife-
rentes cursos, distribudos entre 26 campos
de conhecimento diversos. Entre 2003 e 2004,
o nmero de reas avaliadas foi reduzido pela
metade e o nmero de alunos que responde-
ram s provas foi diminudo em dois teros.
Esse fato mostra que o procedimento de amos-
tragem cumpriu seu propsito de reduo de
custos, ao diminuir o nmero de participan-
tes, especialmente frente s crescentes taxas
de matrcula e considerando-se a incluso
de alunos ingressantes como respondentes
dos testes.
15
Entretanto, exames em larga es-
cala so caros por natureza e h um cres-
cente surgimento de novos cursos e reas,
que precisaro ser contemplados no futuro.
Oramentos precisam ser garantidos no sen-
tido de que no haja ruptura nos ciclos de
avaliao ou queda da qualidade do exa-
me, com a expanso do sistema.
6 Crtica
O Provo concentrou seus esforos nos
aspectos regulatrios da poltica, dessa
maneira confundindo os conceitos de ava-
liao e regulao.
Comentrio
O ENADE refora os aspectos diagnsti-
cos do exame, contribuindo para que a di-
menso Avaliao prevalea sobre a Regu-
lao. Entretanto, o conflito avaliao x re-
gulao impactou o delineamento do SINA-
ES, ressaltado, por exemplo, pelas diferenas
entre a Medida Provisria 147 (BRASIL, 2003)
e a Lei n 10.861 (BRASIL, 2004), e est lon-
ge de ser resolvido. Nesse novo panorama
as referncias para controles das IES por par-
te do governo e sociedade voltam a ser difu-
sas. importante reconhecer que cabe ao
governo federal a superviso e regulao da
educao superior e essa funo no pode
ser desprezada. Talvez, com a implementa-
o plena do SINAES, essa dimenso venha
a ser contemplada com mais clareza e con-
sistncia do que at agora foi observado.
A leitura sobre seis das principais crti-
cas feitas ao Provo e dos esforos do ENA-
DE no sentido de resolver tais questes per-
mite perceber que a grande maioria delas
continua sem soluo.
Nas Consideraes Finais, a seguir, os
autores apresentam algumas contribuies
para o processo avaliativo.
Consideraes finais
O presente documento se props a des-
crever brevemente e a analisar o modelo
do ENADE, contrastando-o ao ENC, co-
nhecido como Provo. Aps a insero das
duas experincias em seus contextos polti-
co-educacionais, uma anlise tcnica foi
realizada a partir de seis das principais cr-
ticas feitas ao Provo e dos esforos do
ENADE para san-las.
Comparando-se os exames, foi possvel
observar que, quanto a questes tcnicas,
h muitas similaridades entre eles, especial-
mente em relao elaborao e admi-
nistrao dos instrumentos. Pode-se dizer que
ambos adotaram procedimentos criteriosos
nas etapas de construo, administrao e
anlise dos dados e que as estratgias de
divulgao respeitaram o sigilo aos resulta-
dos individuais dos estudantes, ao tempo em
15
Os autores analisaram a qualidade tcnica do processo de amostragem utilizado pelo ENADE 2004 e concluiram que o mesmo
foi desenvolvido com rigor apropriado, considerando as limitaes das informaes disponveis sobre os parmetros relevantes.
que garantiram transparncia quanto aos da-
dos agregados (por rea de conhecimento,
regio e dependncia administrativa) e aos
passos cumpridos para sua obteno.
As principais diferenas esto intrinseca-
mente relacionadas mudana de foco e
objetivo do ENADE, quando comparado ao
Provo. Assim, dentre elas pode-se ressaltar
a insero de um componente de Formao
Geral, comum para todos os campos de co-
nhecimento, nas provas dos estudantes; a
aplicao dos testes a uma amostra de estu-
dantes ingressantes e de concluintes; pelo
envolvimento dos alunos ingressantes, a ri-
queza da anlise de um indicador de dife-
rena de desempenho (tanto entre ingressan-
tes e concluintes em uma mesma aplicao,
quanto entre ingressantes em um ano x e
concluintes em um ano x+3); a possibilida-
de da anlise cruzada entre esse indicador e
os diversos fatores que compem o perfil do
alunado e a percepo que tiveram da pro-
va; a nfase de divulgao nos aspectos ava-
liativos do exame, que deixa de ser high stakes.
Muitas das promessas do ENADE ainda no
foram concretizadas. Dentre elas, algumas so
pontuais, como a no-divulgao de um rela-
trio tcnico-cientfico do ENADE 2004, e ou-
tras so estruturais e mais srias, como: a) as
dificuldades para a anlise das diferenas en-
tre ingressantes e concluintes, criadas a partir
da opo, pelo INEP, de composio de uma
nota nica, em lugar de uma nota dos in-
gressantes, e outra dos concluintes; e b) a
ausncia de um padro mnimo por rea.
Um dos aspectos mais preocupantes quanto
ao ENADE 2004, refere-se atribuio da
nota final, que implicou inflao dos cursos
com conceitos mais altos na escala (mantida
com cinco nveis) em algumas reas de co-
nhecimento, como Medicina e Odontologia.
Analisando-se os dois exames em rela-
o integridade tcnica, pode-se afirmar
que, de maneira geral, o ENADE manteve o
padro estabelecido pelo Provo. O proces-
so de especificao dos testes adotado pelo
ENADE 2004 foi similar quele utilizado
anteriormente pelo Provo. Para os dois exa-
mes, a formulao dos itens de teste, e a sub-
seqente composio das provas foram rea-
lizadas, a partir das especificaes definidas
por comisses assessoras, por agncias es-
pecializadas em avaliao, contratadas atra-
vs de processo licitatrio. O processo inter-
no conduzido por cada agncia foi descrito,
com algum detalhamento, nos vrios relat-
rios e manuais disponibilizados pelo INEP, e
parece ter sido conduzido de acordo com as
melhores prticas internacionais.
O grande impacto do ENADE est re-
lacionado no a mudanas tcnicas, mas
principalmente, aos aspectos regulatrios
do exame, que deixam de existir isolada-
mente. Nesse sentido, imprescindvel que
sejam criados e divulgados os critrios de
utilizao das notas do ENADE na compo-
sio dos conceitos da Avaliao de Cur-
sos e da Avaliao de Instituies.
Entendendo que, dos pases que reali-
zam avaliao do ensino superior, apenas
o Brasil optou por uma aplicao nacional
de exames escritos, por rea de conhecimen-
to, no fez parte do objetivo dessa investi-
gao discutir a pertinncia dessa escolha.
Os autores partem da premissa que, adota-
dos, os exames devem oferecer algumas
contribuies para o aprimoramento do
modelo atual, reconhecendo as dificulda-
des de delineamento de qualquer sistema de
avaliao em larga escala, para efeitos di-
agnsticos, de regulao ou quaisquer ou-
tros necessrios aos governos em geral.
Essas contribuies podem ser agrupadas
em trs diferentes categorias: 1) aspectos con-
ceituais e estruturais; 2) aspectos tcnicos; e 3)
aspectos administrativos. Em relao aos as-
pectos conceituais e estruturais, uma ateno
maior poderia ser dada elaborao de ma-
trizes de referncia para cada rea de conhe-
cimento, de modo a garantir que sejam dur-
veis por um perodo mais longo de tempo que
o ciclo atual. Para tanto, o processo de espe-
cificao das matrizes, por campo de conhe-
cimento, precisa ser mais aberto, com uma
ampla discusso nacional sobre seus elemen-
tos e com uma etapa de validao posterior.
Tambm interessante que haja mais incenti-
vo s anlises de comparao em relao s
mudanas no perfil socioeconmico-educaci-
onal de alunos ingressantes e concluintes. Su-
gere-se incluir nesses questionrios outras di-
menses de pesquisa, para que sejam levan-
tadas as contribuies da escolarizao do
ensino superior, no s quanto aprendiza-
gem dos alunos em relao aos contedos
especficos e de formao geral, mas tambm
em relao a atitudes e motivao, por exem-
plo. Por fim, defende-se uma maior articula-
o SINAES-CAPES, inclusive atentando para
um certo paralelismo, de modo a garantir que
os dois processos avaliativos sejam comple-
mentares e no concorrentes.
Em relao a aspectos tcnicos, os au-
tores acreditam que uma grande melhoria
no exame pode ser resultante da pr-testa-
gem dos itens de prova e questionrios. Essa
etapa crucial para a qualidade do instru-
mento e pode favorecer a representao do
escopo de competncias e habilidades em
cada rea de conhecimento, na medida em
que a perda de itens por desempenho in-
satisfatrio menor. Alm disso, essenci-
al para a construo de instrumentos que
estes sejam comparveis. Da mesma for-
ma, imprescindvel que a elaborao e
administrao de testes sejam desenvolvi-
das no sentido de garantir comparabilida-
de, em uma mesma rea de conhecimen-
to, atravs dos anos. Nos moldes de hoje,
essa comparabilidade est comprometida.
Quanto aos aspectos administrativos, as
sugestes se voltam para os processos lici-
tatrios, que poderiam ser feitos para todo
o ciclo trienal, com amarras contratuais que
permitam a quebra do contrato por falta de
qualidade no processo e nos produtos/ de
cumprimento das clusulas. Dessa forma,
garante-se tempo para a pr-testagem dos
instrumentos, a homogeneizao dos ma-
teriais, e facilita-se a comparabilidade dos
resultados nos anos x e x+3.
Para finalizar, imprescindvel reconhecer
que nenhum processo avaliativo, especialmen-
te considerando-se aplicao de instrumentos
em larga escala, capaz de cobrir todas as
dimenses que compem o conceito Quali-
dade da Educao Superior. Acresce-se a esse
reconhecimento o fato de que uma avaliao
integra um ciclo de gesto que se completa com
as etapas de planejamento e implementao.
Por essas razes, qualquer exame ou sistema
avaliativo precisa ser constantemente avaliado,
para que continue a ser til queles que depen-
dem de suas informaes, de carter diagns-
tico ou no. Nesse sentido, a mudana ENA-
DE x Provo interessante, bem como devem
ser considerados os diversos aspectos mencio-
nados acima, com o objetivo de aprimorar o
exame vigente. Uma especial ateno deve ser
dada utilizao dos produtos de um exame
como o Provo e, depois dele, o ENADE. Todo
esse esforo s se justifica se seus produtos fo-
rem efetivamente utilizados, nos diversos nveis
de tomada de deciso: aluno, curso, institui-
o, governo e sociedade.
Referncias
BILLING, D. International comparisons and trends in external quality assurance of higher
education: commonality or diversity? Higher Education, Netherlands, UK, v. 47, n. 1,
p. 113-137, jan. 2004.
BRASIL. Comisso Nacional de Avaliao da Educao Superior. Portaria n 2.051, de 9
de julho de 2004. Regulamenta os procedimentos de avaliao do Sistema Nacional de
Avaliao da Educao Superior (SINAES), institudo na Lei n 10.861, de 14 de abril de
2004. Conaes, Braslia, DF, 2004. Disponvel em: <http://portal.mec.gov.br/conaes/
arquivos/pdf/portaria_2051.pdf>. Acesso em: 24 set. 2006.
______. Decreto n 2.026, de 10 de outubro de 1996. Estabelece procedimentos para o
processo de avaliao de cursos e instituies de ensino superior. Casa Civil, Braslia,
DF, 1996. Disponvel em: <http:/www.planalto.gov.br/ccivil_03/decreto/Antigos/
D2026.htm>. Acesso em: 24 set. 2006.
______. Decreto n 3.860, de 9 de julho de 2001. Dispe sobre a organizao do
ensino superior, a avaliao de cursos e instituies e d outras providncias. Dirio
Oficial [da] Repblica Federativa do Brasil, Braslia, DF, 10 jul. 2001.
______. Lei n 9.131, de 24 de novembro de 1995. Altera dispositivos da Lei n 4.024,
de 20 de dezembro de 1961 e d outras providncias. Dirio Oficial [da] Repblica
Federativa do Brasil, Braslia, DF, 24 nov. 1995. Edio Extra, p. 19257. Disponvel em:
<http://www.planalto.gov.br/ccivil_03/Leis/L9131.htm>. Acesso em: 24 set. 2006.
______. Lei n 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliao
da Educao Superior SINAES e d outras providncias. Leis, Braslia, DF, 2004.
Disponvel em: <http://portal.mec.gov.br/arquivos/pdf/10861.pdf>. Acesso em: 24 set.
2006.
______. Medida provisria n 147, de 15 de dezembro de 2003. Institui o Sistema
Nacional de Avaliao e Progresso do Ensino Superior. Dirio Oficial [da] Repblica
Federativa do Brasil, Poder Executivo, Braslia, DF, 16 dez. 2003. Seo 1, n. 244, p.1-2.
BRASIL. Ministrio de Educao. Comisso Especial de Avaliao. Sistema Nacional de
Avaliao da Educao Superior SINAES: bases para uma nova proposta de avaliao
da educao superior. Braslia, DF, 2003a.
BRENNAN, J.; SHAH, T. Managing quality in higher education. Buckingham, UK: Open
University Press, 2002.
DIAS SOBRINHO, J. Avaliao: polticas educacionais e reforma da educao superior.
So Paulo: Cortez, 2003.
GOUVEIA, A. B. et al. Trajetria da avaliao da Educao Superior no Brasil. Estudos
em Avaliao Educacional: revista da Fundao Carlos Chagas, So Paulo, v. 16,
n. 31, p. 101-132, jan./jun. 2005.
HEYWOOD, J. Assessment in higher education: student learning, teaching progammes
and institutions. London: Jessical Kingsley Publishers, 2000.
HUISMAN, J.; CURRIE, J. Accountability in higher education: bridge over troubled waters.
Higher Education, Netherlands, UK, v. 48, n. 4, p. 529-551, dez. 2004.
INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANSIO TEIXEIRA.
Exame Nacional de Cursos 2003: resumo tcnico. Braslia, DF, 2003b. Disponvel em:
<http://www.inep.org.br>. Acesso em: 4 dez. 2004.
______. Exame Nacional de Desempenho dos Estudantes ENADE 2004: resumo
tcnico. Braslia, DF, 2005.
______. SINAES: da concepo regulamentao. 2. ed. ampl. Braslia, DF, 2004.
LIMANA, A.; BRITO, M. R. F. O modelo de avaliao dinmica e o desenvolvimento de
competncias: algumas consideraes a respeito do ENADE. Revista da Rede de
Avaliao Institucional da Educao Superior, Campinas, SP, v. 10, n. 2., jun. 2005.
SCHWARTZMAN, S. O contexto institucional e poltico da avaliao do ensino superior.
In: SCHWARTZMAN, S.; DURHAM, E. R. (Org.) Avaliao do ensino superior. So
Paulo: Ed. da USP, 1992. p. 13-27.
SCHWARTZMAN, S. O enigma do ENADE. Disponvel em: <www.schwartzman.org.br>.
Acesso em: 12 dez. 2004.
SCHWARTZMAN, S. The National Assessment of Courses in Brasil. In: PUBLIC POLICY
FOR ACADEMIC QUALITY (PPAQ). Research Program. Chapel Hill: University of North
Carolina, 2004. Disponvel em: < www.unc.edu/ppaq>. Acesso em: 1 fev. 2005.
SOARES, J. F.; RIBEIRO, L. M.; CASTRO, C. M. Valor agregado de instituies de ensino
superior em Minas Gerais para os cursos de direito, administrao e engenharia civil.
Dados, Rio de Janeiro, v. 44, n. 2, p. 363-396, 2001.
Recebido em: 03/07/2006
Aceito para publicao em: 01/09/2006

2006-Do Provão Ao ENADE

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

2006-Do Provão Ao ENADE

Enviado por

Direitos autorais:

Formatos disponíveis

Resumo

Nesse artigo, os autores analisam, de

Você também pode gostar