AVALIAO DAS UNIVERSIDADES BRASILEIRAS AS POSSIBILIDADES DE AVALIAR E AS

DIFICULDADES DE SER AVALIADO

AVALIAO DAS UNIVERSIDADES BRASILEIRAS

AS POSSIBILIDADES DE AVALIAR E AS
DIFICULDADES DE SER AVALIADO
Jorge Luiz Lordlo de Sales Ribeiro*

Recebido: jun. 2010 Aprovado: ago. 2010

*Psiclogo, Mestre em Lingstica e Doutor em Educao pela Universidade Federal da Bahia, professor
adjunto do Instituto de Psicologia da UFBA. E-mail: josales@ufba.br

Resumo: As dificuldades decorrentes da elaborao e implementao de um sistema de avaliao para as

instituies de ensino superior no Brasil IES so grandes e complexas, no s pelas dificuldades
inerentes ao ato mesmo de avaliar, como tambm pelas caractersticas do Sistema Federal de Ensino
Superior Brasileiro, quais sejam: a quantidade de IES, as suas diferentes formas de constituio
e tamanho, a concentrao das IES nas regies geogrficas mais desenvolvidas do pas, etc. As
IES, por sua vez, experimentam dificuldades no menos importantes, na medida em que sofrem
diretamente as consequncias da divulgao dos resultados, e reagem defensivamente, dificultando
a visibilidade dos formuladores das polticas de avaliao. Este trabalho pretende apontar alguns
aspectos enfrentados pelos avaliadores e avaliados nesta difcil tarefa, e refletir sobre o papel da
avaliao das IES no Brasil, tanto no contexto das polticas de expanso do sistema de ensino
superior, como das polticas de manuteno da sua qualidade.

Palavras-chave: Avaliao institucional. Avaliao universitria. Polticas de avaliao das universidades.

EVALUATION OF THE BRAZILIAN UNIVERSITIES THE POSSIBILITIES
OF EVALUATION AND THE DIFFICULTIES OF BEING EVALUATED

Abstract: There are difficulties arising from the preparation and implementation of an evaluation system for
higher education institutions in Brazil - HEI are large and complex, not only by the difficulties
inherent in the very act of evaluating, as well as the characteristics of the Brazilian Federal System
of Higher Education, namely: the number of HEI, the different formation patterns and sizes, the
concentration of HEI in geographical areas located in more developed regions, etc... The Higher
Education Institutions, in turn, experience difficulties that are no less important, to the extent that
they directly suffer the consequences of the dissemination of results, and react defensively, making
the visibility of evaluation policy-makers difficult. This study intends to point out some issues
faced by evaluators and evaluated in this difficult task, and to reflect on the role of the evaluation
of the HEI in Brazil, both in the context of expansion policies for the higher education system,
as well as in the quality maintenance policies.

Key words: Institutional evaluation. University evaluation. University evaluation policies.

INTRODUO
A primeira coisa que se pensa diante da palavra avaliao a finalidade/
utilidade dos seus resultados, ou seja, h uma estreita relao entre a utilizao
que se far dos resultados da avaliao e os procedimentos e modelo adotados.
Isto quer dizer que a avaliao no um empreendimento isento e justificado
por si mesmo, no uma simples aplicao de um mtodo de conferncia

Avaliao, Campinas; Sorocaba, SP, v. 16, n. 1, p. 57-71, mar. 2011 57

 Jorge Luiz Lordlo de Sales Ribeiro

da produtividade ou da eficincia de uma instituio. Ao contrrio, avaliar

imprimir uma orientao, conferir o grau de adeso a um ponto de vista,
, portanto, parte de um propsito, de uma poltica, como bem destaca Dias
Sobrinho (2002).
Deste ponto de vista, para avaliar uma instituio de ensino superior pre-
ciso estar inteirado da sua misso institucional, dos seus objetivos e finalidades,
mas preciso, tambm, estar inteirado da poltica de avaliao adotada pelos
rgos governamentais, dos critrios e indicadores adotados para examinar a
qualidade da educao superior, bem como das regras estabelecidas para mo-
nitorar o sistema de educao superior.
De fato, a avaliao de instituies universitrias traz tona necessaria-
mente a difcil discusso de conceitos e concepes sobre ensino, aprendiza-
gem, gesto e polticas de ensino. Difcil, porque discutir estes temas implica,
necessariamente, em estabelecer e demarcar posies polticas e ideolgicas
quase sempre inconciliveis. Um bom exemplo disso o conceito de qualidade.
Vroeijenstijin (1996) diz que procurar uma definio para qualidade perda
de tempo. De fato, so inmeras as definies, enfocando aspectos diferentes
daqueles que poderiam ser tomados apenas como resultado de uma atividade.
Quando aplicado ao ensino superior, o problema assume enorme proporo,
pois vrios so os aspectos que podem ser enfocados para expressar qualidade.
Desde o nmero de alunos, o tempo de concluso dos cursos, a relao entre o
planejamento e a execuo das atividades, a qualificao do corpo docente, a
produo cientfica dos alunos e dos professores, taxa de reprovao, taxa de
concluso de curso. Portanto, qualidade no est associada apenas a resultado,
como tambm a produto, a satisfao, a eficcia, a preciso etc.
Preocupada com a utilizao do termo qualidade na educao superior,
Santana (2007, p. 83) estabelece uma relao entre a avaliao e a utilizao
do termo qualidade:

O papel de Estado como avaliador da educao superior se consolidou

com a utilizao mais incisiva do termo qualidade na legislao e
no discurso oficial sobre ensino superior. A legislao educacional
brasileira, no artigo 206 da Constituio e no artigo 4 da LDB, de-
termina que a garantia de padro de qualidade um dos princpios
da educao. Mas [...] no deixa claro o que significa padro de
qualidade. Qualidade do qu? Para qu? Para quem? Como? [...].

Algumas situaes da educao superior, quando traduzidos em indicadores,

destacam importantes aspectos da vida acadmica. Outras, no entanto, destacam

58 Avaliao, Campinas; Sorocaba, SP, v. 16, n. 1, p. 57-71, mar. 2011

AVALIAO DAS UNIVERSIDADES BRASILEIRAS AS POSSIBILIDADES DE AVALIAR E AS
DIFICULDADES DE SER AVALIADO

situaes paralelas prtica acadmica, como por exemplo, o uso racional dos
recursos ou a relao de consumo que se estabelece entre o aluno e a univer-
sidade, numa flagrante aluso ao modo de produo capitalista incorporado
ao ensino, situaes essas to bem discutidas por Boaventura Sousa Santos
(2003), e que, de certo modo, prejudica o entendimento da qualidade no ensino
superior, na medida exata em que se transpe inadvertidamente a lgica do
trabalho administrativo para a prxis acadmica, o que Lima (1997), chamou
de educao contbil. Os critrios capazes de indicar o nvel de qualidade de
uma instituio universitria, como foi visto, so muitos e no h consenso
sobre a importncia de cada um deles. O entendimento do prprio conceito
de qualidade um dos obstculos enfrentados pelas comisses para avaliar as
instituies universitrias.
De outra parte, as avaliaes das instituies universitrias so realizadas
por comisses, compostas normalmente por professores, tcnicos administra-
tivos e alunos, convidados ou indicados pelos seus dirigentes que, em paralelo
s suas atividades de rotina, assumem o trabalho de planejamento e execuo
da avaliao institucional. Via de regra, a aceitao desta tarefa, quando no
por imposio do mantenedor ou chefe imediato (sobretudo nas instituies
particulares), est relacionada a interesses pessoais pelo tema, boa vontade, ou
mesmo, vontade de contribuir com o desenvolvimento institucional, como indica
o trabalho realizado por Ribeiro (2008). Torna-se um grande desafio, portanto,
a capacitao de mo de obra especializada para a realizao da avaliao das
instituies universitrias. Apesar dos desafios e das dificuldades, h um n-
tido reconhecimento da importncia da avaliao na atualidade. Seja qual for
o modelo de avaliao adotado, sejam quais forem os critrios determinados,
o reconhecimento da necessidade consensual, apesar de toda dificuldade da
tarefa. Mas porque a avaliao tornou-se to necessria e aceita?
Talvez seja justo pensar que o consenso em torno da avaliao foi produto, de
um lado, da capacidade de demonstrao da utilidade dos seus resultados, seja
para conhecimento da realidade do sistema de ensino superior, seja para prestar
contas sociedade, seja para subsidiar decises polticas e administrativas neste
campo. E, de outro lado, pressionado pela reforma do Estado, a escassez de
recursos para financiamento dos altos custos gerados pelos sistemas de ensino
superior exige, cada vez mais, como contrapartida, a qualidade dos cursos e a
eficincia das universidades.
Os argumentos apontam, portanto, para a convergncia entre preocupaes
de ordem acadmicas e preocupaes de ordem administrativas. Compreender
as consequncias dessa convergncia no campo da avaliao universitria

Avaliao, Campinas; Sorocaba, SP, v. 16, n. 1, p. 57-71, mar. 2011 59

 Jorge Luiz Lordlo de Sales Ribeiro

o ponto de partida para refletir acerca dos problemas e desafios do ensino

superior brasileiro na atualidade e o papel da avaliao como instrumento de
diagnstico e de interveno sobre o Sistema Federal de Ensino Superior. Tal
compreenso proporciona ao Estado a possibilidade de regulao e superviso,
e s Instituies de Ensino Superior IES, as possibilidades de crescimento e
aprimoramento da sua qualidade. O objetivo deste trabalho examinar algumas
dificuldades enfrentadas pelo Governo Federal e pelas instituies universitrias
para realizar a avaliao institucional, buscando, assim, contribuir com o aperfei-
oamento do Sistema Nacional de Avaliao da Educao Superior SINAES.

A AVALIAO DO ENSINO SUPERIOR NO BRASIL

Nos ltimos 15 anos, as grandes e rpidas transformaes econmicas,
polticas e sociais ocorridas ao redor do mundo, sobretudo na produo, circu-
lao e distribuio das riquezas, refletiram-se na diminuio da capacidade de
gerenciamento e de sustentao das atividades bsicas e essenciais por parte do
Estado. As instituies, principalmente as universitrias, demoraram a compre-
ender isto e reagiram fortemente para manter as suas verbas, a sua autonomia
e, principalmente, o seu modo de gerenciamento. De outra parte, o Estado,
dando continuidade ao seu projeto de modernizao, adotando cada vez mais
o ponto de vista neoliberal na expectativa de se incorporar a uma nova ordem
mundial, imprimiu uma rgida conteno oramentria s instituies pblicas e
incentivou a expanso do sistema de ensino superior pelo setor privado. A ava-
liao, ento, tomada como elemento norteador desse processo, como defende
Durhan (2003). Na dcada de 90, no auge da expanso, o Sistema Federal de
Ensino Superior brasileiro era submetido a sete diferentes formas de avaliao:
1) Avaliao para autorizao de curso
2) Avaliao para reconhecimento de curso
3) A avaliao das Condies de Oferta
4) Exame Nacional de Cursos
5) Anlise das Condies de Ensino
6) Questionrio sobre as condies scio-econmicas do aluno e a sua
opinio sobre as condies de ensino do curso freqentado.
7) Avaliao Institucional dos Centros Universitrios

60 Avaliao, Campinas; Sorocaba, SP, v. 16, n. 1, p. 57-71, mar. 2011

AVALIAO DAS UNIVERSIDADES BRASILEIRAS AS POSSIBILIDADES DE AVALIAR E AS
DIFICULDADES DE SER AVALIADO

O ENC - Exame Nacional de Curso, popularmente conhecido como Pro-

vo, tornou-se o centro da ateno da mdia, que entendeu ser este componente
da avaliao uma fiel fotografia da qualidade das instituies de ensino superior,
uma vez que media o desempenho do aluno, considerado o principal produto
da atividade universitria. Apesar dos equvocos, a divulgao dos resultados
do ENC causou, principalmente s instituies privadas de pequeno porte,
que disputam a sobrevivncia num ambiente muito competitivo, benefcios e
malefcios. O Exame Nacional de Cursos cumpriu um importante papel: o de
questionar os projetos de curso e, em consequncia, a idia de qualidade no
ensino. medida que se expandia para outros cursos, pretendendo alcanar a
totalidade dos cursos de graduao, o Exame Nacional de Curso passou a ser
destacado nos processos de renovao de reconhecimento de cursos, tornando-
se um poderoso instrumento de orientao da expanso do Sistema Federal de
Ensino Superior brasileiro e de regulao, pois os seus resultados passaram a ser
considerados suficientes para o reconhecimento dos cursos (Lei N. 9.131/95).
Alguns autores, no entanto, acreditam que a forma centralizada de imple-
mentao do Exame Nacional de Cursos e as consequncias da divulgao dos
seus resultados mudaram a relao do Estado com a avaliao, como assinala
Gomes (2003, p. 144) o papel regulador do MEC que passa a exercer as funes
do Estado Avaliador, descrito por Neave (1988). A reao da comunidade
universitria foi imediata e muitos estudantes se recusaram a fazer o provo.
Mas, ao longo do tempo, terminaram por ceder s presses tanto do Governo
como da mdia que divulgava os resultados positivos das IES participantes, em
detrimento das que no participavam do processo.
A forma como o processo de avaliao foi posto em prtica nos anos 90,
sobretudo no que diz respeito falta de participao da comunidade universitria
no processo, indica uma poltica do tipo Top Down1, onde o governo define
os parmetros de avaliao do sistema e submete as instituies ao processo.
Esta forma de concepo e implementao da poltica de avaliao do Sistema
Federal de Ensino Superior no Brasil reproduz uma tendncia apontada por
Albaek (apud FARIA, 2005, p. 98) sobre os processos de avaliao nos EUA
nos anos 60, quando prevalecia a funo de subsidiar o planejamento de pol-
1 O processo de implementao de polticas com abordagem top down tem como principal caracterstica
a separao entre os planejadores, que elaboram as polticas e os implementadores que as executam, sem ter
participado da sua elaborao. Enquanto a abordagem bottom up, ao contrrio, busca o envolvimento de todos
os participantes, convencendo-os acerca dos benefcios da poltica. A distino entre as duas abordagens pode
assim ser entendida: Simplificadamente, pode-se afirmar que a abordagem top down centra-se na questo
dos mecanismos de controle sobre os agentes implementadores para que os objetivos da poltica sejam atin-
gidos. Por sua vez, a abordagem bottom up enfatiza os incentivos que induzem os agentes implementadores
a aderir normativa e operacionalmente aos objetivos da poltica. (SILVA, 2000, p. 8)

Avaliao, Campinas; Sorocaba, SP, v. 16, n. 1, p. 57-71, mar. 2011 61

 Jorge Luiz Lordlo de Sales Ribeiro

ticas pblicas, servindo, portanto, aos formuladores de polticas e aos gerentes

controladores do sistema.
Os processos de avaliao so, portanto, polticas pblicas com grande
capacidade para promover mudanas e adequaes nos sistemas de ensino
frente s demandas sociais. Prova disso que o governo Luiz Incio Lula da
Silva colocou a avaliao institucional como o eixo da reforma universitria. A
avaliao, uma primeira etapa implementada que, juntamente com as polticas
afirmativas, visam a democratizao do acesso ao ensino superior, a ampliao
da oferta para camadas menos favorecidas da sociedade e otimizao dos recur-
sos investidos, atravs da modernizao dos processos de gesto universitria.
As medidas devem repercutir no setor privado, com efeitos na reduo da taxa
de ociosidade do sistema e na democratizao da gesto, inclusive com a maior
participao do corpo social da instituio e da comunidade externa.

O SISTEMA NACIONAL DE AVALIAO DA EDUCAO

SUPERIOR - SINAES
Para cumprir essas finalidades, o Governo Federal concebeu o Sistema
Nacional de Avaliao da Educao Superior SINAES2. Valendo-se das
experincias anteriores, o SINAES foi elaborado por uma comisso es-
pecialmente constituda para este fim, a partir de uma ampla discusso
envolvendo a comunidade universitria e outros segmentos da sociedade
civil organizada, orientada por uma abordagem de implementao de
polticas bottom up3, contrria, portanto, abordagem utilizada pelo ENC,
no governo anterior.
O SINAES foi uma tentativa bem sucedida de reunir, num s momento, todas
as faces da avaliao universitria, adotando uma viso sistmica, integrando
todos os dados obtidos em diferentes prticas avaliativas. Se por um lado isso
representa racionalidade nos procedimentos, resultando em economia de tempo
e de recursos, por outro lado, representa tambm dificuldades na adequao da
sistemtica de avaliao s caractersticas do Sistema Federal de Ensino Supe-

2 . Sistema Nacional de Avaliao da Educao Superior SINAES: Bases para uma Nova Proposta de
Educao Superior, documento apresentado em 2004 pela Comisso Especial da Avaliao da Educao
Superior CEA, presidida pelo Prof. Dr. Jos Dias Sobrinho, (UNICAMP), instituda em maio de 2003, pelo
ento Ministro da Educao, Cristovam Buarque, com a finalidade de analisar, oferecer subsdios, fazer
recomendaes, propor critrios e estratgias para a reformulao dos processos e polticas de avaliao da
Educao Superior e elaborar a reviso crtica dos seus instrumentos, metodologias e critrios utilizados,
(BRASIL, 2004). Em abril de 2004 a Lei 10.861, institui o Sistema Nacional da Educao Superior SI-
NAES, publicada no Dirio Oficial da Unio n 72 de 15 de abril de 2004.
3 . Ver distino entre as abordagens top down e bottom up na nota 1.

62 Avaliao, Campinas; Sorocaba, SP, v. 16, n. 1, p. 57-71, mar. 2011

AVALIAO DAS UNIVERSIDADES BRASILEIRAS AS POSSIBILIDADES DE AVALIAR E AS
DIFICULDADES DE SER AVALIADO

rior do pas. Trata-se de um sistema heterogneo, caracterizado pela presena

de instituies pblicas e privadas, constitudas como Universidades, Centros
Universitrios e Faculdades, com diferentes tamanhos e naturezas administra-
tivas. Ademais, o Brasil um pas com uma populao relativamente jovem,
com baixo nvel de escolarizao e com precrio poder aquisitivo. Cerca de
49% da populao economicamente ativa ganham em torno de trs salrios m-
nimos por ms, de acordo com os dados do IBGE (2004). O Sistema de Ensino
Superior brasileiro tem 5.080.056 alunos matriculados em 2.252 Instituies
de Ensino Superior, distribudos em diferentes tipos de instituies, conforme
demonstrado a seguir:

Tabela 1. Matrculas na Educao Superior por Organizao Acadmica 2007

Organizao Acadmica Matrculas %

Universidades 2.685.628 56,9
Centros Universitrios 720.605 14,8
Faculdades 1.673.823 4,8
Total 5.080.056 100,0

Fonte: INEP (2008)

Ainda de acordo com o INEP, dados de 2008, as instituies privadas respon-

dem por 75% das matrculas e os 25% restantes esto vinculados a instituies
pblicas federais, estaduais e municipais. Apenas 8,1% so universidades, em
sua maioria instituies pblicas. Os centros universitrios representam 5,5%
do total e a grande maioria das IES brasileiras constituda por faculdades
(73,2%), de pequeno porte, (menos de 1.000 alunos), pertencentes ao setor
privado (94,2%). Outro aspecto importante que dos 18.644 cursos vinculados
ao Sistema de Ensino Superior, 10.475 esto nas universidades.
Esses aspectos exigem do processo de avaliao e principalmente dos ava-
liadores a compreenso das consequncias dessas caractersticas sobre o bom
funcionamento dos cursos e das instituies formadoras. Avaliar, conforme foi
destacado anteriormente, no pode ser a aplicao direta e mecnica de uma
metodologia, nem tampouco a obedincia cega s diretrizes e aos roteiros pre-
estabelecidos. Ser necessrio contextualizar o processo de avaliao, discernir
o que significa um determinado resultado para uma determinada instituio,
compreender como cada indicador avaliado pode contribuir para a boa conse-
cuo de uma proposta acadmica e usar o bom senso para superar os muitos
desafios postos na relao entre os avaliadores e ao avaliados.

Avaliao, Campinas; Sorocaba, SP, v. 16, n. 1, p. 57-71, mar. 2011 63

 Jorge Luiz Lordlo de Sales Ribeiro

OS DeSaFIOS DO SINAES
O primeiro grande desafio a ser enfrentado pelo SINAES avaliar um sis-
tema de ensino superior muito grande, heterogneo, distribudo irregularmente
por cinco regies geogrficas muito diferentes uma das outras, utilizando o
mesmo modelo, os mesmos critrios e princpios para avaliao. Esta situao
produz consequncias diretas sobre a finalidade da avaliao. Nas regies Sul e
Sudeste, por exemplo, concentram-se cerca de 66% das IES brasileiras, conse-
quentemente, a esto concentrados o maior nmero de alunos, os professores
mais capacitados e as IES cientificamente mais produtivas, capazes de atrair
grande parte do financiamento destinado ao ensino superior brasileiro. Qual o
papel da avaliao acerca deste aspecto? A avaliao deve promover condies
para equalizao do Sistema, ou deve se constituir num poderoso sinalizador
de eficcia e eficincia, para subsidiar as decises sobre aplicao dos recursos
financeiros para o ensino superior? Esta questo no foi bem definida no mbito
da avaliao, pois, ao final do primeiro ciclo de avaliao do SINAES, a poltica
de financiamento das IES pouco se alterou. No que diz respeito s Universi-
dades Federais, a distribuio dos recursos oriundos do Programa de Apoio a
Planos de Reestruturao e Expanso das Universidades Federais - REUNI,
por exemplo, no levou em considerao os dados da avaliao institucional.
O outro desafio desenvolver um s instrumento capaz de avaliar as di-
ferentes IES, tanto em relao ao tamanho: IES de pequeno, mdio e grande
portes, como em relao natureza administrativa: IES pblicas e privadas.
No caso do SINAES, em especial, as dez dimenses da avaliao propostas
pela CONAES parecem mais relacionadas com as IES privadas, de pequeno
porte. Por outro lado, a construo dos instrumentos de avaliao, que devem
levar em considerao as dez dimenses, parece tomar como referncia, em
muitos aspectos, as universidades de grande porte. A adoo de certos critrios
e, sobretudo, as exigncias quanto produo de conhecimento e regime de
trabalho do corpo docente, por exemplo, indicam claramente esta tendncia. Esta
questo foi parcialmente resolvida com a opo por manter certos indicadores
aplicveis s universidades e no aplicveis s faculdades. Porm, no resolve
as situaes decorrentes do tipo de contrato de trabalho do corpo docente e do
seu nvel de qualificao, dos aspectos financeiros, da imagem da instituio etc.
A dificuldade com o instrumento to grande quanto treinar avaliadores
capazes de compreender e respeitar as diferenas institucionais, de exercer bem
o seu papel de agente transformador, prprio das avaliaes de carter forma-
tiva e, ao mesmo tempo, exercer o papel de agente fiscalizador, prprio das

64 Avaliao, Campinas; Sorocaba, SP, v. 16, n. 1, p. 57-71, mar. 2011

AVALIAO DAS UNIVERSIDADES BRASILEIRAS AS POSSIBILIDADES DE AVALIAR E AS
DIFICULDADES DE SER AVALIADO

avaliaes de carter regulatrio, cumprindo assim a dupla funo do Estado,

quais sejam: autorizar, credenciar, reconhecer e renovar o reconhecimento de
cursos e instituies de ensino superior, (funo regulatria); avaliar, incen-
tivar e garantir a qualidade dos cursos oferecidos pelas instituies de ensino
superior, (funo formativa).
De fato, estas parecem ser as duas maiores dificuldades do SINAES: o trei-
namento e capacitao dos avaliadores para regular o Sistema, e o entendimento
do que seria qualidade e quais os indicadores seriam utilizados para garantir e
incentivar o aprimoramento das IES.
A criao de um banco de avaliadores (BASis), que cadastrou avaliadores
de todas as regies do pas, no foi suficiente para vencer esta dificuldade. Os
critrios exigidos para inscrio no cadastro no garantiam a experincia com
avaliao institucional (Portaria 073/2002 INEP; Edital de Credenciamento
01/2006; Portaria 1.027/2006 MEC). Alm disto, a quantidade de avaliadores
necessria para realizar avaliao em mais de duas mil instituies muito
grande, o que significa, obviamente, dificuldade de treinamento. As constantes
prorrogaes dos prazos estabelecidos para realizao das avaliaes externas
so um bom indicador desta dificuldade (Portaria Normativa N 1/2007 MEC;
Portaria Normativa N 6/2007 MEC; Portaria Normativa N 40/2007 MEC).
A soluo para minimizar o problema veio em forma de um indicador de qua-
lidade da IES (ndice Geral de Cursos - IGC), desobrigando, assim, a visita
in loco de avaliadores para aquelas IES que obtiverem um IGC considerado
aceitvel. Porm, no h uma relao bem definida entre as exigncias que os
avaliadores faro das IES nas suas visitas in loco com os resultados dos ndices
de qualidade alcanados no IGC. Portanto, no h garantia de que a ideia de
qualidade traduzida no IGC seja a mesma ideia de qualidade defendida pelos
avaliadores institucionais quando examinam as IES.
As dificuldades com o treinamento e com a compreenso dos processos ava-
liativos por parte dos avaliadores ad hoc do INEP/MEC se aplicam igualmente
aos avaliadores internos, atores institucionais responsveis pela auto-avaliao
nas IES. Esta questo torna-se muito importante, pois o elemento centralizador
do SINAES a avaliao interna ou auto-avaliao das IES. Em cumprimento
Lei 10.861 de 2004, cada instituio de ensino superior criou uma Comisso
Prpria de Avaliao CPA, responsvel pela concepo e implementao da
auto-avaliao ou avaliao interna. As IES tiveram relativa liberdade para a
composio dessas comisses. De acordo com os depoimentos apresentados
nas oficinas e seminrios regionais promovidas pela CONAES, INEP e MEC,
algumas IES privilegiaram docentes com experincia em avaliao, noutros

Avaliao, Campinas; Sorocaba, SP, v. 16, n. 1, p. 57-71, mar. 2011 65

 Jorge Luiz Lordlo de Sales Ribeiro

casos o interesse pelo tema foi o elemento norteador. Noutros, ainda, a represen-
tatividade e legitimidade dos componentes da CPA foram aspectos destacados.
Almeida Jnior (2005) estudou o perfil dos coordenadores das CPAs cadastradas
no INEP at dezembro de 2004 e identificou que a maioria dos coordenadores
cadastrados era de IES privadas e 62% deles eram docentes. Embora em menor
nmero, identificou tambm como coordenadores, membros da administrao,
da sociedade civil e, at mesmo, estudantes. Este dado muito importante, pois
dependendo da funo exercida na instituio, a viso e o entendimento do
processo de avaliao sero diferentes. Esta, certamente, ser uma dificuldade
adicional para o treinamento desses coordenadores. De fato, aps os semin-
rios realizados pelo INEP e pela CONAES para capacitar os coordenadores de
CPAs, quase a metade dos participantes mostrou-se insatisfeita em relao aos
esclarecimentos sobre as dimenses, os instrumentos e diretrizes do SINAES
(ALMEIDA JNIOR, 2005).
Por outro lado, apesar da predominncia de docentes na coordenao das
CPAs, Assis e Oliveira (2009) estudando os efeitos das polticas de avaliao
sobre as prticas pedaggicas, ressaltam que cerca de 72% dos docentes des-
conheciam a proposta do SINAES, o que significa dizer que, mesmo sendo
docentes, os coordenadores no conseguiram uma boa sensibilizao entre os
seus pares. Andriola (2005) j havia chamado a ateno para este fato, apon-
tando a sensibilizao da comunidade acadmica e participao dos atores
institucionais como os principais desafios a ser enfrentados palas comisses
prprias de avaliao.

CONSIDERAES FINAIS
A partir das informaes disponveis nos sites das IES, em relatrios e
mesmo em artigos publicados, possvel pensar que os efeitos decorrentes da
implementao do SINAES recaram, sobretudo, nas instituies de ensino
superior privadas, de pequeno porte. provvel que o sistema de avaliao,
sendo apresentado em forma de Lei, tenha produzido um movimento nas IES
para a composio das comisses prprias de avaliao, para indicao dos seus
respectivos representantes, bem como para a elaborao dos projetos e relatrios
de avaliao, e que este movimento tenha gerado uma maior aproximao dos
atores institucionais, exigido a elaborao dos documentos institucionais que
norteiam a vida acadmica, tais como projeto pedaggico, estabelecimento da
misso institucional e o projeto poltico pedaggico. Porm, o maior ganho
institucional est na proposio de um modelo de gesto baseado no plane-

66 Avaliao, Campinas; Sorocaba, SP, v. 16, n. 1, p. 57-71, mar. 2011

AVALIAO DAS UNIVERSIDADES BRASILEIRAS AS POSSIBILIDADES DE AVALIAR E AS
DIFICULDADES DE SER AVALIADO

jamento estratgico, que surge quase que naturalmente medida que a IES
adota as diretrizes de avaliao do SINAES. Este efeito dificilmente poder
ser sentido nas instituies pblicas, de grande porte. Pode-se dizer, ento, que
o alvo principal do SINAES so as instituies privadas, de pequeno porte.
Entretanto, os principais efeitos esperados, a regulao e o aprimoramen-
to da IES, no mostram sinais de evidncia to claros. No que diz respeito
regulao, ainda cedo para compreender os seus efeitos, pois os ajustes
necessrios para corrigir eventuais pontos fracos detectados numa IES aps a
concluso dos ciclos de avaliao demandam um tempo maior. Em relao ao
aprimoramento da IES, os resultados podem ser utilizados rapidamente e os
efeitos podem ser imediatos. As constantes indicaes da falta de instituciona-
lizao dos resultados da avaliao (RIBEIRO, 2008; CARNEIRO; NOVAES,
2008; PEIXOTO, 2009), apontam para uma ritualizao da avaliao, visando
o estrito cumprimento da Lei.
No que tange s dificuldades operacionais do SINAES, o problema mais
grave, como foi visto, a seleo e treinamento de avaliadores. Um curso de
30 horas, como foi oferecido aos avaliadores, certamente no suficiente para
trein-los adequadamente. Alm disso, falta indicar com clareza o seu papel
quando examina uma instituio: ele estar a servio do seu aprimoramento,
portanto, juntando-se ao esforo dos corpos docente, discente e tcnico-ad-
ministrativo da IES para construir uma instituio melhor, ou estar a servio
do Ministrio da Educao, averiguando e fiscalizando as condies descritas
no projeto pedaggico, atravs da dinmica do funcionamento institucional?
Sero, assim, duas diferentes posturas dificilmente exercidas simultaneamente
pela mesma pessoa.
As comisses prprias de avaliao, por sua vez, so constitudas por pes-
soas que se interessam pela avaliao e compreendem a sua importncia, mas
no so capacitadas para coloc-la em prtica. No tm recursos, muitas vezes,
para envolver toda a instituio numa discusso sobre avaliao, estabelecendo,
assim os critrios e indicadores de qualidade do trabalho institucional. Como
consequncia, as pessoas participam da avaliao, mas desconhecem os seus
objetivos e finalidade e no percebem as repercusses da avaliao sobre o
seu trabalho.
Outros pontos negativos no menos importantes podem, ainda, ser men-
cionados. Um deles o conflito gerado pela duplicidade de funes, presente
nos documentos oficiais da CONAES/INEP4: por um lado, expressam a
4 Os documentos oficiais da CONAES/INEP so as Diretrizes para a Avaliao das Instituies de Educa-
o Superior, publicadas em 2004 e o Roteiro de Auto-Avaliao Institucional, tambm publicado em 2004.

Avaliao, Campinas; Sorocaba, SP, v. 16, n. 1, p. 57-71, mar. 2011 67

 Jorge Luiz Lordlo de Sales Ribeiro

preocupao com as diferenas institucionais, com a responsabilidade

social, com a participao democrtica do corpo social e da sociedade
civil organizada nos processos de avaliao institucional e, por outro lado,
indicam um instrumento5 nico para avaliao externa, pr-definindo os
pesos e valores para cada dimenso, adotando o PDI Plano de Desen-
volvimento Institucional e do PPI Projeto Poltico Pedaggico como
referncias para a avaliao institucional, e produzindo quase que uma
interferncia na gesto acadmica das IES, principalmente as pequenas
instituies particulares, como j foi discutido. Este conflito pode ser
notado, ainda, nos encontros6 promovidos pela CONAES/INEP/MEC
para capacitao dos coordenadores de CPA, sempre marcados pela
desconfiana entre as partes. Os coordenadores, que insistiam em obter
garantias em relao postura dos avaliadores ad hoc acerca das dificul-
dades que as IES experimentariam para dar conta das exigncias contidas
nos manuais e diretrizes do INEP; e os representantes da CONAES, do
INEP e do MEC, que tentavam tranquilizar os representantes das IES,
indicando a necessidade de se instituir uma nova cultura de avaliao,
capaz de respeitar as diferenas e especificidades das IES e dos contex-
tos em que elas esto inseridas, mas sem abdicar da funo regulatria
da avaliao institucional. Esta desconfiana era ressaltada exatamente
pelo desconhecimento dos critrios que seriam utilizados pelo INEP para
avaliar as IES, pois, quela altura, no havia ainda nenhum documento
que definisse a sistemtica da avaliao externa a ser adotada. Portanto,
no havia uma ideia objetiva dos indicadores que seriam utilizados para
examinar a qualidade, nem de como esses indicadores seriam tratados.
O documento dando conhecimento acerca do instrumento e dos crit-
rios que seriam utilizados para avaliao externa s foi apresentado em
novembro de 2005, quando todas as IES j haviam encaminhado ao
INEP os seus projetos de avaliao interna e as IES com at 500 alunos
j haviam, inclusive, concludo e enviado ao INEP os seus relatrios de
avaliao interna.
Certamente as autoridades educacionais brasileiras tero um farto material
para repensar e aperfeioar os processos de avaliao da educao superior.

5 Documento publicado pela CONAES/INEP em novembro de 2005, intitulado Avaliao Externa de

Instituies de Educao Superior: diretrizes e instrumento.
6 A CONAES, juntamente com o INEP/MEC, promoveram encontros regionais para capacitao das CPA
- Comisses Internas de Avaliao, para apoio auto-avaliao e para elaborao do relatrio. Os encontros
aconteceram em Braslia, So Paulo , Florianpolis e Salvador, reunindo representantes das IES por regio
geogrfica e por tamanho das IES.

68 Avaliao, Campinas; Sorocaba, SP, v. 16, n. 1, p. 57-71, mar. 2011

AVALIAO DAS UNIVERSIDADES BRASILEIRAS AS POSSIBILIDADES DE AVALIAR E AS
DIFICULDADES DE SER AVALIADO

Tero oportunidade de aprender com a prpria experincia. Porm o ponto de

partida dever ser uma discusso ampla e participativa do que entendemos por
qualidade da educao superior e de como capacitar pessoas, no mbito dos
rgos governamentais e no mbito das IES, para avaliar.

REFERNCIAS

ALMEIDA JNIOR, Vicente de Paula. O processo de implementao das

Comisses Prprias de Avaliao (CPAs): aes desenvolvidas e perfil dos
coordenadores. In: RISTOFF, Dilvo; ALMEIDA JUNIOR, Vicente de Paula
(Orgs.). Avaliao participativa: perspectivas e desafios. Brasilia: INEP,
2005. p. 39-57.

ANDRIOLA, Wagner B. Desafios e necessidades que se apresentam s

Comisses Prprias de Avaliao (CPAs) das instituies de ensino superior
visando implementao do Sistema Nacional de Avaliao da Educao
Superior (SINAES). In: RISTOFF, Dilvo; ALMEIDA JNIOR, Vicente
(Orgs). Avaliao participativa, perspectivas e desafios. Braslia: INEP,
2005. p. 57-70.

ASSIS, Lcia M. de; OLIVEIRA, Joo F. Repercusses das polticas

pblicas para a avaliao das IES na prtica pedaggica de professores em
instituies privadas. Avaliao, Campinas, Sorocaba, v. 12, n. 1, p. 111-
131, mar. 2007.

BRASIL, Lei 10.861 de 14 de abril de 2004, Dirio Oficial da Repblica

Federativa do Brasil, Poder Executivo, Braslia, DF, n. 72, abr. 2004.

BRASIL. SINAES. Sistema Nacional de Avaliao da Educao

Superior: da concepo regulamentao. Braslia, 2004.

CARNEIRO, Breno Pdua; NOVAES, Ivan. As comisses prprias de

avaliao frente ao processo de regulao do ensino superior privado.
Avaliao, Campinas, Sorocaba, v. 13, n. 3,nov. 2008. Disponvel
em:<http://www.scielo.br/scielo >. Acesso em: 14 ago. 2010.

CONAES - Comisso Nacional de Avaliao da Educao Superior.

Diretrizes para auto- avaliao das instituies de ensino superior.
Braslia: CONAES, 2004.

Avaliao, Campinas; Sorocaba, SP, v. 16, n. 1, p. 57-71, mar. 2011 69

 Jorge Luiz Lordlo de Sales Ribeiro

DIAS SOBRINHO, Jos. Educao e avaliao: tcnica e tica. In DIAS

SOBRINHO, Jos; RISTOFF, Dilvo. (Orgs.). Avaliao democrtica: para
uma universidade cidad. Florianpolis: Insular, 2002.

DURHAN, Eunice Ribeiro. Autonomia, controle e avaliao. In MORHY,

Lauro (Org.). Universidade em questo. Braslia: Ed. UnB, 2003. p. 275
300.

FARIA, Carlos Aurlio Pimenta de. A poltica de avaliao de polticas

pblicas. Rev. Bras. Cincias Sociais, So Paulo, v. 20, n. 59, p. 97-109,
out. 2005.

GOMES, Alfredo Macedo. Exame nacional de cursos e poltica de regulao

estatal do ensino superior. Cadernos de Pesquisa, So Paulo, n. 120, p. 129-
149, 2003.

IBGE. Orientaes Gerais para o Roteiro da Auto-Avaliao das IES.

Braslia, 2004.

IBGE. Resumo tcnico: censo da educao superior 2008 dados

preliminares. Braslia, 2009.

LIMA, Licnio. O paradigma da educao contbil: polticas educativas e

perspectivas gerencialistas no ensino superior em Portugal. Rev Bras de
Educao, So Paulo, n. 4, p. 43-59, jan./abr. 1997.

PEIXOTO, Maria do Carmo de Lacerda. A avaliao institucional nas

universidades federais e as comisses prprias de avaliao. Avaliao,
Campinas, Sorocaba, v.14, n.1, mar. 2009. Disponvel em: <http://scielo.br/
scielo>. Acesso em: 19 jul. 2010.

RIBEIRO, Jorge Luiz Lordlo de Sales. Caractersticas da implementao

do sistema de avaliao da educao superior (SINAES) em instituies de
ensino superior. 2008. 266 p. Tese (Doutorado) Universidade Federal da
Bahia, 2008.

SANTANA, Flavia Feitosa. A dinmica da aplicao do termo qualidade

na educao superior brasileira. So Paulo: Senac, 2007.

SANTOS, Boaventura de Sousa. Pela mo de alice: o social e o poltico na

ps-modernidade. So Paulo: Cortez, 2003.

70 Avaliao, Campinas; Sorocaba, SP, v. 16, n. 1, p. 57-71, mar. 2011

AVALIAO DAS UNIVERSIDADES BRASILEIRAS AS POSSIBILIDADES DE AVALIAR E AS
DIFICULDADES DE SER AVALIADO

SILVA, Pedro Luiz Barros; MELO, Marcus Andr Barreto. O processo

de implementao de polticas pblicas no Brasil: caractersticas e
determinantes da avaliao de programas e projetos. Campinas: Ncleo de
Estudos de Polticas Pblicas Universidade Estadual de Campinas, 2000.
(Caderno n. 48).

VROEIJENSTIJIN, A. L. Melhoria e responsabilizao: navegando entre

Cila e Carbdis. Manual de Avaliao Externa da Qualidade no Ensino
Superior. Braslia: CRUB, 1996. Estudos e Debates, n. 18.

Avaliao, Campinas; Sorocaba, SP, v. 16, n. 1, p. 57-71, mar. 2011 71