CENTRO DE CIÊNCIAS DA EDUCAÇÃO - FAED

DIREÇÃO ASSITENTE DE PESQUISA E EXTENSÃO - DAPE

CURSO DE ESPECIALIZAÇÃO EM GESTÃO DE BIBLIOTECAS

ANA LUIZA DE OLIVEIRA MATTOS

APLICAÇÃO DOS CRITÉRIOS DE AVALIAÇÃO DO MEC EM BIBLIOTECAS UNIVERSITÁRIAS:

APONTAMENTOS PARA UMA DISCUSSÃO

Florianópolis, SC

2005
 CENTRO DE CIÊNCIAS DA EDUCAÇÃO - FAED

DIREÇÃO ASSITENTE DE PESQUISA E EXTENSÃO - DAPE

CURSO DE ESPECIALIZAÇÃO EM GESTÃO DE BIBLIOTECAS

ANA LUIZA DE OLIVEIRA MATTOS

APLICAÇÃO DOS CRITÉRIOS DE AVALIAÇÃO DO MEC EM BIBLIOTECAS UNIVERSITÁRIAS :

APONTAMENTOS PARA UMA DISCUSSÃO

Trabalho apresentado ao Curso de Especialização em Gestão de

Bibliotecas da Universidade do Estado de Santa Catarina – UDESC,
como requisito para conclusão do Curso.

Orientador: Maria Lourdes Blatt Ohira

Florianópolis, SC

2005
 ANA LUIZA DE OLIVEIRA MATTOS

APLICAÇÃO DOS CRITÉRIOS DE AVALIAÇÃO DO MEC EM BIBLIOTECAS UNIVERSITÁRIAS :

APONTAMENTOS PARA UMA DISCUSSÃO

Trabalho aprovado como requisito para obtenção do grau de especialista, no Curso de Especialização em Gestão

de Bibliotecas da Universidade do Estado de Santa Catarina.

Banca Examinadora:

Orientador: _______________________________________________________________

Maria Lourdes Blatt Ohira, Ms.

Universidade do Estado de Santa Catarina

Membro: _______________________________________________________________

Fernando Fernandes de Aquino, Ms.

Universidade do Estado de Santa Catarina

Florianópolis, novembro de 2005

 RESUMO

O trabalho efetua uma análise comparativa entre os critérios utilizados pelo MEC para avaliação de

bibliotecas e aqueles aplicados regularmente em bibliotecas, por meio de levantamento na literatura

especializada, apresentando seus pontos positivos e negativos. Destaca a importância da questão da qualidade

em serviços de informação, ressaltando a necessidade do estabelecimento de padrões específicos para sua

avaliação, remetendo sua atenção para a legislação educacional vigente no Brasil, relativa ao ensino superior e

aos instrumentos do Sistema Nacional de Avaliação da Educação Superior. Identifica, a partir de análise da

literatura especializada da área, os principais métodos para avaliação de bibliotecas, classificados em

quantitativos e qualitativos, destacando aqueles mais utilizados para avaliação de acervos e serviços. Elabora

quadros comparativos para análise dos critérios aplicados nas avaliações de bibliotecas, tanto pelo MEC quanto

os apresentados na literatura especializada. Conclui apresentando os pontos fortes e pontos fracos das

avaliações de bibliotecas efetuadas pelo MEC, buscando traçar orientações para o cumprimento adequado de

seu papel na manutenção da qualidade em serviços de informação.

PALAVRAS-CHAVE: Avaliação de Bibliotecas. Avaliação Institucional. Bibliotecas

Universitárias. Metodologia. Qualidade. Indicadores. Educação – Legislação. Ensino Superior.

 ABSTRACT

The work makes a comparative analysis between the criteria used for the MEC for evaluation of libraries

and those applied regularly in libraries, by means of survey in specialized literature, presenting its positive and

negative points. It detaches the importance of the question of the quality in services of information, standing out

the necessity of the establishment of specific standards for its evaluation, sending its attention for the effective

educational legislation in Brazil, relative to superior education and the instruments of the National System of

Evaluation of the Superior Education. It identifies, from analysis of the specialized literature of the area, the main

methods for evaluation of libraries, classified in quantitative and qualitative, detaching those more used for

evaluation of collections and services. It elaborates comparative pictures for analysis of the criteria applied in the

evaluations of libraries, for the MEC and those presented in specialized literature. It concludes presenting the

strong points and weak points of the evaluations of libraries effected by the MEC, searching to trace orientations

for the adequate keeping of its role in the maintenance of the quality in information services.

KEY-WORDS: Evaluation of Libraries. Institucional evaluation. University libraries.

Methodology. Quality. Standards. Education - Legislation. Superior Education.

 LISTA DE ABREVIATURAS

ABNT Associação Brasileira de Normas Técnicas

ACE Avaliação das Condições de Ensino

CES Comissão do Ensino Superior

CONAES Comissão Nacional de Avaliação da Educação Superior

DAES Diretoria de Estatísticas e Avaliação da Educação Superior

ENADE Exame Nacional de Desempenho do Estudante

ENC Exame Nacional de Cursos

IES Instituição de Ensino Superior

INEP Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira

LDB Leis de Diretrizes e Bases da Educação Nacional

MEC Ministério da Educação

PDI Plano de Desenvolvimento Institucional

SINAES Sistema Nacional de Avaliação da Educação Superior

 LISTA DE QUADROS

Quadro 1: Indicadores para avaliação de bibliotecas p. 38

Quadro 2: Indicador Espaço Físico p. 39

Quadro 3: Indicador Acervo p. 40

Quadro 4: Indicador Serviços p. 41

 SUMÁRIO

1 INTRODUÇÃO p. 9

2 QUALIDADE EM SERVIÇOS DE INFORMAÇÃO p. 12

3 AVALIAÇÃO DE SERVIÇOS DE INFORMAÇÃO p. 16

4 AVALIAÇÃO DE BIBLIOTECAS PELO MEC p. 25

4.1 Avaliação in-loco das condições de ensino nas instituições p. 28
5 QUADROS COMPARATIVOS p. 37
5.1 Indicador Espaço Físico p. 39
5.2 Indicador Acervo p. 40
5.3 Indicador Serviços p. 41
6 METAAVALIAÇÃO p. 42

7 CONSIDERAÇÕES FINAIS p. 47

REFERÊNCIAS p. 51

BIBLIOGRAFIA COMPLEMENTAR p. 53
1 INTRODUÇÃO

Desde que as bibliotecas se formaram, a preocupação com a sua avaliação tem sido uma constante

entre os bibliotecários, principalmente do ponto de vista da sua eficiência no atendimento às necessidades dos

usuários. Métodos de avaliação de bibliotecas têm sido desenvolvidos e aplicados ao longo dos tempos,

fundamentados principalmente na questão da qualidade em serviços e produtos de informação.

As bibliotecas, por fazerem parte integrante das instituições de ensino e subsídio essencial da educação,

quer seja básica, média ou superior, também são foco das avaliações institucionais aplicadas pelo Ministério da

Educação (MEC), que tem procurado, ao longo da última década, estabelecer formas de controle da qualidade do

ensino no Brasil. O MEC tem regulamentado diferentes modelos de avaliação, sempre incluindo as bibliotecas

como requisito de peso.

Considerando-se os critérios aplicados pelo MEC terem sido impostos e alterados sem consulta prévia às

instituições e sem conhecimento específico por parte dos profissionais envolvidos nos processos de avaliação, os

mesmos têm sido alvo de críticas e as avaliações um momento de grande apreensão para os bibliotecários.

Diante do exposto, torna-se essencial avaliar a adequação da metodologia escolhida às funções e

objetivos propostos pela avaliação em questão. Neste trabalho procuramos levantar em que medida os critérios

de avaliação aplicados pelo MEC são quantitativos e/ou qualitativos, buscando realizar uma metaavaliação, ou
seja, uma análise da avaliação. Isto será possível a partir da elaboração de quadros comparativos onde serão

relacionados os métodos levantados na bibliografia especializada e os critérios do MEC.

Para tanto, serão analisados os critérios de avaliação de bibliotecas universitárias utilizados pelo MEC

nos casos de autorização e reconhecimento de cursos superiores, e, comparando-os aos métodos já aplicados

usualmente em bibliotecas levantados e identificados através da bibliografia especializada, verificar se, da forma

como são aplicados hoje, os critérios do MEC cumprem seu papel como indicadores de qualidade e/ou avaliação

institucional, levando-se em conta os aspectos de infra-estrutura, acervo, produtos e serviços de informação

oferecidos pelas bibliotecas universitárias. Como objetivos específicos procuraremos analisar a questão da

qualidade aplicada em serviços de informação, identificar pontos positivos e negativos das avaliações do MEC e

traçar orientações para os bibliotecários universitários no preparo e acompanhamento destas avaliações.

Os estudos já levantados sobre avaliação institucional e bibliotecas universitárias ainda não apresentam

conclusões precisas, mas apontam vários problemas. Com a comparação entre os critérios de avaliação

utilizados em bibliotecas e os atuais critérios aplicados pelo MEC, por ocasião das visitas in-loco, serão

apontados os seus benefícios e as possíveis falhas destas avaliações, ou seja, de que forma as bibliotecas estão

sendo prejudicadas ou quais os benefícios poderiam garantir através desses processos avaliativos. Procuraremos

também apontar de que forma as bibliotecas podem se preparar para estas avaliações, buscando melhorias na

qualidade de produtos e serviços oferecidos. Pretende-se também sugerir alternativas mais coerentes à

realidade, condições de trabalho e ao desempenho profissional do bibliotecário universitário, além de oferecer

subsídios para discussão dos processos de avaliação e sugestão de novas políticas governamentais.

Sendo a avaliação das condições de ensino um processo obrigatório na autorização e reconhecimento de

cursos superiores e havendo pouco conhecimento/envolvimento por parte dos bibliotecários nestes processos,

este levantamento será de grande valia, principalmente por se propor a traçar orientações aos profissionais da

área, além de centrar sua preocupação na manutenção da qualidade nos serviços de informação.
 Esta monografia será estruturada em: qualidade em serviços de informação, avaliação de serviços de

informação, avaliação de bibliotecas pelo MEC, quadros comparativos dos métodos identificados, metaavaliação,

e considerações finais.
2 QUALIDADE EM SERVIÇOS DE INFORMAÇÃO

A questão da qualidade sempre esteve intrínseca aos serviços de informação na opinião de Vergueiro

(2002, p. 9), “fornecer a informação correta e no momento certo ao usuário” sempre foi um de seus objetivos. A

necessidade da qualidade nos serviços de informação hoje está principalmente voltada às necessidades de seu

consumidor, o usuário da informação, de olho em suas especificidades e diferenças. Ainda destaca que, dentre

os fatores que mais influenciam os serviços de informação atualmente, estão os tecnológicos, os econômicos, os

políticos e os sociais.

Com relação ao controle da qualidade, considera-se a oferta de produtos um fator tangível, enquanto a

oferta de serviços, um fator intangível, já que depende da expectativa pessoal do cliente, o que torna sua

avaliação muito mais subjetiva. À medida que se conhece a expectativa do cliente, pode-se avaliar melhor os

resultados dos serviços oferecidos, conseqüentemente, buscar melhores resultados e qualidade. Sob esse

enfoque, o cliente e suas necessidades são colocados por Vergueiro (2002, p.47), no centro de todos os

processos da biblioteca ou serviço de informação, sendo vistos como elementos que definirão não apenas as

modificações necessárias, mas também todos os produtos e serviços a serem disponibilizados.

No que se refere ao controle de processos e produtos na área dos serviços de informação, observa-se

que o interesse pelas metodologias de controle é relativamente antigo. Há estudos tanto quantitativos quanto

qualitativos sendo aplicados em bibliotecas, atualmente com a preocupação maior de inseri-los no contexto

específico onde ocorrem esses processos e ter o foco no cliente, evitando-se o risco de se incorrer em uma

avaliação de visão unilateral do provedor dos serviços e somente de seu entendimento nos processos, sem
considerar as necessidades de seus clientes. Procura-se, com isso, tornar a busca pela qualidade uma

responsabilidade coletiva, envolvendo todos os participantes dos processos.

Vergueiro apresenta (2002, p.80), dentre várias técnicas de controle de qualidade aplicáveis em serviços

de informação, a implementação de melhoria contínua como força maior a se buscar, na medida em que se

procura atingir o aperfeiçoamento de processos e atividades pela definição de medidas de desempenho ou pela

formulação de padrões ou diretrizes para avaliação de serviços. Desta maneira, poderíamos fazer uma correlação

aplicável também aos padrões utilizados pelo MEC nas avaliações institucionais.

O estabelecimento de indicadores e padrões são parte essencial do processo de qualidade e podem,

segundo Vergueiro (2002), ser empregados para introduzir a gestão da qualidade, embora inicialmente tenham

sido vistos por muitos como alvos numéricos ou guias quantitativos para avaliação, ou seja, cobrança de metas.

Entretanto, já têm sido encarados como critérios gerais de excelência. Mas é importante que se aponte que esses

indicadores devem estar inseridos em um determinado contexto para poderem ser utilizados em instituições

específicas, sob o risco de não serem adequados quando isso não ocorrer.

Para Lancaster (1996, p. 5), a aplicação de padrões externos nas avaliações é legítima desde que

reflitam inteiramente as necessidades dos clientes da instituição. É indicado que se realize, em algum momento,

uma adaptação desses padrões para a realidade específica que se quer avaliar, principalmente no caso das

avaliações do MEC, com relação a questões sócio-econômicas, áreas específicas do conhecimento humano ou

tipologia de instituições, além de regionalização e cultura organizacional.

Segundo Rozados (2005, p. 2), “um indicador é uma medida [...] para a descrição ou representação de

um dado evento ou fenômeno.” E uma “métrica” (ou avaliação) pode fazer uso de um ou mais indicadores. Os

indicadores são, conforme Rozados (2005, p. 3), “unidades que permitem medir – caso de elementos

quantitativos, ou verificar – caso de elementos qualitativos, se estão sendo alcançados os objetivos ou as

mudanças previstas”, sendo, portanto, uma ferramenta de mensuração utilizada para levantar aspectos

quantitativos e/ou qualitativos de um dado fenômeno, com vistas à avaliação, para subsidiar a tomada de

decisões, sendo, portanto, indispensáveis instrumentos de gestão. Para que sejam utilizados na gestão, é
necessário, segundo a autora, que estejam normalizados e que sua produção se atenha sempre à mesma norma

ou forma de medida aplicada, a fim de que se permita sua comparabilidade. Sob este aspecto, podemos dizer

que os indicadores utilizados pelo MEC devem ser reavaliados, de acordo com cada realidade, pois, na medida

em que estabelecem padrões únicos, prejudicam as instituições cujos padrões se colocam de forma diferente,

com históricos e condições regionais diferentes.

Para se escolher indicadores, deve-se ter uma concepção precisa das instituições e sistemas a serem

gerenciados/avaliados. Desta forma, diferentes tipos de indicadores devem ser aplicados para que as

adequações a organizações, objetivos, metas e missão possam ser efetuadas, permitindo medir diferentes tipos

de atividades. Sutter (apud ROZADOS, 2005, p. 7), propõe para a escolha de indicadores, o uso de critérios de

pertinência (fidelidade do indicador ao fenômeno estudado), caráter operacional (facilidade de uso e

interpretação), caráter consolidável (agregável – de fácil confiabilidade) e caráter econômico (valor monetário).

Em seu trabalho, Rozados (2005) destaca que, conforme levantado na bibliografia especializada na área

da Ciência da Informação, os indicadores são cada vez mais utilizados em processos de avaliação de bibliotecas.

A autora os classifica em dois grandes grupos: indicadores quantitativos e indicadores qualitativos. Por

indicadores quantitativos entende aqueles que podem ser definidos por uma “unidade de contagem” (ROZADOS,

2005, p. 4). Já os indicadores qualitativos, são os que se referem à preocupação com a avaliação e a pesquisa de

qualidade, sendo, neste caso, diretos ou indiretos. São diretos quando estão ligados à qualidade e ao número de

fontes de informação escolhidas, ao valor agregado pelo trabalho do profissional da informação e à satisfação do

usuário. São indiretos quando representam a “medida da notoriedade” dos serviços (ROZADOS, 2005, p. 4).

Quando aplicados conjuntamente, múltiplos indicadores podem auxiliar na resolução de problemas conjunturais

ou assegurarem que os procedimentos internos sejam aplicados; podem indicar aspectos econômicos da

instituição, qualidade e desempenho de seus produtos e também a satisfação de sua clientela.

As avaliações institucionais aplicadas de acordo com o SINAES (Sistema Nacional de Avaliação do

Ensino Superior) devem utilizar um roteiro básico proposto pelo INEP (2004, p. 118) abrangendo as auto-

avaliações e as avaliações externas e incorporando, a cada caso, as devidas adaptações aos perfis institucionais
e às características das respectivas áreas do conhecimento avaliadas. Cada instituição deve orientar seu

processo de avaliação seguindo, deste roteiro, os itens e indicadores que lhe forem pertinentes. Cada unidade de

análise específica fornece os elementos essenciais para a elaboração dos indicadores e, segundo o INEP, o

roteiro e os indicadores que lhe correspondem devem ser constantemente aperfeiçoados e precisados, a partir

das recomendações e estudos provenientes da comunidade acadêmica e do próprio MEC.

3 AVALIAÇÃO DE SERVIÇOS DE INFORMAÇÃO

De acordo com Houaiss (2001, p.353), “avaliar” significa “estabelecer a valia, o valor”. Aplicando-se a

estas definições uma metodologia científica, podemos dizer que avaliar significa determinar, através de técnicas,

a qualidade de desempenho de um produto ou serviço, com o objetivo de auxiliar o processo de tomada de

decisão em uma organização e, complementando, melhorar seu desempenho. Ou seja, a avaliação faz parte do

processo de controle de qualidade. Dos métodos já desenvolvidos e usualmente aplicados em avaliação de

serviços de informação, podemos considerar tanto os métodos quantitativos quanto os qualitativos, sendo ambos

aplicados concomitantemente em serviços de informação.

Os estudos da avaliação institucional/bibliotecas devem essencialmente procurar identificar na avaliação

em questão os seguintes aspectos:

• a quem serve;

• qual a sua função social,

• que objetivos visam atender,

• que objetivos são foco de análise,

• que metodologias e procedimentos são adotados,

• que pressupostos as orientam,

• qual a concepção de qualidade implícita,

• o processo adotado é adequado à comunidade?

 Em seu trabalho, que pode ser considerado um dos mais atuais e completos estudos realizados em

avaliação de serviços de informação, Lancaster (1996) classifica e analisa, dentre vários métodos para avaliação

de serviços de informação, os seguintes:

1) Métodos de avaliação de acervos: fórmulas, julgamento por especialistas e comparação com bibliografias;

análise de uso; avaliação de periódicos; atualidade; disponibilidade nas estantes e outros fatores

determinantes de êxito ou não no fornecimento de documentos;

2) Métodos de avaliação de serviços de referência: perguntas e respostas atendidas; buscas em bases de

dados e avaliação da instrução bibliográfica (com relação à orientação dos usuários);

3) Outros aspectos da avaliação: uso compartilhado dos recursos disponíveis; relação custo-eficácia, custo-

benefício e, finalmente, controle de qualidade permanente.

Lancaster aponta os métodos de avaliação de acervo como essencialmente quantitativos, incluindo para

este indicador as avaliações de tamanho e crescimento, através da utilização de fórmulas e padrões já

estabelecidos, como por exemplo, o cálculo de livros per capita, modelo também utilizado nas avaliações do

MEC. Mas, para o autor, “o tamanho de um acervo significa muito pouco, a não ser que se considere também a

taxa anual de crescimento” (1996, p. 25). Uma biblioteca formada há muito tempo, embora possua um acervo

grande, talvez tenha um desempenho insatisfatório por que não venha investindo em sua atualização. Considera

importante também o aumento do número de volumes disponíveis de um mesmo título de acordo com o

crescimento do número de usuários. A melhor vantagem da aplicação de métodos quantitativos para as

bibliotecas, segundo Lancaster (1996, p. 24), é que podem beneficiar-se como uso destes padrões mínimos para

mostrar o quanto precisam melhorar seus acervos. Considera também significativa a problemática de volume

(conteúdo e quantidade de exemplares) em relação à quantidade de títulos disponíveis, o que pode levar uma

biblioteca menor a oferecer maior qualidade de informação.

Como métodos qualitativos, considera: julgamento por especialistas, também utilizado pelo MEC, uso de

bibliografias como padrão e análise de uso. Lancaster (1996, p. 28), considera o primeiro como método

“impressionista” por não ter caráter imparcial e não ser, o especialista, na maioria das vezes (quando o avaliador
é externo), conhecedor das necessidades dos usuários da biblioteca, o que, para o autor, é fundamental para

uma boa avaliação. Se os especialistas chamados forem os professores da instituição, talvez tenham sido eles os

responsáveis pela formação do acervo em questão; neste caso, estariam avaliando seu próprio desempenho, o

que, para Lancaster, seria uma prática questionável. Sugere como opção a avaliação do acervo pelo próprio

pessoal da biblioteca, adotando-se procedimentos formalizados para coletar dados quantitativos e qualitativos

que auxiliem a identificar áreas fortes e fracas. Na avaliação através do uso de listas ou bibliografias padrão, a

maior dificuldade é definir a bibliografia adequada: para o MEC, são consideradas “adequadas” as bibliografias

apresentadas nos planos de ensino das disciplinas dos cursos em avaliação. A melhor forma, neste caso, seria

selecionar obras de referência em cada assunto específico e estabelecer-se uma nova lista padrão, relacionada

às necessidades dos usuários e política de desenvolvimento de cada acervo, através da análise de uso do acervo

e ajuda de especialistas. Para alguns cursos, como Administração e Ciência da Computação, o MEC já tem estas

listas definidas, embora estejam muito desatualizadas e incompatíveis com o mercado editorial, o que

impossibilita a sua aquisição, principalmente quando da formação de acervos para a autorização de novos

cursos. A análise de uso para avaliação de acervos é considerada por Lancaster (1996, p. 51), a melhor forma de

se identificar os seus pontos fortes e pontos fracos. Em momento nenhum da sua avaliação o MEC considera

este indicador (circulação). São indicados métodos quantitativos: análise do número de empréstimos por área de

conhecimento - uso relativo; número de ítens emprestados por número de vezes que foram emprestados; última

data de circulação; análise de empréstimos entre bibliotecas; uso na própria biblioteca.

Para avaliação qualitativa de acervo, Lancaster (1996, p. 142) também estuda a aplicação de

questionários aos usuários, através dos quais se podem identificar: grau de disponibilidade do acervo nas

estantes ou demandas específicas.

Dos serviços oferecidos pela biblioteca, o de referência é o que abrange mais significativamente a

satisfação do usuário. Pode ser avaliado, segundo Lancaster (1996, p. 156), por meio da análise de perguntas

atendidas, se suas expectativas foram resolvidas, se o desempenho do pessoal da biblioteca é satisfatório. Outro

método de avaliação de serviços é o levantamento das buscas, chamadas de não-delegadas por Lancaster
(1996, p. 198), e do desempenho atingido pelos próprios usuários, identificando a necessidade ou não de seu

treinamento específico em metodologia da pesquisa, tanto nos instrumentos da biblioteca, quanto em bases de

dados eletrônicas ou virtuais, ou seja, a avaliação da instrução bibliográfica (LANCASTER, 1996, p. 226).

Gostaria de acrescentar aqui a questão da “competência informacional”, tema hoje essencial para o planejamento

de acervos e serviços de informação. Consideram-se competente, de acordo com a Association of College And

Research Libraries (2000), os alunos/usuários capazes de:

1) determinar a natureza e a extensão da informação que necessita;

2) acessar a informação necessária eficaz e eficientemente;

3) avaliar a informação e as suas fontes criticamente e incorporar a informação selecionada em sua base de

conhecimentos;

4) individualmente ou como um membro de um grupo, usar a informação eficazmente para realizar uma

finalidade específica;

5) compreender as condições econômicas, legais, e sociais que cercam o uso da informação e acessá-la e

utilizá-la ética e legalmente.

Sendo assim, a avaliação da instrução bibliográfica do usuário torna-se fundamental quando se pretende

avaliar a eficiência de um serviço de informação. Esta é uma avaliação essencialmente qualitativa.

O uso compartilhado de recursos como: empréstimos entre bibliotecas, participação em redes de

bibliotecas, catalogação ou acervos cooperativos, também podem ser considerados como indicadores qualitativos

para avaliação de serviços de informação, especialmente quanto à analise de seu custo-eficácia, influenciando

fatores como custos de pessoal, material consumido, uso de equipamento, espaço ocupado, comunicações,

arrendamento de bases de dados, compra e manutenção do acervo. A análise de custo benefício, mais difícil de

ser efetuada, envolve o problema do grau de instrução dos usuários, na medida em que avalia o impacto ou o

benefício real que a informação obtida pelo usuário possa ter. Para medir esse benefício, Lancaster (1996, p.

302-303), sugere os métodos: valor líquido; valor da redução da incerteza; custo da compra de serviço em outro

lugar; o tempo do bibliotecário substitui o tempo do usuário; o serviço melhora o desempenho ou poupa o dinheiro
da organização/IES (Instituição de Ensino Superior), além, é claro, do desempenho do usuário no curso

propriamente dito. Como sugestão final, Lancaster (1996, p. 319), recomenda que para que os serviços de

informação mantenham-se legitimamente com altos padrões de qualidade, as avaliações sejam efetuadas

regularmente, mostrando o quanto estão interessados em melhorar seus serviços.

Para Figueiredo (1992, p. 131), a avaliação pressupõe a existência de objetivos, uma vez que analisa se

foram ou não atingidos, tornando-se fundamental relacionar todas as atividades de avaliação aos objetivos gerais

da biblioteca, até mesmo da instituição a que esteja vinculada. Um bom projeto de avaliação, sob a ótica da

autora, deve compreender várias técnicas capazes de retratar a situação existente, identificar os fatores

causadores de falhas e indicar as medidas corretivas adequadas a cada situação em particular, sempre

sugerindo mudanças para a melhoria da qualidade, e destaca os seguintes métodos e técnicas para avaliação de

serviços de referência:

• Relação custo benefício (do serviço);

• Registro da proporção de questões respondidas X questões não-respondidas;

• Aplicação de questões teste;

• Coleta de dados para a tomada de decisão administrativa;

• Entrevistas, Questionários;

• Levantamentos;

• Observações e análise dos procedimentos adotados no serviço.

O mais importante é observar que, para fins de avaliação, só têm valor para autora os dados quantitativos

ou qualitativos que possam ser medidos em relação a um padrão. Os padrões oferecem então, apenas os

parâmetros quantitativos da avaliação (tamanho e composição da coleção, espaço, infra-estrutura, quantidade e

qualificação do pessoal, tipos de serviço, etc.).

Vergueiro (1989, p. 81), reforça também que, para avaliação especificamente de coleções, deve-se

identificar, antes de dar início a qualquer coleta de dados, os objetivos desta avaliação, pois deles dependerão a

escolha do método mais adequado. Para o autor, a avaliação é parte de um processo de desenvolvimento da
coleção que permite diagnosticar se este desenvolvimento está realmente ocorrendo e da forma prevista. Fazem

parte deste processo principalmente os estudos de usuários (das suas necessidades) e o desbastamento,

visando mudanças positivas.

O autor define como métodos quantitativos, a coleta de dados estatísticos que podem abranger: tamanho

da coleção, divisão do acervo por tipo de documentos, por área do conhecimento, data de publicação ou idioma.

Estabelece-se a média de crescimento da coleção, uso do acervo e sua relação com o número de usuários.

Vergueiro (1989), aponta como principal desvantagem destes métodos a questão do isolamento dos dados

coletados, quando não são relacionados com a qualidade da coleção e não sendo suficientes para elaborar-se

um julgamento de seu valor. Recomenda que cada cálculo numérico deva ser estabelecido de acordo com as

características específicas da instituição, ou seja, o estabelecimento de indicadores próprios para comparação.

Com métodos qualitativos, Vergueiro (1989) define aqueles que permitem condições de se avaliar o

conteúdo do acervo e sua relação com a satisfação das necessidades dos usuários, quando lhe é lançado um

julgamento de valor. Geralmente utilizam-se opiniões de especialistas ou checagem de listas recomendas e

catálogos especializados, pressupostos como padrões idéias de qualidade para aquele acervo. Deve-se levar em

consideração que para cada coleção e instituição há de se estabelecer indicadores específicos, não se devendo

utilizar listas que não correspondem à sua realidade. A grande desvantagem deste método é o caráter subjetivo

que leva à seleção pelo avaliador, muitas vezes arbitrária, de títulos ideais. O autor denomina este método, assim

como Lancaster, de “impressionista” (VERGUEIRO, 1989, p. 88).

Acrescenta também aos métodos, classificada com quantitativa, a análise dos fatores de uso do acervo.

A partir de registros de circulação, procura-se avaliar a adequação do acervo às necessidades de seus usuários,

procurando analisar também se este uso está ou não ocorrendo de forma correta, entrando em questão

problemas de educação do usuário (conhecimento das formas de acesso ao acervo) e seu treinamento. Procura-

se avaliar também o uso passado, ajudando a prever o futuro, e identificar as áreas do conhecimento usadas

abaixo ou acima do desejado, além da identificação de altas demandas e necessidades de duplicação de títulos.

Aponta como desvantagens deste método também a questão da falta de indicadores de uso definidos para se
determinarem padrões ideais, devendo-se analisar a realidade específica de cada comunidade de usuários,

inclusive dos diferentes grupos de usuários da mesma instituição (ex: alunos de graduação, alunos de pós-

graduação, professores).

Outra autora que também se dedica ao tema avaliação de bibliotecas é Bárbara Leitão (2005), que

entende que, a coleta de dados quantitativos para avaliação de fatores de uso apresenta desvantagens, sendo

impossível, através deles, se identificar o nível de satisfação dos usuários com o acervo utilizado, além de não

demonstrarem o nível de dificuldade encontrada pelos mesmos para acessar a informação necessária, o que

novamente indica a necessidade de treinamento dos usuários. Já para Vergueiro (1989), esta visão pode ser

estabelecida pelo avaliador (bibliotecário) quando se supõe que a falta de uso pode indicar falta de conhecimento

dos instrumentos de acesso.

Para Leitão (2005, p. 47), o que caracteriza um estudo qualitativo é “o fato de não ter como objetivo

principal enumerar e/ou medir os eventos estudados, nem empregar instrumental estatístico na análise de

dados”. Ao contrário, nestes estudos obtém-se dados descritos por pessoas, bem como a análise de processos

interativos entre o pesquisador e a situação estudada, procurando entender a situação sob a perspectiva dos

sujeitos. Sob este aspecto, podemos considerar as ACE (Avaliação das Condições de Ensino) praticadas pelo

MEC como qualitativas, na medida em que há, além da análise de dados quantitativos relacionados às

instituições, a interação dos avaliadores com a comunidade em estudo, desde administração, corpo docente e

discente. Isto implica certo grau de subjetividade à avaliação, segundo a autora, uma vez que, em bibliotecas

universitárias em geral, “a utilização unicamente de dados quantitativos acaba não traduzindo toda a realidade,

processo necessário para o desenvolvimento de melhores serviços” (LEITÃO, 2005, p. 51).

Outro método qualitativo apresentado por Leitão é a entrevista (2005, p. 51), que deve ser aplicada de

preferência pessoalmente, quando o contato direto entre entrevistador e entrevistado permite o esclarecimento

dos objetivos da pesquisa ou questões mal interpretadas e considera ser um dos métodos mais utilizados em

pesquisas qualitativas.
 Como método qualitativo a ser aplicado em seu estudo, Leitão (2005, p. 47) apresenta a análise de

grupos de foco, no qual entrevistas são aplicadas a pequenos grupos previamente selecionados, onde o foco a

ser investigado é determinado pelo pesquisador e todos contribuem em um mesmo momento. Neste modelo, a

interação do grupo deve ser a fonte de informação dos dados, gerando insights das expectativas do grupo como

um todo com relação ao produto ou serviço analisado. Com base nestes conceitos, a autora define grupos de

foco como sendo uma “modalidade de entrevista, estabelecida de acordo com um roteiro que tem o propósito de

atingir os objetivos pretendidos pelo pesquisador” (LEITÃO, 2005, p. 62). Aponta como pontos fortes desta

metodologia: interação entre os participantes; de fácil condução, com poucos recursos financeiros e maior rapidez

na aplicação e coleta de informações; possibilidade de obtenção de dados além dos esperados, trocas de

experiências e visões; maior facilidade para que os membros do grupo apresentem suas opiniões com franqueza,

devido ao ambiente encorajador proporcionado. Como pontos fracos, apresenta: possibilidade de distorções

motivadas pela posição de um membro do grupo; perda de objetivos durante as discussões, exigindo a

participação de um moderador, geralmente o próprio pesquisador; tendência para um comportamento individual

diferente quando se está em grupo; maior necessidade de atenção aos dados obtidos e à interpretação dos

resultados; alta expectativa dos grupos em gerar mudanças e melhorias, o que, na maioria das vezes, está

diretamente relacionado à disponibilidade financeira da instituição.

Segundo a autora, os grupos de foco podem ser utilizados como ferramenta auxiliar aos levantamentos

quantitativos, por permitirem uma aproximação entre usuários e gerenciadores dos serviços. Sugere a utilização

do método como uma forma de “auto-conhecimento” (LEITÃO, 2005, p. 134) das instituições.

Almeida Jr. (2003), faz em seu estudo, um levantamento dos principais métodos quantitativos e

qualitativos de avaliação de serviços de bibliotecas, entre eles:

1) análise das estatísticas de questões de referência (respondidas ou não);

2) classificação das questões e referência;

3) análise da clientela (estudos de usuários);

4) análise da coleção de referência (comparação de listas);

5) número e tempo de pessoal especializado disponível;

6) treinamento e eficiência de pessoal (proposição direta de questões-teste para bibliotecários de referência em

situações reais ou controladas);

7) análise de custo (dos serviços);

8) utilização de normas e padrões de serviços;

9) bibliometria (uso do acervo).

Seja como for, segundo o autor, os métodos quantitativos nunca devem ser aplicados isoladamente,

sendo imprescindível a comparação de seus resultados com os das avaliações qualitativas, que devem ser

aplicados conjuntamente.
4 AVALIAÇÃO DE BIBLIOTECAS PELO MEC

Para análise dos critérios de avaliação de bibliotecas utilizados pelo MEC, torna-se fundamental

contextualizar o tema a partir da apresentação e análise da legislação do ensino superior no Brasil, demonstrando

o status hoje vigente no país.

Segundo Braga e Monteiro (2005, p. 1), atualmente o setor de ensino no Brasil está sendo confrontado

por uma ampla gama de desafios competitivos, destacando-se principalmente:

a) O crescimento da capacidade instalada e do número de vagas é muito maior do que o da demanda;

b) A expansão do setor não foi planejada, há excesso de IES em determinadas regiões;

c) O crescimento da concorrência levou a relação ingresso/vaga despencar para a proporção de 0,58

ingresso por vaga nas IES privadas, gerando um excesso de vagas ociosas ;

d) O crescimento da renda per capita da população brasileira não acompanhou o aumento das mensalidades;

e) Grandes instituições de ensino esgotaram sua capacidade de crescimento em seu local de origem e agora,

buscam uma expansão para todo o território nacional.

Atualmente, o sistema educacional brasileiro é regido pela Lei nº 9.394, de 20 de dezembro de 1996

(LDB – Lei de Diretrizes e Bases da Educação), que estabelece as diretrizes e bases da educação nacional.

Destina-se a disciplinar a educação escolar e os estabelecimentos de ensino, direcionando a educação ao

trabalho e à prática social.

 A LDB estabelece, por finalidade do ensino superior, estimular a criação cultural e o desenvolvimento do

espírito científico e do pensamento reflexivo; formar diplomados nas diferentes áreas do conhecimento; incentivar

o trabalho de pesquisa e investigação científica; promover a divulgação de conhecimentos culturais, científicos e

técnicos; suscitar o desejo de aperfeiçoamento cultural e profissional; estimular o conhecimento do mundo

presente, em particular os nacionais e regionais; promover a extensão, dentre outros.

A avaliação dos cursos de graduação é um procedimento utilizado pelo MEC para a aprovação ou

reconhecimento dos mesmos. Esta avaliação passou a ser realizada de forma periódica com o objetivo de

cumprir as determinações da Lei de Diretrizes e Bases, aferir e garantir a qualidade do ensino oferecido pelas

Instituições de Educação Superior. Foi regulamentada em 2001, pelo Decreto Nº 3.860 de 9 de julho de 2001,

quando passa a ser executada pelo INEP (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio

Teixeira).

O Sistema Nacional de Avaliação da Educação Superior (SINAES), criado pela Lei n° 10.861, de 14 de

abril de 2004 e regulamentado pela Portaria nº 2.051, de 9 de julho de 2004, atualmente utilizado como

instrumento de avaliação superior do MEC/INEP, é formado por três componentes principais: a avaliação das

instituições, dos cursos e do desempenho dos estudantes. O SINAES avalia os aspectos que giram em torno de

três eixos: o ensino, a pesquisa e a extensão, além da responsabilidade social, o desempenho dos alunos, a

gestão da instituição, o corpo docente, as instalações e vários outros aspectos.

Uma série de instrumentos são complementares para o processo de avaliação da qualidade do ensino

superior pelo MEC:

1) A auto-avaliação institucional, realizada de forma permanente e com resultados a serem apresentados a cada

três anos;

2) A avaliação institucional externa, realizada in loco por uma comissão de avaliadores, e que será, juntamente

com o próximo item, foco deste estudo;

3) A avaliação das condições de ensino (ACE), aplicada nos casos de credenciamento de novas instituições,

autorizações e reconhecimento cursos presenciais ou à distância, também realizada in loco por comissões

externas.

4) O ENADE (Exame Nacional de Desempenho de Estudantes), uma prova aplicada aos alunos, por

amostragem, no meio e no final do curso em quatro grandes áreas: ciências humanas, exatas, tecnológicas e

biológicas e da saúde;

5) Instrumentos de informação (censo e cadastro): dados sobre as instituições.

Os processos avaliativos são coordenados e supervisionados pela Comissão Nacional de Avaliação da

Educação Superior (CONAES). A operacionalização é de responsabilidade do INEP. Para realizar as visitas de

verificação às Instituições, os avaliadores designados (comissões de especialistas previamente cadastrados pelo

MEC) utilizam um instrumento específico de análise, um formulário eletrônico preenchido no sítio do INEP de

acordo com os Manuais de Avaliação (DAES a e b, 2002).

A análise das condições de oferta de cursos superiores é efetuada nos locais de seu funcionamento, por

comissões de especialistas designadas pelo INEP, e consideram, no processo de avaliação os seguintes

aspectos:

I - organização didático-pedagógica;

II - corpo docente, considerando principalmente a titulação, a experiência profissional, a estrutura da carreira, a

jornada de trabalho e as condições de trabalho;

III - adequação das instalações físicas gerais e específicas, tais como laboratórios e outros ambientes e

equipamentos integrados ao desenvolvimento do curso;

IV - bibliotecas, com atenção especial para o acervo especializado, inclusive o eletrônico, para as condições de

acesso às redes de comunicação e para os sistemas de informação, regime de funcionamento e modernização

dos meios de atendimento.

 Com os resultados das avaliações, o MEC pretende traçar um panorama da qualidade dos cursos e

instituições de educação superior no País. Já as instituições, podem fazer uso destes resultados para orientação

da sua eficácia institucional.

4.1 Avaliação in-loco das condições de ensino nas instituições

Os atuais procedimentos de avaliação e supervisão utilizados pelo MEC têm fundamento legal no Inciso

IX do Artigo 9º da Lei de Diretrizes e Bases (LDB, Lei Nº 9.394/96), que arrola como atribuições da União

“autorizar, reconhecer, credenciar, supervisionar e avaliar os cursos das instituições de educação superior e os

estabelecimentos do Sistema Federal do Ensino Superior”.

De acordo com as determinações do Sistema Nacional de Avaliação da Educação Superior – SINAES

(INEP, 2004), são aplicadas duas diferentes modalidades de avaliações: as Institucionais, que têm por objetivo

verificar as condições gerais de funcionamento dos estabelecimentos de educação superior, apoiando-se na

análise de todas as informações relativas à instituição e na verificação, in loco, realizada por uma comissão de

avaliadores; e a dos Cursos de Graduação, para reconhecimento ou renovação de reconhecimento dos mesmos,

sendo que cada modelo utiliza instrumentos próprios de avaliação.

A verificação in-loco constitui um dos instrumentos da avaliação institucional onde, a partir da observação

direta de avaliadores previamente selecionados, de acordo com a especialização dos cursos em questão, são

analisados o funcionamento da instituição, o envolvimento e interesse de alunos, professores e funcionários pelas

atividades acadêmicas e projetos em andamento; o tipo e o processo de gestão administrativa e acadêmica; a

adequação da infra-estrutura (ambientes e equipamentos) e do pessoal técnico-administrativo de apoio aos

objetivos do PDI (Plano de Desenvolvimento Institucional) e suas derivações e adaptações, estabelecendo

comparações entre situações reais e os documentos previamente examinados. A verificação in loco objetiva a

interlocução entre os participantes do processo. É quando, a partir da observação direta, pretende-se analisar o
projeto institucional. Os resultados desta análise, segundo o INEP (2004, p. 50), fornecem elementos para que os

verificadores “elaborem uma opinião sobre as potencialidades da instituição, através da comparação entre as

situações reais verificadas, as intenções declaradas e os documentos institucionais previamente examinados”.

O instrumento de verificação é constituído de três dimensões (DAES, 2002a): organização didático-

pedagógica, corpo docente e instalações, que são, por sua vez, desdobradas em várias categorias de análise. A

biblioteca é analisada na Dimensão 3, das Instalações. Todos os aspectos avaliados recebem um conceito, de

acordo com o julgamento dos avaliadores. Dependendo das suas características, a avaliação de alguns aspectos

compreende dois conceitos: Muito fraco ou Muito bom; em outros, três: Muito fraco, regular ou Muito bom; e em

outros, cinco: Muito fraco, fraco,regular, bom ou Muito bom. Às categorias de análise, aos indicadores e aos

aspectos avaliados, são atribuídos pesos (em números inteiros, entre zero e cem e que, no seu total,deverá ser

igual a cem). Os conceitos de todos os aspectos, indicadores e categorias de análise são ponderados pelos seus

respectivos pesos. O resultado final da avaliação aparece, para cada Dimensão, como: CMB – condições muito

boas; CB – condições boas; CR – condições regulares; e CI – condições insuficientes.

O INEP (2004, p. 118), aponta como indicadores qualitativos para a avaliação institucional: missão e

elementos fundamentais do projeto institucional; corpo de professores/pesquisadores; corpo discente; corpo de

servidores técnico/administrativos; currículos/programas; produção acadêmico-científica; atividades de extensão

e ações de intervenção social; infra-estrutura; gestão e outros indicadores que possam ser importantes, além de

sua inter-relação. Como indicadores quantitativos, o INEP considera os dados produzidos usualmente e

disponibilizados nos sistemas de informação dos órgãos oficiais, especialmente os obtidos pelo Censo e pelo

Cadastro.

No momento da visita, os avaliadores devem considerar na avaliação das bibliotecas os indicadores

estabelecidos no Manual de Avaliação (DAES, 2002) aqui transcritos, cujos indicadores são: espaço físico,

acervo e serviços, sendo ponderados, ao final, de acordo com os seguintes pesos:

 Espaço físico 20
Acervo 50
Serviços 30
Fonte: DAES/INEP, 2002

I. Indicador Espaço físico

Para efeito da avaliação considera-se:

(A) Existência de armazenagem satisfatória, incluindo: iluminação adequada, extintor de incêndio,

sistema anti-furto e sinalização bem distribuída e visível.

(B) Acesso com rampas para portadores de necessidades especiais.

(C) Funcionamento: existência de catálogos disponíveis para o público, independentemente de sua forma

(informatizada, em fichas, etc.) permitindo consulta por, no mínimo, autor, título e assunto(s) atribuído(s) a cada

documento.

Para avaliação do indicador Espaço físico aplicam-se os seguintes critérios (Muito Fraco, Fraco,

Regular, Bom, Muito Bom):

• Instalações para o acervo (espaços, mobiliário e equipamentos, manutenção da umidade correta, anti-mofo,

etc.)

Muito Fraco – quando a área física, as condições de armazenagem, de preservação e de disponibilidade

do acervo são precárias (atendem apenas a um dos itens A ou C)

Regular - quando a área física, as condições de armazenagem, de preservação e a disponibilidade do

acervo são razoáveis (atendem aos itens A e C)

Muito Bom - quando a área física, as condições de armazenagem, de preservação e a disponibilidade do

acervo são adequadas (atendem aos itens A, B e C)

• Instalações para estudos individuais (espaço e mobiliário adequados aos estudos individuais)

Muito Fraco – quando não existem instalações para estudo individual

 Regular - quando existem instalações para estudo individual, mas atendem apenas parcialmente às

necessidades dos alunos e professores

Muito Bom - quando existem instalações para estudo individual que atendem totalmente às

necessidades dos alunos e professores

• Instalações para estudos em grupos (salas e mobiliário adequados aos estudos em grupo)

Muito Fraco – quando não existem instalações para estudo em grupo

Regular - quando existem instalações para estudo em grupo, mas atendem apenas parcialmente às

necessidades dos alunos e professores

Muito Bom - quando existem instalações para estudo em grupo que atendem totalmente às

necessidades dos alunos e professores

Os conceitos parciais dos aspectos que constituem o indicador Espaço físico são ponderados de acordo

com os seguintes pesos:

Instalações para o acervo 35

Instalações para estudos individuais 35
Instalações para estudos em grupos 30
Fonte: DAES/INEP, 2002

II. Indicador Acervo

Para efeito da avaliação considera-se:

(A) Existência de representação de todo o acervo (todos os tipos de materiais) no sistema de

informatização utilizado, com possibilidade de acesso remoto (na IES e fora dela).

(B) Possibilidade de importação e exportação dos registros bibliográficos.

(C) Informatização do serviço de empréstimo, no mínimo de livros, com possibilidade de reserva de

material.
 Para avaliação do indicador Acervo aplicam-se os seguintes critérios (Muito Fraco, Fraco, Regular, Bom,

Muito Bom):

• Livros (títulos e exemplares em número suficiente para a quantidade de alunos matriculados no curso e para

a proposta pedagógica do curso)

Muito Fraco – quando os livros existentes na biblioteca não atendem aos programas das disciplinas, não

há quantidade suficiente e não são atualizados

Fraco – quando os livros existentes na biblioteca atendem precariamente aos programas das disciplinas,

não há quantidade suficiente e são parcialmente atualizados

Regular – quando os livros existentes na biblioteca atendem parcialmente aos programas das disciplinas,

a quantidade é razoável e são parcialmente atualizados

Bom – quando os livros existentes na biblioteca atendem aos programas das disciplinas, a quantidade é

razoável e são atualizados

Muito Bom – quando os livros existentes na biblioteca atendem aos programas das disciplinas, há

quantidade suficiente e são atualizados

• Periódicos (assinaturas em número suficiente para a proposta pedagógica de cada curso)

Muito Fraco – quando os periódicos existentes na biblioteca não atendem aos programas das

disciplinas, não há quantidade suficiente e não são atualizados

Regular – quando os periódicos existentes na biblioteca atendem parcialmente aos programas das

disciplinas, a quantidade é razoável e são parcialmente atualizados

Muito Bom – quando os periódicos existentes na biblioteca atendem aos programas das disciplinas, há

quantidade suficiente e são atualizados

• Informatização (do acervo e dos serviços de catalogação, controle de periódicos, reserva e

empréstimo, comutação, consulta ao catálogo local e remoto)

Muito Fraco – quando não existe esforço de informatização do acervo e dos serviços

Regular – quando a informatização atende até dois dos itens A, B, C

 Muito Bom – quando a informatização atende aos itens A, B, C

• Base de Dados (grande repositório, regularmente atualizado, de informações digitalizadas - citações,

resumos, textos na íntegra, imagens, estatísticas, etc. - em um assunto particular ou em um campo

específico, consistindo em registros de formato uniforme, organizados para pesquisa e busca rápida e fácil )

Muito Fraco – quando não existe

Regular – quando existe, mas não é regularmente atualizada

Muito Bom – quando existe e é regularmente atualizada

• Multimídia (microfichas, slides, DVD, CD Rom, fitas de vídeo, disquetes e respectivos equipamentos – títulos

e quantidade em número suficiente para atender a proposta pedagógica de cada curso)

Muito Fraco – quando os recursos de multimídia existentes na biblioteca não atendem aos programas

das disciplinas, não há quantidade suficiente e não são atualizados

Regular – quando os recursos de multimídia existentes na biblioteca atendem parcialmente aos

programas das disciplinas, a quantidade é razoável e são parcialmente atualizados

Muito Bom – quando os recursos de multimídia existentes na biblioteca atendem aos programas das

disciplinas, há quantidade suficiente e são atualizados

• Jornais e revistas

Muito Fraco – quando não existem assinaturas de jornais e revistas adequados à proposta pedagógica

dos cursos

Regular – quando existem assinaturas de jornais e de revistas que atendem parcialmente à proposta

pedagógica dos cursos

Muito Bom – quando existem assinaturas de jornais e de revistas que atendem adequadamente à

proposta pedagógica dos cursos

• Política de aquisição, expansão e atualização (que atenda à proposta pedagógica dos cursos)

Muito Fraco – quando não existe uma política definida nem implementada de aquisição, expansão e

atualização do acervo bibliográfico

 Regular – quando existe política de aquisição, expansão e atualização do acervo, considerando a

proposta pedagógica dos cursos, mas aplicada e operacionalizada apenas parcialmente

Muito Bom - quando existem critérios definidos para políticas de aquisição de acervo (livros, periódicos,

multimeios, etc.), indicadores para tomada de decisão (considerando a proposta pedagógica dos cursos e as

prioridades para as bibliografias básicas e complementares) e sistemática regular de aquisições

Os conceitos parciais dos aspectos que constituem e indicador Acervo são ponderados de acordo com

os seguintes pesos:

Livros 30
Periódicos 15
Informatização 15
Base de Dados 10
Multimídia 05
Jornais e revistas 05
Política de aquisição 20
Fonte: DAES/INEP, 2002

III. Indicador Serviços

Para efeito da avaliação considera-se:

(A) Existência de serviço de empréstimo domiciliar para itens do acervo, ainda que com distinções entre

tipos de material e categorias de usuários, sendo obrigatória a possibilidade de empréstimo de livros, ainda que

com restrições a certos títulos, de forma justificada.

(B) Acesso a serviço de cópia de documentos internamente na instituição (ainda que não no espaço físico

da Biblioteca).

(C) Existência de serviço de empréstimo entre bibliotecas.

(D) Oferta do serviço de comutação bibliográfica, no país e no exterior.

 (E) Existência de serviço de consulta a bases de dados em forma impressa, em meio magnético ou em

CD-ROM, seja por disponibilidade diretamente na instituição, seja por acesso remoto a recursos de outras

instituições.

(F) Existência de profissionais graduados em Biblioteconomia.

(G) Existência de pessoal auxiliar na proporção adequada à manutenção do horário da biblioteca e ao

perfil dos serviços.

(H) Existência de programa de treinamento de usuários que ensine a normalizar os trabalhos

monográficos dos mesmos.

(I) Conjunto de normas da ABNT para normalização de documentação.

(J) Manual da IES com as exigências específicas para a apresentação de trabalhos técnicos e científicos.

Para avaliação do indicador Serviços aplicam-se os seguintes critérios (Muito Fraco, Fraco, Regular,

Bom, Muito Bom):

• Horário de funcionamento (horário de funcionamento da biblioteca condizente com os turnos do curso)

Muito Fraco – quando a biblioteca funciona apenas nos turnos dos cursos e não apresenta possibilidade

de reservas de livros pela Internet e acesso a bases de dados referenciais e de texto completo através do home

page da própria biblioteca e/ou da IES

Regular - quando funciona em pelo menos dois turnos, mas não apresenta possibilidade de reservas de

livros pela Internet e o acesso a bases de dados referenciais e de texto completo através do home page da

própria biblioteca e/ou da IES é limitado

Muito Bom – quando funciona ininterruptamente, no mínimo 14 horas por dia, quando funciona aos

sábados, quando apresenta possibilidade de reservas de livros pela Internet e acesso a bases de dados

referenciais e de texto completo através do home page da própria biblioteca e/ou da IES

• Serviço de acesso ao acervo (qualidade do serviço de consulta e empréstimo do acervo destinado ao

curso)

Muito Fraco – quando a biblioteca não atende ao item A e não existem os serviços B e E
 Regular - quando a biblioteca atende ao item A, mas não atende ao item B ou quando não oferece pelo

menos 2 dos serviços C, D e E

Muito Bom – quando a biblioteca torna disponíveis os serviços discriminados nos itens A, B, C, D e E

• Pessoal técnico-administrativo (qualificação e quantidade adequada ao funcionamento da biblioteca e às

necessidades dos professores e alunos do curso)

Muito Fraco – quando não existe na biblioteca profissional graduado em biblioteconomia, ainda que

existam outras pessoas na equipe de atendimento da biblioteca, independentemente de sua formação

Regular - quando existe na biblioteca profissional graduado em biblioteconomia, mas com horário de

atendimento inadequado para os serviços e atividades, ainda que com equipe auxiliar

Muito Bom – quando o pessoal existente na biblioteca atende às condições dos itens F e G

• Apoio na elaboração de trabalhos acadêmicos (ficha catalográfica e normalização bibliográfica)

Muito Fraco – quando não existe na biblioteca mais do que um dos itens H, I, J

Regular – quando a biblioteca atende aos itens H ou I

Muito Bom – quando a biblioteca atende às condições dos itens H, I, J

Os conceitos parciais dos aspectos que constituem o indicador Serviços são ponderados de acordo com

os seguintes pesos:

Horário de funcionamento 25
Serviço de acesso ao acervo 30
Pessoal técnico-administrativo 30
Apoio na elaboração de trabalhos 15
acadêmicos
Fonte: DAES/INEP, 2002
5 QUADROS COMPARATIVOS

A partir da literatura especializada, analisada no capítulo 3, selecionamos e classificamos os métodos em

quantitativos e qualitativos apontados pelos autores, o que nos permite confrontá-los, em termos de utilização ou

não, com aqueles utilizados nas Avaliações das Condições de Ensino pelo MEC e apresentá-los por meio de

quadros comparativos. Não é realizada uma avaliação, neste momento, da eficiência dos resultados obtidos

através da utilização de um ou outro indicador, apenas apontaremos a incidência da sua aplicação conforme a

bibliografia especializada. Serão considerados apenas indicadores que sejam compatíveis, para efeito de

comparação, com os utilizados pelo MEC no Manual de Avaliação Institucional (2002) em relação aos seguintes

indicadores: espaço físico, acervo e serviços, condensados no Quadro 1: Indicadores para avaliação de bibliotecas, a

seguir.
A seguir, são analisados os indicadores individualmente.
5.1 Indicador Espaço Físico

Nenhum dos autores estudados levantou a questão do espaço físico das bibliotecas como indicador

para sua avaliação, conforme Quadro 2.

Quadro 2: Indicador Espaço Físico

Indicador Espaço-Físico QANTITATIVOS QUALITATIVOS

instalações, mobiliário, equipamentos,
MEC/INEP iluminação, sistema de segurança.

5.2 Indicador Acervo

Observa-se, através do levantamento bibliográfico efetuado, que quase todos os estudos

apresentados utilizam preferencialmente a análise de dados quantitativos como forma de avaliação quando se

trata do indicador acervo, conforme apresentado no Quadro 3.

 Quadro 3: Indicador Acervo

Indicador Acervo QANTITATIVOS QUALITATIVOS

ALMEIDA JR., Oswaldo F. de
FIGUEIREDO, Nice M. de
LANCASTER, F.W.
LEITÃO, Bárbara J. M.
MEC/INEP
VERGUEIRO, Waldomiro
não trabalha não trabalha
não trabalha não trabalha
livros per capita análise por especialistas
taxa de crescimento comparação entre bibliografias
estudos de uso
não trabalha não trabalha
quantidade per capita política de desenvolvimento
número de assinaturas de periódicos análise por especialistas
existência de bases de dados comparação entre bibliografias
existência de multimídia
tamanho análise por especialistas
tipologia de documentos comparação entre bibliografias
atualidade
abrangência
taxa de crescimento
taxa de uso por usuário
taxa de uso por área

5.3 Indicador Serviços

Para avaliação de serviços, as análises qualitativas, levantando a qualidade no atendimento em

relação às necessidades dos usuários através de sua própria opinião, são as mais aplicadas. A avaliação de

espaço físico é considerada apenas pelo MEC, de acordo com o Quadro 4.

 Quadro 4: Indicador Serviços
Indicador Serviços QANTITATIVOS
ALMEIDA JR., Oswaldo F. de número de pessoal
bibliometria
utilização de normas e padrões
FIGUEIREDO, Nice M. de não trabalha
LANCASTER, F.W. não trabalha
LEITÃO, Bárbara J. M. não trabalha
MEC/INEP horário de funcionamento
número de pessoal
VERGUEIRO, Waldomiro não trabalha
QUALITATIVOS
estudos de usuários
análise de questões respondidas
demanda atendida
comparação entre bibliografias
instrução bibliográfica
relação custo/benefício
relação custo/benefício
demanda atendida
instrução bibliográfica
demanda atendida
questões respondidas
satisfação do usuário
instrução bibliográfica
uso de EEB
uso de redes de cooperação
uso de multimídia
relação custo/benefício
entrevistas (grupos de foco)
facilidade/disponibilidade de acesso
informatização
instução bibliográfica
não trabalha
6 METAAVALIAÇÃO

Na análise do Manual de Avaliação Institucional (DAES a, 2002), elaborada pelo INEP, destacam-se

como aspectos positivos (INEP, 2004, p. 51):

a) compatibilização com o sistema de avaliação de cursos por dimensões, categorias de análise e indicadores;

b) elaboração da dimensão organização institucional;

c) clareza;

d) transparência.

Entretanto, são criticados os seguintes aspectos (INEP, 2004, p. 52):

a) estrutura excessivamente identificada com a avaliação de cursos, particularmente pela exclusão de outros

indicadores institucionais que sabidamente afeta as atividades dos cursos;

b) excesso de indicadores nas três dimensões;

c) problemas na pontuação e ponderação dos cálculos;

d) limitações na avaliação de alguns aspectos para os quais existem apenas dois ou três conceitos;

e) fórmulas de cálculo dos conceitos com viés para cima.

São levantados neste estudo problemas no que tange a elaboração e a aplicação do instrumento, no

caso um formulário eletrônico, com alto grau de complexidade e um excessivo número de itens a serem avaliados

simultaneamente. A avaliação do formulário eletrônico, no que diz respeito ao perfil da IES, destaca como

aspectos positivos (INEP, 2004, p. 53):

a) organização das dimensões por assuntos específicos e encadeados, orientando melhor o trabalho de

organização da IES e dos avaliadores;

b) possibilidade de anexar documentos eletronicamente, sem restrições de tamanho e eliminando a necessidade

de documentos em papel;

c) estímulo para que as IES visualizem de forma mais organizada e eficiente, as suas rotinas e atividades;

d) o formulário eletrônico permite que várias pessoas o preencham simultaneamente.

Como aspectos negativos, são destacados:

a) sobrecarga do sistema e lentidão no preenchimento do formulário eletrônico;

b) dificuldades de manter o sistema eletrônico em funcionamento;

c) solicitação no cadastro de docentes, de datas de início e fim (dia, mês e ano) das titulações de graduação e de

pós-graduação, dados desnecessários e difíceis de serem conseguidos;

d) a solicitação da carga horária semanal dos docentes não está organizada numa seqüência lógica;

e) a produção científica e intelectual dos docentes, da forma como foi solicitada pelo formulário e apresentada

pelas IES, não se restringiu aos três últimos anos (como expresso no manual), provocando distorções, para cima,

na avaliação dos respectivos indicadores.

A avaliação do formulário eletrônico, no que se refere ao perfil do avaliador, aponta como aspectos

positivos:

a) análise prévia à visita à Instituição, nas três dimensões da avaliação;

b) interação com os colegas da avaliação;

c) disponibilização de informações existentes no banco de dados do Inep sobre a IES: Provão, Cadastro e Censo

da Educação Superior.

Os principais aspectos negativos apontados são:

a) dificuldade de acesso ao PDI, aos dados do Censo e do ENC, via formulário eletrônico;

b) ausência de espaços adequados para redigir comentários;

c) tempo de conexão no sistema para a digitação do relatório final insuficiente (algumas vezes, os avaliadores

perderam tudo o que já tinham digitado, tendo de começar novamente);

d) o cadastro de docentes é muito extenso para ser analisado pelos avaliadores, que têm de olhar docente a

docente, comprometendo o tempo para a avaliação das outras dimensões, com prejuízo para a qualidade global

da análise.

Em relação às verificações in loco, são apontados como aspectos positivos:

a) definição prévia da agenda da visita pela interlocução entre os avaliadores;

b) organização de documentos pela Instituição;

c) maior preparação prévia dos avaliadores para a visita.

Como aspectos negativos, destacam-se (INEP, 2004, p. 54):

a) ausência de Presidente de Comissão;

b) excesso de atividades para pouco tempo de visita de avaliação;

c) falta de experiência de alguns avaliadores com a abordagem da avaliação institucional.

A análise dos Relatórios de Avaliação indica como aspectos positivos:

a) espaços adequados para comentários nas três dimensões, além de breve contextualização e parecer final;

b) possibilidades de interferência dos avaliadores nas notas de fronteira, a partir de justificativas qualitativas.

Como aspectos negativos, são apontados:

a) ausência de um espaço próprio para recomendações, à luz dos resultados apresentados;

b) dificuldades para definição das especificidades dos comentários nas três dimensões;

c) extrapolação de avaliadores em alguns comentários.

Em relação aos avaliadores, são destaques como aspectos positivos:

a) abertura do cadastro para a comunidade acadêmica possibilitando a inscrição voluntária;

b) disposição para a realização do trabalho;

c) interação com a orientação eletrônica da avaliação;

d) cumprimento dos prazos estabelecidos e das obrigações previstas.

 Como aspectos negativos, destacam-se:

a) fragilidades no entendimento do Sistema de Avaliação da Educação Superior;

b) dificuldades conceituais no entendimento de avaliação institucional e da própria categoria de Centros

Universitários;

c) dificuldades na condução do processo de entrevista.

Sob todos estes aspectos analisados, julgamos fundamental destacar como negativo o caráter

instrumental atribuído pelo SINAES às bibliotecas. No Manual de Avaliação Institucional (DAES a, 2002, p. 47),

sua avaliação é inserida na Dimensão 3, acerca das “Instalações”, ao lado das instalações gerais, especiais e

laboratórios. Sob este aspecto, identificamos o primeiro erro da metodologia aplicada nestas avaliações, na

medida em que se exclui o caráter educativo das bibliotecas, consideradas, na Biblioteconomia, como parte

integrante do planejamento acadêmico e colaboradora na promoção de práticas pedagógicas.

Outra questão negativa detectada é o caráter subjetivo da avaliação aplicada pelo MEC, na medida em

que, no momento da verificação in loco, os avaliadores “elaboram uma opinião” (INEP, 2004, p.50) sobre as

potencialidades da instituição, através da comparação entre as situações reais verificadas, as intenções

declaradas no PDI e os documentos institucionais previamente examinados. Segundo Lancaster (1996, p.28), tal

método é considerado “impressionista” por não ter caráter imparcial e não ser, o especialista, na maioria das

vezes (quando o avaliador é externo), conhecedor das necessidades dos usuários da biblioteca, o que, para o

autor, é fundamental para uma boa avaliação.

Como principal crítica, citada pelo próprio INEP (2004, p. 51), “destaca-se o excessivo teor quantitativo do

Manual de Autorização, que não permite um espaço adequado de apreciação qualitativa”. A ausência de uma

apreciação mais qualitativa nos relatórios dos verificadores dificulta, na visão do INEP, a análise dos processos.

Por outro lado, destaca-se também que os procedimentos não são unificados. Por exemplo: na autorização de

novos cursos de graduação, utiliza-se um formulário diferente do utilizados na avaliação dos cursos seqüenciais.

Além disso, o Manual que orienta as visitas, do ponto de vista do INEP, é insuficiente, pois conta apenas com

elementos e parâmetros para o preenchimento dos formulários, e não indicadores reais que seriam utilizados
como padrões. Não apresentam também, uma orientação mais detalhada para a conduta e procedimentos a

serem adotados pelos verificadores no momento da visita.

De acordo com diversos profissionais envolvidos diretamente nos procedimentos realizados, segundo o

INEP (2004), as principais dificuldades para o bom funcionamento do processo envolvem principalmente

problemas relativos ao instrumento, que enfatiza determinados aspectos em detrimento de outros, e, novamente

destacando, para o qual faltam Indicadores, principalmente os capazes de identificar a contribuição do curso no

âmbito da proposta da IES. São destacados também problemas relativos ao enfoque no processo avaliativo, pois

o avaliador acaba ocupando mais tempo com o preenchimento de formulários que com a reflexão sobre o curso.

A efetividade dos pesos atribuídos aos aspectos avaliados, bem como a complexidade do formulário eletrônico,

também são criticados.

Para Almeida Jr. (2003), as principais características das avaliações quantitativas são: sua objetividade, o

que aqui analisamos como ponto positivo; sua ênfase maior nos produtos que nos resultados, ponto negativo.

Quanto às avaliações qualitativas, ressalta seu caráter imparcial e subjetivo, visto que dependem do ponto de

vista do avaliador, o que nos leva a insistir, novamente, que devem sempre ser aplicados em conjunto. Para o

autor, para se obter resultados eficientes, deve-se empregar, no mesmo processo avaliativo, tanto o modelo

quantitativo como o qualitativo, aplicando-se inicialmente o primeiro e, com base nos dados levantados, proceder-

se a uma análise crítica e intrínseca ao modelo qualitativo.

Sendo entendida como subjetiva, a avaliação qualitativa nunca é definitiva, sendo dependente das

condições em que se ocorreu o serviço1 , envolvendo nelas tanto as condições do momento, como o ambiente,

os usuários que dele se utilizaram, etc. Se os resultados não são definitivos, sua própria concepção pressupõe

continuidade e entendimento como um processo. (ALMEIDA JR, 2003, p. 172)

7 CONSIDERAÇÕES FINAIS

1 em avaliação
 A partir de pesquisa bibliográfica, opiniões relatadas em eventos de biblioteconomia nos últimos anos e

apontamentos de estudos já realizados, observa-se que há uma grande preocupação em se adaptarem os

critérios utilizados nos processos de avaliação com as diferentes características de cada instituição, além de,

principalmente, a necessidade de se incluir o profissional bibliotecário no processo de estabelecimento desses

critérios e até nas comissões de avaliação in-loco, já que, atualmente, são compostas exclusivamente por

membros das áreas específicas dos cursos em avaliação.

Alguns pontos positivos foram levantados através de vivência pessoal desta pesquisadora, o que

fortalece nossa tese de que os bibliotecários também devem tirar proveito da avaliação, a fim de garantir

melhores serviços, mesmo que para isso mudanças sejam necessárias, destacando-se com pontos positivos:

a) o bibliotecário pode estabelecer critérios próprios para avaliação de seus serviços, baseando-se em padrões

utilizados pelo MEC;

b) o bibliotecário pode fazer uso das exigências do MEC para justificar melhorias em produtos e serviços,

solicitando investimentos em diferentes setores. Lembrando Lancaster (1996, p. 24), a melhor vantagem da

aplicação de métodos quantitativos para as bibliotecas, é que podem beneficiar-se como uso destes padrões para

mostrar o quanto precisam melhorar seus acervos;

c) garantia de contratação de bibliotecário, ítem obrigatório nas avaliações do MEC;

d) garantia de contratações de auxiliares de biblioteca/estagiários;

e) garantia de melhoria da qualidade de serviços e produtos oferecidos.

Também por experiência pessoal, alguns pontos negativos foram levantados antecipadamente, mas

justificados ao longo do trabalho de comparação dos critérios do MEC com os aplicados em bibliotecas

universitárias:
a) uso de critérios únicos previamente estabelecidos pelo MEC, sem dar importância aos regionalismos,

diferenças e natureza das instituições (universidades/centros universitários/faculdades, faculdades integradas,

institutos ou escolas superiores; privadas/públicas), estabelecidos pelo Decreto n. 3.860, de 9 de julho de 2001,

que dispõe sobre a organização do ensino superior e a avaliação de cursos e instituições.

b) falta da presença de bibliotecários nas comissões de avaliadores: o processo de seleção dos avaliadores

observa o currículo profissional, a titulação dos candidatos e a atuação no programa de capacitação, a partir de

um cadastro permanente do INEP, o qual recebe inscrições de profissionais interessados em atuar no processo.

Importantíssimo é considerar, neste ponto, que fazem parte das comissões de especialistas, docentes na área

específica dos cursos em questão, não havendo a participação, a nosso ver, fundamental, do profissional

bibliotecário, que, para avaliação de bibliotecas e sistemas de informação, é o melhor qualificado.

c) caráter excessivamente quantitativo da avaliação das bibliotecas, falta de critérios qualitativos (somente

avaliação subjetiva dos especialistas). No Parecer CES Nº 1.070/99 (DURHAN, 1999), a Câmara de Ensino

Superior do Conselho Nacional da Educação, no que diz respeito às avaliações de bibliotecas, sugere maior

comedimento, por parte das comissões avaliadoras, na exigência de múltiplos exemplares dos livros indicados na

bibliografia dos cursos, freqüentemente alterada pela necessidade de atualização, sendo a multiplicação de

títulos desatualizados no acervo um investimento pouco produtivo para as IES. Sugere que a atualização e a

relevância das obras do acervo recebam consideração maior por parte das comissões do que o número de livros

existentes.

d) falta de padrões consistentes de qualidade, principal requisito para avaliação da questão nos serviços de

informação;

e) falta de verificação e articulação do processo avaliativo às reais necessidades dos usuários das bibliotecas, o

que, na nossa visão, torna a avaliação realizada pelo MEC apenas voltada aos interesses políticos, não aos da

comunidade à que as IES servem. Os estudos de usuários vêm sendo aplicados aos processos de planejamento

de novos serviços de informação há anos, e, conforme os autores analisados, não podem ser dispensados. A

Avaliação das Condições de Ensino (ACE) “carece de instrumentos adequados para uma avaliação formativa e
comprometida com a contribuição do curso para a constituição do indivíduo” (INEP, 2004, p. 57), não

apreendendo, da forma como atualmente é aplicada, a contribuição do curso para com a sociedade. No estudo

de Leitão (2005), observamos a importância que se faz em ouvir o usuário. Por exemplo, para avaliação dos

acervos, um dos métodos mais recomendados por Lancaster (1996, p. 51), é a avaliação de seu uso: em

momento algum de sua avaliação, o MEC considera o uso do acervo como forma de detectar-se seus pontos

fortes ou fracos, de acordo com as necessidades de seus usuários.

f) a ausência de indicadores específicos para avaliação das bibliotecas, dentro de um padrão nacional ideal,

levando-se em consideração as diferenças regionais e institucionais, também torna-se um problema, quando, da

forma como são efetuadas atualmente as ACE (Avaliação das Condições de Ensino), as instituições acabam

sendo niveladas por cima, com padrões das grandes universidades públicas, mesmo as privadas recém criadas,

com pouco tempo de experiência e investimentos. Faz-se necessário um estudo mais elaborado por parte das

autoridades para o estabelecimento destes indicadores. Conforme Rozados (2005, p. 3), para que indicadores

possam ser aplicados à gestão, devem estar normalizados, e sua produção deve se ater sempre à mesma

norma ou forma de medida aplicada, a fim de que se permita sua comparabilidade.

De qualquer forma, o INEP (2004, p. 57), considera que “o trabalho desenvolvido pelas Comissões de

Avaliação das Condições de Ensino vem contribuindo para alguma melhora dos cursos de graduação”.

Considera-se possível que estas melhorias sejam decorrentes da participação de especialistas das diversas

áreas/cursos avaliados na elaboração de critérios e instrumentos de avaliação, na realização das visitas, etc. De

forma objetiva, verificam-se melhorias em aspectos relacionados às questões materiais e operacionais dos

cursos, tais como a instalação de infra-estrutura mínima de biblioteca e informática, acessibilidade para pessoas

portadoras de necessidades especiais e implementação de critérios para a contratação de professores. Segundo

o INEP (2004), para as instituições, em especial as do setor privado, tal fato assume grande importância, pois

foram estabelecidas referências concretas de como “imprimir qualidade” aos cursos. Neste sentido, o bibliotecário

pode fazer uso destes benefícios, embasando-se nas avaliações, críticas e sugestões emitidas no processo de

Avaliação das Condições de Ensino para justificar maiores investimentos na Biblioteca.

 Foram apresentados como subsídios na avaliação de bibliotecas a questão da qualidade em serviços de

informação; levantamento de métodos de avaliação de serviços de informação; métodos aplicados na avaliação

de: acervo, serviços, infra-estrutura; métodos quantitativos e métodos qualitativos de avaliação de bibliotecas.

Foram também analisados os critérios de avaliação utilizados pelo MEC, a caracterização dos mesmos e

pesos aplicados em cada critério, procurando-se levantar os pontos positivos/negativos para as bibliotecas e

traçar orientações aos profissionais envolvidos nestes processos. Por fim, compreende-se a necessidade

fundamental de buscar capacitação de bibliotecários para atuarem como gestores dos processos de

planejamento, desenvolvimento e avaliação nas bibliotecas universitárias, de forma a torná-las mais eficientes no

cumprimento de sua missão.

 REFERÊNCIAS BIBLIOGRÁFICAS

ALMEIDA JR., Oswaldo Francisco de. Biblioteca pública: avaliação de serviços. Londrina: Eduel, 2003. 288 p.

ASSOCIATION OF COLLEGE AND RESEARCH LIBRARIES. Information Literacy Competency Standards for
Higher Education. Chicago: ALA, 2000. 20 p. Disponível em:
<http://www.ala.org/ala/acrl/acrlstandards/informationliteracy-competency.htm>. Acesso em: 10 outubro 2005.

BRAGA, Ryon; MONTEIRO, Carlos. Acabou a fartura: análise setorial do ensino superior privado no Brasil.
Ensino Superior, São Paulo, 24 março 2005. Disponível em:
<http://revistaensinosuperior.uol.com.br/textos.asp?codigo=10783>. Acesso em: 09 setembro de 2005.

BRASIL. MINISTÉRIO DA EDUCAÇÃO. Lei Nº 9.394, de 20 de dezembro de 1996: lei de diretrizes e bases da
educação. (Publicada no DOU em 23/12/1996, Seção 1, p. 27839). Estabelece as diretrizes e bases da educação
nacional. Disponível em: <http://www.inep.gov.br/download/superior/2005/acg/LDB.doc >. Acesso em: 12 fev.
2005.

______. Manual de verificação in-loco das condições institucionais: credenciamento de instituições não-
universitárias e autorização de cursos superiores (ensino presencial e à distância). Brasília: Ministério da
Educação, 2002. Disponível em: <http://portal.mec.gov.br/sesu/arquivos/pdf/Manual1.pdf>. Acesso em: 10 abr.
2005.

DIRETORIA DE ESTATÍSTICAS E AVALIAÇÃO DA EDUCAÇÃO SUPERIOR – DAES. Manual de avaliação

institucional: centros universitários. Brasília: INEP, 2002. 73 p. Versão preliminar. Disponível em: <
http://www.inep.gov.br/download/superior/institucional/Manual_Avaliacao_Institucional.pdf> . Acesso em: 09
setembro de 2005.

______. Manual de avaliação do curso de Arquitetura e Urbanismo: condições de ensino. Brasília: INEP,
2002. 81 p. Disponível em: < http://www.inep.gov.br/download/superior/2002/condicoes_ensino/ACE-
arquiteturaurbanismo.pdf> . Acesso em: 09 setembro de 2005.
DURHAN, Eunice Ribeiro et al. Parecer CES Nº 1.070/99, de 23 de novembro de 1999: critérios para
autorização e reconhecimento de cursos de Instituições de Ensino Superior. 9 p. Disponível em: <
http://portal.mec.gov.br/sesu/arquivos/pdf/parecer1070.pdf >. Acesso em 12 fev 2005.

FIGUEIREDO, Nice Menezes de. Serviços de referência e informação. São Paulo: Polis, 1992. 167 p. (Palavra-
chave).

HOUAISS, Antônio; VILLAR, Mauro de Salles. Dicionário Houais da língua portuguesa. Rio de Janeiro:
Objetiva, 2001. 2922 p.

INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS - INEP. SINAES – Sistema Nacional

de Avaliação da Educação Superior: da concepção à regulamentação. 2.ed. Brasília, INEP, 2004. 154 p.

LANCASTER, F.W. Avaliação de serviços de bibliotecas. Tradução de Antonio Agenor Briquet de Lemos.
Brasília: Briquet de Lemos, 1996. 356 p.

LEITÃO, Bárbara Júlia Menezello. Avaliação qualitativa e quantitativa numa biblioteca universitária. Niterói:
Intertexto, 2005. 148 p.

ROZADOS, Helen Beatriz Frota. Indicadores como ferramenta para avaliação de serviços de informação. In:
CONGRESSO BRASILEIRO DE BIBLIOTECONOMIA, DOCUMENTAÇÃO E CIÊNCIA DA INFORMAÇÃO, 21.,
2005, Curitiba. Anais... Curitiba: Febab, 2005. 1 CD-Rom.

VERGUEIRO, Waldomiro. Desenvolvimento de coleções. São Paulo: Polis/ACB, 1989. 96 p. (Palavra-chave, 1)

VERGUEIRO, Waldomiro. Qualidade em serviços de informação. São Paulo: Arte & Ciência, 2002. 124p.
BIBLIOGRAFIA COMPLEMENTAR

ALMEIDA, Maria Christina Barbosa. Avaliação da biblioteca universitária: algumas reflexões. In: SEMINÁRIO
NACIONAL DE BIBLIOTECAS UNIVERSITÁRIAS, 12., 2002, Recife. Bibliotecas universitárias: espaço de (r)
evolução do conhecimento e da informação. 11 p. Arquivo em .pdf. Disponível em:
<http://www.sibi.ufrj.br/snbu/snbu2002/main.htm> Acesso em: 12 fev 2005.

BALBY, Cláudia Negrão Balby. Apontamentos para uma análise dos critérios governamentais de avaliação de BU
e seus efeitos no ensino superior privado. In: SEMINÁRIO NACIONAL DE BIBLIOTECAS UNIVERSITÁRIAS, 12.,
2002, Recife.. Bibliotecas universitárias: espaço de (r) evolução do conhecimento e da informação. 12 p. Arquivo
em.pdf. Disponível em: <http://www.sibi.ufrj.br/snbu/snbu2002/main.htm> Acesso em: 12 fev 2005.

BARCELOS, Maria Elisa Americano do Sul; GOMES, Maria Lúcia Barcelos Martins. Preparando sua biblioteca
para avaliação do MEC. In: SEMINÁRIO NACIONAL DE BIBLIOTECAS UNIVERSITÁRIAS, 13., 2004, Natal. (Re)
dimensão de bibliotecas universitárias: da gestão estratégica à inclusão social. 14 p. Arquivo em pdf. Disponível
em: <http://www.cid.unb.br/publico/setores/000/77/materiais/2004/2/109/MaElisaBarcelos-
Preparandosuabiblioteca.pdf >. Acesso em: 09 fev. 2005

BRASIL. MINISTÉRIO DA EDUCAÇÃO. Anteprojeto da Lei de Educação Superior: versão preliminar. Brasília:
MEC, 2004. 35 p. Arquivo em pdf. Disponível em: <http://www.mec.gov.br/reforma/Documentos/anteprojeto.pdf>.
Acesso em: 15 fev. 2005.

______. Decreto Nº 3.860, de 9 de julho de 2001. (Publicado no DOU, Seção 1, de 10 de julho de 2001). Dispõe
sobre a organização do ensino superior, a avaliação de cursos e instituições, e dá outras providências. Disponível
em : <http://www.inep.gov.br/superior/avaliacao_institucional/legislacao.htm>. Acesso em: 12 fev. 2005.

______. Lei Nº 10.861, de 14 de abril 2004. (DOU Nº 72, 15/4/2004, SEÇÃO 1, P. 3/4). Institui o Sistema
Nacional de Avaliação da Educação Superior - SINAES e dá outras Providências. Disponível em:
<http://www.inep.gov.br/superior/avaliacao_institucional/legislacao.htm>. Acesso em: 12 fev. 2005.

______. Portaria Nº 2.051, de 9 de julho de 2004. (Publicação no DOU nº 132, de 12.07.2004, Seção 1, página
12). Regulamenta os procedimentos de avaliação do Sistema Nacional de Avaliação da Educação Superior
(SINAES), instituído na Lei no 10.861, de 14 de abril de 2004. Disponível em:
<http://www.inep.gov.br/superior/avaliacao_institucional/legislacao.htm>. Acesso em: 12 fev. 2005.
______. Portaria Nº 3.643, de 9 de novembro de 2004. (DOU Ano CXXXIX Nº 216 - Seção I– Pagina 18 -
Brasília – quarta-feira, 10 de novembro de 2004). Institui um modelo de gestão que propicie a administração
integrada e resolutiva dos processos de avaliação e regulação das instituições e dos cursos de educação superior
do Sistema Federal de Ensino Superior. Disponível em:
<http://www.inep.gov.br/superior/avaliacao_institucional/legislacao.htm> Acesso em: 12 fev. 2005.

______. Reforma da educação superior. Disponível em: <http://www.mec.gov.br/reforma/default.asp>. Acesso

em: 15 fev. 2005.

BRASIL. MINISTÉRIO DA EDUCAÇÃO. COMISSÃO NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR.

SINAES: orientações gerais para o retiro da auto-avaliação das instituições. Brasília: MEC, 2004. 38 p. Arquivo
em.pdf. Disponível em: <http://www.inep.gov.br/download/superior/sinaes/orientacoes_sinaes.pdf>. Acesso em:
12 fev. 2005.

CASTRO, Maria Helena Guimarães de. Educação para o século XXI: o desafio da qualidade e da eqüidade.
Brasília: INEP, 1999. 40 p. Disponível em: <http://www.dominiopublico.gov.br/download/texto/me000106.pdf>.
Acesso em: 09 setembro de 2005.

FONSECA, Nadia Lobo et al. Desenvolvimento de indicadores de qualidade para o planejamento da gestão em
unidades de informação da rede Sirius – Rede de Bibliotecas UERJ. In: SEMINÁRIO NACIONAL DE
BIBLIOTECAS UNIVERSITÁRIAS, 12. , 2002, Recife. Bibliotecas universitárias: espaço de (r) evolução do
conhecimento e da informação. 13 p. Arquivo em pdf. Disponível em: < http:
www.sibi.ufrj.br/snbu/snbu2002/main.htm >. Acesso em: 12 fev 2005.

GRANDI, Márcia Elisa Garcia et al. Uma biblioteca em construção: o compromisso com o cliente. In: SEMINÁRIO
NACIONAL DE BIBLIOTECAS UNIVERSITÁRIAS, 12., 2002, Recife. Bibliotecas universitárias: espaço de (r)
evolução do conhecimento e da informação. 15 p. Arquivo em.pdf. Disponível em: < http:
www.sibi.ufrj.br/snbu/snbu2002/main.htm >. Acesso em: 12 fev 2005.

HAWERROTH, Jolmar Luis. A expansão do ensino superior nas universidades do sistema fundacional
catarinense. Florianópolis: Insular, 1999. 168 p.

INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS - INEP. Evolução do ensino superior:

1980-1998. Brasília, INEP, 1999. Disponível em:
<http://www.inep.gov.br/download/censo/1998/superior/evolução_1980-1998.pdf >. Acesso em: 02 setembro
2004.

______. Resultados e tendências da educação superior: região sul. Brasília, INEP, 2000. Disponível em:
<http://www.inep.gov.br/download/censo/2000/Superior/sul.pdf>. Acesso em: 10 setembro 2004.

KLAES, Rejane Raffo. O sistema de bibliotecas da UFRGS e a avaliação institucional. In: SEMINÁRIO
NACIONAL DE BIBLIOTECAS UNIVERSITÁRIAS, 12., 2002, Recife. Bibliotecas universitárias: espaço de (r)
evolução do conhecimento e da informação. 12 p. Arquivo em pdf. Disponível em: < http:
www.sibi.ufrj.br/snbu/snbu2002/main.htm >. Acesso em: 12 fev 2005.

LUBISCO, Nídia M. L. A Biblioteca universitária e o processo de avaliação do MEC: Alguns elementos para o
planejamento da sua gestão. In: SEMINÁRIO NACIONAL DE BIBLIOTECAS UNIVERSITÁRIAS, 12., 2002,
Recife. Bibliotecas universitárias: espaço de (r) evolução do conhecimento e da informação. 19 p. Arquivo em.pdf.
Disponível em: <http://www.sibi.ufrj.br/snbu/snbu2002/main.htm >. Acesso em: 26 nov. 2004.

MACEDO, Neusa Dias de; DIAS, Maria Matilde Kronka. Subsídios para a caracterização da biblioteca
universitária. Revista Brasileira de Biblioteconomia e Documentação, São Paulo, v. 25, n. ¾, p. 40-47,
jul./dez. 1992.

MACIEL, Alba Costa; MENDONÇA, Marília Alvarenga Rocha. Bibliotecas como Organizações. Rio de Janeiro:
Interciência, 2000. 96p.

MIRANDA, Antônio Lisboa Carvalho de. Acervos de livros das bibliotecas das instituições de ensino superior no
Brasil: situação problemática e discussão de metodologia para seu diagnóstico permanente. Ciência da
Informação, Brasília, v. 22, n. 1, p. 30-40, jan./abr. 1993.

RAMOS, Maria Etelvina Madalozzo. Padrões como instrumentos de avaliação e qualidade em bibliotecas
universitárias. In: SEMINÁRIO NACIONAL DE BIBLIOTECAS UNIVERSITÁRIAS, 12., 2002, Recife. Bibliotecas
universitárias: espaço de (r) evolução do conhecimento e da informação. 11 p. Arquivo em.pdf. Disponível em:
<http://www.sibi.ufrj.br/snbu/snbu2002/main.htm >. Acesso em: 12 fev 2005.

SAMPAIO, Maria Imaculada Cardoso et al. Avaliação continuada da qualidade dos produtos e serviços oferecidos
pelo SIBI/USP. In: SEMINÁRIO NACIONAL DE BIBLIOTECAS UNIVERSITÁRIAS, 12., 2002, Recife. Bibliotecas
universitárias: espaço de (r) evolução do conhecimento e da informação. 15 p. Arquivo em.pdf. Disponível em:
<http://www.sibi.ufrj.br/snbu/snbu2002/main.htm >. Acesso em: 12 fev 2005.

SGUISSARDI, Valdemar (Org.). Avaliação universitária em questão: reformas do estado e da educação

superior. Campinas: Autores Associados, 1997. 176 p. (Educação contemporânea).

SILVA, Ana Estela Codato. Gestão da qualidade em bibliotecas: aspectos críticos. In: SEMINÁRIO NACIONAL
DE BIBLIOTECAS UNIVERSITÁRIAS, 12., 2002, Recife. Bibliotecas universitárias: espaço de (r) evolução do
conhecimento e da informação. 14 p. Arquivo em.pdf. Disponível em:
<http://www.sibi.ufrj.br/snbu/snbu2002/main.htm >. Acesso em: 12 fev 2005.

SOARES, Maria Susana Arrosa (Org.). A educação superior no Brasil. Brasília: CAPES, 2002. 304 p.

STTUBS, Edgardo Alberto. Indicadores de desempeño: naturaleza, utilidad y construcción. Ciência da

Informação, Brasília, v. 33, n. 1, p. 149-154, jan./abr. 2004.

SUTTER, Eric. Documentation, information, connaissances: la gestion de la qualité. Paris: ABFF, 2002.
(Collection Sciences de Linformation. Série Études et Techniques).

TRZESNIAK, Piotr. Indicadores quantitativos: reflexões que antecedem seu estabelecimento. Ciência da
Informação, Brasília, v. 27, n. 2, p. 159-164, maio/ago. 1998

VERGUEIRO, Waldomiro. Seleção de materiais de informação. 2.ed. Brasília: Briquet de Lemos, 1997. 126p.