Escolar Documentos
Profissional Documentos
Cultura Documentos
Avaliação de periódicos
científicos e técnicos
brasileiros*
Rosaly Favero Krzyzanowski INTRODUÇÃO Como conseqüência direta desses fa-
Maria Cecília Gonzaga Ferreira tores negativos, que prejudicam o pa-
A proliferação de títulos de periódicos drão de qualidade das revistas científi-
nas diversas áreas do conhecimento cas brasileiras, encontramos a pouca
tem sido preocupação dos profissionais aceitabilidade das revistas no meio téc-
que se interessam pela qualidade da nico e científico internacional e a sua
informação científica, sejam autores, restrita indexação nos índices e biblio-
editores, publicadores, serviços de grafias internacionais, os quais também
indexação, centros de documentação, utilizam “filtros de qualidade”, como o
bibliotecas e, especialmente, pesqui- Science Citation Abstracts, do Institute
sadores (usuários da informação). Isso for Scientific Information (ISI).
porque sérias críticas estão sendo
formuladas, em âmbito internacional, A falta de recursos financeiros é, no
quanto à publicação de revistas “sem entanto, uma das maiores preocupa-
critérios de qualidade e para as quais ções nacionais na área, visto que im-
vêm se perdendo esforços, material possibilita os editores de manter a in-
publicado, recursos financeiros e até dependência econômica de suas revis-
prestígio de organizações científicas ou tas científicas, levando-os a buscar sub-
instituições”. Entre essas críticas, sídios junto às agências financiadoras
podemos destacar: do país, cuja ajuda é praticamente im-
possível para todas as publicações que
•irregularidade na publicação e distri- existem na atualidade (Krzyzanowski
buição da revista; et al.)1.
REVISÃO DE LITERATURA avaliação de mérito das revistas pelos analisar todos os títulos relacionados na
seus pares, mediante parâmetros listagem de 1991, anteriormente citada,
A partir da década de 60, encontram-se predefinidos pelos autores e a sua clas- com pequenas modificações em razão
na literatura estudos sobre avaliação de sificação em três níveis de relevância: dos títulos encerrados ou novos,
revistas científicas e técnicas que de- prioritária, importante e de importân- totalizando 407 títulos. Nesse momen-
monstram a necessidade de se defini- cia relativa. to, os avaliadores tiveram como orien-
rem parâmetros mensuráveis, que pos- tação:
sam refletir a qualidade da informação Em 1995, Castro e Ferreira5, da Bireme
registrada. Em artigo publicado por (Centro Latino-Americano e do Caribe a) extrair os títulos considerados não
Arends2 em 1968, é relatada uma ava- de Informação em Ciências da Saúde), relevantes para a respectiva área na
li ação dos periódicos médicos realizaram, a pedido da OPAS (Organi- atualidade;
venezuelanos, baseada em modelo zação Pan-Americana da Saúde), um
cri ado pelo grupo de trabalho da estudo dos periódicos latino-americanos b) reeleger o nível de relevância dos
Unesco3, em 1964, para a seleção de indexados no Medline (Medlars Online) títulos que já constassem da edição pre-
revistas técnicas latino-americanas. O e na Lilacs (Literatura Latino-America- liminar de 1988, com grau de relevân-
modelo estabelece alguns critérios de na e do Caribe em Ciências da Saúde), cia inadequado;
mensuração das revistas como apresen- visando a estabelecer um modelo de ava-
tação do material, duração, regularida- liação a ser utilizado para as revistas c) incluir novos títulos não relaciona-
de, periodicidade, aceitação de colabo- que pleiteiam sua indexação nesta últi- dos na listagem, se considerados rele-
radores de outras instituições, nível de ma e para reavaliação dos títulos já vantes para a atualização e a melhoria
especialização, indexação etc. constantes da Lilacs. O estudo utilizou do núcleo básico. Nessa etapa, os 130
o modelo de avaliação de Braga4, com títulos da lista do CNPq/Finep foram
Em 1982, Braga e Oberhofer4 apresen- modificações. Com o estudo, foi possí- cotejados com os 407 da lista da
tam proposta modificando o modelo da vel verificar aspectos da apresentação Fapesp, e aqueles que ainda não cons-
Unesco para ser utilizada na avaliação dos periódicos que podem prejudicar a tavam dessa listagem foram incluídos.
de periódicos brasileiros científicos e qualidade das revistas científicas e sua
técnicos. O modelo procura refletir conseqüente indexação em índices in- Por fim, todos os títulos foram
aspectos de forma dos periódicos ternacionais. classificados segundo o seu grau de
dentro de parâmetros mensuráveis. relevância, anotando-se as suas
A cada critério corresponde um núme- METODOLOGIA respectivas prioridades (PR, IM, IR) em
ro de variáveis e condições para que planilhas pré-elaboradas para cada área
o periódico obtenha uma pontuação. Procedimentos gerais e subárea do conhecimento (Anexo 2).
O número total de pontos que o periódi-
co atinge determina o seu nível de de- A partir da Lista de Periódicos Científi- Após realizada a avaliação de mérito, a
sempenho – Muito Bom, Bom, Media- cos Brasileiros Financiados pelo CNPq/ Coordenadoria de Publicações da
no e Fraco. Segundo as autoras, “a es- Finep (130 títulos), de 1995/1996, e do Fapesp pôde organizar o Núcleo Bási-
colha dos critérios foi norteada por sua Núcleo Básico de Periódicos Científicos co das Revistas Científicas Correntes
aplicabilidade (existência de ferramen- Brasileiros Correntes (372 títulos prove- Nacionais – 1996, eleito por seus pa-
tas para coleta e análise), pelas carac- nientes da avaliação de mérito realiza- res.
terísticas peculiares aos periódicos da pela Fapesp em 1991)1, foi possível
nacionais – restrições econômicas, ti- proceder a uma reavaliação das revis- Procedimentos específicos para
pográficas etc. – e, principalmente, pela tas, visando à sua atualização e refi- avaliação de forma
validade que conferem ao julgamento de namento crítico, no aspecto de con-
qualidade de duas funções básicas das teúdo (mérito), para compor um “nú- Para realizar a avaliação de forma (de-
publicações periódicas, isto é, a função cleo básico único de títulos científicos sempenho), foi utilizado o modelo de
memória — arquivo do conhecimento e técnicos correntes brasileiros”. Acres- Braga e Oberhofer4, adaptado à propos-
– e a função disseminação – transmis- centou-se ao estudo a avaliação de for- ta deste estudo (Anexos 3 e 4). Foram
são ampla de idéias”. ma (desempenho) para averiguar a sua examinados os três últimos fascículos
situação perante os aspectos de nor- de cada título oriundos da lista conjun-
Em 1991, Krzyzanowski et al.1 deram malização e periodicidade, entre outros. ta Fapesp e CNPq/Finep, bem como
seqüência ao projeto de avaliação de atribuídos valores alcançados para cada
periódicos científicos brasileiros corren- Procedimentos específicos para variável.
tes desenvolvido em 1988, visando a avaliação de mérito
refinar e atualizar o núcleo básico de re- A seguir, encontram-se alguns procedi-
vistas científicas correntes nacionais nas Para a avaliação de mérito, contou-se mentos adotados com relação à análi-
diferentes áreas do conhecimento defi- com a colaboração de especialistas das se das variáveis:
nido no primeiro estudo, com o objetivo coordenadorias de áreas da Fapesp, que
de subsidiar o programa de apoio finan- levaram em consideração o Roteiro para
ceiro a revistas científicas da Fapesp. análise de mérito de revistas científicas
A metodologia adotada nos dois estu- (Anexo 1). Cada especialista ou grupo
dos (1988 e 1991) teve como princípio a de especialistas teve como atividade
a) Normalização: Os periódicos foram f) Existência de coleção nas biblio- • SD (Sem Desempenho): utilizada
avaliados seguindo-se as variáveis tecas-base do Sistema Comut * : Para para títulos avaliados quanto ao mérito,
estabelecidas no formulário, recebendo verificação da existência em coleções que tiveram a classificação “importân-
pontuação de acordo com a sua norma- das bibliotecas-base do Sistema Comut, cia relativa”. Esses títulos não sofreram
lização nos três fascículos analisados. foi utilizado o CCN/IBICT. Foi atribuído análise quanto à forma (desempe-
Como parâmetro para medir a normali- 1 ponto por biblioteca-base que possui nho).
zação, foram utilizadas as normas da 75% da coleção do periódico, com data
Associação Brasileira de Normas Téc- posterior a 1993 (inclusive). •NL (Não Localizados): utilizada para
nicas (ABNT). No caso das referências títulos não localizados nas bibliotecas.
bibliográficas, verificou-se, primeiramen- g) Colaboração de autores: A publi-
te, qual a norma adotada – ABNT, ISO cação de trabalhos de autores de várias RESULTADOS ALCANÇADOS
(International Organization for instituições do país ou de autores es-
Standardization) etc. – e, a seguir, foi trangeiros, em colaboração ou não, foi O universo estudado foi de 407 títulos
analisado se a revista estava de acordo analisada e também pontuada, confor- da lista da Fapesp e 130 títulos da lista
com a norma declarada. Quanto às de- me o Anexo 3. do CNPq/Finep. Dos 407 títulos da
mais variáveis, o periódico foi receben- Fapesp avaliados quanto ao mérito, 340
do pontuação de acordo com o atendi- h) Divisão de conteúdo: Algumas difi- (84%) foram considerados relevantes
mento às condições estabelecidas no culdades foram encontradas para o es- e 67 (16%), não relevantes.
formulário. tabelecimento da pontuação nessa va-
riável, uma vez que nem sempre o tipo Dos 130 títulos do CNPq/Finep, 79 (61%)
b) Duração: Foram considerados a de artigo está explícito no periódico. O foram considerados relevantes (e já
data de início e o tempo ininterrupto de modelo de avaliação com referência à constantes da lista dos 340 relevantes
existência do periódico. Os dados refe- análise de conteúdo utilizou duas clas- da Fapesp). Os 51 (39%) títulos res-
rentes aos títulos foram pesquisados no sificações diferentes para os artigos: tantes foram considerados não rele-
Catálogo Coletivo Nacional de Publica- uma para as áreas de exatas e biológi- vantes.
ções Seriadas, do Instituto Brasileiro de cas e outra para a área de humanas,
Informação em Ciência e Tecnologia sendo que esta última foi adaptada, con- Do total de 340 títulos relevantes da
(CCN/IBICT). sultando-se especialista da área. Fapesp (inclusos os 79 relevantes do
CNPq/Finep), obteve-se o seguinte re-
c) Periodicidade: A indicação da pe- i) Desempenho geral: A pontuação sultado quanto ao mérito: 108 títulos
riodicidade foi verificada no periódico para cada variável e o total geral alcan- prioritários (32%); 120 (35%) importan-
e/ou confirmada no CCN/IBICT. Os pe- çado permitiram uma classificação ge- tes; 112 (33%) de importância relativa.
riódicos com periodicidade regular rece- ral de desempenho de cada periódico Com relação ao desempenho dos 340
beram pontuação de acordo com o nú- analisado. Os periódicos avaliados re- títulos relevantes, os resultados foram
mero de fascículos publicados no ano. ceberam, de acordo com o grau de suas os seguintes: 54 (16%) Muito Bom; 31
Receberam 1 ponto a menos as revis- pontuações, os seguintes desempe- (9%) Bom; 57 (17%) Mediano; 52 (15%)
tas atrasadas (data anterior a 1995) nhos: Fraco; 19 (6%) Não Localizados; 15 (4%)
e/ou aquelas que, freqüentemente, apre- Sem Característica; 112 (33%) Sem De-
sentaram números acumulados. As re- MUITO BOM (81 pontos ou mais) sempenho (títulos de importância rela-
vistas com periodicidade “irregular”tam- BOM (56 a 80 pontos) tiva).
bém perderam 1 ponto. MEDIANO (31 a 55 pontos)
FRACO (até 30 pontos) Dos 108 títulos prioritários, os resul-
d) Indexação de títulos em bases de tados com relação ao desempenho (MB,
dados internacionais: Os periódicos j) Convenções utilizadas nas tabelas B, M, F) foram os seguintes: Muito Bom
receberam pontuação nessa variável e resultados: 32 (30%); Bom 19 (18%); Mediano 25
quando as fontes de indexação ou as (23%); Fraco 20 (18%); Não Localiza-
bases de dados internacionais encon- • SC (Sem Característica): utilizada dos 4 (4%); Sem Característica 8 (7%).
travam-se registradas nos fascículos para os títulos de periódicos, cujas ca-
examinados. Foram consideradas até racterísticas não permitem a utilização Com relação aos 120 títulos importan-
três fontes internacionais. Para cada do modelo para avaliação de periódicos tes, o resultado com relação ao desem-
fonte, foram atribuídos cinco pontos. científicos (inclui série, anuários, docu- penho: Muito Bom 22 (18%); Bom 12
mentos). (10%); Mediano 32 (27%); Fraco 32
e) Difusão (formas de distribuição): (27%); Não Localizados 11 (9%); Sem
Foram consideradas de “distribuição Característica 11 (9%).
gratuita” e receberam 1 ponto nessa
variável as publicações que não regis- * Comut é um programa de comutação biblio-
tram a forma de distribuição nos fascí- gráfica criado no Brasil em 1980 pelo Ministério
culos e/ou só fazem difusão mediante da Educação e Cultura, visando a dotar o país
de mecanismo eficiente de acesso à informa-
doação e permuta. As publicações que ção existente nas principais bibliotecas brasi-
indicam preço de assinatura receberam leiras (denominadas pelo programa como bi-
3 pontos nessa variável. bliotecas-base).
REFERÊNCIAS BIBLIOGRÁFICAS
Abstract
This paper presents an evaluation
methodology for Brazilian current scientific
periodicals based both on merit (content)
and performance (form). The methodology
for merit evaluation was employed by
researchers from different fields of
knowledge (evaluation made by fellows),
enabling the periodicals classification in
three levels of relevance: prior, important and
of relative importance. The form evaluation
was applied by the authors, and is based on
the Braga & Oberhofer model, which Rosaly Favero Krzyzanowski
establishes criteria of measuring points, and
determines performance levels for the Diretora do Departamento Técnico do Sistema
periodical (Very Good, Good, Median and Integrado de Bibliotecas da Universidade de São
Weak). The results point out the need of Paulo (SIBi/USP).
applying both evaluations (merit and
performance) to reach a global view of the dtsibi@org.usp.br
publications quality.
Maria Cecília Gonzaga Ferreira
Keywords
Bibliotecária.
Methodology for periodicals evaluation;
Brazilian scientific periodicals.
ANEXO 1
Roteiro para análise de mérito das revistas científicas
1. Analisar cada título relacionado na listagem, classificando-o segundo o seu grau de relevância perante a área e a
subárea a que pertence.
1.1. Todos os títulos deverão ser classificados segundo sua importância maior ou menor dentro da área. Dessa forma,
cada área terá o seu núcleo de revistas prioritárias, importantes e de importância relativa, conforme conceituação
abaixo.
1.2. Para definição do grau de relevância de cada título, deverá ser levado em consideração:
• qualidade dos artigos (nível científico: originalidade; atualidade; identificação com a orientação temática
da revista; percentual de artigos originais).
• critérios de arbitragem dos textos (comparando-os aos adotados nas publicações nacionais e
internacionais de maior prestígio na área).
• os periódicos devem ser editados de preferência por instituição de ensino, pesquisa e sociedade
científica.
1.2.3. Abrangência
• quanto à origem dos trabalhos (abertura da revista): nível institucional, estadual, nacional e internacional.
• quanto à difusão da revista (alcance da distribuição proposta em função do público a ser atingido): nível
institucional, estadual, nacional e internacional.
1.2.4. Indexação
• quanto maior o número de bases de dados nacionais e internacionais em que figurar a revista, maior será
a sua valorização de qualidade, produtividade e, inclusa, sua difusão indireta.
1.2.5. Avaliação global: comparação com outras revistas da área (tradição, regularidade e importância relativa na
área)
1.3. Poderá ocorrer a ausência de algum título na listagem. Caso seja título relevante, indicá-lo, independentemente de
não estar relacionado.
Revistas prioritárias: revistas consideradas de alta relevância para a área ou sub-área, portadoras de todas as
características especificadas no item 1.2.
Revistas importantes: revistas consideradas relevantes para a área ou subárea, portadoras de grande parte das
características definidas no item 1.2.
Revistas de importância relativa: revistas consideradas de interesse, porém, não essenciais para a área ou subárea,
portadoras de algumas características definidas no item 1.2.
Revistas não relevantes: revistas consideradas sem importância relativa na área ou subárea, além de não possuírem as
características definidas no item 1.2.
ANEXO 2
Área: Engenharias
de Engenharia, 1981-
de Engenharia Biomédica.
Engenharia e Arquitetura.
1957-
Estrutura, 1983-
ANEXO 3
Modelo para avaliação de periódicos científicos – Áreas de Exatas/Biológicas
Título __________________________________________________________________________________________
Instituição ______________________________________________________________________________________
Volume(s) ________ Nºs. ________ Ano ___________ Estado _________ Agência Financiadora _________________
1 Normalização
1.1 Periódico no todo
1.1.1 Legenda bibliográfica •inclusão (capa, sumário, páginas do texto) 02
• existência 01
1.1.2 ISSN •inclusão (capa, página rosto e/ou sumário) 02
• existência
1.1.3 Endereço •completo 01
1.1.4 Periodicidade • explícita 01
1.1.5 Instruções aos autores • existência 01
•completa (incluindo exemplo de referências bibliográficas) 01
1.2 Fascículo
1.2.1 Sumário •existência (língua original) 01
•existência (bilíngüe) 02
1.2.2 Referências bibliográficas •normalizadas (mais da metade dos artigos) 01
•normalização explícita (ISO, ABNT, CIDRM, outros) 02
1.3 Artigos
1.3.1 Filiação autor •indicação incompleta 01
•indicação completa 03
1.3.2 Resumos só no idioma do texto •inclusão sistemática 02
1.3.3 Resumos só em outro idioma
que não o do texto •inclusão sistemática 02
1.3.4 Resumos bilíngües •inclusão sistemática 04
1.3.5 Descritores •inclusão em todos os artigos 02
•inclusão em mais da metade dos artigos 01
1.3.6 Data de recebimento e/ou
publicação dos artigos •inclusão sistemática 01
2 Duração
2.1 Tempo ininterrupto de existência •a cada 2 anos 01
3 Periodicidade
3.1 Intervalo regular de aparição •1 vez ao ano 00
•2 vezes ao ano 01
•3 vezes ao ano 02
•4 vezes ao ano 03
•6 vezes ao ano 04
•12 vezes ao ano 05
Irregulares, atrasadas •1 ponto a menos
4 Indexação
4.1 Inclusão em bibliografias, abstracts,
sumários correntes impressos ou
em CD-ROM •em cada serviço estrangeiro e/ou internacional 05
5 Difusão
5.1 Formas de distribuição •compra e/ou permuta 03
•distribuição gratuita 01
5.2 Existência em coleções razoavelmente
completas em bibliotecas do sistema •a cada biblioteca que possuir ao menos 75% da coleção completa 01
Escala de valorização
Nº de pontos Desempenho
até 30 Fraco
de 31 a 55 Mediano
de 56 a 80 Bom
acima de 80 Muito Bom
Obs.:
Data: Total:
Desempenho: Avaliador:
ANEXO 4
Modelo para avaliação de periódicos científicos – Áreas de Humanas
Título __________________________________________________________________________________________
Instituição ______________________________________________________________________________________
Volume(s) ________ Nºs. ________ Ano ___________ Estado _________ Agência Financiadora _________________
1 Normalização
1.1 Periódico no todo
1.1.1 Legenda bibliográfica •inclusão (capa, sumário, páginas do texto) 02
• existência 01
1.1.2 ISSN •inclusão (capa, página rosto e/ou sumário) 02
• existência 01
1.1.3 Endereço •completo 01
1.1.4 Periodicidade • explícita 01
1.1.5 Instruções aos autores • existência 01
•completa (incluindo exemplo referências bibliográficas) 02
1.2 Fascículo
1.2.1 Sumário •existência (língua original) 01
•existência (bilíngüe) 02
1.2.2 Referências bibliográficas •normalizadas (mais da metade dos artigos) 01
•normalização explícita (ISO, ABNT, CIDRM, outros) 02
1.3 Artigos
1.3.1 Filiação autor •indicação incompleta 01
•indicação completa 03
1.3.2 Resumos só no idioma do texto •inclusão sistemática 02
1.3.3 Resumos só em outro idioma
que não o do texto •inclusão sistemática 02
1.3.4 Resumos bilíngües •inclusão sistemática 04
1.3.5 Descritores •inclusão em todos os artigos 02
•inclusão em mais da metade dos artigos 01
1.3.6 Data de recebimento e/ou
publicação dos artigos •inclusão sistemática 01
2 Duração
2.1 Tempo ininterrupto de existência •a cada 2 anos 01
3 Periodicidade
3.1 Intervalo regular de aparição •1 vez ao ano 00
•2 vezes ao ano 01
•3 vezes ao ano 02
•4 vezes ao ano 03
•6 vezes ao ano 04
•12 vezes ao ano 05
Irregulares, atrasadas •1 ponto a menos
4 Indexação
4.1 Inclusão em bibliografias, abstracts,
sumários correntes impressos
ou em CD-ROM •em cada serviço estrangeiro e/ou internacional 05
5 Difusão
5.1 Formas de distribuição •compra e/ou permuta 03
•distribuição gratuita 01
5.2 Existência em coleções razoavelmente
completas em bibliotecas do sistema •a cada biblioteca que possuir ao menos 75% da coleção completa 01
Escala de valorização
Nº de pontos Desempenho
até 30 Fraco
de 31 a 55 Mediano
de 56 a 80 Bom
acima de 80 Muito Bom
Obs.:
Data: Total:
Desempenho: Avaliador: