Escolar Documentos
Profissional Documentos
Cultura Documentos
Avaliação Periódicos PDF
Avaliação Periódicos PDF
Avaliao de peridicos
cientficos e tcnicos
brasileiros*
Rosaly Favero Krzyzanowski INTRODUO Como conseqncia direta desses fa-
Maria Ceclia Gonzaga Ferreira tores negativos, que prejudicam o pa-
A proliferao de ttulos de peridicos dro de qualidade das revistas cientfi-
nas diversas reas do conhecimento cas brasileiras, encontramos a pouca
tem sido preocupao dos profissionais aceitabilidade das revistas no meio tc-
que se interessam pela qualidade da nico e cientfico internacional e a sua
informao cientfica, sejam autores, restrita indexao nos ndices e biblio-
editores, publicadores, servios de grafias internacionais, os quais tambm
indexao, centros de documentao, utilizam filtros de qualidade, como o
bibliotecas e, especialmente, pesqui- Science Citation Abstracts, do Institute
sadores (usurios da informao). Isso for Scientific Information (ISI).
porque srias crticas esto sendo
formuladas, em mbito internacional, A falta de recursos financeiros , no
quanto publicao de revistas sem entanto, uma das maiores preocupa-
critrios de qualidade e para as quais es nacionais na rea, visto que im-
vm se perdendo esforos, material possibilita os editores de manter a in-
publicado, recursos financeiros e at dependncia econmica de suas revis-
prestgio de organizaes cientficas ou tas cientficas, levando-os a buscar sub-
instituies. Entre essas crticas, sdios junto s agncias financiadoras
podemos destacar: do pas, cuja ajuda praticamente im-
possvel para todas as publicaes que
irregularidade na publicao e distri- existem na atualidade (Krzyzanowski
buio da revista; et al.)1.
REVISO DE LITERATURA avaliao de mrito das revistas pelos analisar todos os ttulos relacionados na
seus pares, mediante parmetros listagem de 1991, anteriormente citada,
A partir da dcada de 60, encontram-se predefinidos pelos autores e a sua clas- com pequenas modificaes em razo
na literatura estudos sobre avaliao de sificao em trs nveis de relevncia: dos ttulos encerrados ou novos,
revistas cientficas e tcnicas que de- prioritria, importante e de importn- totalizando 407 ttulos. Nesse momen-
monstram a necessidade de se defini- cia relativa. to, os avaliadores tiveram como orien-
rem parmetros mensurveis, que pos- tao:
sam refletir a qualidade da informao Em 1995, Castro e Ferreira5, da Bireme
registrada. Em artigo publicado por (Centro Latino-Americano e do Caribe a) extrair os ttulos considerados no
Arends2 em 1968, relatada uma ava- de Informao em Cincias da Sade), relevantes para a respectiva rea na
li ao dos peridicos mdicos realizaram, a pedido da OPAS (Organi- atualidade;
venezuelanos, baseada em modelo zao Pan-Americana da Sade), um
cri ado pelo grupo de trabalho da estudo dos peridicos latino-americanos b) reeleger o nvel de relevncia dos
Unesco3, em 1964, para a seleo de indexados no Medline (Medlars Online) ttulos que j constassem da edio pre-
revistas tcnicas latino-americanas. O e na Lilacs (Literatura Latino-America- liminar de 1988, com grau de relevn-
modelo estabelece alguns critrios de na e do Caribe em Cincias da Sade), cia inadequado;
mensurao das revistas como apresen- visando a estabelecer um modelo de ava-
tao do material, durao, regularida- liao a ser utilizado para as revistas c) incluir novos ttulos no relaciona-
de, periodicidade, aceitao de colabo- que pleiteiam sua indexao nesta lti- dos na listagem, se considerados rele-
radores de outras instituies, nvel de ma e para reavaliao dos ttulos j vantes para a atualizao e a melhoria
especializao, indexao etc. constantes da Lilacs. O estudo utilizou do ncleo bsico. Nessa etapa, os 130
o modelo de avaliao de Braga4, com ttulos da lista do CNPq/Finep foram
Em 1982, Braga e Oberhofer4 apresen- modificaes. Com o estudo, foi poss- cotejados com os 407 da lista da
tam proposta modificando o modelo da vel verificar aspectos da apresentao Fapesp, e aqueles que ainda no cons-
Unesco para ser utilizada na avaliao dos peridicos que podem prejudicar a tavam dessa listagem foram includos.
de peridicos brasileiros cientficos e qualidade das revistas cientficas e sua
tcnicos. O modelo procura refletir conseqente indexao em ndices in- Por fim, todos os ttulos foram
aspectos de forma dos peridicos ternacionais. classificados segundo o seu grau de
dentro de parmetros mensurveis. relevncia, anotando-se as suas
A cada critrio corresponde um nme- METODOLOGIA respectivas prioridades (PR, IM, IR) em
ro de variveis e condies para que planilhas pr-elaboradas para cada rea
o peridico obtenha uma pontuao. Procedimentos gerais e subrea do conhecimento (Anexo 2).
O nmero total de pontos que o peridi-
co atinge determina o seu nvel de de- A partir da Lista de Peridicos Cientfi- Aps realizada a avaliao de mrito, a
sempenho Muito Bom, Bom, Media- cos Brasileiros Financiados pelo CNPq/ Coordenadoria de Publicaes da
no e Fraco. Segundo as autoras, a es- Finep (130 ttulos), de 1995/1996, e do Fapesp pde organizar o Ncleo Bsi-
colha dos critrios foi norteada por sua Ncleo Bsico de Peridicos Cientficos co das Revistas Cientficas Correntes
aplicabilidade (existncia de ferramen- Brasileiros Correntes (372 ttulos prove- Nacionais 1996, eleito por seus pa-
tas para coleta e anlise), pelas carac- nientes da avaliao de mrito realiza- res.
tersticas peculiares aos peridicos da pela Fapesp em 1991)1, foi possvel
nacionais restries econmicas, ti- proceder a uma reavaliao das revis- Procedimentos especficos para
pogrficas etc. e, principalmente, pela tas, visando sua atualizao e refi- avaliao de forma
validade que conferem ao julgamento de namento crtico, no aspecto de con-
qualidade de duas funes bsicas das tedo (mrito), para compor um n- Para realizar a avaliao de forma (de-
publicaes peridicas, isto , a funo cleo bsico nico de ttulos cientficos sempenho), foi utilizado o modelo de
memria arquivo do conhecimento e tcnicos correntes brasileiros. Acres- Braga e Oberhofer4, adaptado propos-
e a funo disseminao transmis- centou-se ao estudo a avaliao de for- ta deste estudo (Anexos 3 e 4). Foram
so ampla de idias. ma (desempenho) para averiguar a sua examinados os trs ltimos fascculos
situao perante os aspectos de nor- de cada ttulo oriundos da lista conjun-
Em 1991, Krzyzanowski et al.1 deram malizao e periodicidade, entre outros. ta Fapesp e CNPq/Finep, bem como
seqncia ao projeto de avaliao de atribudos valores alcanados para cada
peridicos cientficos brasileiros corren- Procedimentos especficos para varivel.
tes desenvolvido em 1988, visando a avaliao de mrito
refinar e atualizar o ncleo bsico de re- A seguir, encontram-se alguns procedi-
vistas cientficas correntes nacionais nas Para a avaliao de mrito, contou-se mentos adotados com relao anli-
diferentes reas do conhecimento defi- com a colaborao de especialistas das se das variveis:
nido no primeiro estudo, com o objetivo coordenadorias de reas da Fapesp, que
de subsidiar o programa de apoio finan- levaram em considerao o Roteiro para
ceiro a revistas cientficas da Fapesp. anlise de mrito de revistas cientficas
A metodologia adotada nos dois estu- (Anexo 1). Cada especialista ou grupo
dos (1988 e 1991) teve como princpio a de especialistas teve como atividade
a) Normalizao: Os peridicos foram f) Existncia de coleo nas biblio- SD (Sem Desempenho): utilizada
avaliados seguindo-se as variveis tecas-base do Sistema Comut * : Para para ttulos avaliados quanto ao mrito,
estabelecidas no formulrio, recebendo verificao da existncia em colees que tiveram a classificao importn-
pontuao de acordo com a sua norma- das bibliotecas-base do Sistema Comut, cia relativa. Esses ttulos no sofreram
lizao nos trs fascculos analisados. foi utilizado o CCN/IBICT. Foi atribudo anlise quanto forma (desempe-
Como parmetro para medir a normali- 1 ponto por biblioteca-base que possui nho).
zao, foram utilizadas as normas da 75% da coleo do peridico, com data
Associao Brasileira de Normas Tc- posterior a 1993 (inclusive). NL (No Localizados): utilizada para
nicas (ABNT). No caso das referncias ttulos no localizados nas bibliotecas.
bibliogrficas, verificou-se, primeiramen- g) Colaborao de autores: A publi-
te, qual a norma adotada ABNT, ISO cao de trabalhos de autores de vrias RESULTADOS ALCANADOS
(International Organization for instituies do pas ou de autores es-
Standardization) etc. e, a seguir, foi trangeiros, em colaborao ou no, foi O universo estudado foi de 407 ttulos
analisado se a revista estava de acordo analisada e tambm pontuada, confor- da lista da Fapesp e 130 ttulos da lista
com a norma declarada. Quanto s de- me o Anexo 3. do CNPq/Finep. Dos 407 ttulos da
mais variveis, o peridico foi receben- Fapesp avaliados quanto ao mrito, 340
do pontuao de acordo com o atendi- h) Diviso de contedo: Algumas difi- (84%) foram considerados relevantes
mento s condies estabelecidas no culdades foram encontradas para o es- e 67 (16%), no relevantes.
formulrio. tabelecimento da pontuao nessa va-
rivel, uma vez que nem sempre o tipo Dos 130 ttulos do CNPq/Finep, 79 (61%)
b) Durao: Foram considerados a de artigo est explcito no peridico. O foram considerados relevantes (e j
data de incio e o tempo ininterrupto de modelo de avaliao com referncia constantes da lista dos 340 relevantes
existncia do peridico. Os dados refe- anlise de contedo utilizou duas clas- da Fapesp). Os 51 (39%) ttulos res-
rentes aos ttulos foram pesquisados no sificaes diferentes para os artigos: tantes foram considerados no rele-
Catlogo Coletivo Nacional de Publica- uma para as reas de exatas e biolgi- vantes.
es Seriadas, do Instituto Brasileiro de cas e outra para a rea de humanas,
Informao em Cincia e Tecnologia sendo que esta ltima foi adaptada, con- Do total de 340 ttulos relevantes da
(CCN/IBICT). sultando-se especialista da rea. Fapesp (inclusos os 79 relevantes do
CNPq/Finep), obteve-se o seguinte re-
c) Periodicidade: A indicao da pe- i) Desempenho geral: A pontuao sultado quanto ao mrito: 108 ttulos
riodicidade foi verificada no peridico para cada varivel e o total geral alcan- prioritrios (32%); 120 (35%) importan-
e/ou confirmada no CCN/IBICT. Os pe- ado permitiram uma classificao ge- tes; 112 (33%) de importncia relativa.
ridicos com periodicidade regular rece- ral de desempenho de cada peridico Com relao ao desempenho dos 340
beram pontuao de acordo com o n- analisado. Os peridicos avaliados re- ttulos relevantes, os resultados foram
mero de fascculos publicados no ano. ceberam, de acordo com o grau de suas os seguintes: 54 (16%) Muito Bom; 31
Receberam 1 ponto a menos as revis- pontuaes, os seguintes desempe- (9%) Bom; 57 (17%) Mediano; 52 (15%)
tas atrasadas (data anterior a 1995) nhos: Fraco; 19 (6%) No Localizados; 15 (4%)
e/ou aquelas que, freqentemente, apre- Sem Caracterstica; 112 (33%) Sem De-
sentaram nmeros acumulados. As re- MUITO BOM (81 pontos ou mais) sempenho (ttulos de importncia rela-
vistas com periodicidade irregulartam- BOM (56 a 80 pontos) tiva).
bm perderam 1 ponto. MEDIANO (31 a 55 pontos)
FRACO (at 30 pontos) Dos 108 ttulos prioritrios, os resul-
d) Indexao de ttulos em bases de tados com relao ao desempenho (MB,
dados internacionais: Os peridicos j) Convenes utilizadas nas tabelas B, M, F) foram os seguintes: Muito Bom
receberam pontuao nessa varivel e resultados: 32 (30%); Bom 19 (18%); Mediano 25
quando as fontes de indexao ou as (23%); Fraco 20 (18%); No Localiza-
bases de dados internacionais encon- SC (Sem Caracterstica): utilizada dos 4 (4%); Sem Caracterstica 8 (7%).
travam-se registradas nos fascculos para os ttulos de peridicos, cujas ca-
examinados. Foram consideradas at ractersticas no permitem a utilizao Com relao aos 120 ttulos importan-
trs fontes internacionais. Para cada do modelo para avaliao de peridicos tes, o resultado com relao ao desem-
fonte, foram atribudos cinco pontos. cientficos (inclui srie, anurios, docu- penho: Muito Bom 22 (18%); Bom 12
mentos). (10%); Mediano 32 (27%); Fraco 32
e) Difuso (formas de distribuio): (27%); No Localizados 11 (9%); Sem
Foram consideradas de distribuio Caracterstica 11 (9%).
gratuita e receberam 1 ponto nessa
varivel as publicaes que no regis- * Comut um programa de comutao biblio-
tram a forma de distribuio nos fasc- grfica criado no Brasil em 1980 pelo Ministrio
culos e/ou s fazem difuso mediante da Educao e Cultura, visando a dotar o pas
de mecanismo eficiente de acesso informa-
doao e permuta. As publicaes que o existente nas principais bibliotecas brasi-
indicam preo de assinatura receberam leiras (denominadas pelo programa como bi-
3 pontos nessa varivel. bliotecas-base).
REFERNCIAS BIBLIOGRFICAS
Abstract
This paper presents an evaluation
methodology for Brazilian current scientific
periodicals based both on merit (content)
and performance (form). The methodology
for merit evaluation was employed by
researchers from different fields of
knowledge (evaluation made by fellows),
enabling the periodicals classification in
three levels of relevance: prior, important and
of relative importance. The form evaluation
was applied by the authors, and is based on
the Braga & Oberhofer model, which Rosaly Favero Krzyzanowski
establishes criteria of measuring points, and
determines performance levels for the Diretora do Departamento Tcnico do Sistema
periodical (Very Good, Good, Median and Integrado de Bibliotecas da Universidade de So
Weak). The results point out the need of Paulo (SIBi/USP).
applying both evaluations (merit and
performance) to reach a global view of the dtsibi@org.usp.br
publications quality.
Maria Ceclia Gonzaga Ferreira
Keywords
Bibliotecria.
Methodology for periodicals evaluation;
Brazilian scientific periodicals.
ANEXO 1
Roteiro para anlise de mrito das revistas cientficas
1. Analisar cada ttulo relacionado na listagem, classificando-o segundo o seu grau de relevncia perante a rea e a
subrea a que pertence.
1.1. Todos os ttulos devero ser classificados segundo sua importncia maior ou menor dentro da rea. Dessa forma,
cada rea ter o seu ncleo de revistas prioritrias, importantes e de importncia relativa, conforme conceituao
abaixo.
1.2. Para definio do grau de relevncia de cada ttulo, dever ser levado em considerao:
qualidade dos artigos (nvel cientfico: originalidade; atualidade; identificao com a orientao temtica
da revista; percentual de artigos originais).
critrios de arbitragem dos textos (comparando-os aos adotados nas publicaes nacionais e
internacionais de maior prestgio na rea).
os peridicos devem ser editados de preferncia por instituio de ensino, pesquisa e sociedade
cientfica.
1.2.3. Abrangncia
quanto origem dos trabalhos (abertura da revista): nvel institucional, estadual, nacional e internacional.
quanto difuso da revista (alcance da distribuio proposta em funo do pblico a ser atingido): nvel
institucional, estadual, nacional e internacional.
1.2.4. Indexao
quanto maior o nmero de bases de dados nacionais e internacionais em que figurar a revista, maior ser
a sua valorizao de qualidade, produtividade e, inclusa, sua difuso indireta.
1.2.5. Avaliao global: comparao com outras revistas da rea (tradio, regularidade e importncia relativa na
rea)
1.3. Poder ocorrer a ausncia de algum ttulo na listagem. Caso seja ttulo relevante, indic-lo, independentemente de
no estar relacionado.
Revistas prioritrias: revistas consideradas de alta relevncia para a rea ou sub-rea, portadoras de todas as
caractersticas especificadas no item 1.2.
Revistas importantes: revistas consideradas relevantes para a rea ou subrea, portadoras de grande parte das
caractersticas definidas no item 1.2.
Revistas de importncia relativa: revistas consideradas de interesse, porm, no essenciais para a rea ou subrea,
portadoras de algumas caractersticas definidas no item 1.2.
Revistas no relevantes: revistas consideradas sem importncia relativa na rea ou subrea, alm de no possurem as
caractersticas definidas no item 1.2.
ANEXO 2
rea: Engenharias
de Engenharia, 1981-
de Engenharia Biomdica.
Engenharia e Arquitetura.
1957-
Estrutura, 1983-
ANEXO 3
Modelo para avaliao de peridicos cientficos reas de Exatas/Biolgicas
Ttulo __________________________________________________________________________________________
Instituio ______________________________________________________________________________________
Volume(s) ________ Ns. ________ Ano ___________ Estado _________ Agncia Financiadora _________________
1 Normalizao
1.1 Peridico no todo
1.1.1 Legenda bibliogrfica incluso (capa, sumrio, pginas do texto) 02
existncia 01
1.1.2 ISSN incluso (capa, pgina rosto e/ou sumrio) 02
existncia
1.1.3 Endereo completo 01
1.1.4 Periodicidade explcita 01
1.1.5 Instrues aos autores existncia 01
completa (incluindo exemplo de referncias bibliogrficas) 01
1.2 Fascculo
1.2.1 Sumrio existncia (lngua original) 01
existncia (bilnge) 02
1.2.2 Referncias bibliogrficas normalizadas (mais da metade dos artigos) 01
normalizao explcita (ISO, ABNT, CIDRM, outros) 02
1.3 Artigos
1.3.1 Filiao autor indicao incompleta 01
indicao completa 03
1.3.2 Resumos s no idioma do texto incluso sistemtica 02
1.3.3 Resumos s em outro idioma
que no o do texto incluso sistemtica 02
1.3.4 Resumos bilnges incluso sistemtica 04
1.3.5 Descritores incluso em todos os artigos 02
incluso em mais da metade dos artigos 01
1.3.6 Data de recebimento e/ou
publicao dos artigos incluso sistemtica 01
2 Durao
2.1 Tempo ininterrupto de existncia a cada 2 anos 01
3 Periodicidade
3.1 Intervalo regular de apario 1 vez ao ano 00
2 vezes ao ano 01
3 vezes ao ano 02
4 vezes ao ano 03
6 vezes ao ano 04
12 vezes ao ano 05
Irregulares, atrasadas 1 ponto a menos
4 Indexao
4.1 Incluso em bibliografias, abstracts,
sumrios correntes impressos ou
em CD-ROM em cada servio estrangeiro e/ou internacional 05
5 Difuso
5.1 Formas de distribuio compra e/ou permuta 03
distribuio gratuita 01
5.2 Existncia em colees razoavelmente
completas em bibliotecas do sistema a cada biblioteca que possuir ao menos 75% da coleo completa 01
Escala de valorizao
N de pontos Desempenho
at 30 Fraco
de 31 a 55 Mediano
de 56 a 80 Bom
acima de 80 Muito Bom
Obs.:
Data: Total:
Desempenho: Avaliador:
ANEXO 4
Modelo para avaliao de peridicos cientficos reas de Humanas
Ttulo __________________________________________________________________________________________
Instituio ______________________________________________________________________________________
Volume(s) ________ Ns. ________ Ano ___________ Estado _________ Agncia Financiadora _________________
1 Normalizao
1.1 Peridico no todo
1.1.1 Legenda bibliogrfica incluso (capa, sumrio, pginas do texto) 02
existncia 01
1.1.2 ISSN incluso (capa, pgina rosto e/ou sumrio) 02
existncia 01
1.1.3 Endereo completo 01
1.1.4 Periodicidade explcita 01
1.1.5 Instrues aos autores existncia 01
completa (incluindo exemplo referncias bibliogrficas) 02
1.2 Fascculo
1.2.1 Sumrio existncia (lngua original) 01
existncia (bilnge) 02
1.2.2 Referncias bibliogrficas normalizadas (mais da metade dos artigos) 01
normalizao explcita (ISO, ABNT, CIDRM, outros) 02
1.3 Artigos
1.3.1 Filiao autor indicao incompleta 01
indicao completa 03
1.3.2 Resumos s no idioma do texto incluso sistemtica 02
1.3.3 Resumos s em outro idioma
que no o do texto incluso sistemtica 02
1.3.4 Resumos bilnges incluso sistemtica 04
1.3.5 Descritores incluso em todos os artigos 02
incluso em mais da metade dos artigos 01
1.3.6 Data de recebimento e/ou
publicao dos artigos incluso sistemtica 01
2 Durao
2.1 Tempo ininterrupto de existncia a cada 2 anos 01
3 Periodicidade
3.1 Intervalo regular de apario 1 vez ao ano 00
2 vezes ao ano 01
3 vezes ao ano 02
4 vezes ao ano 03
6 vezes ao ano 04
12 vezes ao ano 05
Irregulares, atrasadas 1 ponto a menos
4 Indexao
4.1 Incluso em bibliografias, abstracts,
sumrios correntes impressos
ou em CD-ROM em cada servio estrangeiro e/ou internacional 05
5 Difuso
5.1 Formas de distribuio compra e/ou permuta 03
distribuio gratuita 01
5.2 Existncia em colees razoavelmente
completas em bibliotecas do sistema a cada biblioteca que possuir ao menos 75% da coleo completa 01
Escala de valorizao
N de pontos Desempenho
at 30 Fraco
de 31 a 55 Mediano
de 56 a 80 Bom
acima de 80 Muito Bom
Obs.:
Data: Total:
Desempenho: Avaliador: