ISSN 1808-057X
DOI: 10.1590/1808-057x20160140
EDITORIAL
Um Qualis em quatro tempos: histrico e sugestes para
Administrao, Cincias Contbeis e Turismo
Piotr Trzesniak
Universidade Federal de Pernambuco, Recife, PE, Brasil.
E-mail: piotreze@gmail.com
1 INTRODUO
Enquanto as reas chamadas duras sempre privilegiaram
as mtricas para definir os respectivos Qualis - em especial,
o fator de impacto veiculado no Journal Citation Reports
(JCR, atualmente publicado pela Thomson-Reuters), vrias
do grupo das humanidades e sociais aplicadas (como, entre
outras, psicologia, administrao, educao e antropologia)
iniciaram a trajetria sistematizada por meio de uma ficha
de avaliao. Foi somente aps a reestruturao do sistema
(Capes, 2008), na fase que denominamos terceiro tempo,
que as mtricas passaram a ter um papel mais decisivo
tambm nessas ltimas reas. Conta-se aqui, no primeiro e
segundo tempos, a histria de uma delas - a de Administrao,
Cincias Contbeis e Turismo - que, em grande parte, similar
de todas as outras, especialmente quando, tambm no
terceiro tempo, discutem-se e apresentam-se argumentos que
evidenciam a no adequabilidade do emprego do fator de
impacto (ou de mtricas de citao em geral) como critrio
preferencial para construir a hierarquia Qualis. No quarto
tempo, ento, apresenta-se uma proposta que dispensa
mtricas e propicia s revistas no indexadas em empresas
2 TEMPO 1: AS AVALIAES ASSISTIDAS POR FICHA (2002-2007)
2.1 A Primeira Ficha
Tudo comeou no incio de 2002: por iniciativa da ento
coordenadora da rea, professora Sonia Calado, discutimos
a avaliao de revistas cientficas em uma sesso do Comit
da Capes, exteriorizando um descontentamento com o
modelo pouco estruturado de avaliao de peridicos (F.
Frezatti, agosto, 2016). Aps vrios anos de participao
no Grupo Assessor de Editorao (GAE, extinto em 2005)
do Conselho Nacional de Desenvolvimento Cientfico e
Tecnolgico (CNPq), com algumas passagens tambm pelo
Comit Editorial, a qualidade das revistas cientficas era
um tema ao qual eu vinha me dedicando, e estavam-se
R. Cont. Fin. USP, So Paulo, v. 27, n. 72, p. 279-290, set./out./nov./dez. 2016
privadas do hemisfrio norte uma real possibilidade de
galgar os estratos superiores da classificao.
Nesse contexto, foram duas as grandes motivaes para
a elaborao deste editorial. Uma, o resgate da histria dos
quase 15 anos que trouxeram a rea das 19 revistas da
primeira avaliao formal, em 2002, at a impressionante
SPELL (Scientific Periodicals Electronic Library - www.spell.
org.br). A outra, a percepo da importncia do Qualis
como instrumento de instigao para a rea acadmica.
Efetivamente, essa histria somente existe em decorrncia
da orientao e da avaliao das publicaes cientficas
no mbito da Capes (Coordenao de Aperfeioamento
de Pessoal de Nvel Superior). Esse papel nem sempre
adequadamente compreendido e, consequentemente, os
objetivos podem tambm no ser alcanados. Dessa maneira,
este texto foi estruturado para (i) mostrar a evoluo do
processo ao longo do tempo, (ii) analisar os progressos
alcanados e (iii) refletir sobre aspectos de melhoria.
As mudanas verificadas foram filosficas, estruturais e
tanto qualitativas como quantitativas.
consolidando as ideias acerca das suas quatro dimenses
(tcnico-normativa, de produto ou de contedo, do processo
produtivo e de mercado). Essas ideias, que, posteriormente,
vieram a originar um artigo (Trzesniak, 2006), foram
expostas nessa primeira reunio, em uma apresentao
mais ou menos formal (www.infocien.org/QualAval), de que
fazia parte a Ficha de Avaliao Capes/Anpepp (Yamamoto
et al., 1999, 2002), a ento referncia estado da arte para
construir o Qualis das reas que (i) viam como relevante
a participao das revistas brasileiras no escoamento da
respectiva produo de artigos e (ii) tinham interesse em
fortalecer e consolidar essas revistas.
Os integrantes do Comit de rea se mostraram motivados
279
 e entusiasmados com a proposta da ficha, especialmente
por nela divisarem no apenas um modo de organizar
sistemtica e objetivamente o Qualis, mas o potencial para
contribuir significativamente para o aperfeioamento das
revistas. Definiu-se a realizao de uma segunda reunio,
com o propsito de criar uma ficha de avaliao inicial
que levasse em conta (i) as peculiaridades temticas da
rea, (ii) o patamar mdio de qualidade das revistas na
poca e (iii) os aspectos considerados mais relevantes para
a evoluo do conjunto das revistas entre uma primeira e
uma segunda avaliaes (uma sinalizao, um balizamento
para nortear o futuro). Intenso e dedicado foi o trabalho da
equipe, integrada por Alberto L. Albertin, Antonio Freitas,
Csar Tibrcio, Fbio Frezatti, Jaime Fensterseifer, Neusa M.
B. F. Santos, Piotr Trzesniak, Rachel C. M. Silva, Reynaldo
C. Marcondes, Sergio Bulgacov, Silvia H. Koller, Snia M.
R. Calado e Toms A. Guimares. Discutiu-se a pertinncia
de cada quesito e, sendo esse aceito, determinava-se o nvel
de atendimento pretendido.
Apesar de, na poca, j se classificarem as revistas em
estratos A, B e C, nenhum desses era subdividido em nveis
(A1, A2, B1 etc.), como feito em 2016. Porm existia um
segundo critrio, independente, denominado mbito, que
podia ser Internacional, Nacional ou Local. Assim sendo,
uma revista podia ser Internacional A, B ou C, Nacional A,
B ou C, ou Local A, B ou C.
Nessas circunstncias, concluiu-se a Ficha de Avaliao
2002 (www.infocien.org/QualAval/Hist/Capes/AdmConT),
por meio da qual a revista era pontuada em cinco dimenses,
conforme mostram a segunda e a terceira colunas da Tabela
1. Do total de 34 quesitos que a ficha apresentava, 27 diziam
respeito apenas qualidade, quatro exclusivamente a mbito
e trs (quesitos 20, 31 e 32) s duas caractersticas. Assim,
a revista poderia atingir at 73 pontos na qualidade e at
34 pontos no mbito.

Tabela 1 . As dimenses da avaliao das revistas da rea de Administrao, Cincias Contbeis e Turismo (cinco via ficha e uma
ad hoc) e a evoluo da respectiva pontuao mxima ao longo do tempo

2002 2005 2007

Dimenso
Qualidade mbito Qualidade mbito Qualidade mbito

Normalizao 16,0 0,0 16,0 0,0 15,0 0,0

Publicao 12,0 0,0 12,0 0,0 12,0 0,0

Circulao e visibilidade 14,0 11,0 14,0 11,0 14,0 9,0

Autoria e contedo 15,0 16,0 15,0 16,0 13,0 12,0

Gesto editorial 16,0 7,0 16,0 7,0 15,0 7,0

Impacto (ad hoc) 0,0 0,0 10,0 0,0 15,0 0,0

Total 73,0 34,0 83,0 34,0 84,0 28,0

Total da ficha* 95,0 105,0 100,0

* Inferior soma dos totais de qualidade e de mbito por haver trs quesitos (nmeros 30, 31 e 32) computados para os dois critrios.
Fonte: Elaborada pelo autor.

2.2 Os Princpios do Processo avanos futuros criava um contexto de aprendizagem

Na mensagem de encaminhamento da ficha aos editores,
alm do incentivo explcito para adeso e envolvimento de
todos, despontavam alguns princpios fundamentais para
que as revistas crescessem e cada vez mais se consolidassem:
transparncia: critrios claros, objetivamente
enunciados, com texto de ajuda oferecido na prpria
ficha, mediante acionamento da tecla F1;
participao: cada editor fazia a avaliao inicial da
sua revista e encaminhava o resultado Comisso,
para verificao e uniformizao;
autoaperfeioamento dos editores: a conjuno de
(i) quesitos bem elaborados, suportados por textos
explicativos, (ii) exerccio de autoavaliao da prpria
revista e (iii) incluso de quesitos de sinalizao de
para editores iniciantes e revistas jovens no sentido
de abreviar seu tempo de maturao.
Foi nesse cenrio que, em meados de 2002, tendo como
anfitrio o professor Antonio Freitas, diretor do Ibmec/
Rio de Janeiro, a Comisso se reuniu nessa instituio para
a primeira avaliao Qualis segundo a nova sistemtica.
Participaram 19 revistas, com o resultado que, comparado
ao de 2007, est apresentado na Tabela 2. Porm mais
importante que a classificao em si foi a comprovao
prtica da viabilidade e eficcia do processo. Em nenhum
momento foi questionado se esse seria de fato o melhor
caminho, a adeso foi total e imediata, e, sim, ir-se-ia seguir
em frente.
E assim se fez.

280 R. Cont. Fin. USP, So Paulo, v. 27, n. 72, p. 279-290, set./out./nov./dez. 2016
2.3 A Avaliao 2002-2004
O aprendizado da primeira rodada levou a alguns
aperfeioamentos da ficha, com a introduo, na verso
para 2002-2004 (www.infocien.org/QualAval/Hist/
Capes/AdmConT), da dimenso impacto, valendo at 10
pontos. Compreendia-se que a verso inicial contemplava
prioritariamente aspectos tcnico-normativos e, em vrios
quesitos, atribua a pontuao com base apenas declaratria.
Faltava, de alguma forma, a valorizao do contedo. Impacto
era um conceito que apontava nesse sentido, mas como medi-
lo? Decidiu-se, ento, em um primeiro momento, confiar
na capacidade de julgamento da prpria Comisso: caberia
a ela, provisoriamente, definir a pontuao de cada revista
nesse quesito, sem, porm, deixar de buscar alternativas
que permitissem estabelec-la de modo mais transparente
e objetivo.
curioso registrar, nessa verso, a incluso, na dimenso
circulao e visibilidade, de dois quesitos sinalizadores,
que carregavam, ambos, uma expectativa de continuidade
de revistas impressas: (i) a efetiva distribuio da tiragem
impressa, com o propsito de evitar prateleiras lotadas de
fascculos encalhados e (ii) a distribuio a membros
de associaes cientficas. Se o mrito da primeira era
apenas econmico, o da segunda embutia uma esperana
de promover um eventual futuro compartilhamento da
responsabilidade editorial entre essas associaes e as
universidades ou institutos de pesquisa (ou suas respectivas
subunidades), que constituam (e ainda assim ) a
retaguarda da maioria das revistas da rea. Normalmente,
as instituies se apresentam melhor quanto a recursos fsico-
financeiros, enquanto as sociedades, sem dvida, contam
com um corpo bem maior de pesquisadores especialistas
(Dbereiner, 2001). A hiptese por trs era: se os membros da
associao passassem a receber a revista, sentir-se-iam mais
comprometidos com ela, cada um a veria como a sua revista
e mais se motivaria a cooperar como parecerista, integrante
do corpo editorial ou mesmo editor associado. A rigor, no
h experimentos conclusivos que desmintam essa hiptese,
mesmo no atual contexto de revistas somente eletrnicas.
Tambm no existem confirmaes, mas, aparentemente, no
h como uma parceria sria, transparente e bem negociada
entre uma instituio (ou vrias) e uma associao cientfica
(ou vrias) possa no trazer vantagens significativas para
todas as partes. Editores e dirigentes de associaes cientficas
deveriam dar mais ateno a essa possibilidade.
Em termos operacionais, a ficha teve acrescentadas
tabelas auxiliares, que facilitavam a compilao dos dados
e os clculos necessrios para determinar a pontuao
referente aos itens de autoria internacional, nacional e
interinstitucional. A ficha 2002-2004 foi empregada para
a avaliao de 39 revistas em 2005.

Tabela 2 . Quantidades absolutas de revistas em cada faixa de classificao da primeira (2002) para a ltima (2007) das trs
avaliaes realizadas e respectivas variaes percentuais

Nacional Local Total

2002 2007 Variao 2002 2007 Variao 2002 2007 Variao

(abs) (abs) (perc) (abs) (abs) (perc) (abs) (abs) (perc)

A 1 6 +500 % 0 0 +0 % 1 6 +500 %

B 1 13 +1200 % 4 3 -25 % 5 16 +220 %

C 5 8 +60 % 8 12 +50 % 13 20 +54 %

Total 7 27 +286 % 12 15 +25 % 19 42 +121 %

37 % 64 % - 63 % 36 % - 100 % 100 % -

Fonte: Elaborada pelo autor.

2.4 A Terceira Avaliao e os Benefcios Conquistados
A derradeira utilizao de uma ficha para classificar as
revistas da rea ocorreu em 2007, cinco anos da primeira
avaliao. O nmero de revistas eletrnicas j se tornara
significativo, sinalizando que os quesitos especficos
para verses impressas iriam rapidamente perder seu
sentido. Esse novo contexto mereceu destaque no texto de
encaminhamento aos editores da Ficha de Avaliao 2007
(www.infocien.org/QualAval/Hist/Capes/AdmConT):
Os editores de peridicos exclusivamente eletrnicos devem
tambm preencher a ficha, mas passaro ainda por um exame de
suas caractersticas especiais, por exemplo: requisitos e facilidade
de acesso; visualizao, informaes disponveis, mecanismos
de busca; disponibilidade de textos integrais; estatsticas de
acesso e, especialmente, mecanismos de preservao. Esse
exame adicional ser realizado pelo Comit (p. 1).
Alm disso, foram reduzidas as pontuaes de alguns
quesitos que as avaliaes anteriores revelaram estar

R. Cont. Fin. USP, So Paulo, v. 27, n. 72, p. 279-290, set./out./nov./dez. 2016 281
 demasiado valorizados, bem como os de difcil verificao e os
de baixa capacidade de discriminao (em um procedimento
classificatrio, manter um quesito atendido por todos os
participantes no tem razo de ser). A distribuio da
pontuao est dada nas duas ltimas colunas da Tabela 1.
A Tabela 2 compara as avaliaes de 2002 e 2007. Com
respeito ao mbito, observa-se uma significativa inverso
do percentual de revistas nacionais, que cresce de 37 %
para 64 %, relativamente ao de locais, que diminui de 63 %
para 36 %. Porm muito mais dramticos so os nmeros
correspondentes aos nveis de qualidade. Observe-se que,
enquanto a quantidade de revistas avaliadas aumentou 121
%, de 19 para 42,
a de nacionais A aumentou 500 %;
3 TEMPO 2: AS DIRETRIZES PARA A AVALIAO 2007-2009
3.1 Uma Avaliao Renovada
Concluda a avaliao 2007, a Comisso entendeu ter
chegado ao fim o ciclo da ficha 2002 e suas verses, e passou
a discutir modificaes mais profundas no processo. Ficou
claro que todos os envolvidos - editores e comisso - tinham
cumprido suas lies de casa, sendo chegada a hora de
encarar novas metas.
Por um lado, todas as revistas haviam bem e
definitivamente incorporado os aspectos tcnico-normativos,
no havendo contribuio avaliao em continuar a pontu-
los. No sentido contrrio, era cada vez maior a importncia
de as revistas se mostrarem, o que implicava valorizar as
indexaes, as quais apareciam na ficha de modo genrico,
em um nico quesito. A questo da preservao do contedo
das revistas exclusivamente eletrnicas era outra preocupao
(voltaremos a isso). E no se poderia ignorar a possibilidade
da gesto eletrnica do processo editorial, que se tornara
acessvel a todas graas produo, pelo Instituto Brasileiro
de Informao em Cincia e Tecnologia (Ibict), do Sistema
Eletrnico de Editorao de Revistas (SEER), a verso em
portugus do canadense Open Journal Systems (OJS).
Esses aspectos e outros, aps discusso com os editores
e aprovao da Comisso de rea, foram divulgados em 31
de dezembro de 2007 pelo coordenador da rea, professor
Toms de Aquino Guimares, no documento Diretrizes
de Avaliao de Peridicos 2007-2009 (www.infocien.org/
QualAval/Hist/Capes/AdmConT), ou, abreviadamente,
Diretrizes 2007-2009, do qual destacamos os principais
aspectos conceituais:
1.(...)
2.O foco da avaliao passa a ser o peridico eletrnico e,
282
a de nacionais B aumentou 1200 %,
a de revistas A cresceu 500 %,
a de revistas B cresceu 220 %,
ou seja, em todos os segmentos superiores da qualidade,
o crescimento observado foi maior do que o do nmero
de revistas. Isso nos leva a concluir que a ficha, como
instrumento de execuo das polticas que a rea considerava
importantes para o Qualis (e, portanto, para o escoamento
de sua produo), aliada a uma parceria transparente e
cooperativa do Comit Capes com os editores, trouxe, sim,
uma evoluo expressiva para o conjunto de revistas de
Administrao, Cincias Contbeis e Turismo no perodo
at aqui abordado.
subsidiariamente, o peridico impresso, ao contrrio do que
ocorreu at o trinio 2004-2006. Isso significa que a Comisso
de rea valorizar a disponibilidade online, sem custos (acesso
livre ou aberto), do texto integral dos artigos publicados em
peridicos, sejam esses impressos ou eletrnicos.
3.Valorizao do critrio de indexao. Indexadores
so revistas de revistas (atualmente, so bases de dados
eletrnicas) que divulgam sumrios, resumos ou textos
integrais. Podem ser gerais (como o SciELO, RedAlyc e Current
Contents) ou temticos, especficos da rea. O Comit Qualis
verificou que muitos editores consideram diretrios de registro
de peridico (por exemplo, ISSN, Latindex e Ulrichs) como
indexadores. Esse um aspecto importante a ser revisto por
editores, que devem investir em indexadores de fato, para
benefcio e maior visibilidade da produo cientfica da rea.
4.Adoo de sistemas automatizados de gerenciamento
do processo editorial como, por exemplo, o sistema SEER,
distribudo gratuitamente pelo Instituto Brasileiro de
Informao em Cincia e Tecnologia, e reconhecido pela
Capes.
5.Qualificao, mbito de atuao e diversidade de editores,
comits cientficos ou editoriais, autores, avaliadores e outros
atores envolvidos no processo de produo do peridico. O
critrio de diversidade inclui penalizar mais fortemente do que
ocorreu at 2006 o peridico que publique artigos de autores
vinculados IES ou Programa responsvel por sua edio.
6.Realizao de enquete com docentes-pesquisadores da
rea para avaliao da qualidade percebida dos peridicos.
Essa enquete ter como finalidade identificar o quanto um
peridico reconhecido e, portanto, a percepo do seu
impacto na comunidade cientfica, segundo o ponto de vista
de uma amostra representativa de pessoas responsveis pela
produo intelectual da rea.
7.Preservao das informaes e presena de metadados.
A preservao de informaes tem como finalidade garantir
a integridade do que foi publicado durante longos perodos
de tempo e os metadados constituem-se em mecanismos
importantes do sistema de recuperao e visibilidade da
informao cientfica. (pp. 1-2)
R. Cont. Fin. USP, So Paulo, v. 27, n. 72, p. 279-290, set./out./nov./dez. 2016
 Destacando que essas diretrizes foram definidas h
cerca de nove anos, notvel a vanguarda de sua viso.
Por exemplo, o que se preconiza no item 7 ainda no
adequadamente atendido por muitas revistas (essa afirmativa
diz respeito a revistas em geral, no s revistas da rea).
3.2 Preservao
Quanto preservao, decorre da exigncia de
perenidade da informao referencial: como novas pesquisas
se constroem sobre pesquisas anteriores, preciso que a
descrio dessas ltimas permanea disponvel para sempre.
Nenhum material veiculado em revistas que residam em
um nico servidor, sujeitos destruio por incndios,
enchentes, terremotos, tsunamis, quedas de avio, hackers
etc., ainda que produzidas com todo rigor e dedicao,
possui qualidade referencial. Tais revistas obtm nota zero no
requisito perenidade, que junto com atualidade, acessibilidade
e confiabilidade, integra as quatro idades que asseguram a
quinta, a qualidade plena da referncia cientfica (Trzesniak,
2014).
Note-se que replicar o servidor (ou recorrer a backup
offline) somente elimina a nota zero em preservao se
o servidor (ou a mdia permanente de armazenamento
utilizada) estiver localizado (respectivamente for mantida)
a algumas centenas de quilmetros do servidor principal.
Uma boa notcia que quem est integrado a um
indexador que se apropria do contedo (como SciELO,
RedALyC e SPELL) tem seu material replicado de maneira
segura, pois esses portais no se descuidam da preservao
digital. Outra boa prtica, para quem utiliza a plataforma
SEER/OJS, integrar-se ao LOCKSS (https://www.lockss.
org/), cuja finalidade exatamente preservar o contedo;
trata-se, porm, de um recurso que precisa ser ativado na
instalao. Recomendamos a todos os editores usurios do
SEER que o faam.
Toda essa discusso contemplou apenas os arquivos em
si. E a questo do acesso a esses arquivos? Ainda existiro
os formatos doc, docx, pdf daqui a cem ou duzentos anos?
Haver hardware que leia discos rgidos (HDs), discos
compactos (CDs) ou discos digitais de vdeo (DVDs)?
E a humanidade? Dar conta do imenso esforo exigido
para converter toda a informao j existente para novos
formatos, em paralelo a armazenar tudo o que for sendo
criado? Se hoje convertermos todo o acervo do conhecimento
humano para arquivos pdf, e mantivermos esse padro
por 50 anos, porm for em 2066 decidido mudar para um
xkf , ser necessrio converter todo o acervo atual, mais o
que for gerado nesses prximos 50 anos! E 50 anos depois,
tudo o que havia nessa ltima converso, mais 50 anos de
informao... parece uma preocupante bola de neve
Pois o documento de 2007 contemplava essa questo,
cobrando um posicionamento quanto acessibilidade na
parte final do item a seguir:
R. Cont. Fin. USP, So Paulo, v. 27, n. 72, p. 279-290, set./out./nov./dez. 2016
c.Descrio explcita dos mecanismos que prope e cumpre,
visando preservao do contedo cientfico ao longo do
tempo, contemplando tanto a integridade fsica da informao
(com respeito a catstrofes e acidentes) como a garantia de
que ela permanea acessvel diante da evoluo tecnolgica
em termos de software (tipos de arquivo e sua codificao) e
hardware (mdia, dispositivos). (p. 3)
3.3 Metadados
A segunda parte do item 7 - metadados - outro ponto
a que muitas vezes falta ateno. A proposta bsica por
trs desse conceito evitar que as informaes sejam
replicadas indiscriminadamente, atulhando os sistemas
de armazenamento eletrnico do planeta. Metadados
funcionam a partir da existncia de provedores de dados
- que mantm a informao - e de provedores de servios -
que a descobrem e a oferecem conforme um critrio que
lhe agregue valor para fins de recuperao. Por exemplo,
algum pode achar interessante criar um servio sobre...
bem, seja o tema metadados mesmo.... Ento organiza um
sitio web com tudo que a eles se relacione - porm como ser
exaustivo e nada ou muito pouco deixar escapar? Ficar todo
o dia em um buscador, jogando palavras, recebendo a cada
vez 7.854.567 retornos - e tendo que filtrar esses resultados
manualmente? Invivel, por certo. A entram os metadados
para resolver trs problemas: os da preciso e da exausto
da informao recuperada e, tambm, o da necessidade da
interveno humana.
Funciona(ria) assim: o provedor de dados armazena a
informao principal e, paralelamente, expe um conjunto-
chave de dados acerca da informao armazenada - os
metadados - que a descrevem essencial e completamente.
Os provedores de servios criam harvesters (colheitadeiras)
que ficam varrendo a web e, a cada vez que encontram
algum metadado que contemple o interesse do provedor de
servios, capturam apenas o link da informao principal,
o organizam e o oferecem conforme o valor agregado que
escolheram.
A utilizao generalizada de um conjunto de metadados
padronizado - como os 15 que integram o ncleo do
dublin core - expostos via um protocolo internet tambm
padronizado (como o OAI-PMH, open archives initiative -
protocol for metadata harvesting) uniformiza a arquitetura
da organizao da informao na web, e o harvester enxerga
tudo isso como se fosse uma base de dados localizada em uma
mquina nica, pois encontra o mesmo panorama em todas.
De forma objetiva, oferecer bons metadados mais
relevante que ter fator de impacto, j que esse calculado
post mortem: quando apurado, nada mais pode ser feito
para promover melhoria em seu valor. J os metadados
influenciam a descoberta e a disseminao da informao,
e s o que descoberto pode ter impacto.
Tal como relativamente preservao via LOCKSS,
o SEER/OJS pode ou no ser configurado para exigir
metadados no momento da submisso e, infelizmente, o
283
 default no. Porm metadados preenchidos pelos autores
muitas vezes so falhos, incompletos, imperfeitos, e nenhuma
base de dados pode ser melhor do que o contedo com que
alimentada. Nessa direo, a avanada proposta da rea, em
dezembro de 2007 (Comisso de Administrao, Cincias
Contbeis e Turismo, 2007), valorizava a presena de um
responsvel especfico pela qualidade dos metadados:
II.3.11. Servios especiais
Sero valorizados e pontuados os seguintes servios especiais:
1. Presena de metadados em todos os idiomas oficiais e em
ingls.
2. Existncia de editor especialista para a preparao/reviso
dos metadados. (p. 6)
3.4 A Enquete
Outra proposta interessante da nova avaliao era a
introduo da enquete, item 6 do trecho destacado na
abertura desta seo. A inspirao veio da Frana, onde foi
introduzida, sob coordenao de Phillipe Jeannin (2002),
porque os indicadores relativos Frana construdos a partir
dessas bases [do ento responsvel pelo Journal Citation
Reports (JCR), o Institute for Scientific Information (ISI)] no
refletem a real atividade de pesquisa [em Cincias Sociais]
desse pas (p. 4). Pedia-se aos pesquisadores das reas
que, com respeito a cada peridico includo em uma lista
previamente elaborada, respondessem s questes Essa
uma revista A? e Essa uma revista B?. As respostas
aceitas eram sim, no e no desejo responder. Havia
uma breve introduo, preparada pela prpria rea, com
um enunciado subjetivo do que deveria ser entendido como
revista A e como revista B.
A enquete, assim como o fator de impacto, uma dimenso
de mercado (Trzesniak, 2006), porm, diversamente desse
ltimo, visa a captar, explicitar e formalizar a percepo
subjetiva, latente na comunidade, que os pesquisadores tm
das revistas. Tal percepo pode ter sido adquirida pelos
respondentes por intermdio dos mais variados meios:
ouvir dizer, influncia de colegas, trabalho de marketing
do peridico, credibilidade da instituio publicadora,
notoriedade cientfica do editor ou dos integrantes do corpo
cientfico, leitura de um artigo marcante e, at, eventualmente
(mas apenas eventualmente), pelo exame crtico de algum
fascculo completo, ou seja, mediante a execuo de uma
avaliao de produto objetiva.
Alm desse mrito intrnseco como ferramenta de
avaliao, a enquete abrangente em termos do universo
de peridicos avaliados, no se limitando a um elenco de
revistas que integram uma base limitada e precisam ser
acompanhadas por muitos anos, como o caso na apurao
do impacto. E, tambm por essa razo, bem mais simples
de operacionalizar.
A propsito da introduo da enquete, afirmava Trzesniak
(2006), referncia base para toda a presente seo:
284
Os Comits Capes de Psicologia e de Administrao,
Contabilidade e Turismo tm-se preocupado em buscar
alternativas para a avaliao de mercado (impacto), estando
neles em discusso o emprego de uma enquete inspirada
na experincia francesa, porm adaptada s peculiaridades
nacionais e executada por via eletrnica. (p. 354)
3.5 Outros
Como outros aspectos interessantes, as Diretrizes
2007-2009 continham critrios mnimos para uma revista
merecer a classificao de mbito internacional e valorizavam
especificamente (i) o gerenciamento eletrnico efetivo (grifo
do original) do processo editorial, (ii) a adoo do padro
OAI-PMH, e (iii) a publicao, e manuteno permanente
no site, de um Relatrio Anual de Gesto, com nominata
dos avaliadores ad hoc, intervalo de tempo mdio entre
submisso e publicao, nmeros de artigos submetidos,
rejeitados, retirados, aceitos e em processo e, tratando-se de
revista impressa, informaes sobre circulao (bibliotecas,
assinaturas, permutas, cortesias etc.).
3.6 Um Eplogo Desafortunado
Estava o Qualis da rea pronto e organizado para
enfrentar mais um trinio quando, em reunio realizada
nos dias 16 e 17 de abril de 2008, o Conselho Tcnico
Cientfico da Educao Superior da Capes (CTC) (Capes,
2008) definiu uma reestruturao conceitual geral do sistema
de classificao das revistas, extinguindo o critrio de mbito
e dividindo o estrato de qualidade A em dois subestratos
(A1, o melhor, e A2) e o B em cinco (de B1 a B5). At a,
nada seria desafortunado, os critrios poderiam seguir sendo
aplicados. Porm, no item 7, o documento Capes sinaliza:
7. Cada rea dever apresentar em seu documento Critrios do
Qualis de Peridicos, os critrios pelos quais define cada estrato
(fator de impacto, ndice H, ou outros modos de mensurar sua
qualidade). Destaca-se a necessidade de a definio dos dois
estratos superiores ser efetuada de maneira particularmente
criteriosa e rigorosa. (p. 2)
A utilizao de mtricas de citao como principal critrio
de hierarquizao constitua-se na prtica preferida pelas
reas com produo representativa indexada na Thomson-
Reuters que, especialmente em 2007, exercia uma espcie
de monoplio do fator de impacto em seu Journal Citation
Reports. Sua meno, associada semidesqualificao
de quaisquer critrios alternativos como outros modos
de mensurar sua qualidade, disseminou uma cultura
de subservincia a uma empresa privada, criada e
prioritariamente dedicada cincia do hemisfrio norte,
cultura essa que, especialmente para as reas de humanas
e de sociais aplicadas, muito difcil de compreender e
aceitar. Mais argumentos que sustentam essa afirmativa
esto apresentados na segunda subseo da seo 5.2, cujo
R. Cont. Fin. USP, So Paulo, v. 27, n. 72, p. 279-290, set./out./nov./dez. 2016
ttulo inicia com sempre razovel hierarquizar.
A reformulao, com o destaque dado ao emprego de
mtricas, gerou um redirecionamento nas dimenses e
quesitos a serem considerados nas avaliaes, e as Diretrizes
2007-2009 acabaram ficando margem da avaliao Qualis.
Mas, ento, por que dedicar-lhes tanto espao neste texto? H
ao menos duas importantes razes: uma delas que, mesmo
no sendo utilizadas nas avaliaes, elas levantam aspectos
que, mesmo quase uma dcada depois, ainda podem orientar
editores, especialmente os iniciantes, para melhor cumprir
seu ofcio. Outra que elas surgiram a partir de amplas
4 TEMPO 3: O QUALIS VIGENTE (2016)
Os critrios em vigor para a construo do Qualis de
Administrao, Cincias Contbeis e Turismo esto descritos
em documento especfico (Capes, 2015).
Qualquer revista, para ser includa na classificao,
precisa necessariamente possuir ISSN e publicar ao menos
dois fascculos ao ano. Alm disso, (i) calculado o ndice de
atraso (iatr), dado pelo quociente dos nmeros de fascculos
em atraso e fascculos prometidos por ano; (ii) colhem-se os
fatores de impacto IJCR, do Journal Citation Reports e ISci, da
base SciELO; e (iii) colhe-se o indicador HSco, da base Scopus.
Ento aplicam-se, para definir a incluso nos estratos:
B5: iatr1;
B4: iatr0,5 e dois ou mais anos de existncia;
B3: iatr0,5, trs ou mais anos de existncia e estar
confirmado como presente em pelo menos dois
dentre os indexadores Ebsco, Doaj, Gale, Clase,
Hapi, ICAP e IBSS;
B2: ou ISci0,01, ou estar indexado no RedALyC
ou ser editado por Sage, Elsevier, Emerald, Springer,
Interscience, Pergamon, Wiley, Routledge ou Taylor
& Francis;
B1:ouISci 0,01, ou 9HSco>0,ou 0,7IJCR>0;
A2: ou 24HSco>9, ou 1,4IJCR>0,7;
A1: ou HSco>24, ou IJCR>1,4.
Sobre o resultado dessa incluso inicial, o Relatrio
informa terem sido efetuados dois ajustes:
Revistas que no estivessem listadas como da rea,
segundo as bases de clculo de fator de impacto,
5 TEMPO 4: SUGESTES A DISCUTIR PARA APERFEIOAR O QUALIS
5.1 Qual Mesmo a Questo Essencial?
Em uma anlise objetiva, o Qualis serve apenas para
pontuar a produo dos programas de ps-graduao. Isso
obviamente induz os pesquisadores a procurar colocar seus
R. Cont. Fin. USP, So Paulo, v. 27, n. 72, p. 279-290, set./out./nov./dez. 2016
discusses, em reunies que envolveram os editores e os
avaliadores da rea, o que as leva a ter endosso e validao
por parte de todos os atores envolvidos.
E talvez exista ainda uma terceira. bastante
compreensvel que aspectos como preservao e metadados
no tenham sido preocupao do CTC: embora vitais, a
primeira para a perenidade, a segunda para a difuso, no
esto incorporadas ao dia-a-dia de um pesquisador que
no seja da rea da cincia da informao. Assim sendo,
no parece inoportuno abord-los aqui.
foram remanejadas para o estrato imediatamente
inferior.
Algumas das revistas editadas no Brasil, consideradas
as mais relevantes para a rea e responsveis pela
publicao de 10% do total de artigos da rea em
2013 e 2014, foram remanejadas para o estrato
imediatamente superior.
Em uma anlise geral, o estudo do relatrio mostra o
esprito de participao, a dedicao, o cuidado e o trabalho
intenso, que vm desde a era ficha, seguem norteando a
preparao do Qualis da rea. Um ponto altamente positivo
o segundo dos ajustes, a elevao das revistas que mais artigos
da rea publicam, ao estrato imediatamente superior. Essa
uma prtica interessante, semente de uma das propostas
de aperfeioamento discutidas na prxima seo.
Por outro lado, um destaque altamente preocupante
que o nico caminho para figurar nos estratos A1 ou A2
a revista estar indexada na Scopus ou na Thomson-Reuters.
Isso tem de ser assim? Faz sentido em 2016, em que h
tantos outros indexadores srios, relevantes e muito mais
amigveis pesquisa do hemisfrio sul e s cincias humanas
e sociais aplicadas? Existem fortes argumentos, igualmente
discutidos na prxima seo, que colocam dvidas sobre
a convenincia de adotar essa espcie de critrio para os
estratos mais elevados, especialmente nas reas recm-
mencionadas. De fato, os argumentos sugerem ser essa
prtica uma espcie de autopunio.
artigos em revistas pertencentes ao estrato mais elevado
possvel. Porm a finalidade desejada, explicitada no item 9
da Reestruturao do Qualis (Capes, 2008), est relacionada
qualidade da produo cientfica:
285
 9. Os dois estratos superiores A1 e A2 podero ser deixados
vazios, por deciso da rea, em termos de artigos efetivamente
publicados, recomendando-se que deles constem apenas
peridicos da mais alta qualidade, nos quais a rea julga que
deva sinalizar para avanar a qualidade da produo cientfica
de sua comunidade. O Qualis assim ter um papel indutor
claramente definido, no se limitando a analisar onde a rea
publica, mas indicando tambm onde se deve publicar (grifo
nosso). (p. 2)
Nesse mesmo item, imediatamente antes do trecho
destacado, elege-se a qualidade do peridico como proxy da
qualidade da produo. Trata-se de um aspecto que deveria
estar sempre em mente de quem prepara uma classificao
Qualis: o verdadeiro foco da questo a qualidade da
produo, no a da revista.
Mas em que momento a qualidade do contedo e a
da revista se sobrepem? no peer review, na conduo
e execuo do processamento editorial. Todo artigo que
passa por um processo editorial srio, bem gerenciado, tem
qualidade. As falhas que eventualmente surgem e geram
manchetes decorrem de falhas humanas, ou culposas
(involuntrias, impercia ou negligncia), ou dolosas, caso
das revistas predatrias.
A condio necessria e suficiente para um processo
editorial de qualidade um editor envolvido, dedicado,
atuante, que saiba escolher editores associados e integrantes
do corpo cientfico que tenham esse mesmo perfil. Que no
veja (como infelizmente se encontra) o peer review como
meramente uma etapa a ser cumprida no ritual da publicao
cientfica, mas como uma cumplicidade cordial de autores,
rbitros e editores, com todos se esforando ao mximo e
trabalhando duramente no rumo da excelncia do contedo.
5.2 Indexao, sem dvida. Mas... fator de impacto?
5.2.1 Que relao h entre o fator de impacto da revista
e qualidade, visibilidade e citaes de artigos?
Infelizmente, no possvel construir um Qualis por
meio de uma auditoria do processo editorial das revistas
ou avaliando o envolvimento dos editores. As reas tm
buscado alternativas, destacando-se indexaes e, dentro
dessas, definindo uma hierarquia com base em alguma
mtrica de citao, como fator de impacto, ndice H ou Q
ou J* (entre outros).
No h dvidas quanto a indexaes em bases de dados
seletivas, ou seja, que realizam avaliaes para ingresso
e permanncia das revistas na coleo. Tais avaliaes
cobram o atendimento de requisitos tcnico-normativos,
a no endogenia de autores, editores e corpo cientfico e a
reviso por pares. Esse um ponto em que bases de dados
que optam por ser exaustivas ficam abaixo. Porm umas e
outras expem as revistas, do visibilidade aos artigos, desse
modo provendo a condio necessria para um artigo ser
286
citado: ser encontrado. A indexao , assim, uma espcie
de catalisador das citaes - porm o agente ativo a
qualidade da pesquisa. Ressalte-se aqui, por oportuno, que
metadados de qualidade so outro catalisador importante,
por igualmente contribuir significativamente para um artigo
ser encontrado.
Em oposio, empregar o fator de impacto ou qualquer
indicador mtrico da revista como elemento decisivo para
definir a qualidade de um artigo uma prtica altamente
questionvel. Seno, vejamos:
O fator de impacto considera, no numerador, a
quantidade de citaes concedidas revista, no ano
de referncia, em relao ao nmero de artigos nela
publicados nos dois (ou trs, ou cinco, ou dez) anos
imediatamente anteriores. Pode refletir o sucesso de
apenas vrios artigos ou de apenas um em particular,
mas o absolutamente nada permite concluir acerca da
qualidade de um artigo determinado; a valorizao
da produo, ento, acaba sendo feita mais por
carona do que por mrito intrnseco.
O seguinte argumento refora o ponto anterior: o
fator de impacto transfere uma eventual qualidade
de alguns artigos revista, o que j um aspecto a
questionar. Ao us-lo para estender essa qualidade
da revista a todos os artigos nela veiculados, feita
uma segunda transferncia, certamente muito menos
defensvel que a anterior. Difcil mesmo de aceitar.
Apesar de robusto, o fator de impacto geralmente
muda a cada ano, o que introduz o aspecto sorte/
azar na avaliao: ontem meu artigo era timo, hoje
apenas bom porque o fator de impacto da revista
baixou. Mas no o mesmo artigo? Sua qualidade
decresceu do dia para a noite?
Finalmente, discutvel que um fator de impacto
elevado promova visibilidade e aumento no nmero
de citaes concedidas aos artigos que uma revista
veicula. Isso pode at ter ocorrido na era Gutenberg,
quando o pesquisador ia biblioteca e consultava
fascculos fsicos: pode-se supor que ele iniciasse
pelas revistas de maior fator de impacto, porm o
mais provvel que buscasse primeiro aquelas que
mais publicassem artigos de sua rea de interesse.
Com a atual (2016) facilidade das buscas eletrnicas,
difcil imaginar que algum inicie sua pesquisa
limitando-se a uma revista de fator de impacto
elevado ou filtre os resultados devolvidos pela
base, exigindo que somente sejam mostrados os
publicados em revistas de fator de impacto maior
do que y. Tambm no deve ser comum - se que
acontece - algum citar um artigo apenas porque ele
foi publicado por uma revista de fator de impacto
elevado, ou deixar de citar outro, em caso contrrio.
Esses argumentos permitem concluir que indexao sim,
R. Cont. Fin. USP, So Paulo, v. 27, n. 72, p. 279-290, set./out./nov./dez. 2016
mas hierarquia por fator de impacto, ou ndice H da revista,
ou qualquer outra mtrica que no reflita diretamente a
qualidade do artigo ou promova suas futuras citaes difcil
de defender e sustentar. Respondendo questo colocada
no ttulo dessa seo a relao entre o fator de impacto da
revista e qualidade, visibilidade e citaes dos artigos nela
publicados inexistente ou, no mximo, eventual.
No bastassem essas objees, todas de natureza tcnica,
o fator de impacto est sujeito a ser inflado mediante
procedimentos eticamente discutveis, sendo notrios
os casos de citao coercitiva (Coercive citation, 2016),
autocitao (Van Norden, 2012) e de formao de carteis
editoriais (Davis, 2012; Van Norden, 2013).
5.2.2 sempre razovel hierarquizar o Qualis
privilegiando mtricas estabelecidas por empresas
privadas do hemisfrio norte?
Letcia Strehl, estudiosa e palestrante habitual acerca
das mtricas de produo, coloca como premissa, para
a apurao de indicadores de impacto, (i) a existncia
de bases que indexem uma quantidade representativa de
documentos e (ii) as referncias citadas nas publicaes
e segue: atualmente, as principais bases de dados para
o cumprimento dessa finalidade so a Web of Science e a
Scopus (Strehl, 2013, p. 10). Logo adiante (p. 15), deixa clara
a primeira limitao: o nmero de peridicos nacionais
nas bases irrisrio. Esses nmeros, em 2015, eram 133
na Web of Science (129 em 2009) e 424 na Scopus (266 em
2009) (Strehl, 2015, p. 12), correspondentes a, aproximada e
respectivamente, 1% e 2% do total de revistas acompanhadas
em cada uma das bases. Apesar do crescimento na segunda
base, no h como discordar de Strehl.
Os nmeros deixam claro que essas bases no foram
feitas para acolher revistas, artigos e pesquisadores do
hemisfrio sul. Para concorrer no territrio delas, h
que se adaptar ao idioma e aos problemas que sejam de
seu interesse. Isso at possvel para algumas reas, mas
certamente no pode ser estendido a todas. Adicione-se
a esse contexto um problema multiplamente mencionado
em encontros de editores: brasileiro no costuma citar
brasileiro, dando preferncia a autores estrangeiros. Assim,
as revistas brasileiras, alm de competirem em desigualdade
de condies com praticamente 100% das contidas nas bases
do hemisfrio norte, adicionalmente no so mencionadas
pelos prprios autores do pas, e com certeza sero pouco ou
nada mencionadas pelos estrangeiros. Como podero, nesse
contexto, alcanar um fator de impacto significativo ou, pelo
menos, no nulo? Em suma, exigir um patamar mnimo de
qualquer mtrica Scopus ou Thomson-Reuters como critrio
exclusivo para alcanar os estratos A1 ou A2 praticamente
alija as revistas brasileiras desses estratos e configura uma
subservincia da cincia nacional a servios feitos para o
hemisfrio norte e mantidos por empresas privadas de l,
a qual muito difcil de aceitar.
R. Cont. Fin. USP, So Paulo, v. 27, n. 72, p. 279-290, set./out./nov./dez. 2016
E h ainda mais objees. Atualizando o trabalho de
Trzesniak (2012) com dados do CNPq at 2014, verifica-se
que, de todos os artigos classificados como internacionais
que o Brasil produz, apenas 6,8% provem das Humanidades
(Lingustica, Letras e Artes; Sociais Aplicadas; Humanas),
enquanto os demais 93,2% so originrios das duras
(Engenharias e Cincias da Computao; Exatas e da
Terra; Agrrias; Sade; Biolgicas). Apesar da pequena
evoluo, esse panorama no difere significativamente do
de 2010, respectivamente 5,1% e 94,9%. Transformando
esses percentuais verticais em horizontais, considerando
que a produo inclui livros, captulos de livros, artigos
nacionais e artigos internacionais, constata-se que esses
ltimos correspondem a 57,6% do total para as duras,
porm apenas 9,7 % para as Humanidades (em 2010,
respectivamente, 53,5% e 7,3%)!
Conclui-se que a adoo de mtricas estrangeiras como
nico critrio capaz de credenciar uma revista aos estratos
A1 e A2 pode at ser aceitvel nas reas duras, em que
artigos internacionais correspondem a mais da metade de
tudo que produzido. Porm, nas humanidades, corresponde
a uma autopunio, pois bane desses estratos mais de 90%
de tudo o que a rea produz!
Se, na seo anterior, foram apresentados argumentos
contrrios ao emprego de quaisquer mtricas de citao
criadas para revistas para hierarquizar o Qualis, destinado
a avaliar artigos, nesta procura-se ressaltar a perversidade
de, para esse fim, privilegiar mtricas desenvolvidas para o
contexto do hemisfrio norte por empresas privadas sediadas
naquela parte do planeta.
Que alternativas h?
5.3 Um Qualis mais Simples, Justo e Objetivo
Percorrendo os critrios Qualis nos documentos das
reas da Capes, encontram-se muitas solues interessantes
e criativas para o problema da hierarquizao, a par do uso
direto das mtricas: normalizao pela mediana, equivalncia
entre fator de impacto e ndice H, indicadores J* e Q... Que
no haja dvidas relativamente ao reconhecimento do
mrito desses esforos. Considere-se, em especial, a rea
interdisciplinar, que precisa encontrar uma soluo que
contemple de modo uniforme, justo, equilibrado, revistas de
praticamente todas as reas do conhecimento. O respectivo
documento da rea (Capes, 2012) merece uma boa leitura.
Alm disso, h intensa discusso de aspectos a melhorar e
aperfeioar no sistema Qualis (Pascutti, 2016).
Porm todo esse contexto de elaborar e refinar a
construo da hierarquia Qualis a partir de mtricas
de citao deixa a impresso de que se est dando mais
ateno e esforo a uma determinada soluo - o emprego
de mtricas - que ao problema em si - ampliar o alcance e a
valorizao da pesquisa desenvolvida pelos programas. E,
como j discutido, as mtricas deixam a desejar tanto como
287
 critrio de valorizao da produo como de agente para
fomentar visibilidade e citaes.
A questo que fica, ento, : sendo citaes uma varivel
que considera a qualidade de mercado (Trzesniak, 2006),
caso se queira substitu-la por outra da mesma dimenso,
qual poderia ser?
A resposta vem da conjuno da proposta de enquete de
Jeannin (2002) com uma prtica de era Gutenberg. Jennin
visa a capturar a valorizao subjetiva das revistas pelos
pesquisadores. A prtica da era Gutenberg ensina que os
primeiros peridicos que um pesquisador consulta so os
que tm maior afinidade temtica com a sua investigao
e os em que, justamente por isso, ele mais publica e mais
vai publicar. A quantidade de artigos que a rea publica em
determinada revista torna-se, assim, uma proxy interessante
para a qualidade de mercado, pois indica a preferncia dos
pesquisadores por essa revista. Alm disso, mas exatamente
por isso, os artigos dessa revista tendero a ser mais citados.
Ento: por que no utilizar esse indicador de publicao na
composio de um critrio geral para elaborar a hierarquia
Qualis?
Outro grande mrito de utilizar o volume de artigos
publicados, em substituio s mtricas estrangeiras, ao
menos abrir a possibilidade de acesso aos estratos A1 e A2 s
revistas que no esto nas bases Scopus ou Thomson-Reuters,
valorizando o esforo prprio dessas revistas, e no obrig-
las, para tanto, a conquistas que no dependem somente delas
e precisam ser logradas em um territrio francamente hostil.
Uma revista nacional poderia, desse modo, subir no critrio
geral pela preferncia dos autores, superando estrangeiras
que publiquem uma parcela nfima do que a rea produz
de fato e somente sustentam sua posio privilegiada por
estarem includas em Scopus ou Thomson-Reuters.
A adoo de um procedimento na linha aqui defendida
contemplar de maneira especialmente mais justa as reas
de cincias sociais e humanidades. Mugnaini, Digiampetri &
Mena-Chalco (2014) analisaram a distribuio da produo
de artigos de todas as reas pelas revistas indexadas na
SciELO e na Thomson-Reuters, abrangendo cinco trinios
de avaliao Capes (de 1998 at 2012). As revistas foram
organizadas em ordem decrescente do nmero de artigos
publicados e distribudas em trs zonas de Bradford, que
incluam, respectivamente, as responsveis pelo primeiro,
pelo segundo e pelo terceiro tero do total de artigos
publicados. As concluses falam por si:
Finalmente, a anlise da variao do percentual da produo
das reas em revistas nacionais diferenciou trs grupos de reas.
Na rea de cincias sociais e humanidades, as zonas 1 e 2 so
exclusivamente compostas por revistas nacionais, enquanto
a zona 3 vem apresentando diminuio de percentual, devido
ao esforo de publicao em revistas estrangeiras. Na rea
de Fsica, Cincia do Espao e Imunologia, a produo se
d em revistas internacionais, no importando a zona. J as
demais reas de cincias exatas e da terra, sade e biolgicas
288
vm apresentando aumento do percentual de publicao em
revistas nacionais nas zonas 1 e 2, permanecendo a zona 3
exclusivamente internacional. (p. 251)
Assim sendo, um Qualis mais simples, mais inclusivo
e mais justo relativamente s revistas brasileiras,
particularmente para as reas que publicam majoritariamente
nessas ltimas, poderia:
1) Desconsiderar o fator de impacto (e outras mtricas)
por ser demasiadamente indireto; por, como j mencionado,
retratar um desempenho passado, apurado post mortem,
quando nada mais h a fazer para melhor-lo; e, parafraseando
os anncios dos fundos de investimento, porque seu eventual
valor elevado no garantia de rentabilidade (ou seja,
citaes) futuras.
2) Pontuar a presena em indexadores, porque, quanto
maior o nmero de indexaes da revista, maior a visibilidade
dos artigos nela publicados, aumentando a probabilidade
de que sejam encontrados e, portanto, citados.
Caber a cada rea determinar o nmero de pontos a
serem atribudos s diversas indexaes, sendo a soma de
todos o escore de visibilidade da revista. A ntida diferena de
perfil de produo entre as humanidades e as cincias duras
deixa claro que no adequado simplesmente transferir
critrios de umas dessas hiperreas para a outra.
So aspectos a considerar para definir a pontuao do
indexador:
os que concedem acesso livre ao contedo indexado
prestam um servio melhor do que os que cobram
para isso;
os seletivos (que avaliam revistas para incluso)
devem ser mais valorizados que os exaustivos;
os que detm cpias do contedo indexado
contribuem decisivamente para a preservao do
conhecimento, sendo portanto bem superiores aos
que meramente apontam o contedo presente em
outros sites;
um indexador especfico da rea no deve ser
colocado em patamar inferior aos grandes apenas
por ser menor;
especialmente para as reas que produzem
majoritariamente artigos nacionais, privilegiar
indexadores que consideram apenas marginalmente
as revistas brasileiras no faz sentido;
podem-se considerar certas peculiaridades
de pblico-alvo ou abrangncia temtica dos
indexadores e pontuar menos um segundo indexador
que se sobreponha a outro, j pontuado. Por exemplo,
apenas SciELO ou apenas RedALyC, 12 pontos,
porm SciELO e RedALyC, 16 pontos;
para as revistas sem qualquer indexao, pode-se
convencionar o escore de visibilidade igual a 1.
3) Combinar o escore de visibilidade de cada revista
com a quantidade de artigos que a rea nela publicou, por
R. Cont. Fin. USP, So Paulo, v. 27, n. 72, p. 279-290, set./out./nov./dez. 2016
exemplo por meio de multiplicao, gerando o respectivo
escore Qualis, orden-lo do maior para o menor e estabelecer
os pontos de corte para os diversos estratos, respeitadas as
diretrizes gerais do respectivo povoamento.
Tomar em conta o nmero total de artigos que a revista
publica premia o esforo editorial, reconhece a contribuio
da revista para divulgao do conhecimento produzido
pela rea e traduz a percepo do pesquisador quanto
preferncia por um veculo em que seu trabalho tem as
melhores oportunidades de ser encontrado e citado. A
poltica de montar o Qualis com base em fator de impacto,
levando os autores a preferir revistas que o tm elevado,
como contribui para cada um desses pontos?
Multiplicao um procedimento simples e faz sentido.
razovel admitir-se que publicar um artigo em uma revista
com dois ou trs indexadores, respectivamente duplica
ou triplica a possibilidades de que ele seja encontrado,
AGRADECIMENTOS
Agradeo muito, mas muito mesmo, a toda a rea da
Administrao, Cincias Contbeis e Turismo pela acolhida
pessoal e profissional, e por me permitir participar da
construo de um sistema forte e consolidado de revistas
REFERNCIAS
Capes - Coordenao de Aperfeioamento de Pessoal de Nvel Superior
(2008). Reestruturao do Qualis. Recuperado de http://www.capes.
gov.br/images/stories/download/avaliacao/Restruturacao_Qualis.pdf.
Capes - Coordenao de Aperfeioamento de Pessoal de Nvel Superior
(2012). Comunicado no. 003/2012 - rea Interdisciplinar: Atualizao
do Webqualis da rea - Ano base 2010. Recuperado de https://
www.capes.gov.br/images/stories/download/avaliacao/Qualis_
Interdisciplinar2010.pdf.
Capes - Coordenao de Aperfeioamento de Pessoal de Nvel Superior
(2015). Relatrio do processo de classificao de peridicos da rea
de Administrao, Cincias Contbeis e Turismo, Quadrinio 2013-
2016. Recuperado de http://www.capes.gov.br/images/documentos/
RelatorioQualisAdministracao-2015final.pdf.
Coercive citation. (2016, 16 de setembro). In Wikipedia: a enciclopdia livre.
Recuperado de https://en.wikipedia.org/w/index.php?title=Coercive_
citation&oldid=739759440.
Comisso para avaliao de peridicos cientficos em Administrao,
Turismo e Contbeis (2002): Processo de Avaliao 2002 (p. 3).
Documento de circulao restrita rea, distribudo aos integrantes
do Comit Capes, aos editores cientficos e aos coordenadores de
programa de ps-graduao. Recuperado de http://www.infocien.org/
QualAval/Hist/Capes/AdmConT.
Comisso para avaliao de peridicos cientficos em Administrao,
Turismo e Contbeis (2004): Processo de Avaliao 2003-2004 (p. 5)
Documento de circulao restrita rea, distribudo aos integrantes
do Comit Capes, aos editores cientficos e aos coordenadores de
programa de ps-graduao. Recuperado de http://www.infocien.org/
QualAval/Hist/Capes/AdmConT.
Comisso para avaliao de peridicos cientficos em Administrao,
Contabilidade e Turismo (2005): Processo de Avaliao 2004-2006 (p.
5) Documento de circulao restrita rea, distribudo aos integrantes
do Comit Capes, aos editores cientficos e aos coordenadores de
R. Cont. Fin. USP, So Paulo, v. 27, n. 72, p. 279-290, set./out./nov./dez. 2016
em relao a public-lo em uma revista que tenha apenas
uma indexao. Porm o simples produto pode no ser
adequada em todos os casos. Por exemplo, em reas que
cobrem mais de uma especialidade, como Administrao,
Cincias Contbeis e Turismo, a produo e os nmeros de
pesquisadores e de revistas podem diferir substancialmente,
e a especialidade com maior volume de artigos acabaria
predominando. Da mesma forma, revistas generalistas
em uma rea qualquer acabam publicando mais itens do
que as temticas especializadas. Isso poderia exigir uma
correo, que pode ser feita dividindo-se o escore meramente
multiplicativo pelo nmero de doutores ou de programas
dedicadas ao tema ou subrea da revista. A criatividade que
as reas mostram relativamente a desenvolver indicadores
derivados das mtricas de citao brutas permite supor que
essa questo, se relevante, rapidamente encontrar boas
solues.
cientficas de qualidade na rea, que hoje conta com a
SPELL, um indexador de primeira linha, por ela mesma
desenvolvido.
programa de ps-graduao. Recuperado de http://www.infocien.org/
QualAval/Hist/Capes/AdmConT.
Comisso de Administrao, Cincias Contbeis e Turismo (2007):
Diretrizes de Avaliao de Peridicos 2007-2009 (p. 7) Documento de
circulao restrita rea, distribudo aos integrantes do Comit Capes,
aos editores cientficos e aos coordenadores de programa de ps-
graduao. Recuperado de http://www.infocien.org/QualAval/Hist/
Capes/AdmConT.
Davis, P. (2012, 10 de abril). The emergence of a citation cartel. [Blog].
Recuperado de https://scholarlykitchen.sspnet.org/2012/04/10/
emergence-of-a-citation-cartel/.
Dbereiner, J (2001). A publicao cientfica vista por um pesquisador.
In P. Trzesniak (Org.), X Curso de Editorao Cientfica: notas de aula
compiladas (pp. 7-11). Petrpolis, RJ: Associao Brasileira de Editores
Cientficos.
Jeannin, P. (2002). Pour une revuemtrie de la recherche en Sciences
sociales. Un point de vue franais (communication au Conceil
scientifique du CNRS). Recuperado de http://pertimm.dsi.cnrs.fr/data/
intranet/sc/moyenscommuns/www.cnrs.fr/comitenational/cs/exposes/
Jeanin.pdf.
Mugnaini, Rogrio, Digiampetri, Luciano Antonio, & Mena-Chalco,
Jess Pascual. (2014). Comunicao cientfica no Brasil (1998-2012):
indexao, crescimento, fluxo e disperso.Transinformao,26(3), 239-
252. https://dx.doi.org/10.1590/0103-3786201400030002.
Pascutti, P. G. (2016). Entendendo o Qualis. Recuperado de http://www.
abecbrasil.org.br/eventos/xxivcurso/palestras/quarta/pedrogpascutti.
pdf.
Strehl, L. (2013). Indicadores de produo e impacto das publicaes
cientficas. Recuperado de http://pt.slideshare.net/leticia.strehl/
indicadores-hcpa2-22448626?qid=71f623cb-6492-4bbb-8680-
a92618647d9a&v=qf1&b=&from_search=5.
Strehl, L. (2015). As bases de dados e a cienciometria. Recuperado de http://
pt.slideshare.net/leticia.strehl/as-bases-de-dados-e-a-cienciometria.
289
 Trzesniak, P. (2006). As dimenses da qualidade dos peridicos cientficos
e sua presena em um instrumento da rea da educao. Revista
Brasileira de Educao, 11(32), 346-377. doi: //dx.doi.org/10.1590/
S1413-24782006000200013.
Trzesniak, P. (2012). A questo do livre acesso aos artigos publicados em
peridicos cientficos. Em Aberto, 25(87), 77-112. Recuperado de
emaberto.inep.gov.br/index.php/emaberto/article/view/2364/2326.
Trzesniak, P. (2014). Hoje vou escrever um artigo cientfico: a construo e
a transmisso do conhecimento. In S. H. Koller, M. C. P. de P. Couto,
J Von Hohendorff (Org.), Manual de produo cientfica (pp. 15-38).
Porto Alegre, RS: Penso.
Van Noorden, R. (2012, 29 de junho). Record number of journals banned
for boosting impact factor with self-citations [Blog]. Recuperado de
290
http://blogs.nature.com/news/2012/06/record-number-of-journals-
banned-for-boosting-impact-factor-with-self-citations.html.
Van Noorden, R. (2013). Brazilian citation scheme outed: Thomson Reuters
suspends journals from its rankings for citation stacking. Nature,
500(7464), 510-511. doi:10.1038/500510a.
Yamamoto, O. H., Koller, S. H., Guedes, M. C., Lobianco, A. C., S, C. P.,
Hutz, C. S. & Menandro, P. R. M. (1999). Peridicos cientficos em
Psicologia: uma proposta de avaliao. Infocapes, 7(3), 5-11.
Yamamoto, O. H., Menandro, P. R. M., Koller, S. H., Lobianco, A. C.,
Hutz, C. S., Bueno, J. L. O., & Guedes, M. C. (2002). Avaliao dos
peridicos cientficos brasileiros da rea de psicologia. Cincia da
Informao, 31(2), 163-177. doi: http://dx.doi.org/10.1590/S0100-
19652002000200017.
R. Cont. Fin. USP, So Paulo, v. 27, n. 72, p. 279-290, set./out./nov./dez. 2016