Escolar Documentos
Profissional Documentos
Cultura Documentos
121-129 121
Resumo
O presente estudo teve por objetivo quantificar e analisar a produção científica brasileira e internacional da avalia-
ção psicológica informatizada nos últimos cinco anos (2000-2004) nas bases de dados PsycINFO e BVS-Psi. Para
tanto analisou 2239 resumos de artigos de periódicos, dissertações, teses e capítulos de livros selecionados pelo
unitermo avaliação psicológica. Destes resumos foram identificados 17 artigos de periódicos e 04 capítulos de
livros sobre avaliação psicológica informatizada. Procedeu-se à análise usando os critérios da metaciência (temática,
autoria, discurso, metodologia e análise de dados). Verificou-se que há equivalência entre a quantidade de produção
internacional e a nacional em avaliação psicológica informatizada. Observou-se também que 95% desta tem enfoque
teórico e a maioria voltada para a discussão sobre o uso de instrumentos informatizados na avaliação. As publica-
ções possuem em média três autores, com predominância dos homens (76%).
Palavras-chave: metaciência; avaliação; testes informatizados
Abstract
The aim of the present study was to quantify and analyze the Brazilian and international scientific production of
psychological computerized testing in the last 5 years (2000 – 2004) from PsycINFO and BVS-Psi. For this, 2239
summaries from articles, dissertations and thesis from book chapters, chosen by psychological assessment were
analyzed. Among them 17 articles and 4 book chapters about psychological computerized assessment were
identified. An analysis using the criteria of the metascience (thematic, authorship, speech, methodology and data
analysis) was performed. The quantity of international and Brazilian production in psychological computerized
assessment was equivalent. It was also observed that 95% of this production had a theoretical approach and that
most of it is related to the discussion about the use of computerized instruments in assessment. The publications
have, in average, three authors. with the predominance of men (76%).
Key-words: metascience; evaluation; computerized tests
Considerações sobre a análise da produ- com a criação das Universidades e centros de pes-
ção científica quisas (Carelli, 2002). Observou-se, de acordo com
A produção científica brasileira surge, com estudo feito por Meneghini (1998), um crescimento
expressão, nas três primeiras décadas do século XX de 65% da produção científica nacional de 1987 a
1998 em relação a outros países da América Lati-
na como Chile e Argentina, por exemplo. Os indi-
Correspondência deve ser encaminhada à primeira autora pelo e-
mail: cristina.joly@saofrancisco.edu.br cadores de bases de dados internacionais como o
122 Maria C. R. Azevedo Joly, Ronei X. Martins, Mirthis Czubka de Abreu , Paulo R. Rodrigues de Souza e Heitor . P.Cozza
Institute for Scientific Information – ISI assinalam No tocante à temática, são analisados itens
que a produção brasileira duplicou de 1980 a 1995 como tema, origem do tema, variáveis, classificações,
em relação à mundial e cresceu também em quali- thesaurus e conclusões. No discurso verifica-se o
dade, pois o número médio de citações dos traba- título, resumo, palavras-chave, estrutura, referênci-
lhos está próximo da média mundial (Perez, 1998). as e características verbais. Ao lado disso, a
Zancan (2000) destaca que o Brasil está entre os metodologia também é matéria de análise em aspec-
20 países que mais produzem conhecimento no tos tais como, objetivos, tipologia, sujeitos, materiais,
mundo. procedimentos e variáveis. Também é possível fo-
Tal fato deve-se, principalmente, aos resulta- calizar-se a análise de dados e, dentro dela, verifica-
dos obtidos pelas investigações contribuírem para se o procedimento, recursos e a natureza da análise
a ampliação do conhecimento já acumulado e para desenvolvida (qualitativa, quantitativa ou mista). A
a construção, reformulação e transformação de te- análise dos enfoques refere-se à verificação das te-
orias científicas, bem como estar disponível para a orias e modelos apresentados. Outros itens passí-
comunidade. Além disso, outros fatores como o nú- veis de apreciação são a autoria e a vinculação do
mero de pesquisadores ativos pertencentes a cur- trabalho.
sos de pós-graduação reconhecidos pela Coorde- Alguns estudos dessa natureza têm sido reali-
nação de Aperfeiçoamento de Pessoal de Nível zados no Brasil a fim de caracterizar –se a produ-
Superior - CAPES com produção publicada em ção científica da Psicologia brasileira e internacio-
periódicos científicos das diferentes áreas de co- nal. São fontes documentais de análise, mais co-
nhecimento, publicações resultantes de pesquisas muns, os anais de congressos (Santos, Oliveira, Joly
científicas financiadas por órgãos de fomento como & Suehiro, 2003), bases de dados virtuais (Witter,
Conselho Nacional de Desenvolvimento Científico 2003), periódicos científicos, dissertações de
e Tecnológico - CNPq, Fundação de Amparo à mestrado e teses de doutorado (Bariani, Buin, Bar-
Pesquisa do Estado de São Paulo - FAPESP, CA- ros & Escher, 2004). Segundo Yamamoto, Souza e
PES, Financiadora de Estudos e Projetos - FINEP, Yamamoto (1999) tais análises são mais freqüen-
dentre outros, são relevantes para explicar tal cres- tes em anais de congressos do que em periódicos,
cimento (Freitas, 1998; Russo, Santos & Santos, o que seria desejável porque estes contêm relatos
2001). completos de pesquisas.
A análise constante dessa produção é uma ne- Isto, provavelmente, ocorre porque, de acordo
cessidade para a tomada de decisão quanto aos ru- com a análise da literatura, cerca de 70% dos perió-
mos da própria ciência, políticas científicas e dicos latino-americanos não estão incluídos em ne-
tecnológicas, áreas a merecerem maior atenção, nhum indexador, implicando em uma baixa visibilida-
generalização dos resultados produzidos dentre ou- de. Além disso, apesar de não haver identidade en-
tros aspectos. Segundo Witter (1999), quanto mais tre produção científica e publicação, o volume de
rápido e diversificado o desenvolvimento de uma artigos publicados em periódicos indexados em ba-
área, maior a necessidade de pesquisas de análise ses de dados de prestígio e o número de citações
de produção científica. O próprio progresso da ci- que recebem, registrados nesses mesmos veículos,
ência se relaciona ou depende de análises sistemá- são os principais parâmetros para medir a produção
ticas desta produção e do trabalho dos pesquisado- científica de uma área. Há de se considerar que a
res. Estas garantem o aperfeiçoamento constante avaliação dos periódicos nacionais esbarra em as-
não só do conhecimento, como também do próprio pectos problemáticos como a irregularidade na pu-
ensino. blicação e distribuição das revistas, a falta de nor-
As pesquisas em metaciência, que são inves- malização dos artigos e das revistas e a ausência de
tigações que propõem a avaliação de pesquisas, de corpos editoriais e de consultores qualificados
acordo com Witter (1999), permitem analisar e ava- (Krzyzanowski & Ferreira, 1998;Yamamoto, Souza
liar a qualidade e efetividade do conhecimento pro- & Yamamoto, 1999).
duzido em uma determinada área, bem como suas
necessidades e déficits a partir de dimensões mais A produção científica na área de avaliação
abrangentes e pontuais. A análise pode ser feita psicológica
considerando-se a temática, o discurso, a meto- A despeito de tais dificuldades, salientadas aci-
dologia, o procedimento de análise de dados e ma, também presentes na área de Avaliação Psico-
enfoques teóricos. lógica, como destacam Hutz e Bandeira (2003), fo-
Avaliação Psicológica, 3(2), 2004, pp. 121-129
Análise da Produção Científica em Avaliação Psicológica Informatizada 123
chave. Dos 2239 registros encontrados, a partir da Eletrônica em Linha) é um outro modelo para a pu-
análise do conteúdo do resumo, foram separados 421 blicação eletrônica cooperativa de periódicos cien-
que se referiam à Avaliação Psicológica (18,8% do tíficos na Internet. Tem procedimentos integrados
total), 117 sobre Capítulos de Avaliação Psicológica para medir o uso e o impacto dos periódicos científi-
em Livros (5,23% do total). Ao todo, portanto, fo- cos e conta com uma coleção de seis títulos para a
ram localizadas 559 publicações sobre Avaliação Psicologia.
Psicológica (24,97% do total). Entre estes, foram Com relação a PsycInfo, da American
selecionados os que falavam sobre Avaliação Psico- Psychological Association – APA, é uma base de
lógica Informatizada. Localizou-se 17 artigos (0.76% dados bibliográfica de assuntos relacionados à psi-
do total) e 04 capítulos de livros (0.18% do total), cologia, ciências do comportamento e da saúde. Há
totalizando aproximadamente 1,00% da publicação aproximadamente 2.070.000 resumos referentes a
total. artigos de 2000 títulos de periódicos indexados de 50
países. Há também resumos de capítulos de livros e
Material dissertações de mestrado e teses de doutorado. Esta
Foram utilizados como fonte de análise os pe- base conta com resumos em 25 línguas diferentes,
riódicos indexados da base de dados PsycINFO tendo sido utilizados neste estudo apenas os escritos
( h t t p : / / w w w. a p a . o r g / p s y c i n f o / p r o d u c t s / em inglês.
psycinfo.html) e, também dos disponíveis na Bibli-
oteca Virtual em Saúde – Psicologia (BVS-Psi) Procedimento
(www.bvs-psi.org.br) . Estas têm como objetivo ga- Os resumos foram analisados com base nos
rantir o acesso à informação de forma rápida e pre- critérios estabelecidos por Witter (1996), sendo con-
cisa, pela seleção, organização e disseminação des- siderado os itens:
tas informações num espaço virtual informatizado. Temática: analisou-se a quantidade e a que
Assim, garante ao psicólogo e ao pesquisador da aspecto da avaliação psicológica informatizada se
psicologia o acesso eficiente, on-line, a publicações referiam;
científicas. Como instrumento de pesquisa busca Autoria: identificou-se a natureza da autoria
atualizar o profissional da área assim como, permi- (individual ou múltipla), bem como, o gênero dos
tir o avanço da pesquisa cientifica e são modelos autores;
que proporcionam soluções eficientes para assegu- Discurso: avaliou-se o resumo referia-se a arti-
rar a visibilidade e o acesso universal à literatura go teórico ou de pesquisa e quando se tratava de
científica. resumo de pesquisa, quanto à presença de objetivos,
A Biblioteca Virtual em Saúde – Psicologia sujeitos, materiais, procedimentos e resultados;
(BVS-Psi) é uma base de referência digital do co- Metodologia: verificou-se a tipologia: relato
nhecimento cientifico e técnico na área de saúde. de experiência, projeto de pesquisa, pesquisa ou
No que se refere à Psicologia, conta com bases de teórico; Análise de dados, realizou-se a classifi-
dados referenciais reunindo a literatura técnico-ci- cação do tipo de tratamento (qualitativa, quantita-
entífica em Psicologia e áreas afins. São o IndexPsi tiva ou mista).
Periódicos Técnico-Científicos com mais de 22.000 Além desses itens foram listadas as revistas das
referências e resumos de artigos de mais de 114 de bases de dados que possuíam artigos científicos e
revistas brasileiras publicadas desde 1949; o IndexPsi capítulos de livros relativos à avaliação psicológica
Periódicos de Divulgação Científica que inclui mais informatizada, as palavras-chave presentes nos re-
de 2.400 referências e resumos de artigos de nove sumos e o número de artigos por autor.
revistas brasileiras publicadas desde 1983; o Index
Psi Teses contém informações de cerca de 2.000
dissertações e teses defendidas no Brasil na área Resultados e Discussão
de Psicologia, possibilitando o acesso ao texto inte-
gral quando disponível. Há também os Periódicos A quantidade de resumos sobre avaliação psi-
Eletrônicos em Psicologia - PEPSIC - que reúnem cológica e avaliação psicológica informatizada divi-
uma coleção de cinco títulos de revistas científicas dida por base de dados e tipo de publicação em que
em Psicologia e áreas afins. O SCIELO - Scientific foram identificados – artigos de periódicos ou capí-
Electronic Library Online (Biblioteca Científica tulos de livros – está descrita na Tabela 1.
Pode-se observar que a maior produção cientí- Nesta área específica a produção brasileira, garanti-
fica foi localizada na PsycInfo, para artigos, tanto das as devidas especificidades, aparece como equi-
para avaliação psicológica quanto avaliação psicoló- valente à internacional. Este dado corrobora a afir-
gica informatizada. Apesar do número inicial de re- mação de Perez (1998) sobre a qualidade das publi-
sumos encontrados a partir do unitermo avaliação cações brasileiras, aferidas pelo nº médio de cita-
psicológica ser muito maior do que os apresentados ções de um artigo em comparação à média mundial.
na Tabela 1, os que de fato tratavam dessa temática Na BVS-Psi não foram encontrados resu-
corresponderam a 23,2%. Isto revela que há proble- mos de capítulos de livros sobre o assunto. Foi
mas com definição de palavras – chave e seleção de identificado somente um artigo publicado, em
conteúdo para os resumos tanto dos pesquisadores 2003, na Revista Interações - Estudos e Pesqui-
ao redigirem seus manuscritos quanto das revistas sa em Psicologia trata de Avaliação Psicológica
ao editarem seus fascículos, como comentam Informatizada.
Krzyzanowski e Ferreira (1998) e Yamamoto, Sou- Este artigo investigou a influencia da informa-
za e Yamamoto (1999). tização de um teste de raciocínio numérico (RN)
A diferença de quantidade de publicações en- sobre o desempenho individual de estudantes do
tre as duas bases de dados, deve-se, certamente, ensino médio. Publicado em 2003, com autoria de
ao maior número de periódicos indexados que pos- Wagner Bandeira Andriola, o trabalho é um relato
sui a PsycINFO em relação à BVS-Psi. Cabe res- de pesquisa, cuja temática inclui-se em Uso de
saltar que a primeira é uma base de referência ex- Instrumento. O estudo exploratório utilizou-se de
clusiva da Psicologia, o que dá maior visibilidade à amostra de 143 sujeitos, estudantes do ensino
produtividade da área, como destacam Yamamoto, médio (a idade não é indicada) divididos de ma-
Souza e Yamamoto (1999). Além disso, sem dúvi- neira aleatória em 2 grupos, sendo um deles o grupo
da, a publicação internacional é muito mais intensa controle que executou o teste em lápis-papel. No
que a brasileira, como identificaram Hutz e Ban- resumo não são apresentados os métodos estatís-
deira (2003). ticos, restringindo-se a informar a existência de
A publicação média anual da PsycInfo foi de diferenças estatisticamente relevantes entre os
106,4 artigos/ano e da BVS-Psi foi de 5,4 artigo/ano, grupos.
constatando a diferença entre ambas. Observa-se Focalizando apenas a Avaliação Psicológica
que o ano de maior número de publicações para Informatizada, produção alvo de análise no presen-
PsycINFO foi 2000, havendo oscilações nos demais te estudo, identificaram-se nove publicações de ar-
anos. Para a BVS-Psi, 2002 foi o que teve maior tigos dos Estados Unidos, duas do Reino Unido e
quantidade de resumos sobre avaliação psicológica, as demais da Argentina, Nova Zelândia, Alema-
verificando-se um decréscimo acentuado nos anos nha, França, Itália e Brasil. Os capítulos referiam-
seguintes. se a livros editados nos Estados Unidos. As revis-
Considerando-se a publicação em avaliação tas que publicaram os artigos de Avaliação Psico-
psicológica informatizada na PsycINFO, esta lógica Informatizada na PsycINFO estão listadas
corresponde a 3,75% do total e na BVS-Psi a 3,7%. na Tabela 2.
Foram publicados 25% dos artigos sobre ava- As palavras – chave mais freqüentes referi-
liação psicológica informatizada nos dois perió- ram-se à avaliação psicológica genericamente
dicos de referência para a área de avaliação psi- (35,71%) ou focalizaram o computador como recur-
cológica (Psychological Assessment e so tecnológico utilizadso para desenvolver o teste
Assessment) e 18,75% dos artigos em outros dois (50,01%), como Computer application (21,43%),
periódicos que relacionam psicologia à tecnologia Computer assisted Test (21,43%) e Adaptative test
da informação (Computers in Human Behavior (7,15%). Não foi identificada nenhuma palavra –
e CyberPsychology and Behavior). As demais chave referindo-se diretamente à avaliação psicoló-
publicações foram em variadas revistas de Psi- gica informatizada.
cologia.
Quanto às palavras-chave relacionadas à ava- Tabela 4 - Temática dos resumos de avaliação
liação psicológica informatizada as que apareceram psicológica informatizada da PsycINFO consi-
na PsycINFO relacionadas à avaliação informatiza- derando artigos e capítulos
da na psicologia estão na Tabela 3. Temática PsycINFO
artigo capítulo
Tabela 3 – Freqüência de palavras – chave para
F % F %
avaliação psicológica informatizada de resumos
uso de instrumento 12 75,0 3 75
da PsycINFO
construção de instrumento 3 18,7 0 0
Palavras-chave F % Intervenção 1 6,3 1 25
Psychological assessment 10 35,7 Total 16 100 4 100
Computer application 6 21,4
Computer assisted Test 6 21,4 É interessante destacar que apesar de 80% dos
Internet 3 10,7 artigos e 75% dos capítulos analisados terem por
Adaptative Test 2 7,2 temática o uso de instrumentos de avaliação, as pa-
Psychometrics 1 3,6 lavras-chave não destacam estes instrumentos, nem
Total 28 100,0 tampouco fazem referência ao caráter informatizado
dos mesmos.
Tabela 5 - Tipo de autoria dos trabalhos e gênero dos autores para resumos da PsycINFO so-
bre avaliação psicológica informatizada
F F F F F F
Autores autoria autoria autores do autores do autores sem
individual múltipla gênero gênero identificação
masculino feminino gênero
artigo cap. artigo cap. artigo cap. artigo cap. artigo cap. artigo cap
2000 7 0 2 0 1 0 6 0 0 0 1 0
2001 8 4 1 1 1 1 4 3 2 1 2 0
2002 11 0 2 0 4 0 8 0 2 0 1 0
2003 8 4 0 1 3 1 4 4 3 0 1 0
2004 5 0 0 0 2 0 2 0 2 0 1 0
Total 39 8 5 2 11 2 24 7 9 1 6 0
Tabela 6- Distribuição das freqüências e porcentagens a partir das categorias de análise para PsycInfo
PsycInfo
Categorias de análise Artigo capítulo
Modalidade F % F %
Relato de pesquisa 1 6,3 0 0
Teórico 15 93,7 4 100
Não especificada 0 0 0 0
Total 16 100 4 100
cológica Informatizada. Isto revela que esta área Nesse sentido, o presente estudou assinalou a pre-
mostra-se promissora e com crescimento rápi- dominância de enfoques teóricos de investigação, sen-
do. Isto indica que é necessária uma análise do indicadas, dessa forma, pesquisas aplicadas de campo
constante da produção científica, como propõe bem como às de desenvolvimento de instrumentos. Estas
Witter (1999) a fim de que sejam definidas me- são essenciais para contribuir não somente para a ca-
tas que norteiem a investigação e favoreçam a racterização da área, mas também para possibilitar o
consolidação da área. seu crescimento e ampliar sua abrangência.
Witter, G. P. (1999). Metaciência e leitura. Em G. P. Witter Zancan, G. (2000). Quem sabe dos institutos
(Org.). Leitura: Textos e pesquisas. (pp. 13 -22). Cam- do milênio? Jornal da Ciência, 14, 443.
pinas: Editora Alínea.
Witter, G. P. (2003). Professor- estresse: análise da produção Recebido em 02/06/2005
científica. Psicologia Escolar e Educacional, 7, 33-46. Aceito em 10/08/2005