1

AVALIAO DE CURSO TCNICO SUBSEQUENTE DE TELECOMUNICAES: utilizao de metodologia para obteno do estado da arte segundo a viso do pesquisador Andr Luiz Alves Leonardo Ensslin

Resumo: O pesquisador para iniciar sua pesquisa tem que ter subsdios tcnicos para tal, normalmente embasados em bibliografia da rea tais como livros, artigos e trabalhos de concluses dos programas de mestrado e doutorado. Surge, porm, a necessidade de um ponto de partida para esta busca de tal forma a montar um referencial terico que permita ao pesquisador direcionar-se o mais perto possvel do tema de sua pesquisa. Este trabalho tem como objetivo apresentar o processo estruturado denominado ProKnow-C (Knowledge Development Process Constructivist), utilizado por este pesquisador para montar um portflio bibliogrfico que serviu de base para sua pesquisa na rea de avaliao de qualidade em educao, mais precisamente, avaliao de curso tcnico de telecomunicaes na modalidade subsequente. Palavras-Chave: Metodologia de Pesquisa Bibliogrfica. Avaliao de Curso Tcnico. Avaliao de Desempenho. ProKnow.

Abstract: The researcher, to start an investigation, must have a technical support, usually

grounded in literature, such as books, articles, masters dissertations and doctoral thesis. There is a need for a starting point for this search in such a way to set up a theoretical framework that allows the researcher to be oriented as close as possible to his investigation subject. This work aims to present the structured process called ProKnow-C (Knowledge Development Process Constructivist), used by this researcher to assemble a literature portfolio that was the basis for his research in the area of quality assessment in education, more precisely, the evaluation of telecommunication technician course, in the subsequent modality.
Keywords: Library Research Methodology. Evaluation of Technical Course. Performance Evaluation. ProKnow

1 INTRODUO A avaliao da qualidade do ensino, no Brasil, realizada pelo Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira Inep, no ensino fundamental atravs da Provinha Brasil que
avaliao diagnstica do nvel de alfabetizao das crianas matriculadas no segundo ano de escolarizao das escolas pblicas brasileiras. Essa avaliao acontece em duas etapas, uma no incio e a outra ao trmino do ano letivo. A aplicao em perodos distintos possibilita aos professores e gestores educacionais a realizao de um diagnstico mais preciso que permite conhecer o que foi agregado na aprendizagem das crianas, em termos de habilidades de leitura dentro do perodo avaliado (INEP, 2011a).

E tambm pelo Saeb (Sistema de Avaliao da Educao Bsica) composta de duas partes complementares:
A primeira, denominada Aneb Avaliao Nacional da Educao Bsica, abrange de maneira amostral os estudantes das redes pblicas e privadas do pas, localizados na rea rural e urbana e matriculados no 5 e 9 anos do ensino fundamental e tambm no 3 ano do ensino mdio. (INEP, 2011b)

A segunda avaliao, complementar a esta :

denominada Anresc - Avaliao Nacional do Rendimento Escolar, aplicada censitariamente alunos de 5 e 9 anos do ensino fundamental pblico, nas redes estaduais, municipais e federais, de rea rural e urbana, em escolas que tenham no mnimo 20 alunos matriculados na srie avaliada. Nesse estrato, a prova recebe o nome de Prova Brasil [...] que tambm so utilizados no clculo do Ideb. (INEP, 2011b)

Estas so de aplicao bianual envolvendo apenas provas de lngua portuguesa e matemtica. Um questionrio socioeconmico tambm aplicado. Outro marco de estudo de avaliao na educao brasileira o Exame Nacional do Ensino Mdio (Enem). Criado em 1998, [...] tem o objetivo de avaliar o desempenho do estudante ao fim da escolaridade bsica. Podem participar do exame alunos que esto concluindo ou que j concluram o ensino mdio em anos anteriores (INEP, 2011c). Associado aos anteriores aparece o Senso Escolar. Este um
levantamento de dados estatstico-educacionais de mbito nacional realizado todos os anos e coordenado pelo Inep. Ele feito com a colaborao das secretarias estaduais e municipais de Educao e com a participao de todas as escolas pblicas e privadas do pas. [...] abrange as suas diferentes etapas e modalidades: ensino regular (educao Infantil e ensinos fundamental e mdio), educao especial e educao de jovens e adultos (EJA). O Censo Escolar coleta dados sobre estabelecimentos, matrculas, funes docentes, movimento e rendimento escolar. (INEP, 2011d)

Os dados da educao tcnica profissional de nvel mdio foram includos no Senso Escolar em 2011, so analisadas as informaes das instituies, dos cursos, dos concluintes e funes docentes (INEP, 2006). Estas avaliaes fornecem subsdios para o clculo do ndice de Desenvolvimento da Educao Bsica (IDEB), indicador que serve de referncia para as metas do Plano de Desenvolvimento da Educao (PDE), do Ministrio da Educao (INEP, 2011d) Na avaliao da qualidade da avaliao do ensino superior aplicado o Sistema Nacional de Avaliao da Educao Superior (Sinaes). Este formado por trs componentes principais: a avaliao das instituies, dos cursos e do desempenho dos estudantes (INEP, 2011e), verificando os aspectos ensino, pesquisa e extenso. Para atingir os objetivos avaliativos no mbito dos discentes aplicado o Exame Nacional de Desempenho de Estudantes (Enade) que tem o objetivo de aferir o rendimento dos alunos dos cursos de graduao em relao aos contedos programticos, suas habilidades e competncia (INEP, 2011f) Cabe ao gestor conhecer o desempenho do curso sobre sua responsabilidade. E, como exposto anteriormente, demonstrado a necessidade da avaliao global dos diversos nveis da educao regular. Porm uma lacuna aparece quando da avaliao da

educao tcnica profissional subsequente ao ensino mdio. O presente trabalho pretende contribuir com o preenchimento desta lacuna no processo avaliativo da educao brasileira. Para tanto uma busca pelo estado da arte na literatura se faz necessria e fundamental, busca esta que deve evidenciar o tratamento desde nvel de educao formal, tanto no Brasil como em outros pases. Porm este conhecimento est distribudo em um grande nmero de publicaes, bancos de dados e fontes de pesquisa o que faz necessrio um processo estruturado para a identificao daqueles trabalhos publicados que so relevantes para a pesquisa (TASCA, ALVES, et al., 2010). O presente trabalho descreve um processo estruturado para formar um portflio bibliogrfico que possa descrever o estado da arte em avaliao da qualidade de cursos tcnicos com o foco nas delimitaes apresentadas pelo pesquisador, explicitando suas percepes e convices. Uma das delimitaes a busca em peridicos indexados e com base de dados no Portal de Peridicos da Capes Coordenao de Aperfeioamento de Pessoal de Nvel Superior. Outra delimitao a excluso de livros e seus captulos e trabalhos de concluso de cursos latus e stricto sensu. Este trabalho est dividido em seis tpicos, o primeiro esta introduo, o segundo tpico trata do enquadramento metodolgico da pesquisa, j o terceiro explana a respeito do processo para montar o portflio bibliogrfico. O quarto tpico realiza uma anlise bibliomtrica proposta pela metodologia utilizada. As consideraes finais vm a seguir e as referncias. 2 ENQUADRAMENTO METODOLGICO DA PESQUISA. Este captulo dedicado a descrever a metodologia empregada na pesquisa, ou seja, o enquadramento metodolgico. O enquadramento metodolgico pode ser acompanhado atravs da

Enquadramento Metodolgico

Objetivo da Pesquisa

Lgica da Pesquisa

Processo de Pesquisa

Resultado da Pesquisa

Procedimentos Tcnicos

Instrumento de Interveno

Natureza do Objetivo

Natureza dos Artigos

Mtodo Indutivo

Coleta de Dados

Abordagem do Problema

Aplicada

Pesquisa Bibliogrfica

LabMCDA

Exploratria

Terica Ilustrativa

Dados Primrios e secundrios

Qualitativo e Quantitativo

Pesquisa-ao

Figura 1Error! Reference source not found.. Quanto ao Objetivo da Pesquisa, esta

classificada como Exploratria quanto Natureza do Objetivo j que tm como objetivo proporcionar maior familiaridade com o problema, com vistas a torn-lo mais explcito [...]. Seu planejamento , portanto, bastante flexvel, de modo que possibilite a considerao dos mais variados aspectos relativos ao fato estudado (GIL, 2002, p. 41). Quanto Natureza dos Artigos ela de cunho Terico Ilustrativo, uma vez que se quer montar um portflio bibliogrfico para servir de base terica para a construo de um instrumento de avaliao de curso tcnico de telecomunicaes e a operacionalizao desta serve como guia (ALAVI e CARLSON, 1992). A pesquisa utiliza o Mtodo Indutivo, tanto na fase de coleta de dados como na fase da elaborao do texto, pois parte da observao da realidade emprica, ou seja, parte de informaes e dados particulares, para a elaborao de uma concluso e tambm pelo fato do pesquisador/decisor no ter construdo toda sua base de conhecimento (RICHARDSON, 2008). A coleta de dados pela utilizao de artigos cientficos, portanto secundrios e a formao de um portflio bibliogrfico geram dados de origem primria (RICHARDSON, 2008). O Processo da Pesquisa, quanto a Abordagem do Problema qualitativo e quantitativo, quantitativo enquanto verifica valores obtidos na pesquisa e qualitativo pela anlise feita nos dados obtidos, conforme explicitado por Gnther (2006). Quanto ao resultado da pesquisa, esta uma pesquisa aplicada uma vez que gera conhecimento a ser utilizado diretamente pelo decisor para a gesto do curso da instituio referenciada na pesquisa. A classificao deste trabalho em relao aos Procedimentos Tcnicos uma Pesquisa Bibliogrfica, pois foi desenvolvida sobre estudos feitos em artigos e fontes eletrnicas, como explica Gil (2002) boa parte das pesquisas de cunho exploratrio utilizam este tipo de pesquisa para formar o seu arcabouo terico e tambm classificada como um Pesquisa-ao, pois h a interao do pesquisador no processo (GIL, 2002). Quanto ao instrumento de interveno foi utilizado o mtodo denominado Knowledge Development Process- Constructivist (ProKnow-C) proposto por Ensslin et. al. (2010).

Enquadramento Metodolgico

Objetivo da Pesquisa

Lgica da Pesquisa

Processo de Pesquisa

Resultado da Pesquisa

Procedimentos Tcnicos

Instrumento de Interveno

Natureza do Objetivo

Natureza dos Artigos

Mtodo Indutivo

Coleta de Dados

Abordagem do Problema

Aplicada

Pesquisa Bibliogrfica

LabMCDA

Exploratria

Terica Ilustrativa

Dados Primrios e secundrios

Qualitativo e Quantitativo

Pesquisa-ao

Figura 1: Enquadramento metodolgico da pesquisa. Adaptado de Tasca (2010)

3 PROCESSO DE SELEO DO REFERECIAL TERICO Esta seo dedica a descrever o processo de criao do referencial terico inicial da pesquisa. Foi utilizado, como instrumento de interveno, o processo proposto por Ensslin et. al. (2010), desenvolvido no Laboratrio de Metodologias Multicritrio de Apoio Deciso (LabMCDA), para construir conhecimento, a partir dos interesses e delimitaes de um pesquisador, segundo a viso construtivista denominado Knowledge Development Process Constructivist (ProKnow-C) que identifica, entre artigos publicados em revistas cientficas, aqueles que sejam alinhados com o tema da pesquisa em questo. O processo ProKnow-C dividido em trs sub-processos, a saber: (i) Processo para Selecionar Artigos para Formar o Portflio Bibliogrfico bsico; (ii) Processo para Realizar a Anlise Bibliomtrica do portflio e (iii) Processo para Realizar a Anlise Sistmica dos Artigos do portflio final. Nesta seo sero apresentados as etapas (i) e (ii) do processo ProKnow concomitantemente com os dados obtidos na sua utilizao.

Figura 2: ProKnow-C, adaptado de Ensslin et al. (2010)

3.1 PROCESSO PARA SELECIONAR ARTIGOS PARA FORMAR O PORTFLIO BIBLIOGRFICO Para o Ensslin et al. (2010) este um processo de seleo de um Portflio Bibliogrfico que tem a funo de identificar os mais relevantes artigos cientficos para o tema de uma pesquisa, onde so consideradas as delimitaes estabelecidas pelo pesquisador, dividida em: (i) Seleo do Banco de Artigos Brutos e (ii) Filtragens do Banco de Artigos. Para se iniciar o processo o tema da pesquisa deve estar bem definido. Este trabalho visa analisar o desempenho do Curso Tcnico de Telecomunicaes do IF-SC, Campus So Jos, assim os eixos da pesquisa so: Educao Tcnica Subsequente ao Segundo Grau e Avaliao de Desempenho.

3.1.1 Seleo do Banco de Artigos Brutos A primeira etapa consiste em definir as palavras-chave que esto alinhadas com a pesquisa. Envolvendo, assim, os eixos da pesquisa e as palavras-chave de cada eixo bem como as combinaes delas. A resposta esperada para esta fase so sete palavras-chave com uma variao de trs palavras-chave para cima ou para baixo. As palavras-chave devem ser na lngua inglesa, uma vez que nos artigos cientficos sempre so definidas nesta lngua. As palavras-chave iniciais identificadas foram para o primeiro eixo da pesquisa foram: Technical Education. Technical Course, Vocational Education; Professional Education e Continuing Education. Para o segundo eixo da pesquisa foram utilizadas as palavras-chave: Performance; Measurement; Evaluation, Assessment e Appraisal. Com as palavras-chave definidas passa-se escolha dos bancos de dados que sero pesquisados. Delimita-se esta escolha s bases de dados com acesso disponibilizado pelo Portal de Peridicos CAPES (Coordenao de Aperfeioamento de Pessoal de Nvel Superior) (CAPES, 2010) tendo em vista o alcance e reconhecimento por parte da comunidade cientfica brasileira (TASCA, 2010). O referido portal classifica as bases de dados segundo reas de interesse, dentro destas reas devem ento ser selecionadas as bases de dados que oferecem textos completos e com aderncia s palavras-chave. Neste ponto da pesquisa foram identificadas as seguintes bases: Scopus; Web of Science; Library, Information Science & Technology Abstracts with Full Text;

Academic Search Premier; SocINDEX with Full Text ; Applied Science Tech Full Text; Business Full Text; Education Full Text; General Science Full Text; Social Science Full Text ; Springerlink; Gale Academic Online; Science Direct; Emerald Fulltext e Oxford Journals. Com as bases j selecionadas, as buscas devem ser feitas pelos ttulos, resumos e palavras-chave dos artigos. O pesquisador pode usar, a seu critrio, filtros de pesquisa, como, por exemplo, data de publicao, relevncia da obra, idioma, entre outros. O pesquisador utilizou data como filtro, no perodo de 2001 at 2011. Desta forma foram identificados um total de 11.867 artigos. Ainda dentro desta etapa feito um teste de aderncia de palavras-chave analisando as palavras-chave de dois artigos que tenham os ttulos alinhados com a pesquisa. Se necessrio for, novas palavras-chave devem ser incorporadas ao rol destas e uma nova busca efetuada com esta incluso. Os artigos Efficiency and Quality in the Current Higher Education Context in Europe: an application of the data envelopment analysis methodology to performance assessment of departments within the University of Zaragoza e Evaluating the Effectiveness of Instructional Resource Allocation and Use: IRT and HLM Analysis of NAEP Teacher Survey and Student Assessment Data foram pesquisados quanto as suas palavras-chave e o pesquisador pode verificar que as combinao Educational Evaluation e Educational Assessment eram relevantes, as quais foram agregadas s anteriores e uma nova busca efetuada. Desta vez foram identificadas 13.297 artigos, o

Grfico 1:Quantidade de artigos identificados com as palavras-chave nas duas etapas de busca efetuadas. Fonte: Autor.

mostra a distribuio dos artigos identificados em funo das bases utilizadas e o Grfico 2 mostra o nmero de artigos identificados em funo das palavras-chave.

Grfico 1:Quantidade de artigos identificados com as palavras-chave nas duas etapas de busca efetuadas. Fonte: Autor.

Grfico 2: Quantidade de artigos por combinao de palavras-chave. Fonte: Autor.

Ao trmino desta etapa um banco de artigos bruto est formado e dever avanar para a prxima etapa. A Figura 3 exemplifica esta parte do processo, ou seja, seleo do banco de artigos bruto.

Figura 3: Fluxograma da Seleo de Banco de Artigos Bruto. Adaptado de Ensslin, et al. (2010)

3.1.2 Filtragens do Banco de Artigos

Esta etapa dividida em quatro partes: (i) Filtro do Banco de Artigos Bruto Quanto a Redundncia; (ii) Filtro do Banco de Artigos Quanto ao Alinhamento do Ttulo; (iii) Filtro do Banco de Artigos Quanto ao Reconhecimento Cientfico e (iv) Filtro quanto ao Alinhamento do Artigo Integral, processos esses ilustrados pela Figura 4. A etapa Filtro do Banco de Artigos Bruto Quanto a Redundncia consiste em verificar a duplicidade de artigos selecionados pois palavras-chave diferentes acabam apontando para os mesmos artigos. Os dados dos artigos so importados para um software de gerenciamento de referncias bibliogrficas, no caso desta pesquisa foi utilizado o EndNote X3. A filtragem feita utilizando a ferramenta de verificao de duplicidade. Os artigos que no possuem resumos podem tambm ser excludos nesta etapa. Esta excluso se d pelo fato de em etapa posterior ser necessria a leitura destes resumos. Nesta pesquisa 7.610 artigos foram eliminados por estes critrios, restando 5.687 para a prxima etapa. A seguir o processo se foca em executar o Filtro do Banco de Artigos Quanto ao Alinhamento do Ttulo, feita atravs da leitura dos ttulos dos artigos no banco j livre das redundncias. O objetivo a localizao dos artigos que possuem o ttulo alinhado com o tema da pesquisa. Aqueles artigos que no possuir alinhamento do ttulo com o tema da pesquisa devem ser eliminados do banco de artigos. Foram lidos os

10

5.687 ttulos e verificados quanto o alinhamento ao tema da pesquisa, destes apenas 547 artigos possuam tal alinhamento, os demais 5.140 artigos foram eliminados do processo. O Filtro do Banco de Artigos Quanto ao Reconhecimento Cientfico, como o nome sugere, busca identificar aqueles artigos que a comunidade cientfica d o devido reconhecimento atravs das citaes destes trabalhos. Esta etapa verifica o nmero de citaes que os artigos do banco de artigos bruto receberam em outras publicaes. Esta verificao foi feita com o uso do Google Acadmico1 e de planilhas eletrnicas para o tratamento dos dados obtidos.

Figura 4: Fluxograma da Seleo de Banco de Artigos Bruto. Adaptado de Ensslin, et al. (2010)

Os artigos mais citados so separados dos que receberam menos citaes. O pesquisador determina um ponto de corte no nmero total de citaes desejadas, neste trabalho optou-se em estabelecer o montante de 85% da amostra ou pelo menos oito citaes recebidas, o que separou 174 artigos com reconhecimento cientfico comprovado que juntos somam 5.113 citaes, enquanto os demais 373 artigos totalizam 529 citaes.

Disponvel em http://www.scholar.google.com.br/ acesso em julho de 2011

11

Grfico 3: Seleo dos artigos com reconhecimento cientfico comprovado. Fonte: Autor

Estes artigos (com reconhecimento cientfico), na prxima etapa, devem ser classificados quanto ao alinhamento de seus resumos com o tema da pesquisa. Atravs de uma leitura criteriosa dos resumos (abstracts) aqueles artigos que no estiverem alinhados devem ser desprezados e os demais iro compor o banco de artigos sem redundncia, com ttulo e resumo alinhados e com reconhecimento cientfico comprovado. Este banco deve ter os seus autores identificados, formando um banco de autores dos artigos classificados. Aps a leitura dos resumos dos artigos com o reconhecimento cientfico comprovado, 44 mostraram-se potencialmente alinhados com o tema da pesquisa, os demais foram descartados. Os autores destes artigos esto listados na Tabela 1.
Avis, J. Bailey, B. Ben Jaafar, S. Bierema, L. L. Brooks, A. K. Brooks, R. L. Clarke, L. Crooks, T. J. Eide, E. R. Epstein, J. L. Fretwell, D. Fruchter, N. Gray , D. S. Green, A. Iatarola, P. James, H. S. Knight, P. Knight, P. T. Mane, F. Martone A., Muniz, M. A. O'Brian, E. H. Paas, F. Perellon, J.-F. Ross-Gordon, J. M. Samson, S. Tait, J. Volante, L. Watts, M. Webbink, D. Winch, C. Wojcik, B. W. van Merrinboer, J. J. G. Bathmaker, A. M. Bishop, J. H. Bryce, T. Ecclestone, K. Ertl, H. Gibson, I. S. Hines, S. Keep, E. Larkin, S. Meer, J. Ogunleye, J. Petrina, S. Schellekens, A. Whitchurch, C. Yorke, M. van Zolingen, S. J. Beach, D. Brockmann, M. Castellano, M. Egelund, N. Fernandes D. Goldhaber D. D. Hyland, T. Klaassen, C. A. Leney, T. O. M. Michael, E. Osterbeek, H. Robson, J. Sireci, S. G. Williams, B. Winch , C. Zoellner, K.

Tabela 1: Relao dos autores dos artigos selecionados como alinhados com o tema da pesquisa por intermdio de seus ttulos e resumos. Fonte: Autor

12

Os artigos que no tiveram o seu reconhecimento cientifico confirmado, um banco de artigos sem redundncia e com ttulos alinhados com o tema da pesquisa, mas com reconhecimento cientfico ainda no confirmado, passaro por uma nova anlise. Estes devem ser separados em dois grupos, os primeiros, denominados recentes (dois anos ou menos), por ainda no terem tido tempo de serem citados (VALMORBIDA, ENSSLIN e ENSSLIN, no prelo), tero os seus resumos lidos e verificados se esto alinhados com o tema da pesquisa. Dos 373 artigos, 152 foram classificados como novos e pela leitura de seus resumos 25 foram identificados como alinhados com o tema da pesquisa. O segundo grupo, artigos antigos, ou seja, artigos com mais de dois anos, passa por um filtro de autores. Estes so verificados se os autores tm artigos que esto dentre os selecionados com o reconhecimento cientfico confirmado. Se isto ocorrer, o seu resumo ser lido para verificao de alinhamento com a pesquisa, caso contrrio so descartados. Destes, inicialmente 221 artigos, apenas um foi selecionado para compor o portflio dos artigos. O Banco, neste ponto, formado por artigos sem redundncia, com ttulo e resumos alinhados com o tema da pesquisa e artigos com reconhecimento cientfico confirmado e, ainda, aqueles com reconhecimento cientfico em potencial que nesta pesquisa ficou composto de 70 artigos. A Figura 5 ilustra o fluxograma desta parte do processo.

Figura 5: Fluxograma da filtragem do banco de artigos quanto ao reconhecimento cientfico. Adaptado de Ensslin, et al. (2010)

13

Filtro quanto ao Alinhamento do Artigo Integral, nesta etapa de filtragem uma busca nas bases de dados originais feita para a obteno dos artigos em suas formas integrais e sem custos. Os artigos no disponveis so descartados. Dos 70 artigos 19 deles no foram disponibilizados de forma integral sem custos, sendo, ento, descartados. Os artigos que restaram, 51 no total, devem ser lidos integralmente para que seja verificado se os contedos destes esto alinhados com o tema da pesquisa. Aqueles desalinhados so eliminados e os remanescentes sero aqueles selecionados para compor o Portflio Bibliogrfico que sustenta o referencial terico da pesquisa obtido a partir do ProKnow-C (Knowledge Development Process Constructivist), (ENSSLIN, ENSSLIN, et al., 2010) respeitando a subjetividade do pesquisador (VALMORBIDA, ENSSLIN e ENSSLIN, no prelo). Este processo final ilustrado na Figura 6. A leitura integral dos artigos identificou 23 artigos alinhados que compe, ento, o Portflio Bibliogrfico que sustenta esta pesquisa. interessante notar que onze destes artigos haviam sido classificados como ainda no tendo o reconhecimento cientfico comprovado.

Figura 6: Fluxograma do filtro que verifica o alinhamento integral dos artigos. Adaptado de Ensslin, et al. (2010)

A tabela a seguir mostra os artigos selecionados para compor o portflio:

14

Autor R. L. Brooks J. H. Bishop and F. Mane M. Castellano

Ano 2005 2004 2003

Ttulo Measuring university quality The impacts of career-technical education on high school labor market success Secondary career and technical education and comprehensive school reform: Implications for research and practice Evidence on the returns to secondary vocational education Front-loaded' Vocational Education versus Lifelong Learning. A Critique of Current UK Government Policy The Creation of a Vocational Sector in Swiss Higher Education: balancing trends of system differentiation and integration Learning from schools Assessment in engineering education - A European perspective Achieving the Lisbon Goal: the contribution of Vocational Education and Training Educational assessment in Canada Educational assessment in Danish schools A Framework for Evaluating Vocational Education and Training (VET) Analyzing the nexus of higher education and vocational training in europe: A comparativeinstitutional framework Educational assessment in Portugal Vocational Education and Training and Human Capital Development: current practice and future options A new course assessment method

Peridico Review of Higher Education Economics of Education Review Review of Educational Research Economics of Education Review Oxford Review of Education

J. Meer C. Winch and L. Clarke J.-F. Perellon

2007 2003

2003

European Journal of Education Higher Education International Journal of Engineering Education European Journal of Education Assessment in Education: Principles, Policy & Practice Assessment in Education: Principles, Policy & Practice European Journal of Education Studies in Higher Education

P. T. Knight I. S. Gibson T. O. M. Leney and A. Green L. Volante and S. Ben Jaafar N. Egelund D. Fretwell J. J. W. Powell and H. Solga D. Fernandes M. Wallenborn

2002 2002 2005 2008 2005 2003 2010

2009 2010

Assessment in Education: Principles, Policy & Practice European Journal of Education ICETC 2010 2 International Conference on Education Technology and Computer Assessment in Education: Principles, Policy & Practice Compare Education + Training Cadernos de Pesquisa Educao & Sociedade

C. Zhao, L. Luo, Y. Zhao, Y. Li, X. Tan and Y. Xiong T. Isaacs D. A. Wagner S. Christian V. M. Ribeiro and J. B. B. de Gusmo D. H. Moura

2010

2010 2010 2010 2010 2010

Educational assessment in England Quality of education, comparability, and assessment choice in developing countries Vocational education and training (VET) for youths with low levels of qualification in Germany An interpretation of the uses of quality indicators in education The relation between vocational education and basic education in 2010 conae: Possibilities and limits to construct the new national plan for education Twelve reasons for the adoption of the national examination for secondary education (ENEM) by federal institutions of higher education (IFES) Evaluation of educational and technical structure at vocational schools

W. B. Andriola S. Uzmanolu, N. . gren, A. nar, N. Tekta, B. Oral, G. Bykpehlivan, L. Ulusman, D. znaz and Z. Polat

2011

2010

Ensaio: Avaliao e Polticas Pblicas em Educao Procedia - Social and Behavioral Sciences

15

4 PROCESSO PARA REALIZAR A ANLISE BIBLIOMTRICA Ensslin, et al. (2010) define a Anlise Bibliomtrica como sendo o processo
[...] de evidenciao quantitativa dos dados estatsticos de um conjunto definido de artigos (Portflio Bibliogrfico) para a gesto da informao e do conhecimento cientfico de um dado assunto, realizado por meio da contagem de documentos.

Sendo que os documentos que devem ser analisados so: (i) publicaes (artigos); (ii) autores; (iii) citaes; (iv) peridicos e (v) bancos (bases) de dados (ENSSLIN, ENSSLIN, et al., 2010). O portflio ser avaliado quanto ao grau de relevncia dos peridicos, o reconhecimento cientfico dos artigos, o grau de relevncia dos autores e as palavras-chave, assim como as referncias destes artigos sero avaliadas quanto ao grau de relevncia dos peridicos, o reconhecimento cientfico dos artigos e o grau de relevncia dos autores. Como ltimo tpico, um cruzamento dos destaques no Portflio Bibliogrfico e suas referncias.

4.1 ANALISE BIBLIOMTRICA DOS ARTIGOS DO PORTFLIO BIBLIOGRFICO Os artigos do Portflio Bibliogrfico representativo do tema da pesquisa devem ter os seguintes dados averiguados: (i) o grau de relevncia dos peridicos; (ii) o reconhecimento cientfico dos artigos (nmero de citaes no Google Acadmico); (iii) o grau de relevncia dos autores; e (iv) as palavras-chave utilizadas nos mesmos. O grau de relevncia dos peridicos pode ser verificado no Grfico 4, onde so relacionados os peridicos e o nmero de vezes que estes peridicos aparecem no Portflio Bibliogrfico.

Grfico 4: Estimativa do grau de relevncia de peridicos. Fonte (ENSSLIN, ENSSLIN, et al., 2010).

16

Foram identificados 16 peridicos diferentes no portflio, sendo que merecem destaque os dois peridicos com maior participao de artigos do Portflio Bibliogrfico: Assessment in Education: Principles, Policy & Practice e European Journal of Education, cada um deles com quatro artigos. Para o reconhecimento cientfico dos artigos devem ser usados os dados obtidos junto ao Google Acadmico2, indicando quantas citaes os artigos obtiveram representados aqui pelo Grfico 5. Os artigos considerados destaque so: Measuring university quality; The impacts of career-technical education on high school labor market success e Secondary career and technical education and comprehensive school reform: Implications for research and practice, com 85, 68 e 56 citaes recebidas, respectivamente, publicadas por Review of Higher Education, Economics of Education Review e Review of Educational Research.

Grfico 5: Estimativa de reconhecimento cientfico dos artigos. Fonte (ENSSLIN, ENSSLIN, et al., 2010)

O grau de relevncia dos autores dentro do portflio mensurado considerando o nmero de vezes que estes autores aparecem nesta amostra. Segundo Valmorbida et al. (no prelo) a importncia desta anlise enfatizar aqueles autores que podem ser
2

Cf. http://scholar.google.com.br

17

referncia dentro do tema de pesquisa para futuras buscas de artigos deste mesmos autores para este mesmo tema de pesquisa. Ver Grfico 6.

Grfico 6: Estimativa do grau de relevncia dos autores. Fonte (ENSSLIN, ENSSLIN, et al., 2010)

Esta anlise revela que no existe um autor que se destaca dos demais no que se refere ao nmero de artigos dentro deste portflio. E por ltimo, nesta etapa, uma estimativa feita nas palavras-chave utilizadas nos artigos do portflio. O Grfico 7 mostra como pode ser a distribuio das palavraschave dentre os artigos selecionados.

Grfico 7: Estimativa das palavras-chave utilizadas nos artigos do portiflio. Adaptado de Ensslin et al. (2010)

As palavras-chave de destaque no portflio so: Vocational Education, relacionada em oito artigos e Educational Assessment, relacionadas em cinco artigos, sendo estas constantes da busca para formar o banco de artigos bruto. Entre todos os artigos analisados foram identificadas 63 palavras-chave diferentes.

18

4.2 ANALISE BIBLIOMTRICA DAS REFERENCIAS DOS ARTIGOS NO PORTFLIO BIBLIOGRFICO Nesta etapa so extradas as referncias dos artigos do Portflio Bibliogrfico representativo do tema da pesquisa, sendo elas passadas pelas seguintes averiguaes: (i) o grau de relevncia dos peridicos; (ii) o reconhecimento cientfico dos artigos (nmero de citaes no Google Acadmico) e (iii) o grau de relevncia dos autores. Foram obtidos dos artigos do Portflio Bibliogrfico os autores citados, seus artigos e os peridicos. No total foram identificadas 911 referncias, porm aquelas que eram livros e autores corporativos sem identificao de autor foram descartadas, sobrando, assim, 646 artigos. Para a anlise do grau de relevncia dos peridicos foram identificados 300 peridicos dos quais os de maior relevncia para o tema da pesquisa so: Cambridge University Press com 18 artigos; Jossey Bass e Teachers College Press com 16 artigos cada; Economics of Education Review com 15; Manpower Demonstration Research Corporation, Oxford University Press e World Bank com14 cada um. No Grfico 8 possvel observar a participao dos peridicos mais citados. Foi observado que dentre os artigos citados dentro das referncias do portflio somente dois deles fazem parte do prprio portflio, so eles: Achieving the Lisbon Goal: the contribution of Vocational Education and Training e The impacts of careertechnical education on high school labor market success, ambos com apenas uma citao. Desta forma o pesquisador optou em analisar o reconhecimento cientifico dos artigos atravs da quantidade de citaes recebidas pelo autor mais citado dos artigos do portflio bibliogrfico. Como pode ser visto no Grfico 9 ao artigos Educational assessment in Portugal teve seu autor como sendo o mais citado entre todos os autores do portflio, seis citaes, seguido por Learning from schools, The impacts of careertechnical education on high school labor market success e Evidence on the returns to secondary vocational education, cujos autores mais citados receberam cada um 5 citaes. Outra anlise feita foi a participao dos autores das referncias quanto o seu reconhecimento cientfico, neste ponto foram identificados 322 autores dos quais podem ser destacados: Stringeld, S. C. com sete citaes, Fernandes, D. e Goldstein, H. com seis citaes. Os demais so apresentados no Grfico 10.

19

Grfico 8: Participao dos peridicos nas referncias do Portflio Bibliogrfico. Fonte: Autor

Grfico 9: Reconhecimento dos artigos do portflio nas referncias em funo dos autores mais citados do portflio. Fonte: Autor.

20

Grfico 10: Participao dos autores das referncias do portflio: Fonte: Autor

O Grfico 11 mostra uma comparao entre os autores do portflio e as citaes recebidas nas referncias deste portflio.

Grfico 11: Participao dos autores do Portflio Bibliogrfico e suas referncias. Fonte: Autor.

Como pode ser visto, todos os autores tem apenas uma obra dentro do portflio, sendo destacado o autor Fernandes, D. com seis citaes nas referncias e Knight, P. T., Mane, F. e Solga, H. com cinco citaes cada. Aqui termina a anlise bibliomtrica das referncias dos artigos do Portflio Bibliogrfico.

21

4.3 ANALISE BIBLIOMTRICA DO CRUZAMENTO DOS DESTAQUES NO PORTFLIO BIBLIOGRFICO E SUAS REFERNCIAS Esta etapa identifica os peridicos de destaques, os artigos de destaque assim como os autores de destaque. A relevncia dos peridicos presentes no portflio obtida pelo cruzamento das informaes Nmero de Artigos das Referncias do Portflio Bibliogrfico no Peridico pelo Nmero de Artigos do Portflio Bibliogrfico no Peridico. Este cruzamento mostrado no Grfico 12. Analisando este grfico: no eixo das abscissas tem-se o nmero de artigos que o peridico publicou que est dentro das referncias. J nos eixo das ordenadas tem-se o nmero de artigos que os peridicos publicaram e fazem parte do Portflio Bibliogrfico. As linhas vermelhas delimitam uma rea de aproximadamente 80% dos valores de cada eixo criando quatro reas distintas. A primeira recebe os peridicos que so destaque no portflio e nas referncias. Pode-se notar que esta anlise no detectou um peridico nestas condies. A segunda rea identifica os peridicos que so destaques no portflio, a terceira, aqueles que so destaque nas referncias. A ltima rea identifica os peridicos presentes nos artigos e referncias.

Grfico 12: Relevncia dos peridicos presentes nos artigos e referncias da pesquisa. Fonte: Autor Legenda dos peridicos apresentados no Grfico 12 Peridico 01 Assessment in Education: Principles, Policy & Practice Peridico 02 Peridico 03 Cadernos de Pesquisa Compare

22

Peridico 04 Peridico 05 Peridico 06 Peridico 07 Peridico 08 Peridico 09 Peridico 10 Peridico 11 Peridico 12 Peridico 13 Peridico 14 Peridico 15 Peridico 16

Review of educational researsh Educao & Sociedade Education + Training Ensaio: Avaliao e Polticas Pblicas em Educao European Journal of Education Higher Education ICETC 2010 - 2010 2nd International Conference on Education Technology and Computer International Journal of Engineering Education Oxford Review of Education Procedia - Social and Behavioral Sciences Review of educational researsh Review of Higher Education Studies in Higher Education

Esta anlise pode identificar o peridico Economics of Education Review como sendo destaque no portflio e o Oxford Review of Education como destaque nas referncias. O reconhecimento cientfico dos artigos verificado no Grfico 13.

Grfico 13: Reconhecimento cientfico do artigo. Fonte: Autor. Legenda dos artigos apresentados no Grfico 13 Artigo 01 Artigo 02 Artigo 03 Measuring university quality The impacts of career-technical education on high school labor market success Secondary career and technical education and comprehensive

23

school reform: Implications for research and practice Artigo 04 Artigo 05 Artigo 06 Artigo 07 Artigo 08 Artigo 09 Artigo 10 Artigo 11 Artigo 12 Artigo 13 Artigo 14 Artigo 15 Artigo 16 Artigo 17 Artigo 18 Artigo 19 Artigo 20 Evidence on the returns to secondary vocational education Front-loaded' Vocational Education versus Lifelong Learning. A Critique of Current UK Government Policy The Creation of a Vocational Sector in Swiss Higher Education: balancing trends of system differentiation and integration Learning from schools Assessment in engineering education - A European perspective Achieving the Lisbon Goal: the contribution of Vocational Education and Training Educational assessment in Danish schools Educational assessment in Canada A Framework for Evaluating Vocational Education and Training (VET) Analyzing the nexus of higher education and vocational training in europe: A comparative-institutional framework Educational assessment in Portugal Vocational Education and Training and Human Capital Development: current practice and future options A new course assessment method Educational assessment in England Quality of education, comparability, and assessment choice in developing countries Vocational education and training (VET) for youths with low levels of qualification in Germany Twelve reasons for the adoption of the national examination for secondary education (ENEM) by federal institutions of higher education (IFES) An interpretation of the uses of quality indicators in education Evaluation of educational and technical structure at vocational schools The relation between vocational education and basic education in 2010 conae: Possibilities and limits to construct the new national plan for education

Artigo 21 Artigo 22 Artigo 23

Por esta visualizao possvel determinar que o artigo The impacts of careertechnical education on high school labor market success uma artigo que possui relevncia no portflio pois uma artigo de destaque e escrito por um autor de destaque, j os artigos Learning from schools e Educational assessment in Portugal so artigos que seus autores so destaques enquanto o artigo Measuring university quality um artigo de destaque. Os demais artigos so artigo com relevncia para a pesquisa. A relevncia dos autores do portflio deve ser medida cruzando as informaes de nmero de artigos dos autores do portflio nas referncias bibliogrficas destes artigos e o nmero de artigos que estes autores possuem no portflio bibliogrfico. Pela anlise do Grfico 14 fica claro que o autor Fernandes, D., com seis artigos nas referncias e os autores Knight, P. T.; Mane, F.; Solga, H.e Bishop, J. H. com cinco cada um so os autores de destaque pois, como todos possuem apenas um artigo no portflio da pesquisa, no possvel distribu-los nos quatro quadrantes do grfico,

24

classificando-se assim apenas como autores de destaque e autores relevantes para a pesquisa.

Grfico 14: Autores de destaque no portflio bibliogrfico. Fonte: Autor

Autores
Fernandes, D. Knight, P. T.; Mane, F.; Solga, H.; Bishop, J. H. Clarke, L. Egelund, N.; Powell, J. J. W.; Perellon, J.-F. Volante, L.; Wagner, D. A.; Green, A.; Wallenborn, M. Andriola, W. B.; Ben Jaafar, S.; Brooks, R. L.; Gibson, I. S.; Winch, C.; Fretwell, D.

Artigos no Portflio 1 1 1 1 1 1

Artigos nas Referncia 6 5 4 3 2 1

Os demais autores possuem apenas um artigo no portflio e no possuem artigos nas referncias do portflio, estes autores esto listados a seguir. Autores
Bykpehlivan, G. de Gusmo, J. B. B. Li, Y. znaz, D. Tan, X. Uzmanolu, S. Zhao, Y. Castellano, M. Christian, S. Isaacs, T. Luo, L. Polat, Z. Tekta, N. Xiong, Y. Moura, D. H. Leney, T. O. M. nar, A. gren, N. . Oral, B. Ribeiro, V. M. Ulusman, L. Zhao, C. Meer, J.

Encerra-se, assim, o processo de seleo de referencial terico e de uma anlise de relevncia dos mesmos para pesquisa utilizando-se o processo ProKnow-C.

25

5 CONSIDERAOES FINAIS O objetivo deste trabalho mostrado na introduo era o de evidenciar o processo de construo de um referencial terico atravs da obteno de um portflio bibliogrfico. A construo deste portflio, por delimitao deste pesquisador se restringiu ao Portal de Peridicos da Capes com filtros feitos s bases consideradas de interesse em funo da rea da pesquisa e delimitados tambm ao perodo de 2001 a 2011. O processo de seleo dos artigos resultou em 23 artigos os quais passaram para a etapa de anlise bibliomtrica. Na anlise bibliomtrica os peridicos Review of educational researsh e Review of educational researsh se mostraram relevantes para a pesquisa. Foram identificados, tambm, como relevantes os artigos Measuring university quality; The impacts of career-technical education on high school labor market success; Learning from schools e Educational assessment in Portugal. Os autores identificados como de destaque foram: Fernandes, D. autor do artigo Educational assessment in Portugal; Knight, P. T. autor de Learning from schools;
Mane, F.; Bishop, J. H. autores do artigo The impacts of career-technical education on

high school labor market success e Solga, H. autor do artigo Analyzing the nexus of higher education and vocational training in Europe: a comparative-institutional framework; artigos estes com seis e cinco citados recebidas nas referncias do portflio
bibliogrfico.

As palavras-chave mais utilizadas foram: vocational education e educational assessment, interessante observar que estas duas palavras-chave foram incorporadas ao rol das palavras-chave que deu incio a segunda rodada de busca como descrito no item 3.1.1. Desta forma o pesquisador montou um portflio bibliogrfico que serve de referencial terico para a sua pesquisa. Uma anlise posterior nos artigos deste portflio poder fornecer subsdio para novas pesquisas acerca do tema da pesquisa, evidenciando os pontos fracos na literatura. importante salientar que este processo no fecha a possibilidade de acrescentar outras obras ao portflio na medida em que o estudo do assunto tema da pesquisa avana.

26

6 REFERNCIAS
ALAVI, M.; CARLSON, P. A review of MIS research and disciplinary development. Journal of Management Information System, Armonk, vol. 8, n. 4, 1992. CAPES. Portal Peridicos CAPES. Coordenao de Aperfeioamento de Pessoal de Nvel Superior, 2010. Disponivel em: <www.periodicos.capes.gov.br>. Acesso em: 15 set. 2010. ENSSLIN, L. et al. ProKnow - Knowledge Development Process - Constructivist. Processo Tcnico com patente de registro pendente junto ao INPI. Brasil, 2010. GIL, A. C. Como Elaborar Projetos de Pesquisa. 4 ed. ed. So Paulo: Atlas, 2002. GNTHER, H. Pesquisa Qualitativa Versus Pesquisa Quantitativa: esta a questo? Psicologia: Teoria e Pesquisa, Braslia, 22, n. 2, mai-ago 2006. 201-210. INEP. Educao profissional Tcnica de Nvel Mdio no Censo Escolar. Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira. Braslia. 2006. INEP. Provinha Brasil. Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira, 2011a. Disponivel em: <http://portal.inep.gov.br/web/prova-brasil-e-saeb/prova-brasil-e-saeb>. Acesso em: 17 set. 2011. INEP. Prova Brasil e Saeb. Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira, 2011b. Disponivel em: <http://portal.inep.gov.br/web/prova-brasil-e-saeb/prova-brasil-e-saeb>. Acesso em: 17 set. 2011. INEP. Enem. Instituto Nacional de Estudos e PEsquisas Educacionais Ansio Teixeira, 2011c. Disponivel em: <http://portal.inep.gov.br/web/enem/historico>. Acesso em: 17 set. 2011. INEP. Censo Escolar. Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira, 2011d. Disponivel em: <http://portal.inep.gov.br/basica-censo>. Acesso em: 17 set. 2011. INEP. Entenda o Sinaes. Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira, 2011e. Disponivel em: <http://portal.inep.gov.br/web/guest/superior-sinaes>. Acesso em: 17 set. 2011. INEP. Enade. Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira, 2011f. Disponivel em: <http://portal.inep.gov.br/enade>. Acesso em: 17 set. 2011. RICHARDSON, R. J. Pesquisa Social: mtodos e tcnicas. 3 ed. ed. So Paulo: Atlas, 2008. RONCHI, S. H. Estruturao de um modelo multicritrio para avaliar o desempenho da tutoria de educao distncia [dissertao]:um estudo de caso no curso de cincias contbeis da Universidade Federal de Santa Catarina. Programa de Ps-Graduao em Contabilidade, Universidade Federal de Santa Catarina. Florianpolis, p. 145. 2011. TASCA, J. E. Avaliao do processo de capacitao dos policiais militares instrutores do programa educacional de resistncias s drogas - PROERD, em Santa Catarina, por meio da MCDA-C [dissertao]. Florianpolis: Universidade Federal de Santa Catarina, 2010. TASCA, J. E. et al. An approach for selecting a theorical framework for the evaluation of training programs. Journal of european Industrial Training, vol. 34, n. 7, 2010. 631 - 655. VALMORBIDA, S. M. I.; ENSSLIN, L.; ENSSLIN, S. R. Gesto Pblica com Foco em Resultados: evidenciao do estado da arte para as delimitaes postas pelo pesquisador. Gesto e Produo, So Paulo, no prelo.