Você está na página 1de 10

II Congresso Brasileiro de Informtica na Educao (CBIE 2013) XXIV Simpsio Brasileiro de Informtica na Educao (SBIE 2013)

Caracterizando a Pesquisa em Informtica na Educao no Brasil: Um Mapeamento Sistemtico das Publicaes do SBIE
Cleyton V. C. Magalhes1, Ronnie E. S. Santos1, Fabio Q. B. da Silva1, Alex Sandro Gomes1 1 Centro de Informatica (CIn) Universidade Federal de Pernambuco (UFPE) Cidade Universitria, 50.740-560 Recife, PE, Brasil {ress, cvcm, fabio, asg}@cin.ufpe.br
Abstract. Context: The Brazilian Symposium on Computer in Education (SBIE) has established itself as the main scientific event in this area in Brazil. It is considered as an important conference to disseminate results, discuss trends and to promote interaction among researchers. Goal: This paper aims to plot the landscape of computer in education area in Brazil, based on papers published on SBIE between 2001 and 2012. Method: The method used in this paper is a mapping study, which is a secondary research applied to integrate results gathered from several studies published previously. Results and Conclusion: The results show that the research in computer in education in Brazil is diverse with respect to the researched topics, and various contexts are covered. However, it is restricted regarding the research methods. It can also be highlighted the low occurrence of empirical methods. Resumo. Contexto: O Simpsio Brasileiro de Informtica na Educao (SBIE) se consolidou como o principal evento cientfico da rea no Brasil, sendo para pesquisadores e educadores, um importante ambiente de divulgao de resultados, discusso de tendncias e interao entre grupos que pesquisam o tema. Objetivo: Este trabalho tem o objetivo verificar como se caracteriza a pesquisa em informtica na educao no Brasil com base nas publicaes do SBIE entre os anos de 2001 e 2012. Mtodo: O mtodo utilizado nesta pesquisa um mapeamento sistemtico, mtodo de pesquisa secundrio empregado para integrar os resultados oriundos de diversos estudos publicados anteriormente. Resultados e Concluso: Os resultados mostram que a pesquisa em informtica na educao no pas diversificada em relao aos tpicos pesquisados, abrangendo diversos contextos, porm limitada em relao aos mtodos de pesquisa, apresentado um nmero relativamente baixo de pesquisas empricas.

1. Introduo
A Histria da Informtica na Educao no Brasil tem mais de 40 anos. Segundo Valente e Almeida (1997), a rea de pesquisa nasceu no incio dos anos 70 a partir de algumas experincias na UFRJ, UFRGS e UNICAMP. Nos anos 80 se estabeleceu atravs de diversas atividades que permitiram que essa rea hoje tenha uma identidade prpria, razes slidas e relativa maturidade. A rea passou a possuir cada vez mais pesquisadores interessados e eventos dedicados s questes que rodeiam o tema. No Brasil um dos principais eventos da rea o Simpsio Brasileiro de Informtica na Educao (SBIE). Desde a primeira edio realizada no Rio de Janeiro em 1990, o Simpsio Brasileiro de Informtica na Educao se consolidou como o principal evento cientfico da rea de informtica aplicada educao no Brasil. Para pesquisadores e educadores, o SBIE tem sido um importante ambiente de publicao de resultados, discusso de temas e tendncias da rea e interao entre grupos que estudam os diversos tpicos que envolvem a informtica na educao. Alm disso, o evento proporciona um ambiente para a troca de experincias e ideias com profissionais, professores, estudantes e

DOI: 10.5753/CBIE.SBIE.2013.22

22

II Congresso Brasileiro de Informtica na Educao (CBIE 2013) XXIV Simpsio Brasileiro de Informtica na Educao (SBIE 2013)

pesquisadores nacionais e estrangeiros, estimulando ao surgimento e consolidao de grupos de pesquisa. Esta pesquisa tem o propsito de realizar um mapeamento sistemtico dos artigos publicados nas 12 ltimas edies do SBIE (2001 2012), a fim de responder a seguinte pergunta de pesquisa. RQ: Como se caracteriza a pesquisa em informtica na educao no Brasil? Nosso principal objetivo consolidar informaes quantitativas e qualitativas sobre a produo cientfica apresentada no SBIE de forma a contribuir com o avano as pesquisas na Informtica na Educao no pas. O artigo segue organizado em seis sees, a partir desta introduo. A segunda seo apresenta informaes conceituais acerca da temtica. A terceira seo relata experincias anteriores na mesma linha de pesquisa. Na seo subsequente so apresentados os procedimentos metodolgicos de pesquisa adotados para realizao dos trabalhos. Logo aps, na quinta seo, os resultados do estudo so apresentados e discutidos e, por fim, na sexta seo so feitas as consideraes finais.

2. Estudos Secundrios
Os estudos primrios podem ser caracterizados como pesquisas que so guiadas pelas hipteses que se deseja averiguar ou compreender. Estes estudos so implementados quando h a necessidade de caracterizar uma determinada tecnologia em uso dentro de um contexto especfico (BIOLCHINI et al., 2005). A literatura define alguns tipos de estudos primrios que podem ser aplicados em pesquisas cientficas. Os estudos de caso, os experimentos, os surveys, a pesquisa-ao e a etnografia so exemplos de mtodos empricos comumente aplicados em pesquisas primrias de diversas reas, inclusive em Computao (MAFRA; TRAVASSOS, 2006; EASTERBROOK et al., 2011). Por outro lado, os estudos secundrios so aplicados para integrar os resultados oriundos de diversos estudos primrios relacionados a um determinado tema. Este tipo de investigao bastante til na identificao de evidncias e na construo de conhecimento. Na engenharia de software, Kitchenham et al. (2004) adaptaram o mtodo de revises sistemticas utilizado na medicina e nas cincias sociais para guiar a construo de revises em diversos tpicos da engenharia de software (CAVALCANTI; da SILVA, 2011). As revises sistemticas so o tipo mais comum de estudo secundrio. Referemse a um mtodo de pesquisa que visa obter e avaliar um conjunto de evidncias pertencentes a um contexto especfico, com a finalidade de integrar resultados experimentais e a sua aplicao poder enfatizar a descoberta de problemas gerais e incentivar o diagnstico e a anlise de inconsistncias encontradas ao comparar estudos individuais. As revises sistemticas convencionais agregam resultados sobre uma questo especfica aplicada para resolver questes de pesquisa do tipo relacional e comparativa. Os mapeamentos sistemticos so um tipo particular de reviso sistemtica com uma viso mais ampla dos estudos primrios e busca responder questes descritivas sobre tpicos especficos (MIAN et al., 2005; da SILVA et al., 2011).

3. Trabalhos Relacionados
Em 2011, Cavalcanti e da Silva desenvolveram e publicaram um estudo cujo objetivo foi fornecer uma anlise abrangente e sistemtica dos trabalhos cientficos publicados

23

II Congresso Brasileiro de Informtica na Educao (CBIE 2013) XXIV Simpsio Brasileiro de Informtica na Educao (SBIE 2013)

no Simpsio Brasileiro de Engenharia de Software (SBES). Para tal, utilizaram uma metodologia de reviso sistemtica de literatura visando extrair, catalogar, analisar e sintetizar dados de todos os artigos publicados em todas as 24 edies da SBES, em relao aos aspectos histricos, conceituais e metodolgicos. Da mesma forma, algumas pesquisas mapearam cenrios mais especficos dentro da Informtica na Educao. Em 1999 Fernandes e Santos mostraram os perfis dos grupos atuantes na rea para que a comunidade de Informtica na Educao na poca pudesse compartilhar e disseminar trabalhos e projetos desenvolvidos. Em 2011 Bogoni e Pinho realizaram uma reviso sistemtica sobre a utilizao de simuladores baseados em Realidade Virtual no treinamento dos estudantes. Outras pesquisas deste tipo podem ser encontradas nos anais do SBIE. Freitas Jr et al. (2012) analisaram as publicaes internacionais sobre mtodos de engenharia do conhecimento como suporte aos processos de aprendizagem organizacional. Aureliano e Tedesco (2012) investigaram nas publicaes do SBIE e do WIE processos de ensino-aprendizagem de programao para iniciantes. Neste estudo pretende-se desenvolver um processo semelhante ao apresentado por Cavalcanti e da Silva (2011), aplicando a tcnica de pesquisa secundria (o mapeamento sistemtico) para realizar uma anlise abrangente e sistemtica da pesquisa em informtica na educao do Brasil atravs do seu principal simpsio, o SBIE.

4. Procedimentos Metodolgicos
Em seu trabalho, Cavalcanti e da Silva (2011) discutem a taxonomia de Cooper (1984) atravs da qual foi sistematizado o mtodo de revises integrativas de literatura considerando cinco caractersticas: foco, objetivo, perspectiva, cobertura, organizao e audincia. Assim como no trabalho relacionado (CAVALCANTI; da SILVA, 2011) esta pesquisa tambm utilizar a taxonomia de Cooper, com foco no mtodo de pesquisa e com objetivo de identificar tendncias nas publicaes do SBIE. A cobertura desse estudo exaustiva, sendo analisados todos os trabalhos publicados entre 2001 e 2012, disponibilizados na pgina da Comisso Especial de Informtica na Educao da SBC. A perspectiva da apresentao neutra, a organizao histrica, conceitual e metodolgica e a audincia mista, constituda por pesquisadores e profissionais com interesse pela rea. O processo de mapeamento sistemtico foi composto por quatro etapas principais, baseado no processo para mapeamento sistemtico em engenharia de software aplicado por Petersen et al. (2008). Etapa 1 Definio do Escopo do Mapeamento Todo o planejamento do processo, definio das questes de pesquisa, critrios de busca e composio da equipe foi definida nesta etapa. A equipe foi formada por dois estudantes de mestrado e dois professores doutores. Os dois alunos foram responsveis por ler, analisar e classificar todas as publicaes coletadas. Caso houvesse divergncia de classificao e os dois alunos no entrassem em um consenso aps uma discusso, essa questo seria discutida e resolvida sob a viso de um dos dois professores da equipe. Juntos os pesquisadores realizaram a anlise e classificao dos artigos para responder as questes divididas em trs facetas: Aspectos Histricos: Como se deu a evoluo histrica das publicaes do SBIE?

24

II Congresso Brasileiro de Informtica na Educao (CBIE 2013) XXIV Simpsio Brasileiro de Informtica na Educao (SBIE 2013)

a) Como ocorreu a distribuio da quantidade de artigos publicados no SBIE? b) Quais so as organizaes que mais participaram com publicaes no SBIE? c) Qual a quantidade de artigos escritos em ingls no SBIE? Aspectos Conceituais: Quais os tpicos da informtica na educao foram mais pesquisados no SBIE? Para responder esta questo utilizou-se uma lista de tpicos de interesse em pesquisas de informtica na educao construda a partir das listas disponveis nos sites ainda ativos das edies do SBIE. Assim, uma lista com 23 tpicos de interesse da rea foi construda atravs da chamada de trabalhos das edies de 2012, 2011, 2010, 2009, 2008, 2005, 2003 e 1999. As publicaes coletadas puderam ento ser distribudas em 24 tpicos de pesquisa da Informtica na Educao:
TABELA I Tpicos de Interesse da Informtica na Educao
1. Adaptao, Personalizao e Avaliao em Aprendizagem Suportada por Computador. (APA) 2. Aprendizagem Colaborativa Apoiada por Computadores. (COL) 3. Arquiteturas e Mtodos de construo de Software Educativo. (ARQ) 4. Aspectos Sociais da Informtica na Educao. (SOC) 5. Avaliao e Desenvolvimento de Software Educativo. (ADS) 6. Comunidades Virtuais de Aprendizagem. (COM) 7. Educao Distncia. (EAD) 8. Fundamentos Pedaggicos e Psicolgicos da Informtica na Educao. (PED) 9. Hipermdia. (HIP) 10. Interfaces de Software Educacional. (IHC) 11. Informtica na Educao Especial. (ESP) 12. Informtica na Escola e na Sala de Aula. (ESC) 13. Inteligncia Artificial Aplicada Educao. (IAA) 14. Mtodos, Processos e Ferramentas para Ensino de Computao. (ENS) 15. Engenharia de Software Aplicada Informtica na Educao. (ENG) 16. Minerao de Dados, Padres e Repositrios Digitais de Materiais Educacionais. (MIN) 17. Objetos de Aprendizagem (OAP) 18. Polticas para Informtica na Educao. (POL) 19. Realidade Virtual e aumentada na Educao. (REA) 20. Redes Sociais na Educao. (RED) 21. Simuladores e Jogos Educativos (JOG) 22. Tecnologias Wireless, Mvel e Ubqua na IE. (UBI) 23. Usabilidade e Acessibilidade. (USA) 24. Web Semntica e Ontologias na Educao (ONT)

Aspectos Metodolgicos: Quais os mtodos empricos de pesquisa utilizados pelos pesquisadores do SBIE? Etapa 2 Busca por Estudos Primrios A busca ocorreu de forma manual atravs site da Comisso Especial de Informtica na Educao da SBC, no qual foram extrados os artigos completos (full papers) dos anos de 2001 a 2012. Nesta etapa, artigos disponibilizados que s apresentavam o resumo da pesquisa e trabalhos cuja identificao dos autores no esteve disponvel do corpo do texto foram excludos do processo de mapeamento. Etapa 3 Extrao de dados Nesta fase buscou-se obter informaes de cada um dos artigos encontrados, de forma a responder as perguntas de pesquisa. Para auxiliar este processo, o MS Excel foi utilizado. Etapa 4 Anlise e Sntese A partir dos dados extrados na fase anterior deu-se o processo de interpretao dos resultados, criao de tabelas e grficos para apresentao da informao e descrio das evidncias identificadas nos estudos primrios.

25

II Congresso Brasileiro de Informtica na Educao (CBIE 2013) XXIV Simpsio Brasileiro de Informtica na Educao (SBIE 2013)

5. Resultados e Discusses
Esta seo tem o intuito de apresentar uma anlise descritiva sobre as publicaes do SBIE nos ltimos 12 anos, alm de observaes feitas ao longo da sntese dos dados coletados. A. Aspectos Histricos Este ponto discute a evoluo das publicaes sobre trs aspectos: a) a distribuio de artigos publicados no evento; b) organizaes mais ativas no SBIE e; c) o percentual dos artigos escritos em ingls publicados ao longo dos anos. Como ocorreu a distribuio da quantidade de artigos publicados no SBIE? A quantidade de artigos publicados no SBIE ao longo do perodo analisado, apesar de algumas baixas em certos momentos, foi crescente, principalmente a partir de 2007, como apresentado na figura 1. Foram publicados 835 trabalhos completos no simpsio. Isso demonstra o aumento da comunidade cientfica da rea da Informtica na Educao e o crescimento dos pesquisadores brasileiros pelo tema.
Figura 1. Evoluo das publicaes do SBIE ao longo dos anos

Quais so as organizaes que mais participaram com publicaes no SBIE? Aproximadamente 250 instituies diferentes publicaram trabalhos no SBIE no perodo analisado, no qual foi possvel observar a participao no somente de universidades pblicas e privadas, mas tambm de empresas de desenvolvimento de software, ONGs e associaes, alm de rgos pblicos como prefeituras. Este dado mostra a importncia do simpsio para a rea e o nvel de penetrao dos resultados publicados no evento dentro da sociedade. A figura 2 apresenta a quantidade de instituies que publicaram no SBIE em cada ano. Participaram do SBIE universidades das 5 regies do pas, alm de alguns autores de instituies internacionais como Estados Unidos, Argentina, Holanda, Frana e Japo. Isto constata a importncia do frum e das pesquisas na rea para resolver questes dos mais diversos tipos e em diferentes contextos sociais e econmicos, alm do estmulo ao surgimento e consolidao de grupos de pesquisa. A lista das dez organizaes mais ativas em publicaes no evento pode ser observada atravs da figura 3. A UFRGS foi a instituio que mais publicou trabalho com 138 artigos, cerca de 16,5% do total (138/835), seguida da UFES com 7,1% dos artigos publicados no evento (59/835). Na lista ainda possvel identificar a UNISINOS (5,7% - 48/835), UFRJ (5,1% - 43/835), USP (4% - 33/835), UFC (5,8% - 33/835),

26

II Congresso Brasileiro de Informtica na Educao (CBIE 2013) XXIV Simpsio Brasileiro de Informtica na Educao (SBIE 2013)

UFPE (3,7% - 32/835), ITA (3,6% - 30/835), UNICAMP e PUC-RS com 3,2% (27/835) dos trabalhos, cada uma.
Figura 2. Quantidade anual de Instituies no SBIE Figura 3. Organizaes mais ativas no SBIE

Qual a quantidade de artigos escritos em ingls no SBIE? Neste ponto torna-se importante discutir que como observado por Cavalcanti e da Silva (2011), a existncia de publicaes no evento em ingls pode permitir a participao de revises de outros pases, contribuindo para o crescimento e divulgao do evento. Alm disso, passa a existir a possibilidade de formao de grupos de pesquisa com cooperao internacional e resultados mais amplamente discutidos. No caso particular do SBIE pode-se inferir que as publicaes de artigos em ingls tm seguido uma frequncia relativamente baixa se comparada a outros eventos nacionais de grande porte como o Simpsio Brasileiro de Engenharia de Software, por exemplo. A figura 4 mostra que no perodo analisado, apenas 4,6% (38/835) foram publicados em ingls.
Figura 4. Evoluo das publicaes do SBIE em Ingls

B. Aspectos Conceituais Esta seo tem o objetivo de apresentar a distribuio das publicaes analisadas nos tpicos de pesquisa da Informtica na Educao, levando em considerao a lista de tpicos de interesse da TABELA I. Quais os tpicos da informtica na educao foram mais pesquisados no SBIE? O principal interesse dos pesquisadores do SBIE a publicao dos resultados da implementao de solues computacionais aplicadas educao. Neste sentido, Avaliao e Desenvolvimento de Software Educativo (ADS) o tpico mais explorado na rea, cobrindo 28,9% (241/835) do total de artigos publicados no perodo. Foi observado tambm que este o tpico que mais se relaciona com os outros tpicos de

27

II Congresso Brasileiro de Informtica na Educao (CBIE 2013) XXIV Simpsio Brasileiro de Informtica na Educao (SBIE 2013)

interesse da lista, sendo que durante este perodo foram apresentados diversos tipos de software educativo para resolver os mais variados tipos de problemas em muitos contextos e para muitos pblicos. O segundo tpico mais pesquisado do SBIE foi a Educao Distncia (EAD) e os processos que envolvem esse tema. Foram 19,3% dos trabalhos (161/835) voltados para esta questo, podendo-se destacar a implementao de soluo para facilitar os trabalhos nos ambientes da internet que suportam o desenvolvimento das atividades, a proposta de arquiteturas e ferramentas de avaliao e o apoio ao aprendiz nas tarefas efetuadas distncia. Ao logo dos anos a evoluo das pesquisas neste tema permitiram que este tpico estivesse relacionado com grande parte dos outros tpicos de interesse da rea pela sua ligao com diversos contextos e problemas ainda carentes de soluo. Em terceiro lugar observou-se a forte explorao dos conceitos e ferramentas da Inteligncia Artificial (IAA) em pesquisas da rea, na qual 17,1% (143/835) das pesquisas trabalharam direto ou indiretamente com este tpico. Este um tema comumente usado para melhorar os processos desenvolvidos atravs do software educativo, provendo inclusive maior personalizao e adaptao dos aprendizes em determinados contextos. Este um tpico bastante ligado tambm ao processo de avaliao automtica de estudantes e a incluso de caractersticas afetivas e motivacionais ao software educativo. A colaborao (COL) foi o quarto tpico mais pesquisado no SBIE com 13,3% dos trabalhos (111/835). A abordagem colaborativa foi aplicada em diversas situaes como uma forma de melhorar a experincia do usurio de software educativo. Mais do que isso, durante este perodo foram desenvolvidos diversos sistemas colaborativos no contexto da informtica na educao visando as interaes em rede como forma de enriquecer o pensamento individual e o aprendizado. A figura 5 apresenta a distribuio dos trabalhos em todos os 24 tpicos de interesse definidos neste artigo. Uma discusso completa sobre cada tpico no pode ser realizada neste momento, por questes de espao.
Figura 5. Tpicos da rea Explorados no SBIE

C.Aspectos Metodolgicos Este ponto do trabalho discute a distribuio das publicaes por mtodo de pesquisa empregado. Quais os mtodos de pesquisa utilizados pelos pesquisadores do SBIE?

28

II Congresso Brasileiro de Informtica na Educao (CBIE 2013) XXIV Simpsio Brasileiro de Informtica na Educao (SBIE 2013)

Um nmero muito elevado de artigos publicados no SBIE, no perodo analisado, no utilizou nenhum mtodo emprico na pesquisa realizada. Mesmo apresentado boas propostas, principalmente de software educativo e arquiteturas para o desenvolvimento desses sistemas, em muitos casos os autores no realizaram nenhum tipo de validao dos resultados obtidos. A figura 6 ilustra a distribuio dos mtodos de pesquisa por ano e a figura 7 mostra que ao passar dos anos cada vez mais pesquisadores passaram a utilizar mtodos empricos em suas pesquisas, porm esse nmero ainda pequeno em relao quantidade de trabalhos publicados por evento. Apesar de apresentar uma linha de aumento inconstante, a utilizao dos estudos de caso na rea manteve um nvel de crescimento considervel nos ltimos anos. Este mtodo representa 18,3% do total de artigos publicados no SBIE (153/835). Os experimentos formais (e quasi-experimentos) tambm apresentaram crescimento ao longo dos anos nas pesquisas da rea, aparecendo em 8,7% das pesquisas (73/835). A sequncia segue com mtodos pouco aplicados, os surveys com 1% (8/835), a pesquisaao com 0,7% (6/835) e por fim as etnografias em apenas 0,2% dos artigos (2/835).
Figura 6. Mtodos de pesquisa aplicados nos trabalhos do SBIE

Figura 7. Distribuio dos mtodos de pesquisa aplicados por ano

6. Concluses
Atravs da anlise de 835 trabalhos publicados no SBIE, principal evento em Informtica na Educao do Brasil, pode-se concluir que no pas a pesquisa nesta rea

29

II Congresso Brasileiro de Informtica na Educao (CBIE 2013) XXIV Simpsio Brasileiro de Informtica na Educao (SBIE 2013)

bastante diversificada em relao aos tpicos pesquisados, abrangendo diversos contextos, situaes e pblico. Durante o perodo coberto pelo mapeamento, observou-se que diferentes questes foram abordadas pelas pesquisas, no s na aplicao de ferramentas educacionais, como tambm nas propostas de polticas e relatos do uso do computador no meio educativo. Alm disso, percebeu-se que enquanto alguns tpicos de pesquisa possuem grande representatividade outros possuem poucas pesquisas desenvolvidas, como o caso da aplicao de redes sociais na educao e da usabilidade e acessibilidade do software educativo. Os estudos primrios analisados so uma importante fonte de informaes sobre as diversas mudanas passadas pela rea ao longo do tempo. Uma das evolues mais importantes percebidas foi a aplicao de mtodos empricos como meio de avaliao dos resultados obtidos pelas das ferramentas desenvolvidas e mtodos e processos propostos. Enquanto em 2001 somente o estudo de caso foi aplicado como mtodo de pesquisa e em apenas trs artigos, em 2009, por exemplo, o mtodo foi usado em mais de um tero dos trabalhos. Alm disso, em 2011, cinco mtodos de pesquisa emprica foram identificados em pelo menos um artigo. As publicaes classificadas aqui como no empricas representam as pesquisas de carter fundamentalmente descritivo, como a simples apresentao de proposta de ferramentas, descrio de mtodos e relato de atividades. Estas representarem mais da metade das publicaes do evento, o que demonstra que a pesquisa em Informtica na Educao no pas ainda est se desenvolvendo em publicaes de carter avaliativo. importante perceber que as pesquisas de carter avaliativo demonstram certo nvel de amadurecimento da rea, aumento da confiabilidade dos resultados apresentados e permite o direcionamento apropriado das pesquisas e das discusses sobre o tema, tanto no meio acadmico quanto no prtico. Por questes de espao, outras concluses realizadas sobre os dados coletados no puderam ser apresentadas neste artigo. A relao direta entre os tpicos de interesse presentes nas publicaes do SBIE ou a distribuio destes tpicos por ano so exemplos de anlises realizadas, porm no apresentadas. Uma verso ampliada deste artigo poderia apresentar estes resultados. Alm disso, define-se como trabalhos futuros a identificao e anlise dos trabalhos publicados no SBIE nos anos anteriores a 2001 e que no esto disponveis na pgina criada pela Comisso Especial de Informtica na Educao da SBC.

Agradecimentos
O Professor Fabio Q. B. da Silva bolsista de Desenvolvimento Tecnolgico e Extenso Inovadora (DT) do CNPq, processo #314523/2009-0. O Professor Alex Sandro Gomes Bolsista DT Nvel 2 no CNPq. Cleyton V. C. de Magalhes e Ronnie E. S. Santos so alunos de mestrado bolsistas da CAPES e da FACEPE, respectivamente. Gostaramos de agradecer tambm ao Professor Herbert Lima e a equipe da UFC por ter compartilhado os arquivos dos artigos publicados no SBIE nos anos anteriores a 2001 e que serviro para a implementao dos trabalhos futuros dessa pesquisa.

30

II Congresso Brasileiro de Informtica na Educao (CBIE 2013) XXIV Simpsio Brasileiro de Informtica na Educao (SBIE 2013)

Referncias
AURELIANO, V. C. O.; TEDESCO, P. C. A. R.. Ensino-aprendizagem de Programao para Iniciantes: uma Reviso Sistemtica da Literatura focada no SBIE e WIE. Anais do Anais do 23 Simpsio Brasileiro de Informtica na Educao (SBIE 2012), ISSN 23166533. Rio de Janeiro, 2012. BIOLCHINI, J.; MIAN, P. G.; NATALI, A. C. C.; TRAVASSOS, G. H. Systematic Review in Software Engineering. Relatrio Tcnico (Programa de Engenharia de Sistemas e Computao) Universidade Federal do Rio de Janeiro UFRJ Rio de Janeiro, 2005. BOGONI, T. N.; PINHO, M.S. Uma Reviso Sistemtica de Simuladores de Endodontia Equipados com Dispositivos Hpticos. Anais do Anais do 22 Simpsio Brasileiro de Informtica na Educao (SBIE 2011), ISSN 2176-4301. Aracaju, 2011. CAVALCANTI, T. R; da SILVA, F. Q. B. Historical, Conceptual, and Methodological Aspects of the Publications of the Brazilian Symposium on Software Engineering: A Systematic Mapping Study. Anais do 25th Brazilian Symposium on Software Engineering (SBES), So Paulo, 2011.

Comisso Especial de Informtica na Educao da SBC. Anais do SBIE. Acesso em maio de 2012. Disponvel em < http://www.br-ie.org/index.php/anaissbie>.
COOPER, H.M. The integrative research review: A systematic approach. Applied social research methods series. Beverly Hills, v.2, 1984. da SILVA, F. Q. B.; SANTOS, A. L. M.; SOARES, S. C. B.; FRANA, A. C. C.; MONTEIRO, C. V. F.; MACIEL, F. F. Six years of systematic literature reviews in software engineering: An updated tertiary study. Information and Software Technology, 2011. EASTERBROOK, S.; SINGER, J.; STOREY, M.; DAMIAN, D. Selecting Empirical Methods for Software Engineering Research. Computer Science Department, University of Toronto, 2011. FERNANDES, C. T.; SANTOS, N. Pesquisa e Desenvolvimento em Informtica na Educao no Brasil Parte I. Revista Brasileira de Informtica na Educao. Nmero 4, 1999. FREITAS JR, V.; ANDERLE, D. F.; SANTOS, J. L. S.; STEIL, A. V. Engenharia do Conhecimento como suporte aos processos de Aprendizagem Organizacional. Anais do Anais do 23 Simpsio Brasileiro de Informtica na Educao (SBIE 2012), ISSN 23166533. Rio de Janeiro, 2012. KITCHENHAM, B.; DYB, T.; JRGENSEN, M. Evidence-based Software Engineering. 26th International Conference on Software Engineering, (ICSE 04), Proceedings. IEEE, Washington DC, USA, pp 273 281, 2004. MAFRA, S. N.; TRAVASSOS, G. H. Estudos Primrios e Secundrios Apoiando a Busca por Evidncia em Engenharia de Software. Relatrio Tcnico (Programa de Engenharia de Sistemas e Computao) Universidade Federal do Rio de Janeiro UFRJ Rio de Janeiro, 2006. MIAN, P.; CONTE, T.; NATALI, A.; BIOLCHINI, J.; MENDES, E.; TRAVASSOS, G. H. Lessons Learned On Applying Systematic Reviews To Software Engineering. 3rd International Workshop Guidelines For Empirical Work In the Workshop Series On Empirical Software Engineering (Wsese). Proceedings, 2005. PETERSEN, K.; FELDT, R.; MUJTABA, S.; MATTSSON, M. Systematic Mapping Studies in Software Engineering. 12th International Conference on Evaluation and Assessment in Software Engineering (EASE). University of Bari, Italy, 26 - 27 June 2008.

31