Framework MAAVA Metodologia de Avaliao de Ambientes Virtuais de Aprendizagem

Daniel A. Chagas, Rafaela P. Lisboa, Elizabeth S. Furtado Laboratrio de Estudos do Usurio e da Qualidade de uso dos Sistemas Washington Soares, 1321 - Bloco M Sala 11 Fortaleza, CE 60811-905 - Brazil +55 85 3477.3079.
{daniel.helptech, rafaelapontelisboa, elizabethsfur}@gmail.com

Abstract. This papel presents an avaliation methodology for learning virtual environments to be used by institutions, teachers or developers who need to verify the impact of usability, comunicability and sociability in their courses. This evaluation is original due to the fact we made the association between the educational objectives of the system tools and the quality in use factors, such as its usability, sociability and communicability. Resumo. Este artigo visa apresentar uma metodologia de avaliao de ambientes virtuais de aprendizagem a ser usada por instituies, professores ou desenvolvedores que necessitam verificar o impacto da usabilidade, comunicabilidade e sociabilidade em seus cursos. A originalidade desta proposta se refere avaliao ser feita a partir da verificao entre os objetivos pedaggicos das ferramentas do ambiente e os fatores que incidem sobre a qualidade de uso do ambiente, como sua usabilidade, comunicabilidade e sociabilidade.

1. Introduo
Ambientes Virtuais de Aprendizagem (AVA) devem ser capazes de [ELLIS, 2009]: fazer a administrao centralizada e automatizada; propiciar a criao e disseminao de contedo educacional rapidamente; ter contedo personalizado; permitir reuso de conhecimentos, a fim de favorecer uma maior aprendizagem por parte dos alunos. Porm a aprendizagem pode ser afetada pela falta de qualidade em uso dessas ferramentas que compem o sistema, e do sistema como um todo. Problemas de usabilidade [GOMES, 2009], comunicabilidade [DE SOUZA, 2005] e sociabilidade [BARANAUSKAS et al, 2010] so exemplos de fatores que afetam tal qualidade. Este trabalho descreve uma metodologia, chamada MAAVA Metodologia de Avaliao de Ambientes Virtuais de Aprendizagem, destinada avaliao de um ambiente configurado para um curso, fundamentado: i) na importncia de atrelar os objetivos educativos das ferramentas do AVA aos objetivos pedaggicos, dos quais se pretende que os alunos alcancem ao final de um curso e/ou disciplina e; ii) na importncia de ter um AVA com boa usabilidade, comunicabilidade e sociabilidade para no afetar o atendimento aos objetivos pedaggicos.

2. Trabalhos Relacionados
Buscando trabalhos envolvendo metodologias de avaliao de AVAs, notria a carncia de pesquisas que venham a sugerir um formato de avaliao. H muitos artigos avaliando a usabilidade, a comunicabilidade e a pedagogia de AVAs separadamente.

Em Franciscato et al (2008) feita uma avaliao de trs AVAs, Moodle, TelEduc e Tidia, no mbito da usabilidade e no comparativo de ferramentas, utilizando um instrumento de avaliao baseado em questionrios (dados quantitativos), observao e entrevista (dados qualitativos). Piteira e Costa (2006) apresentaram um estudo emprico da usabilidade percebida do AVA Moodle, utilizando como instrumentos os questionrios e observao direta, e separando a amostra em usurios por idade, experincia e desempenho. Laguardia, Portela e Vasconcelos (2007) discorrem sobre o que avaliao e tipos de avaliao de AVAs e mtodos de avaliao, explicando vantagens e desvantagens de cada mtodo. Cardoso et al (2010) avaliaram a comunicabilidade do Moodle usando o Mtodo de Avaliao da Comunicabilidade (MAC), baseado na engenharia semitica. A originalidade deste trabalho deriva de sua abordagem mais ampla de avaliao de um AVA, englobando no s a usabilidade, mas sua comunicabilidade e sociabilidade, alm de fazer a ponte entre aspectos da interao e aspectos pedaggicos.

3. MAAVA Metodologia de Avaliao de Ambientes Virtuais de Aprendizagem

A MAAVA composta por trs etapas sequenciais (Figura 1) a serem aplicadas por avaliadores de AVAs colaborativos. A primeira etapa, Definio da avaliao, consiste no levantamento de elementos para avaliar o AVA. A segunda etapa, Execuo da avaliao, o momento de realizao das aes necessrias para a avaliao do AVA. Na terceira etapa, intitulada de Resultados e anlise, o avaliador interpreta todos os dados coletados durante a etapa anterior.

Figura 1. Metodologia MAAVA

Na primeira etapa se define o AVA a ser analisado realizando duas atividades: a identificao da concepo pedaggica e/ou objetivos educativos das ferramentas existentes e definidas no prprio AVA. oportuno destacar que tais informaes so geralmente fornecidas pelos idealizadores de um AVA, e devem ser consideradas pelos professores diante da configurao do ambiente para o curso que eles ministraro. A prxima atividade a definio dos objetivos e/ou suposies para a avaliao, ou seja, do que se pretende investigar no ambiente e pode estar ligada aos elementos anunciados na atividade anterior e/ou a aspectos de usabilidade e da comunicabilidade, do AVA a ser avaliado. A segunda etapa tem como objetivos identificar os usurios do AVA escolhido, bem como caracteriz-los, a fim de que se possa realizar uma avaliao em funo dos tipos de usurios. O processo de caracterizao feito a partir do agrupamento de usurios com caractersticas semelhantes e na definio de perfis de usurios em Personas. Segundo Pruitt (2003) e Heusden & Jorna (1993) personas so arqutipos de usurios que servem como exemplo para representar o pblico alvo, ou

seja, a quem o sistema se designa. Para facilitar este processo usa-se o framework conceitual Personas [HOLANDA, 2010], que traz a representao de nove propostas de informao tais como perfil scio demogrfico, caractersticas tecnolgicas, caractersticas e contexto do uso, que devem ser apuradas de forma adaptvel em funo do foco do trabalho. Inicia-se a estruturao de um teste de usabilidade, com a definio de cenrios de uso do ambiente, preparando as tarefas que os usurios realizaro nos testes e que dados sero coletados. A avaliao da usabilidade envolve a avaliao de desempenho e da satisfao dos usurios fazendo uso das ferramentas do AVA, de acordo com a sua funcionalidade no referido sistema. A avaliao do desempenho do usurio ocorre a partir de duas tcnicas: observao direta e verbalizao informal das aes; identificando problemas de entendimento dos usurios em relao s tarefas realizadas durante o teste de usabilidade e obtendo dados quantitativos referentes s falhas de usabilidade do sistema. Para a sondagem da satisfao subjetiva do usurio relativa ao uso do sistema (facilidade de uso e navegao) so usados questionrios ps-teste e anotao dos comentrios verbais. Uma questo a ser respondida para este tipo de anlise sugerida : o usurio tem bom desempenho e satisfao ao interagir com o sistema para realizar os cenrios estabelecidos? Alm do desempenho e da satisfao, importante avaliar a comunicabilidade do sistema [DE SOUZA, 2005]. Usa-se a abordagem da engenharia semitica, que diz que toda aplicao computacional concebida como um ato de comunicao entre o designer (emissor de uma mensagem) e o usurio do sistema por ele criado [ELLIS, 2009]. Como instrumento de anlise qualitativa, usamos as interjeies do usurio, e suas expresses faciais e gestuais, que indicam uma ruptura da comunicao dele com a interface [DE SOUZA, 2005]. Uma questo a ser investigada nesta anlise pode ser: a interao ocorre naturalmente sem rupturas na comunicao entre o usurio e o sistema que se analisa? Outro tipo de avaliao sugerida na MAAVA a investigao da sociabilidade, na qual se busca identificar a aderncia do sistema aos valores sociais, pessoais e tcnicos, descritos em Baranauskas et al (2010) que descreve um checklist apresentado 27 valores, classificados em: (i) Tcnicos, que representam os sistemas computacionais; (ii) Pessoais, que as regras e procedimentos so criados para substituir significados e intenes; (iii) Sociais, onde a cultura e costumes so refletimos como crenas, hbitos e padres de comportamento. Esta anlise visa levar para a avaliao de um AVA a perceptiva dos valores, que podem influenciar ou impactar no ambiente, em seus usurios ou at mesmo na proposta pedaggica definida para um curso e/ou disciplina, por exemplo. Uma questo a ser respondida nesta anlise pode ser: o sistema implementa caractersticas que interferem negativamente no comportamento do individuo e em suas aes colaborativas? A ltima anlise de consolidao dos resultados. A principal questo a ser respondida pode ser a seguinte: fatores que incidem sobre a experincia do usurio (como a usabilidade percebida, a comunicabilidade e a sociabilidade) interferem para se atingir os objetivos educativos previamente definidos para as ferramentas do ambiente avaliado?

4. Concluso
Ambientes que possuem os valores da usabilidade, comunicabilidade e sociabilidade, ou que buscam perceb-los em sua constituio, levariam para a educao

a distancia um diferencial: a preocupao com o sujeito social, ou seja, vemos que na aprendizagem virtual as relaes sociais e as interaes devem estar presentes, bem como devem proporcion-las. Acreditamos que a modalidade a distncia precisa suportar eficientemente o mundo social, para que as interaes que ocorrem na esfera educacional no se percam na virtualidade. Consideramos que a triangulao comunicabilidade, sociabilidade e usabilidade proposta neste trabalho mostrou o quanto os profissionais da educao precisam estabelecer relaes interdisciplinares no desenvolvimento tecnolgico de sistemas do tipo AVA. Estes devem buscar criar espaos educativos que realmente favoream processos de ensino-aprendizagem inovadores, criativos, condizentes com as necessidades e heterogeneidades presentes no espao escolar, que com a modalidade a distncia ganha a virtual que tambm no pode ser desconsiderada.

5. Referncias Bibliogrficas
Baranauskas, M., Pereira, R.; Da Silva, S. (2010) Softwares Sociais: Uma viso orientada a valores. In: IHC. Cardoso, E. Silva, V., Rodrigues, A., Santos, L., Conte T. (2010) Impacto da Usabilidade na Educao a Distncia: Um Estudo de Caso no Moodle IFAM. In: IX Simpsio de Fatores Humanos em Sistemas Computacionais (IHC 2010), Belo Horizonte. Anais (IHC 2010). Porto Alegre: 2010. v. 1. p. 231-236. Ellis, R. (2009) Field Guide to Learning Management Systems, ASTD Learning Circuits, http://www.astd.org/NR/rdonlyres/12ECDB99-3B91-403E-9B157E597444645D/23395/LMS_fieldguide_20091.pdf. Acessado em: junho de 2011. Franciscato, F. Ribeiro, P., Mozzaquatro.P., Medina, R. (2008) Avaliao dos Ambientes Virtuais de Aprendizagem Moodle, TelEduc e Tidia: Ae: um estudo comparativo. Renote, Rio Grande do Sul, v. 6, n. 2, p.5-10, dez. Gomes, A. (2010) FAVIHC: Framework de AValiao da Interao HumanoComputador. 2009. 147 f. Tese (Mestrado) - Curso de Informtica Aplicada, Universidade de Fortaleza, Fortaleza, 2009. Disponvel em: luqs.unifor.br/wpcontent/uploads/2010/12/IHC-2010.pdf. Acesso em: agosto de 2011.Heusden, B., Jorna, R. (1996) Semiotics of the user-interface. Semitica, 3/4:237-250. Holanda, K. (2010) Um framework de elaborao de personas e sua aplicao para a elicitao de requisitos e para a anlise das interaes em sistemas sociais. Dissertao de mestrado. Universidade de Fortaleza. Laguardia, J., Portela, M., Vasconcellos, M. (2007) Avaliao em ambientes virtuais de aprendizagem. Educao e Pesquisa. So Paulo, p. 520-523. Piteira, M., Costa, C. (2006) Avaliao da Usabilidade Percebida: Plataforma de ELearning Moodle. Disponvel em: http://www.iadis.net/dl/Search_list_open.asp ?code=3531. Acesso em: julho 2011. Pruitt, J., Adlin T. (2003) Personas: Practice and theory. ACM. Seitzinger, J. (2010) Guia de ferramentas do Moodle. Disponvel em: http://www.catspyjamas.net/wp-content/uploads/2011/05/MoodleToolGuidefor Teachers__BrazPort.pdf. Acessado em: maio de 2011. de Souza, C. (2005) The Semiotic Engineering of Human-Computer Interaction. Cambridge. The MIT Press.