Você está na página 1de 9

A EXPERIÊNCIA DE USUÁRIO PORTADOR DE DEFICIÊNCIA COM INTERFACES GRÁFICAS DO ENSINO À DISTÂNCIA

USER EXPERIENCE WITH DISABILITIES CARRIER INTERFACE GRAPHICS FOR DISTANCE LEARNING

Janaina Ramos Marcos 1 , Marcelo Gitirana Gomes Ferreira 2

(1) Mestranda, Universidade do Estado de Santa Catarina e-mail: jana.ramosdesign@gmail.com

(2) Doutor, Universidade do Estado de Santa Catarina e-mail: marcelo.gitirana@gmail.com

Palavras-chave: acessibilidade, usabilidade, ensino à distância

Este trabalho apresenta resultados encontrados durante a avaliação de experiência de usuários com interface gráfica de um curso de extensão virtual. Para esta pesquisa, utilizou-se as ferramentas GOMS e QUIS para avaliar a eficácia e satisfação da interface atual do curso e a interface protótipo construída com recursos de acessibilidade.

Key-words: usability, accessibility, e-learning

This paper presents results obtained during the evaluation of user experience with graphical user interface of a virtual extension course. For this research, we used the tools GOMS and QUIS to evaluate the effectiveness and satisfaction with the current interface and the prototype interface built with accessibility features.

1. Introdução

A sociedade contemporânea vem sofrendo transformações tecnológicas e de comportamento ao longo deste último século. Consequentemente, a escola e o aprendizado também estão vivenciando – principalmente nestas últimas décadas – uma série de mudanças.

É o caso da Educação online, também chamado de ensino à distância ou EaD, que Batista (2008) caracteriza como a modalidade de educação em que o aprendizado se processa pela internet, pela possibilidade do encontro virtual. Azevedo (2007) acredita que esta modalidade de ensino acontece

através da interação entre as pessoas, podendo ser mediada pela tecnologia, sendo esta um meio e não um fim. Moran (2003) argumenta que nos próximos anos, a educação online será o foco central da aprendizagem. Apesar de que ainda existam os suportes tradicionais da EaD, Silva (2003) acredita que a tendência que atual da educação online é uma exigência da “cibercultura”, pelo fato de possuir estratégias que se desenvolvem paralelas ao ciberespaço. Assim, a educação online é uma demanda da sociedade da informação, desse contexto socioeconômico e tecnológico, cujo centro reside na informação digitalizada como novo modelo de produção.

Neste contexto o ensino à distância, também chamado de EaD, vem se apresentando como uma alternativa de aprendizagem também para pessoas portadoras de deficiência, uma vez que muitas escolas e universidades físicas ainda possuem dificuldades de acesso e de espaços. Segundo o censo demográfico do IBGE de 2010, 23,9% da população brasileira declarou possuir algum tipo de deficiência (visual, motora, intelectual ou auditiva). A lei de acessibilidade do governo brasileiro declara que deve haver condição para utilização, com segurança e autonomia, total ou assistida, dos espaços, mobiliários e equipamentos urbanos, das edificações, dos serviços de transporte e dos dispositivos, sistemas e meios de comunicação e informação, por pessoa portadora de deficiência ou com mobilidade reduzida. (BRASIL, 2004)

No país, ainda de acordo com o IBGE, do total de pessoas com deficiência, na faixa de 15 a 64 anos, 20,4% se declara com deficiência visual e 4,2% com deficiência auditiva.

Mas a realidade, o que se percebe é que muitos materiais, cursos e interfaces gráficas utilizadas no ensino à distância não atendem à necessidades básicas de acesso ao conteúdo por pessoas portadoras de deficiência, sobretudo as deficiências visual e auditiva. O objeto deste trabalho é relatar os resultados da experiência de usuário encontrados durante a aplicação de um teste de usabilidade com pessoas portadoras de deficiência visual e auditiva, designers e alunos que se defrontaram com a interface atual proposta pelos professores do curso e uma interface protótipo, construída com requisitos de acessibilidade digital.

2. Acessibilidade e design centrado no usuário

A acessibilidade, segundo Dias (2007) é a capacidade de um produto ser flexível o suficiente para que possa atender às necessidades e preferências de um maior número possível de pessoas, devendo ser compatível com dispositivos de tecnologia assistivas para que possa ser usado por pessoas com necessidades especiais. Significa que qualquer pessoa, usando qualquer tipo de tecnologia de navegação (navegadores gráficos, textuais, especiais para cegos ou para sistemas de comunicação móvel) deve ser capaz de visitar e interagir com qualquer site, compreendendo inteiramente as informações nele apresentadas.

Nielsen (2000) argumenta que além da obediência à lei e da mera humanidade, existem razões comerciais incontestáveis para que design de páginas para internet sejam acessíveis a portadores de deficiências. Na maioria das vezes, os usuários deficientes tornam-se clientes fiéis à marca, quando esta lhes oferecem bom atendimento e satisfação de suas necessidades especiais.

Aliado aos fundamentos de acessibilidade, o conceito de usabilidade, também chamado de design centrado no usuário ou experiência de usuário (user experience - UX), surge como uma outra ferramenta para auxiliar designers a projetar para diferentes grupos de pessoas, com diferentes tipos de necessidades. O design centrado no usuário é caracterizado pela participação ativa dos usuários, abrangendo uma compreensão clara das exigências da tarefa e a alocação apropriada de funções entre usuários e tecnologia. (RUBIN,

2008)

Dias (2007) ainda cita que o conceito de usabilidade evoluiu, incluindo as necessidades do usuário e definindo características Funcionalidade:

capacidade do software de prover funções que atendam a necessidades expressas e implícitas, quando usado nas condições especificadas; confiabilidade: capacidade do software de manter seu nível de desempenho, quando usado nas condições especificadas; eficiência: capacidade do software de operar no nível de desempenho requerido, em relação à quantidade de recursos empregados, quando usado nas condições especificadas; possibilidade de manutenção:

capacidade do software de ser modificado; portabilidade: capacidade do software de ser transferido de um ambiente a outro.

Figura 1 – esquema do conceito de usabilidade

Figura 1 – esquema do conceito de usabilidade Fonte: (DIAS, 2007, p. 27) Descrevendo o gráfico

Fonte: (DIAS, 2007, p. 27)

Descrevendo o gráfico apresentado, tem-se os seguintes conceitos:

Usuário - sujeito que utiliza o produto;

Contexto de uso – usuários, tarefas, equipamentos (hardware, software e materiais), ambiente físico e social em que o produto é usado;

Eficácia – precisão e completeza que os usuários atingem com objetivos específicos, acessando a informação correta ou gerando os resultados esperados;

Eficiência - precisão e completeza com que os usuários atingem seus objetivos em relação à quantidade de recursos gastos. Definida quantitativamente por tempo de resposta, tempo total para realizar uma tarefa, ou quantidade de erros;

Satisfação – conforto e aceitabilidade do produto, medidos por meio de métodos subjetivos e/ou objetivos. As medidas objetivas de satisfação podem se basear na observação do comportamento do usuário ou no monitoramento de suas respostas fisiológicas. As medidas subjetivas são produzidas pela quantificação das reações, atitudes e opiniões expressas subjetivamente pelos usuários. (DIAS,

2007)

Para aplicação de testes de usabilidade em pessoas portadoras de deficiências ou idosos, deve-se atentar para os seguintes itens, de acordo com Dumas, Loring (2008);

Tratar cada participante como um indivíduo único;

Pedir feedback – questionar durante o teste se os participantes gostariam de dar alguma sugestão.

Perguntar antes de ajudar - respeitar os desejos dos usuários e auxiliares;

Saber mais sobre a população – Obter informações sobre os grupos a serem pesquisados.

Fazer instruções e explicações simples e claras - os participantes podem ter dificuldade em perceber ou compreender o que está sendo pedido a eles.

Considerar a capacidade de lidar com o pensamento em voz alta concorrente - pode ser mais eficaz para os participantes pensarem em voz alta,

Esperar que tarefas levem mais tempo e outras tenham sessões mais curtas – adicionar um tempo extra de 25%

Providenciar pausas adequadas - Alguns precisam de pausas frequentes para o manter a atenção, outros podem ter problemas de saúde que requerem pausas freqüentes para o banheiro. É comum uma pausa a cada 15 minutos.

Se referir a pessoas e suas habilidades e deficiências de uma forma respeitosa

Monitorar os sentimentos - O importante é tomar decisões conscientemente, em vez de inconscientemente.

3. Métodos e experimentação

Com base nos objetivos da pesquisa, ela adquiriu um caráter exploratório, onde pretende-se empregar os conceitos e métodos de avaliação de usabilidade. Já com base nos procedimentos técnicos que serão empregados para chegar ao objetivo de pesquisa, terão o caráter experimental, uma vez que haverá uma avaliação de experiência de usuário utilizando a interface do curso de extensão atual e um protótipo do mesmo curso, agora com recursos de acessibilidade digital.

O objeto de estudo deste trabalho é a interface do curso de extensão virtual, promovido pelo centro de ensino à distância, onde foram postados conteúdos e objetos de aprendizagem referentes ao contexto da deficiência física no ambiente escolar. As figuras abaixo apresentam a interface principal deste curso.

Fonte: arquivo pessoal

A interface protótipo foi construída fundamentada nos conceitos de usabilidade e acessibilidade proposto por Dias (2007) e procurou-se buscar as ferramentas mais simples que podem ser usados por professores que necessitarem acrescentar em seus materiais as recomendações presentes neste modelo. As figuras abaixo apresentam a interface protótipo que foi construída.

Figura 5 – Interface B1 – página principal

 Se referir a pessoas e suas habilidades e deficiências de uma forma respeitosa  Monitorar

Fonte: arquivo pessoal

Figura 2 – Interface A1 – página principal

 Se referir a pessoas e suas habilidades e deficiências de uma forma respeitosa  Monitorar

Fonte: arquivo pessoal

Figura 3 – Interface A3 do curso – vídeo de abertura

 Se referir a pessoas e suas habilidades e deficiências de uma forma respeitosa  Monitorar

Na página principal da IB foram inseridos textos com orientações para pessoas com deficiência auditiva ou visual, uma lista de palavras-chavee teclas de atalho, além de mais duas opções de acessar este texto, em versão PDF e versao DOC.

Figura 6 – Interface B1 – vídeo de abertura do curso

 Se referir a pessoas e suas habilidades e deficiências de uma forma respeitosa  Monitorar

Fonte: arquivo pessoal

A alteração no vídeo de abertura incluiu a tradução para LIBRAS e a inserção de legendas descritivas, auxiliando a compreensão da mensagem do vídeo.

Ambos modelos estão alocados no ambiente virtual de aprendizagem MOODLE®. A pesquisa não tratará de questões de usabilidade e acessibilidade

deste AVA, somente dos objetos educacionais

deste artigo

.

utilizados como recursos de aprendizagem pelos professores e tutores do curso.

Cada voluntário participou de uma reunião virtual,

Foi analisado um grupo de usuários de acordo com o princípio da amostra por conveniência. Esta abordagem, que é muito comum é estudos de usabilidade, inclui qualquer pessoa disposta a participar de um estudo. Localizando participantes destas amostras pode ser feito através de um anúncio ou usando uma lista de pessoas. É importante saber o quão bem uma amostra de conveniência reflete a população alvo e estar ciente de quaisquer preconceitos especiais podem ser refletidos nos comentários ou dados. (TULLIS; ALBERT, 2008)

com duração média de 25 a 60 minutos, onde eram apresentados os objetivos do teste e aplicado o questionário GOMS. Ao final das 12 tarefas, foi enviando um link para o voluntário onde ele respondia ao questionário de satisfação QUIS. O QUIS abrange aspectos da interface (legibilidade, layout, ícones, apresentação das telas na realização das tarefas e terminologia adequada). Cada voluntário se submeteu a dois testes iguais, um para avaliar a Interface atual oferecida no curso, aqui chamada de Interface A, e outro, igual ao primeiro, agora para avaliar o protótipo acessível, chamado de Interface B.

O grupo foi dividido em 4 categorias, distribuídos em designers, aqui representando os especialistas em usabilidade, alunos que frequentaram o curso oferecido anteriormente, deficientes auditivos, e deficientes visuais. Os critérios de inclusão empregados foram ser usuários de redes sociais e tecnologias da informação e comunicação, maiores de 18 anos e terem disponibilidade de acesso a câmera e microfone no computador onde seria realizado o teste. Utilizando as redes sociais, entidades de classe e o campos da UDESC, o total de voluntários chegou a 12 pessoas, sendo excluídos participantes de acordo com os critérios apresentados.

Para esta pesquisa, utilizou-se as ferramentas GOMS e QUIS, instrumentos para avaliação da eficácia, eficiência e satisfação do usuário com interfaces digitais. O GOMS (Goals, Operators, Methods and Selections rules – proposto por Card, Moran e Newell, (1983) e citado em Cybis; Betiol; Faust (2010). Este modelo tem o objetivo de verificar o tempo das ações físicas e cognitivas associadas à forma correta de realização de uma tarefa.

Para aplicação do questionário na pesquisa, foi elaborado uma lista de 12 perguntas, com objetivo de medir o tempo de resposta da tarefa e os erros que foram encontrados em cada tarefa.

Uma adaptação do QUIS (questionnaire for user interface satisfaction), citado por (DIAS, 2007)

será utilizado com o objetivo de verificar a satisfação do usuário de cada grupo com as

interfaces apresentadas.

Os modelos dos

 

questionários constam em links nas referências

4. Resultados encontrados

Os voluntários foram distribuídos em 4 categorias, deficiente auditivo, deficiente visual, aluno do curso e designers. A distribuição percentual dos 9 voluntários pode ser avaliada conforme o gráfico 1.

Gráfico 1 – distribuição dos voluntários por categorias

deste AVA, somente dos objetos educacionais deste artigo . utilizados como recursos de aprendizagem pelos professores

Fonte: arquivo pessoal

Durante a avaliação GOMS os voluntários podiam verbalizar suas ações, comentando suas experiências tanto com a interface A, quanto para a interface B. Os resultados encontrados nesta avaliação sugeriram 5 tarefas críticas, onde ocorreram erros, dúvidas ou sugestões. As três tarefas críticas principais, que envolveram o conteúdo analisado, podem ser observados nos gráficos abaixo.

Gráfico 2 –Comparativo tempo / categoria voluntário - tarefa crítica 4

Fonte: arquivo pessoal O gráfico comparativo demonstra que o tempo de acesso dos voluntários à interface

Fonte: arquivo pessoal

O gráfico comparativo demonstra que o tempo de acesso dos voluntários à interface B foi maior do que na interface A. Isto se deve ao fato de que esta tarefa era a de ler as informações de acessibilidade presente na IB para auxiliar os portadores de deficiência auditiva e visual. Lendo estas mensagens, o usuário leva menos tempo em outras tarefas, uma vez que estava orientado para a utilização da interface.

A análise dos dados também resultou em um comparativo da tarefa crítica 9 que consistia em solicitar ao usuário que assistisse ao recurso de vídeo de abertura do curso, onde as professoras se apresentam aos alunos. Na interface A, este vídeo é colocado em forma de um link para outra página, sem recurso de legenda, tradução para LIBRAS e recurso de áudio para deficientes visuais. Na interface B, este vídeo e sugerido em forma de áudio, com tradução e legendas. O Gráfico 3 analisa os resultados encontrados durante a aplicação do GOMS com os voluntários da pesquisa.

Gráfico 3 –Comparativo tempo / categoria voluntário - tarefa crítica 9

Fonte: arquivo pessoal O gráfico comparativo demonstra que o tempo de acesso dos voluntários à interface

Fonte: arquivo pessoal

Neste gráfico nota-se também que o tempo de interação nesta tarefa com a interface B por alguns voluntários foi maior em comparação à interface. Isso se deve ao fato de que este vídeo na IB possui 3 tipos de recursos, dando opção aos usuários e alguns solicitaram assistir ao vídeo completo.

Uma outra análise que pode ser realizada na aplicação deste instrumento se refere à quantidade de erros encontrados. Estes erros foram distribuídos em erros de conteúdo e erros do MOODLE®. Os erros de conteúdo são aqueles provocados pela interação com o conteúdo postados pelos professores e os erros do MOODLE® são aqueles provocados pelo ambiente virtual de aprendizagem. O gráfico 4 demonstra os resultados encontrados.

Gráfico 4 –Comparativo erros por interface

Fonte: arquivo pessoal O gráfico comparativo demonstra que o tempo de acesso dos voluntários à interface

Fonte: arquivo pessoal

O número de erros de conteúdo encontrados na interface B diminuiu em relação a interface A e os erros do AVA também diminuiu mas isso se deve ao fato de que os usuários interagiram primeiro com a intreface A, minimizando os erros quando defrontados com a interface B.

Em relação à aplicação do QUIS, que revela o nível de satisfação dos usuários com ambas interfaces geraram respostas importantes, as duas principais apotam para uma signifiativa melhora na condição de acessibilidade da Interface B. Os gráficos 5 e 6 apresentam os resultados.

Gráfico 5 –Comparativo satisfacação usuários por interface – Pergunta 11 - Usuários regulares, ocasionais, “normais” ou com deficiência podem usar com facilidade?

Fonte: arquivo pessoal O dado mais expressivo revelado por este gráfico aponta que 22% dos voluntários

Fonte: arquivo pessoal

O dado mais expressivo revelado por este gráfico aponta que 22% dos voluntários concorda que usuários regulares possam usar com facilidade a IA ao passo que na IB este número saltou para 56%.

Outra informação relevante extraída das avaliações QUIS demonstra no gráfico 6 os indíces de rejeição dos usuários com as duas interfaces.

Gráfico 6 – Satisfação usuário pergunta 19 - Recomendaria o uso a um amigo com deficiência?

Fonte: arquivo pessoal O dado mais expressivo revelado por este gráfico aponta que 22% dos voluntários

Fonte: arquivo pessoal

Segundo os dados, quando perguntado aos voluntários se recomendariam a um amigo com deficiência, 22% não recomendariam a interface A e na interface B este número foi zerado. Outra informação é que 44% recomendariam o uso da IB e com a IA este número é de 33%.

Os voluntários também foram solicitados que citassem 3 pontos negativos e 3 pontos positivos que consideraram nas interfaces. As respostas geraram recomendações de acessibilidade que podem ser utilizadas por professores não somente

de cursos superiores mas também por professores de séries iniciais. As principais recomendações são:

Prever documentos e textos com alto contraste para pessoas com baixa visão;

Definir teclas de atalho nos players de áudio e vídeo para acesso de deficiente visuais;

Legendar todas as imagens e tabelas dos documentos;

Oferecer duas opções de documentos (PDF e Word®)

Escrever textos com fontes sem serifas e tamanho mínimo 16pts.

Construir opção de documentos escritos para alfabetizados em LIBRAS;

Aumentar volume de áudio e vídeo;

Filmar pessoas em close para oferecer opção de leitura labial;

Proporcionar tutoriais e glossários;

Evitar o percurso de deficientes visuais para muitas páginas;

Iniciar o ambiente com as informações de acessibilidade em 3 formatos e dois tipos. (LIBRAS, alto constraste, normal word e pdf)

Analisando os principais dados coletados e confrontando com a hipótese da pesquisa, de que é possível melhorar o acesso de pessoas com deficiência ao ensino, estes demonstram que a hipótese pode ser corroborada nos seguintes termos:

Apontou para uma melhora do acesso de deficientes visuais com a inclusão das orientações, instruções vídeos e áudio na mesma página do curso, evitando grandes percursos;

Demonstrou que pode auxiliar na compreensão das mensagens pelos

deficientes auditivos com a inclusão da LIBRAS e legendas;

Sugeriu uma pequena contribuição para a conscientização dos designers acerca da questão da inclusão digital e do desenvolvimento de projetos com acessibilidade;

Sinalizou aos alunos do curso, em sua maioria professores de alunos com deficiência, de que é possível adotar as recomendações propostas em seus objetos de aprendizagem.

O design de sites acessíveis é relativamente fácil; portanto, ir atrás desse grupo de clientes, que só tende a crescer cada vez mais com o envelhecimento da população, faz muito sentido.

5. Referências Bibliográficas

BATISTA, Márcia Luiza França da Silva; MENEZES, Marizilda dos Santos. O Design Gráfico e o Design Instrucional na Educação a Distância. Disponível em:

<http://portal.anhembi.br/sbds/pdf/7.pdf> Acesso em: 08 mar.2012.

BETTIO, R. W. and MARTINS, A., 2004. Objetos de aprendizado: um novo modelo direcionado ao ensino a distância. [online] Available at:

<http://bit.ly/IVkFuZ > Acesso em: 31 mai. 2012.

BRASIL. NOTA TÉCNICA Nº 21 / 2012 / MEC / SECADI /DPEE [Orientações para descrição de imagem na geração de material digital acessível – Mecdaisy]. 2012. Disponível em:

<http://www.jusbrasil.com.br/legislacao/97181/dec

reto-5296-04> Acesso em: 31 mai. 2012.

BRASIL. Decreto nº. 5.296. [Lei da Acessibilidade]. 2004. Disponível em: < http://bit.ly/VCuTKo > Acesso em: 07 nov. 2012.

CYBIS, Walter Otto; BETIOL, Adriana Holtz; FAUST, Richard. Ergonomia e usabilidade:

conhecimentos, métodos e aplicações. 2. ed. rev. e ampl. São Paulo: Novatec, 2010. 422 p.

DIAS, Cláudia. Usabilidade na WEB: criando portais mais acessiveis. 2. ed. Rio de Janeiro: Alta

Books, 2003. 296 p.

DUMAS, Joseph S.; LORING, Beth A. Moderating usability tests: principles and practice for interacting . Amsterdam: Elsevier, 2008. 185 p.

GOMS (Goals, Operators, Methods and Selections rules. Disponível em: < https://docs.google.com/spreadsheet/viewform?

6MQ#gid=0 > Acesso em 14.dezembro.2012

MORAN, José Manuel. Contribuições para uma pedagogia da educação online. In: SILVA, Marcos.(Org). Educação Online: teorias, práticas, legislação, formação corporativa. São Paulo:

Loyola, pp. 39-50.

QUIS (questionnaire for user interface satisfaction) Disponível em: < https://docs.google.com/spreadsheet/viewform?

1N2c6MA#gid=0 > Acesso em 14.dezembro.2012

ELLIS, C. A., 2009. PRINCIPLES OF UNIVERSAL DESIGN IN THE CLASSROOM: a

guideline for communication, teaching, and learning. Disponível em: < http://www.periodicos.udesc.br/index.php/linhas/ar ticle/viewFile/1880/1471 > Acesso em: 31 mai.

2012.

FILATRO, Andrea. Design Instrucional na Prática. SP: Pearson, 2008.173 p.

GOMES FILHO, João. Ergonomia do objeto:

sistema técnico de leitura ergônomica. 2. ed rev. e ampl. São Paulo: Escrituras, 2010. 269 p.

IIDA, Itiro. Ergonomia: projeto e produção. 2. ed. rev. e ampl. São Paulo: E. Blucher, 2005. 614 p.

KALATZIS, Adriana Casale; BELHOT, Renato Vairo. Estilos de aprendizagem e educação a distância: perspectivas e contribuições. Disponível em: <

http://www.simpep.feb.unesp.br/anais/anais_13/arti

gos/600.pdf > Acesso em: 26. junho.2012

King-Sears, M. (2009). Universal design for learning: Technology and pedagogy. Learning Disability Quarterly, 32, 199-201.

KOLB, D. A. Experimental learning: Experience

as the source of learning and development.Prentice-Hall, Englewood Cliffs, New Jersey, 1984

LITTO, F. M. (coord.), 2008. Censo EaD.BR – Relatório Analítico da Aprendizagem à Distância no Brasil. Disponível em: <

http://www.abed.org.br/censoead/CensoEaDbr0809

Handbook of Usability Testing. How to Plan, Design, and Conduct Effective Tests. ed. 2008. Indianápolis: Wiley Publishing, pp.386

SILVA, M.(Org.), 2003. Educação Online: teorias, práticas, legislação, formação corporativa. São Paulo: Loyola, pp. 514.

_portugues.pdf > Acesso em: 31 mai. 2012.

STRUNCK, G.,2001. Viver de design. ed.2007. Rio de Janeiro: 2AB, pp.148

MARCONI, Marina de Andrade; LAKATOS, Eva Maria. Fundamentos de metodologia científica. 7. ed. São Paulo: Atlas, 2003. 297 p.

TORRES, E. F. and MAZZONI, A. A., 2004. Conteúdos digitais multimídia: o foco na

TULLIS, Tom; ALBERT, Bill. Measuring the user

MORAN, José Manuel. Contribuições para uma pedagogia da educação online. In: SILVA, Marcos.(Org). Educação Online: teorias, práticas, legislação, formação corporativa. São Paulo:

Loyola, pp. 39-50.

usabilidade e acessibilidade. Available at: < http://www.scielo.br/pdf/ci/v33n2/a16v33n2 > [Accessed 03 May 2012].

experience: collecting, analyzing, and presenting

NETO, Pedro L. C. Estatística. Ed. Blucher Ltda, 1977. Disponível em:

usability metrics. Boston, MA: Morgan Kaufmann, c2008. 317 p.

<http://www.dcce.ibilce.unesp.br/~adriana/engali/F ormasdeamostragem.pdf> Acesso em: 08 mar.2012

VAHL Jr, J.C. Uso de Agentes de Interface para Adequação de Bate-Papos ao Contexto de

WILEY, D. A., 2000. The instructional use of

QUIS. Questionnaire for User Interface Satisfaction. Disponível em < http://hcibib.org/perlman/question.cgi > Acesso em: 08 mar.2012

Educação à Distância. Dissertação (Mestrado) -Instituto de Computação, Universidade Estadual de Campinas, Campinas,2003.

learning objects. Available at:

QUIS. Questionnaire for User Interface

SANCHEZ, Fábio (Coord). Anuário Brasileiro

<http://www.abraead.com.br/anuario/anuario_2008

< http://reusability.org/read/ > [Accessed 26 April

Satisfaction. Disponível em <

2012].

http://lap.umd.edu/quis/ > Acesso em: 08 mar.2012

Estatístico de Educação Aberta e a Distância. 4. ed.

Agradecimentos

São Paulo: Instituto Monitor, 2008. Disponível em:

Às professoras Luciana D. Lopes e Geisa Bock, à

.pdf > Acesso em: 08 mar.2012

Marcos Luchi, ao Centro de Ensino à distância da

RUBIN, J. and CHISNELL, Dana, 2008.

UDESC e a todos os voluntários que colaboraram com a pesquisa