Apontamentos sobre a usabilidade do sistema Moodle

aplicado ao Ensino a Distância na Universidade Federal de

São Carlos
Francisco Eduardo do Nascimento, Marcelo Lemos Correia, Priscila Valneiros Kitamura,
Tatiana Silva de Alencar, Junia Coutinho Anacleto
Departamento de Computação, Universidade Federal de São Carlos
13565-905, São Carlos, SP, Brasil
{marcelo.correia, tatiana.alencar}@uab.ufscar.br, {edubrian, priscila.kitamura}@gmail.com,
junia@dc.ufscar.br
ABSTRACT “vida familiar, na convivência humana, no trabalho, nas
With the growth of the internet use for education, the virtual instituições de ensino e pesquisa, nos movimentos sociais e
learning environments came up, among them Moodle, to organizações da sociedade civil e nas manifestações
support inherent in the educational process activities in the culturais” [4]. Desse modo, compreende-se que a educação
virtual universe. In parallel, issues related to the é um processo interiorizado em cada indivíduo e, portanto,
accessibility and usability of such environments arose. In não pode ocorrer a distância, pois “tanto a educação como a
this paper we apply to the Moodle environment the aprendizagem (com a qual a educação está conceitualmente
following usability evaluation methods: Heuristic vinculada) acontecem onde quer que esteja o indivíduo que
Evaluation and Usability Testing using questionnaires. We está se educando ou aprendendo (...)” [6].
found that the obtained results are consistent with the Entretanto, diferente da educação, percebe-se que o ensino
reality, which shows that the Moodle environment is good pode ocorrer a distância por meio de livros, rádio, televisão
in the usability aspect, because it satisfies user's needs, e, mais recentemente, da Internet, pois ensinar é transmitir
being user-friendly and intuitive. para outra pessoa aquilo que ela não seria capaz de
RESUMO aprender sozinha [9]. Nesse caso, o ensinador (professor)
Com o crescimento do uso da Internet na educação, pode estar distante (no tempo e no espaço) dos seus
surgiram os ambientes virtuais de aprendizagem, dentre eles ensinandos (alunos), desde que coexistam os meios
o Moodle, para suportar as atividades inerentes ao processo tecnológicos para suportar esse processo. Portanto, neste
educativo no universo virtual. Em paralelo, surgiram trabalho, optou-se pela terminologia Ensino a Distância -
questões relacionadas à acessibilidade e usabilidade de tais EaD, ou seja, uma modalidade de ensino que ocorre
ambientes. Neste trabalho, aplicamos ao Moodle os mediada pela tecnologia e sempre com a participação de
seguintes métodos de avaliação de usabilidade: Avaliação alguém que ensina e outrem que aprende.
Heurística e Teste de Usabilidade com aplicação de O uso de novas tecnologias na educação tem crescido
questionários. Verificamos que os resultados obtidos sobremaneira nas últimas décadas, essencialmente devido
condizem com a realidade, mostrando que o Moodle tem ao advento do computador e, posteriormente, da Internet.
boa usabilidade, pois satisfaz as necessidades dos usuários, Entretanto, segundo Kenski “a maioria das tecnologias é
sendo de fácil utilização para estes e intuitivo. utilizada como auxiliar no processo educativo. Não são nem
Palavras-chave o objeto, nem a sua substância, nem a sua finalidade” [10].
Moodle, Avaliação Heurística, Teste de Usabilidade, De qualquer modo, é preciso dominar essas tecnologias e
SUMI, QUIS garantir que elas tenham qualidade para que haja um
diferencial no processo educativo. No caso do Ensino a
1. INTRODUÇÃO Distância, esse cuidado deve ser ainda maior devido “as
Educação é um termo abrangente e polissêmico, porém foi dificuldades inerentes da distância física entre professor e
sintetizado pela Lei de Diretrizes e Bases como sendo o aluno [que] aumentam a necessidade de professores
processo de formação do indivíduo em sociedade, em sua preparados para a edição de cursos bem planejados,
xx b ambientes computacionais com recursos adequados e fáceis
de serem utilizados (...)” [2].
Nesse sentido, para suportar as atividades inerentes ao
processo de ensino que ocorre no universo virtual, surgiram
os Ambientes Virtuais de Aprendizagem - AVA que são
“sistemas computacionais disponíveis na internet (...)
[destinados a] integrar múltiplas mídias, linguagens e
recursos, apresentar informações de maneira organizada,
desenvolver interações entre pessoas e objetos de
conhecimento, elaborar e socializar produções (...)” [1].
Dentre os vários sistemas disponíveis na atualidade,
destaca-se o Moodle - Modular Object-Oriented Dynamic
Learning Environment, o qual foi amplamente adotado pelo
programa Universidade Aberta do Brasil - UAB que
oferece cursos de nível superior a distância com o intuito de
aumentar o acesso à formação universitária da população
mais carente no Brasil. Para que esse objetivo seja atingido,
entretanto, torna-se necessário universalizar o “acesso ao
computador conectado à Internet, bem como, ao domínio da
linguagem básica para manuseá-lo com autonomia” [8]. É
somente a partir desse pressuposto, ou seja, da inclusão
digital, que se pode pensar o tema deste trabalho e
contribuir para essa discussão.
2. ESTUDO DE CASO
O presente artigo é uma análise do sistema (Moodle)
implantado na Universidade Federal de São Carlos -
UFSCar para atender a demanda da UAB. A análise
consistiu na aplicação de técnicas heurísticas e na avaliação
de usabilidade. Para tanto, foram selecionados três usuários
aprendizes, um usuário tutor e quatro usuários avaliadores
para um experimento no ambiente de aprendizagem que
será chamado Moodle-UAB/UFSCar.
Os aprendizes e o tutor participaram do desenvolvimento de
uma disciplina fictícia criada apenas para a realização do
experimento. A intenção era proporcionar aos usuários um
contato com as diversas ferramentas disponíveis no
Moodle. Além disso, esses usuários preencheram
questionários antes e depois de realizar as atividades no
sistema. Tais questionários foram analisados e uma
Avaliação Heurística buscou falhas no Moodle.
Posteriormente, todos os resultados foram tabulados em
conjunto com a descrição dos problemas encontrados e das
medidas de satisfação dos usuários em relação ao ambiente.
3. JUSTIFICATIVA PARA A ESCOLHA DOS MÉTODOS
DE AVALIAÇÃO UTILIZADOS
Determinou-se que as avaliações deveriam “avaliar a
funcionalidade do sistema, avaliar o efeito da interface
junto ao usuário e identificar problemas específicos do
sistema” [15]. Pensando nestes objetivos, dois métodos
foram escolhidos para a avaliação do sistema Moodle. Em
um deles, a avaliação foi realizada com a presença dos
usuários e no outro, os avaliadores inspecionaram a
interface [2]:
1. Método empírico: Teste de Usabilidade e a
aplicação dos questionários Questionnaire for User
Interaction Satisfaction - QUIS e Software
Usability Measurement Inventory – SUMI.
2. Método analítico: Avaliação Heurística.
Devido à experiência técnica da equipe de avaliadores com
o sistema Moodle, a Avaliação Heurística foi eleita como
um dos métodos. Todos os avaliadores possuem
conhecimento e prática no sistema e já aplicaram a
Avaliação Heurística em um sistema hipotético durante a
disciplina de Interação Humano Computador - IHC
oferecida durante o curso de Sistemas de Informação da
UFSCar. E como os métodos de avaliação empírico e
analítico são complementares [12], o Teste de Usabilidade
e os questionários SUMI e QUIS foram escolhidos para
detectar os problemas que por ventura não tenham sido
observados durante a Avaliação Heurística.
4. APLICAÇÃO DOS MÉTODOS DE AVALIAÇÃO
4.1 Avaliação Heurística
A aplicação da Avaliação Heurística foi realizada sobre a
solução Moodle-UAB/UFSCar utilizada pelos alunos dos
cursos na modalidade EaD da UFSCar. Para essa avaliação,
o grupo de quatro avaliadores (formado pelos autores deste
trabalho) tomaram como base as dez heurísticas de Jakob
Nielsen [13] e para cada heurística violada, foi definido um
grau de severidade de acordo com a Tabela 1.
Tabela 1. Descrição de cada grau de severidade
Severidade Descrição
Irrelevante - Problema encontrado não é um
0
problema de usabilidade.
Simples - Problema cosmético: precisa ser
1 corrigido somente se houver tempo
disponível.
Médio - Problema de usabilidade pequeno:
2 esse problema possui baixa severidade para
ser solucionado.
Grave - Problema de usabilidade grande:
3 importante solucionar o problema (alta
prioridade).
Catastrófico - Catástrofe de usabilidade:
imperativo solucionar esse problema antes
4
que o produto seja liberado para a
comercialização.
As dez heurísticas propostas por Jakob Nielsen:
1. Visibilidade do status do sistema;
2. correspondência entre o sistema e o mundo real;
3. controle do usuário e liberdade;
4. consistência e padrões;
5. prevenção de erros;
6. reconhecimento ao invés re relembrança;
7. flexibilidade e eficiência de uso;
8. estética e design minimalista;
 9. ajudar os usuários a reconhecer, diagnosticar e
corrigir erros;
10. help e documentação.
A Avaliação Heurística levou em consideração a interface
do Moodle-UAB/UFSCar utilizada pelos alunos. Os
avaliadores percorreram a interface do Moodle-
UAB/UFSCar no mínimo duas vezes e cada um realizou a
sua inspeção individualmente, sendo que ao final das
avaliações todos os resultados foram consolidados. Na
Tabela 2 pode ser observada a quantidade de problemas
encontrados em cada uma das categorias de severidade
apresentadas e os percentuais que esses problemas
representam em relação ao total de problemas identificados
pelos avaliadores.
Tabela 2. Severidade e percentual de severidade dos
problemas encontrados nas Avaliações Heurísticas
Severidade 0 1 2 3 4 8.
Quantidade 0 5 9 6 0
Porcentagem 0% 25% 45% 30% 0%
Abaixo estão listados os vinte problemas encontrados junto
às suas respectivas severidades.
Severidade 1:
1. O projeto navegacional do Moodle retarda e por
vezes dificulta a busca de informações devido ao
grande número de cliques necessários à
consecução de um determinado objetivo. Nesse
sentido, acrescenta-se não existir conteúdo de
ajuda sobre a utilização dos recursos disponíveis
no sistema;
2. Não existe um módulo de acompanhamento do
cumprimento das atividades, tampouco uma opção
de indicadores e metas para as tarefas nas
disciplinas. E também não existe um painel
(Dashboard) ou Balanced ScoreCard – BSC de
fácil visualização para o acompanhamento das
disciplinas no curso. Portanto, o status de entrega é
sempre binário (sim/não) e sequer apresenta uma
porcentagem de envio das atividades (upload de
arquivos);
3. No caso de questionários com diversas páginas, é
possível ao respondente interromper a sua
execução a qualquer tempo e retornar a sua
execução posteriormente, porém, não é possível
apagar todas as respostas que foram preenchidas;
4. Em muitos casos a quantidade de elementos nos
ambientes das disciplinas é excessiva e confunde
sobremaneira o usuário para a consecução dos
seus objetivos;
5. O sistema possui diferentes maneiras para realizar
um mesmo trabalho, recaindo no campo das
ambigüidades e redundâncias. Por exemplo, na aba
que está presente no canto inferior direito da
página principal do sistema aparecem dois links
apontando para “O que é o My Moodle” e ambos
levam à mesma página;
Severidade 2:
6. Eventos que estão com prazo de entrega final
próximo não ficam destacados dos demais nas
páginas das disciplinas. Destarte, o Moodle
sempre informa quando uma ação foi concluída,
porém não informa qual o seu status de
conclusão;
7. Os atalhos originais do Moodle que se encontram
ao final das páginas têm comentários de ajuda em
inglês. Além disso, algumas páginas são
apresentadas nesta língua; muitos termos não
foram traduzidos do inglês para o português, como
na barra de ferramentas do rodapé da página;
Existe uma série de termos confusos que
dependem da memorização dos comandos e das
páginas. Por exemplo, as opções “Mostrar todos os
cursos” e “Todos os cursos” aparentemente
executam a mesma coisa, porém, realizam funções
diferentes;
9. O sistema apresenta mais de um caminho para
chegar ao mesmo local, e como pode ser
customizado/padronizado de diversas formas, isso
abre espaço para a redundância e a replicação de
conteúdos;
10. As disciplinas são encerradas antes que todas as
atividades terminem, pois o sistema não reconhece
que há atividades pendentes na disciplina. Desse
modo, a disciplina fica oculta para o usuário,
dificultando a usabilidade do sistema;
11. Para a publicação em um fórum, são necessários
mais de três cliques a partir da página inicial: (1)
acesso ao ambiente da disciplina; (2) acesso à
unidade; (3) acesso ao fórum; (4) acesso ao tópico;
(5) clique no botão “Responder”;
12. Os cursos apresentados na página inicial não têm
critério de organização (nem alfabética ou por
frequência de uso) e nem existe a possibilidade de
personalização pelo usuário do sistema;
13. Há muita informação desnecessária num mesmo
bloco e isso atrapalha e confunde o usuário. Por
exemplo, na página inicial do Moodle, são
carregados os nomes e as imagens dos usuários
que estiveram online recentemente e isso prejudica
a navegação em conexões mais lentas;
14. Algumas mensagens de erro do Moodle são pouco
amigáveis como, por exemplo, em caso de tráfego
excessivo de dados, o Moodle exibe uma
mensagem de erro bastante técnica;
Severidade 3: que estão com prazo final próximo poderiam ser destacados
15. O usuário não consegue desfazer diversas ações. dos demais nas páginas das disciplinas.
No caso de envio de arquivos por engano, é
Tabela 3. Problemas e suas respectivas heurísticas violadas
possível substituí-lo, porém, não é possível
remover o arquivo anterior. Caso o usuário cometa Heurística
outros erros, não será possível desfazê-los na violada 1 2 3 4 5 6 7 8 9 10
maioria dos casos; Problema
16. Embora seja portável, apresenta-se com perda de 1 x
recursos em determinados navegadores; 2 x
17. Não há qualquer informação sobre ações 3 x
incorretas. São exibidas apenas mensagens para 4 x
alertar sobre o início e o término das tentativas em
questionários, mas não há mensagens de aviso ao 5 x
enviar arquivos ou participar de enquetes. 6 x
Atividades que não permitem reenvio, como a 7 x
maioria das provas presenciais, não possuem um 8 x
aviso sobre tal critério;
9 x
18. Nos fóruns, não há a opção de salvar o texto 10 x
digitado sem enviar;
11 x
19. O sistema não apresenta sugestões de soluções
12 x
para erros cometidos pelo usuário. Por exemplo,
ao se postar um arquivo maior do que o tamanho 13 x
aceitável é apresentado um erro devido ao 14 x
tamanho do arquivo, mas não é proposta nenhuma 15 x
solução ao usuário. Na recorrência de erros, o
16 x
Moodle não informa como o usuário deve agir
para que esses erros não ocorram novamente; 17 x
20. O sistema não possui help por tutoriais, tópicos ou 18 x
busca por palavras-chave. Ao acessar o link de 19 x
ajuda, o site redireciona o usuário para a 20 x
documentação do Moodle, que é geral para a
ferramenta e não específica para a solução adotada
pela UFSCar. 4.1.2 Correspondência entre o sistema e o mundo real
Muitos termos não foram traduzidos para o idioma
Na Tabela 3 podem ser verificados os problemas citados e português como, por exemplo, as inscrições presentes na
as respectivas heurísticas que foram violadas. barra de ferramentas no rodapé das páginas. E algumas
A seguir, os comentários sobre os problemas identificados, páginas também não são apresentadas em português. Seria
as respectivas heurísticas violadas e as sugestões de ideal que não houvesse termos em língua diferente da nativa
melhorias. do usuário no site. Para, além disso, alguns termos são
redundantes e tornam a memorização de comandos e
4.1.1 Visibilidade do sistema
O Moodle oferece uma estrutura hierárquica para orientar a páginas algo necessário. Por exemplo, a barra “Mostrar
navegação, porém, ela poderia ser melhorada para reduzir a todos os cursos” e “Todos os cursos” dão a entender para o
quantidade de cliques necessários para navegar pelas usuário que realizam o mesmo trabalho, porém, realizam
páginas do ambiente. O sistema também não possui nível de funções distintas.
status para o acompanhamento das tarefas, e o usuário não 4.1.3 Controle do usuário e liberdade
possui um painel para acompanhar o andamento de uma O sistema apresenta mais de um caminho para chegar a um
determinada tarefa durante a sua execução. É possível mesmo local e caso o usuário cometa erros, não é possível
visualizar o andamento das solicitações por meio da barra desfazê-los na maioria dos casos. Por exemplo, o usuário
de status do navegador utilizado pelo usuário. Porém, um não consegue alterar um texto após 15 minutos da sua
indicativo de que a solicitação está sendo processada como, edição inicial. No caso de envio de um arquivo por engano,
por exemplo, a exibição da porcentagem de dados é possível apenas a substituição por outro, mas não é
carregados durante um processo de upload, seria adequado possível remover o arquivo original. No caso de
ao sistema para garantir a integridade dos dados. Eventos questionários com diversas páginas, é possível interromper
a qualquer momento o seu preenchimento e retornar
posteriormente à sua edição, porém, não é possível apagar
completamente as suas respostas em alguns casos. O
sistema pode ser padronizado de diversas formas, porém
isso abre a possibilidade de redundância e replicação de
conteúdos pelo designer da solução.
4.1.4 Consistência e padrões
O sistema é portável, mas com perda de recursos em
determinados navegadores. Poderia existir um assistente de
configuração para os usuários leigos.
4.1.5 Prevenção de erros
Não há qualquer tipo de alerta sobre ações realizadas
incorretamente pelos usuários do sistema. Por exemplo, são
exibidas mensagens que informam sobre a quantidade de
tentativas possíveis para a resposta de questionários, mas
não há mensagens de aviso sobre quantidade de tentativas
possíveis para o envio de arquivos ou para a participação
em enquetes. Não existe aviso também para as atividades
que não oferecem a possibilidade de reenvio. Nos fóruns de
discussão, não existe a opção de salvar o texto digitado sem
enviá-lo em seguida.
4.1.6 Reconhecimento ao invés de relembrança
É necessária a memorização de algumas páginas e alguns
recursos para melhorar a navegação do usuário pelo
sistema. A grande quantidade de elementos nas telas pode
confundir o usuário, porém, trata-se de configuração que
pode ser alterada pelo professor da disciplina ou designer
instrucional. Para a postagem de conteúdo nos fóruns, são
necessários mais de três cliques a partir da página inicial:
(1) acesso ao ambiente da disciplina; (2) acesso à unidade;
(3) acesso ao fórum; (4) acesso ao tópico; (5) clique no
botão “Responder”.
4.1.7 Flexibilidade e eficiência de uso
Os itens publicados nas páginas não podem ser organizados
pelo estudante e mesmo a opção “My Moodle” não garante
uma boa flexibilidade para a personalização das páginas.
Em muitos casos, há excesso de informações na tela
prejudicando a navegação. Por exemplo, na página inicial
do Moodle são carregados nomes e imagens dos usuários
que estiveram online nos últimos cinco minutos, e isso
prejudica a navegação em conexões mais lentas. Em alguns
casos, as disciplinas são encerradas antes que todas as
atividades tenham chegado ao fim. Nesses casos o sistema
não reconhece que há atividades pendentes. Isso prejudica a
navegação, pois a disciplina deixa de ser exibida na página
inicial do sistema. O sistema deveria alertar o usuário que a
data final de entrega de uma tarefa não pode ser maior que
a data de encerramento da disciplina e oferecer a opção de
alterar a data de encerramento da disciplina. O sistema
possui caminhos para a realização de um mesmo objetivo,
porém também existe redundância. Por exemplo, na aba do
canto direito da página principal aparecem dois links para
“O que é o My Moodle” que levam à mesma página.
4.1.8 Estética e design minimalista
Dependendo da configuração da disciplina e da disposição
do conteúdo, muita informação acaba concentrada em um
mesmo bloco e isso atrapalha a navegação. Os cursos
apresentados na página principal também não observam um
critério de organização (alfabética ou por frequência de
uso).
4.1.9 Ajudar os usuários a reconhecer, diagnosticar e
corrigir erros
Algumas mensagens de erro do Moodle, embora raras, são
pouco amigáveis aos usuários do sistema, como por
exemplo, em caso de tráfego excessivo de dados. Nesse
caso, o Moodle exibe uma mensagem de erro em linguagem
de difícil compreensão pelo usuário leigo em informática.
Na ocorrência de erros, o Moodle também não informa
como o usuário deve agir para que o erro não ocorra
novamente e nem apresenta sugestões para a solução de
novos erros cometidos pelo usuário. Por exemplo, quando o
usuário envia um arquivo maior do que o tamanho aceitável
é apresentado um erro por conta do tamanho do arquivo,
mas não é proposta nenhuma solução ao usuário.
4.1.10 Help e documentação
Ao acessar o link de ajuda, o usuário é direcionado para a
documentação do Moodle que não conta com as
especificações próprias adotadas pela UFSCar. O sistema
também não possui ajuda por meio de tutoriais e nem busca
por palavra-chave. Ele também não possui uma guia com
respostas as perguntas mais frequentes.
4.2 Teste de Usabilidade
O Teste de Usabilidade, método de avaliação de
usabilidade realizado com a participação de usuários [13],
foi aplicado a um grupo de quatro usuários do Moodle-
UAB/UFSCar. O grupo foi dividido em duas categorias:
aprendiz e tutor. Dos quatro usuários, três desempenharam
o papel de aprendizes e um, o de tutor. O usuário tutor
possui experiência em elaborar material de aprendizagem
para EaD e realiza essa atividade frequentemente. Para
analisar o uso do Moodle pelos diferentes perfis de
usuários, buscou-se a participação de usuários de diferentes
faixas etárias e sexo diferentes. Na Tabela 4 pode ser
observado o perfil dos usuários aprendizes.
A disciplina criada no Moodle-UAB/UFSCar para a
realização do estudo de caso foi configurada por meio de
componentes utilizados em outras disciplinas do curso.
Desse modo, os usuários participariam de atividades em um
ambiente semelhante ao encontrado na Universidade. A
tarefa elaborada para a interação dos usuários com o
sistema está dentro do contexto da educação brasileira. Foi
disponibilizado um texto com oito parágrafos de no
máximo cinco linhas cada um, apresentando índices da
educação no Brasil e um vídeo de oito minutos e trinta e um
segundos, contendo o depoimento da professora Amanda
Gurgel sobre as mazelas do sistema de ensino no país.
Foram criados: Severidade 2:
1. fórum para a discussão sobre o texto e o vídeo; 2. O sistema não oferece informações suficientes
2. exercício de fixação que consistia em um para orientar os usuários durante a navegação;
questionário com cinco questões sobre o texto; 3. O sistema não possibilita o entendimento de todos
3. enquete sobre a necessidade de investimentos na os termos utilizados na interface;
educação brasileira e; Severidade 3:
4. ambiente colaborativo (Wiki) onde cada aprendiz 4. Nem sempre o sistema apresenta possíveis
deveria procurar na internet conteúdos sobre a soluções quando um erro ocorre;
qualidade da educação no Brasil. 5. A falta de help prejudicou o desempenho na
Essas atividades permitiram avaliar o gerenciamento de realização de algumas atividades;
conteúdos pelos diferentes tipos de usuários; a comunicação Severidade 4:
entre todos os participantes e a realização, entrega e o
acompanhamento dessas atividades. 6. Foram encontrados termos em idioma estrangeiro,
dificultando a compreensão e o entendimento dos
Tabela 4. Perfil dos usuários aprendizes usuários.
Na Tabela 6 pode ser observada a quantidade de problemas
Usuário classificados segundo a escala de severidade usada na
Sexo Idade Escolaridade
aprendiz Avaliação Heurística e os percentuais que esses problemas
representam em relação ao total de problemas identificados
Entre 30 e 45 Superior nas observações do Teste de Usabilidade.
1 Masculino
anos Incompleto
Tabela 6. Severidade dos problemas encontrados no Teste
Entre 30 e 45 Superior de Usabilidade
2 Feminino
anos Completo
Severidade 0 1 2 3 4
Entre 30 e 45 Superior
3 Masculino
anos Incompleto Quantidade 0 1 2 2 1

Tabela 5. Tempos médios para a realização de cada Porcentagem 0% 17% 33% 33% 17%
atividade
Os usuários foram observados durante a realização de suas
Atividade Tempo médio tarefas por meio de um software específico para a captura
de telas. Nesse sentido, os usuários aprendizes realizaram
Leitura do texto 3min31seg um conjunto de atividades fazendo uso de algumas das
ferramentas do Moodle. Enquanto o usuário com o perfil de
Assistir ao vídeo 6min34seg tutor realizou o acompanhamento e fez a correção dessas
atividades. Destaca-se que tanto os aprendizes quanto o
Fórum de discussão 8min47seg
tutor receberam previamente um termo de consentimento
para a participação no projeto. Esse termo explicava o
Exercício de
3min7seg objetivo, os responsáveis e os procedimentos do estudo,
Fixação
além de deixar claro que os usuários poderiam desistir a
qualquer momento. Durante a realização das atividades, os
Enquete 2min50seg
usuários foram avaliados segundo os critérios:
Wiki 9min30seg 1. tempo que o usuário gasta para realizar a tarefa;
2. número de erros do usuário;
Com base nas observações dos vídeos do Teste de 3. severidade dos problemas.
Usabilidade, foram identificados seis problemas que são Na Tabela 5 são apresentados os tempos médios para a
listados abaixo com suas respectivas severidades: realização de cada atividade pelos usuários aprendizes.
Severidade 1: 4.3 Aplicação dos questionários SUMI e QUIS
1. O número de informações apresentado na tela não A satisfação dos usuários aprendizes com o ambiente
foi suficiente e acabou deixando alguns usuários Moodle foi avaliada por meio do questionário SUMI que
confusos durante a realização das tarefas; apresenta uma listagem numerada com 50 métricas sobre
aspectos de interface e interação. Cada item dessa lista
representa uma afirmação ou negação sobre determinada ca
racterística do sistema avaliado. Essas métricas estão
divididas em cinco aspectos de qualidade de uso baseados
na norma ISO 9241 para avaliação da interface sob o ponto
de vista do usuário final. Por meio do SUMI os usuários
avaliadores devem marcar se concordam, discordam ou
consideram indeterminada a afirmação [11]. O SUMI
permite avaliar a satisfação de uso e verificar o aumento de
usabilidade pelo aumento de itens que promovem satisfação
[2]. O SUMI também fornece uma estratégia de
classificação simplificada, permitindo a padronização para
a tabulação de dados e a interpretação dos resultados. A
partir das respostas dos usuários, foi gerada a Tabela 7,
ilustrando quantas perguntas foram respondidas como
promovendo satisfação ou não; além do número de
respostas em que não houve consenso (empate) e indeciso.
Tabela 7. Total de resultados obtidos nas respostas ao
SUMI
Promove Não promove
Indeciso Empate
satisfação satisfação
39 3 3 5
Considerando apenas as perguntas válidas, ou seja, sem
contabilizar as perguntas respondidas com os valores
“indeciso” e “empate”, chega-se à Tabela 8.
Tabela 8. Resultados de satisfação com o sistema
Promove satisfação Não promove satisfação
92,86% 7,14%
Um ambiente virtual de aprendizagem deve assegurar os
seguintes quesitos [14]:
1. ser interativo e prover feedback;
2. ter objetivos específicos;
3. motivar, transmitindo uma sensação contínua de
desafio;
4. fornecer ferramentas adequadas;
5. evitar qualquer fator de perturbação
interrompa o fluxo de aprendizagem.
A plataforma de EaD utilizada deve fornecer suporte a
esses quesitos e ser capaz de permitir que o tutor utilize as
ferramentas de modo satisfatório. Para aplicação do
questionário de avaliação com o usuário tutor, foi utilizada
uma versão reduzida do [5] e com métricas específicas para
sistemas de EaD [3] [7]. Além disso, a escala de
classificação foi reduzida para até 5, pois “o valor de 1 até
5 é semanticamente um intervalo menor para o usuário
avaliar” [5].
O QUIS usualmente contempla a avaliação da reação,
terminologia, informação, aprendizado e capacidade do
sistema. Para a sua aplicação na modalidade EaD, foram
inseridas questões que avaliem também o suporte à
comunicação e adequação da tecnologia às necessidades
pedagógicas, conforme Ardito [3].
Os resultados obtidos a partir da aplicação do questionário
podem ser visualizados na Tabela 9. Estes resultados estão
distribuídos entre os valores possíveis (1 a 5). Sendo 1 o
valor mais negativo em termos de usabilidade e 5 o valor
mais positivo. O valor “Não se aplica” representa a
consideração do usuário de que tal parâmetro não se aplica
para a análise.
Tabela 9. Resultados obtidos com a aplicação do
questionário QUIS
Número de respostas a
Resultado obtido
partir do resultado
1 1
2 8
3 8
4 11
5 2
Não se aplica 2
Considerando apenas as respostas válidas, ou seja,
desconsiderando as perguntas respondidas com o valor
“Não se aplica”, temos a porcentagem das respostas válidas
obtidas na Tabela 10.
Tabela 10. Porcentagem das respostas válidas obtidas
Resultado obtido Porcentagem
1 3%
2 27%
que
3 27%
4 37%
5 6%
Considerando agora os valores 1 e 2 como que não
promovem satisfação, 3 como valor médio e o restante
como promovem satisfação, teremos as porcentagens
apresentadas na Tabela 11.
Tabela 11. Porcentagem de resultados de satisfação,
considerando apenas as respostas válidas
Não promove Promove
Satisfação média
satisfação satisfação
20% 27% 43%
5. CONCLUSÃO
Diante das avaliações executadas podemos concluir que o
sistema é satisfatório ao usuário. Essa conclusão ficou
evidente ao final da avaliação dos questionários SUMI e
QUIS. Mesmo com tal resultado, porém, o número de
discrepâncias de usabilidade graves foi de 30% ao final da
Avaliação Heurística. De qualquer modo, esse número
ainda é bem inferior ao número de erros de usabilidade
(simples e médios) e sem erros considerados catastróficos.
Por meio do Teste de Usabilidade com os usuários, foi
possível notar que eles gastaram mais tempo em trabalhos
com as ferramentas: “Wiki” e “Fórum de Discussões”. Esse
gasto foi justificado pela necessidade de pesquisas para a
consecução dos trabalhos e postagem de conteúdo. O fato
dos usuários que participaram do experimento possuírem
experiência na utilização do sistema contribuiu para o baixo
número de problemas. Destaca-se que na Avaliação
Heurística foi relatada a falta de um recurso de ajuda para
as ações do usuário como um problema relacionado aos
usuários novatos.
A Avaliação Heurística apontou muito mais problemas no
sistema que a Avaliação de Usabilidade. Isto é justificado
pelo fato de que a primeira avaliação tem justamente o
objetivo de encontrar erros no sistema, logo os avaliadores
estão focados nesse objetivo. Mesmo assim, o número de
problemas graves e catastróficos não ultrapassou a marca
de 30%. De modo geral, a grande maioria dos erros
encontrados está atrelada a falta de um recurso de ajuda ao
usuário. Também foram encontrados problemas com
relação à organização do sistema e aos alertas ao usuário.
Apesar disso, o sistema demonstrou boa usabilidade já que
as dificuldades atreladas à falta de um recurso de ajuda no
sistema não foram consideradas tão significativas pelos
usuários experientes.
AGRADECIMENTOS
Agradecemos a Talita Pagani Britto que forneceu
comentários úteis para a redação deste documento. Os
autores também agradecem a Secretaria de Educação a
Distância da UFSCar e a Universidade Aberta do Brasil.
REFERÊNCIAS
1. Almeida, M. E. B. Educação a distância na internet:
abordagens e contribuições dos ambientes digitais de
aprendizagem. Educação e Pesquisa, São Paulo, v. 29,
n. 2, p.327-340, jul. 2003.
2. Almeida, V. P. Estratégias cognitivas para o aumento da
qualidade do hiperdocumento para educação à distância.
2005. 158 f. Dissertação (Mestrado) - Curso de Ciência
da Computação, Centro de Ciências Exatas e
Tecnologia, Universidade Federal de São Carlos, São
Carlos, 2005.
3. Ardito, C. et al. An approach to usability evaluation of
e-learning applications. Univ Access Inf Soc, v. 4, 8
December 2005, pp. 270 – 283. Disponível em:
http://www.qou.edu/english/scientificResearch/eLearnin
gResearchs/anApproach.pdf. Acesso em: 12 de junho de
2011.
4. Brasil. Lei nº 9.394, de 20 de dezembro de 1996.
5. Carlos, A. J. F. Aplicando senso comum na edição de
objetos de aprendizagem. Dissertação (Mestrado) –
Universidade Federal de São Carlos, São Carlos, 2008,
p. 79.
6. Chaves, E. O. C. Ecnologia na Educação, Ensino a
Distância, e Aprendizagem Mediada pela Tecnologia:
Conceituação Básica. Revista de Educação PUC-
campinas, Campinas, n. 7, nov. 2009. Disponível em:
<http://www.chaves.com.br/TEXTSELF/EDTECH/EA
D.htm>. Acesso em: 23 jul. 2011.
7. Educause. E-learning Survey Questionnaire. Disponível
em: http://net.educause.edu/ir/library/pdf/si/esi0303.pdf.
Acesso em: 12 de junho de 2011.
8. Silveira, S. A. Inclusão digital, software livre e
globalização contra-hegemônica. In: Seminário temático
para 3a Conferencia Nacional de C, T&I, num. 20,
junho 2005. Disponível em:
<http://www.cgee.org.br/arquivos/p_20_1.pdf >. Acesso
em 23 jul. 2011.
9. Duarte, N. Concepções afirmativas e negativas sobre o
ato de ensinar. Caderno Cedes, Campinas, p. 85-106.
abr. 1998.
10. Kenski, V. M. Educação e tecnologias: o novo ritmo da
informação. Campinas: Papirus, 2007.
11. Kirakowski, J. SUMI: The de facto industry standard
evaluation questionnaire for assessing quality of use of
software by end users. Disponível em:
<http://www.ucc.ie/hfrg/questionnaires/sumi/index.html
>. Acesso em: 04 jul. 2011.
12. Nielsen, J. Characteristics of Usability Problems Found
by Heuristic Evaluation, 1992. Disponível em:
<http://www.useit.com/papers/heuristic/usability_proble
ms.html> Acessado em 14 jul. 2011.
13. Nielsen, J. Usability Engineering. Cambridge: Academic
Press, 1993.
14. Norman, D. Things that make us smart: defending 15. Rocha, H. V. Baranauskas, M. C. Design e Avaliação de
human attributes in the age of the machine. Perseus Interfaces Humano-Computador. Campinas: Nied, 2003.
Publishing, Cambridge, MA, 1993.