Avaliação de Usabilidade em Softwares Educativos

UNIVERSIDADE ESTADUAL DO CEAR
Centro de Cincias Tecnolgicas - CCT
INSTITUTO FEDERAL DE EDUCAO,

CINCIA E TECNOLOGIA DO CEAR
Diretoria de Pesquisa e Ps-Graduao - DIPPG
ANA CLIA BASTOS DE ABREU
AVALIAO DE USABILIDADE EM
SOFTWARES EDUCATIVOS
FORTALEZA CEAR
2010
ANA CLIA BASTOS DE ABREU
AVALIAO DE USABILIDADE EM
SOFTWARES EDUCATIVOS
Dissertao apresentada ao Curso de Mestrado

Integrado Profissional em Computao Aplicada do
Centro de Cincias e Tecnologia da Universidade
Estadual do Cear e Diretoria de Graduao e PsGraduao do Instituto Federal de Educao,
Cincia e Tecnologia do Cear, como requisito para
a obteno do grau de Mestre em Computao
Aplicada.
rea de Concentrao: Informtica Educativa.
Orientador: Prof. Dr. Elian de Castro Machado.
FORTALEZA CEAR
2010
A162a
Abreu, Ana Clia Bastos de

Avaliao de usabilidade em softwares educativos / Ana
Clia Bastos de Abreu. Fortaleza, 2010.
108 p. ; il.
Orientador: Prof. Dr. Elian de Castro Machado.
Dissertao
(Mestrado
Integrado
Profissional
em
Computao Aplicada) Universidade Estadual do Cear, Centro
de Cincias e Tecnologia, Instituto Federal de Educao, Cincia
e Tecnologia do Cear, Diretoria de Graduao e Ps-Graduao.
rea de Concentrao: Informtica Educativa.
1. Testes de usabilidade questionrio. 2. Softwares
educativos. 3. Usabilidade pedaggica. 4. Usabilidade tcnica. I.
Universidade Estadual do Cear, Centro de Cincias e
Tecnologia, Instituto Federal de Educao, Cincia e Tecnologia
do Cear, Diretoria de Graduao e Ps-Graduao.
CDD: 371.334
AGRADECIMENTOS
Ao Senhor, por Suas misericrdias que se renovam a cada manh sobre as nossas
vidas, ajudando-nos a superar todos os obstculos!
Aos meus amados pais, Raimundo e Graa, que atravs de sua instruo e amor,
deram-me a chance de me tornar uma mulher que luta e que acredita em seus
sonhos, a minha incansvel gratido.
Ao meu mui querido irmo Wilder (in memorian), sem palavras!..., o meu corao
cheio de saudades...
Aos meus amigos de caminhada, Humberto e Leo, pelo apoio e alegria que me
deram quando precisei.
Ao Serpro, que patrocinou meus estudos, dando-me a oportunidade de galgar mais
um degrau em minha vida acadmica e profissional.
Ao meu orientador, Prof. Elian, que acreditou no meu trabalho e me incentivou nos
momentos difceis.
A meu grande amigo Fernando, que sempre esteve ao meu lado e de minha famlia,
minha tambm incansvel gratido, por seu apoio e sabedoria.
E por fim, mas de muita importncia, meu esposo e amados filhos. Vocs fazem,
juntamente com Jesus, minha vida ter um belo e significativo propsito.
RESUMO
O objetivo deste trabalho disponibilizar para a comunidade de profissionais que trabalham

nos laboratrios de escolas municipais uma ferramenta de apoio para a aferio da
qualidade das aplicaes instrucionais atravs de um questionrio on-line publicado em um
site web. O intuito facilitar o trabalho de seleo e avaliao dos softwares educacionais a
serem aplicados aos alunos, por meio de parmetros oriundos da Engenharia de Software e
das teorias educacionais, de modo a promover a usabilidade tcnica e pedaggica nos
materiais de aprendizagem. Sua utilizao ser simples, podendo ser usada por qualquer
professor que no seja especialista em usabilidade. Espera-se com este trabalho contribuir
para uma elevao da qualidade e do compartilhamento de informaes em tempo real dos
materiais de aprendizagem utilizados entre as diversas escolas do municpio. A ferramenta
alm de avaliar os softwares, armazenar os dados destas avaliaes para que outros
professores possam ter acesso a tais informaes. A proposta da aplicao vem de
encontro s polticas de software livre, provendo uma soluo eficiente e a baixos custos.
Palavras-chave: Testes de Usabilidade, Questionrio, Usabilidade Pedaggica, Usabilidade

Tcnica.
ABSTRACT
The objective of this work is to provide for the community of professionals working in the
laboratories of public schools a support tool for gauging the quality of educational
applications through an online questionnaire posted on a website. The intention is to facilitate
the work of selection and evaluation of educational software to be applied to students, using
parameters derived from the Software Engineering and the educational theories, in order to
promote technical and pedagogical usability in the learning materials. Its use will be simple,
and can be used by any teacher who is not an usability expert. It is expected that this work
contribute to raising the quality of learning materials used between the various schools of the
city, and to sharing information of these materials in real-time. Beyond to evaluate the
software, the tool also stores the data from these reviews, so other teachers can access
such information. The proposal of this application meets the policies of free software,
providing an efficient and low cost solution.
Keywords: Usability Testing, Questionnaire, Pedagogical Usability, Technical Usability.
LISTA DE TABELAS
Tabela 1 Respostas do questionrio (Objeto 1) ..........................................
58
Tabela 2 - Respostas do questionrio (Objeto 2) ...........................................
59
Tabela 3 Valores calculados para os critrios (Objeto 1) .............................
60
Tabela 4 Valores calculados para os critrios (Objeto 2) ..............................
64
Tabela 5 Valores para mdia aparada (Objeto 1) .......................................
67
Tabela 6 Valores para mdia aparada (Objeto 2) ........................................
67
Tabela 7 - Quantidade de erros nos exerccios (Grupo A) ..............................
70
Tabela 8 - Quantidade de erros nos exerccios (Grupo B) ..............................
70
LISTA DE FIGURAS
Figura 1 Interao no desenvolvimento de software educacional ..................
22
Figura 2 Conceito de Usabilidade Tcnica e Pedaggica ...............................
34
Figura 3 Resposta do questionrio em escala Lickert ......................................
40
Figura 4 Tela inicial do SAUSP...........................................................................
45
Figura 5 Tela da funcionalidade Saiba Sobre Usabilidade ............................
46
Figura 6 Tela da funcionalidade Responder Questionrio ............................
50
Figura 7 - Apresentao das perguntas no questionrio ...................................
52
Figura 8 - Modelo de Entidade Relacionamento (MER) .....................................
53
Figura 9 Tela do Wink (frame capturado do objeto 2) ....................................
69
LISTA DE GRFICOS
Grfico 1 Grfico com resultado das 3 categorias de usabilidade................
48
Grfico 2 - Grfico com resultado dos critrios de usabilidade tcnica...........
48
Grfico 3 Grfico com resultado dos critrios de usabilidade para sites web..
49
Grfico 4 - Grfico com resultado dos critrios de usabilidade pedaggica .....
49
Grfico 5 Critrios de usabilidade geral (Objeto 1) ...........................................
61
Grfico 6 Critrios de usabilidade de sites web (Objeto 1) .............................
62
Grfico 7 - Critrios de usabilidade pedaggica (Objeto 1) ...............................
62
Grfico 8 - Resultados gerais dos questionrios (Objeto 1) ..............................
63
Grfico 9 - Critrios de usabilidade geral (Objeto 2) ............................................
65
Grfico 10 - Critrios de usabilidade de sites web (Objeto 2) ............................
65
Grfico 11 - Critrios de usabilidade pedaggica (Objeto 2) .............................
66
Grfico 12 Resultado geral da usabilidade (Objeto 2) ..................................
66
Grfico 13 - Evoluo da ocorrncia de erros (mdia) Grupo A .................
71
Grfico 14 - Evoluo da ocorrncia de erros (mdia) Grupo B .....................
71
10
LISTA DE QUADROS
Quadro 1 - Distribuio das questes Ergolist por critrio .......................................
30
11
SUMRIO
LISTA DE TABELAS ................................................................................................... 7
LISTA DE FIGURAS ................................................................................................... 8
LISTA DE GRFICOS ................................................................................................. 9
LISTA DE QUADROS ............................................................................................... 10
1. INTRODUO ...................................................................................................... 13
2. TESTE DE SOFTWARE........................................................................................ 19
2.1 Conceito de Usabilidade .............................................................................. 21
2.2 Participantes de uma avaliao de usabilidade ........................................... 22
2.3 Testes de Usabilidade ..................................................................................... 24
2.4 Tcnicas de Avaliao de Usabilidade ............................................................ 25
2.4.1 Tcnicas Objetivas (ou Interpretativas) ..................................................... 25
2.4.2 Tcnicas Prospectivas .............................................................................. 26
2.4.3 Tcnicas Preditivas (ou Diagnsticas) ...................................................... 27
3. FERRAMENTAS DE AVALIAO DA USABILIDADE ......................................... 29
3.1. Ferramentas para Avaliao da Usabilidade Tcnica ..................................... 30
3.1.1 ErgoList .................................................................................................... 30
3.1.2 Questionrio ISONORM ............................................................................ 32
3.1.3 WAMMI .................................................................................................... 32
3.1.4 QUIS ........................................................................................................ 33
3.1.6 SUMI ......................................................................................................... 34
3.2 Ferramentas de Avaliao da Usabilidade Pedaggica ................................. 35
3.2.1 Questionrio de satisfao de Nokelainen ............................................... 36
3.2.2 Questionrio de Ssemugabi ..................................................................... 36
3.2.3 Questionrio de Reitz ............................................................................... 37
4. PROPOSTA E FUNCIONAMENTO DO SAUSP ................................................... 38
4.1 Seleo do Tipo do Tcnica de Avaliao de Usabilidade ............................. 38
4.2 Proposta do questionrio de avaliao desta ferramenta ............................... 39
4.3 Forma de Organizao do Questionrio na Ferramenta................................. 40
4.3.1 Questes relativas Usabilidade Geral ................................................... 41
4.3.2. Questes relativas Usabilidade de Sites para EAD............................... 43
4.3.3 Questes relativas Usabilidade Pedaggica .......................................... 43
4.4 Implementao da ferramenta em um site...................................................... 45
4.4.1 Saiba mais sobre usabilidade ................................................................... 46
4.4.2 Consultar Materiais Avaliados .................................................................. 47
4.4.3 Responder ao Questionrio ..................................................................... 51
4.4.4 Exibio do Resultado da Avaliao ........................................................ 53
4.4.5 Aspectos Arquiteturais Gerais da Ferramenta .............................................. 54
5. VALIDAO DA PROPOSTA ............................................................................... 56
5.1 Estudo Piloto do Uso do SAUSP ..................................................................... 56
5.2 Preenchimento do questionrio de avaliao ................................................. 58
5.3 Resultado das avaliaes dos objetos ............................................................ 61
5.3.1 Avaliao do Objeto 1 .............................................................................. 61
5.3.2 Avaliao do objeto 2 ................................................................................ 64
5.4. Concluso da aplicao do questionrio ........................................................ 68
5.5 Avaliao do Desempenho dos Alunos .......................................................... 69
5.6 Consideraes finais........................................................................................ 73
CONCLUSES ......................................................................................................... 75
12
REFERNCIAS ......................................................................................................... 77
APNDICES.............................................................................................................. 81
APNDICE A - Questionrio de pesquisa ............................................................. 82
APNDICE B - Dados coletados no questionrio de pesquisa.............................. 83
APNDICE C - Questionrio de Satisfao de Uso para Pesquisa ....................... 84
ANEXOS ................................................................................................................... 89
ANEXO A Questionrio de Nokelainen ............................................................... 90
ANEXO B - Questionrio de Ssemugabi ............................................................... 95
ANEXO C Questionrio de Reitz ...................................................................... 102
ANEXO D Objeto de Aprendizagem (Grupo A) ................................................ 105
ANEXO E Objeto de Aprendizagem (Grupo B) ................................................. 107
13
1. INTRODUO
No mundo da sociedade da informao, conhecimento algo de grande

valor e que vem cada vez mais sendo aumentado e propagado atravs dos meios de
comunicao e, em especial, da internet que oferece diversas aplicaes voltadas
ao ensino. Entretanto, vemos a comunidade de usurios utilizar alguns softwares
educativos de pouca ou nenhuma qualidade. Esta baixa qualidade pode acontecer
tanto pelo contedo das informaes, como pela deficincia na organizao do
contedo disponibilizado para o uso de seu pblico-alvo, provocando muitas vezes
rejeio do usurio a tais sistemas (SANTOS, 2007).
Muitos stios na web so visitados apenas uma vez pelos usurios, devido
eles no conseguirem encontrar a informao desejada, e no porque seu contedo
seja desinteressante. Localizar uma informao em um site o problema de
usabilidade mais comumente encontrado pelos usurios.
Quando o site se destina para o comrcio eletrnico, tal situao pode
impactar negativamente nas vendas, levando a prejuzos. Destinando-se ao ensino
distncia (EAD), pode resultar numa falta de motivao dos alunos, que por se
sentirem frustrados no uso da aplicao, tm um mau desempenho, decorrente da
usabilidade inadequada, mesmo se utilizadas em laboratrios de escolas, em que
exista um mediador (WINCKLER, 2001). No processo de aprendizagem via
aplicaes EAD, em que no exista a figura de um facilitador, como um monitor ou
professor, este problema obviamente ainda mais crtico.
Para resolver este problema, os princpios de qualidade de software
devem ser perseguidos pelos desenvolvedores de solues pedaggicas. Dentre
estes princpios, temos na usabilidade, o meio pelo qual seus usurios podem ter
acesso de maneira facilitada e inteligente ao contedo de um software (NIELSEN,
1994). De nada adianta ter um software educativo de excelente contedo, se sua
utilizao to complexa que desestimula quem o est usando.
14
Pela importncia que um usurio d aquisio de conhecimento quando

entra em um site instrucional, a usabilidade passa a ser elemento fundamental para
que ele atinja seu propsito. Isso acontece, pois a boa usabilidade de um site
instrucional facilita a identificao dos objetivos do usurio e sua avaliao, em
termos de quantidade e qualidade de contedo, das informaes ali disponibilizadas
(KILIAN, 2002).
Para a consecuo da boa usabilidade, a comunidade cientfica que
estuda os aspectos de qualidade nos softwares, busca alcanar solues para
avaliar e testar a qualidade de uso dos softwares educativos. No entanto, apesar de
crescentemente tais aspectos inerentes boa usabilidade serem adotados e
buscados, ainda existem desenvolvedores que no levam isso em considerao,
disponibilizando aplicaes educacionais que no se preocupam com a interao
homem-computador, prejudicando seus usurios finais, os alunos.
Por outro lado, temos os profissionais da educao que, por
desconhecerem os princpios que norteiam a boa usabilidade de um software e no
terem ferramentas apropriadas para a aferio da usabilidade, buscam boas
ferramentas para o ensino, baseados apenas em sua sensibilidade e experincias
positivas e negativas com os softwares e seus alunos (FILENO, 2007).
No que diz respeito ao desenvolvimento de softwares educacionais,
devemos nos preocupar com duas vertentes que asseguram sua qualidade: os
aspectos tcnicos da Engenharia de Software e os aspectos relativos
aprendizagem. O desconhecimento de tais aspectos tem levado para a sala de aula
softwares instrucionais que propiciam um baixo rendimento na assimilao do
contedo oferecido em tais ferramentas.
Quanto aos aspectos da aprendizagem, os educadores e projetistas
devem estar atentos no sentido de garantir que o computador seja usado de uma
forma responsvel e pedagogicamente bem utilizados. O educador deve analisar o
software educativo, identificando o conceito de aprendizagem que o orienta, pois
para ser educativo deve ser pensado em como o sujeito aprende, como ele se
apropria e constri seu conhecimento.
15
Aps entrevistas com profissionais da educao do Ensino Fundamental,

foram visualizadas basicamente duas coisas: o desconhecimento de princpios
bsicos que so necessrios para que um software tenha algum nvel de qualidade
de uso; a necessidade de uma ferramenta para avaliar a usabilidade dos softwares
educativos, conforme Apndices A e B. Dos dez professores responsveis por
laboratrios de escolas municipais entrevistados, todos foram unnimes em dizer
que sentem a necessidade de uma ferramenta para avaliar a qualidade dos
softwares e um site que lhes sirva para compartilhar softwares educacionais de
qualidade.
Para que se possa fazer a mensurao da qualidade de uso, no se pode
utilizar uma metodologia para um pblico genrico, pois os resultados obtidos de tal
avaliao no sero precisos. Isto acontece, pois a avaliao da usabilidade de um
software est relacionada a uma srie de variveis, como: tipo de aplicao em
questo, perfil dos usurios, contextos de utilizao e outros (WINCKLER, 2001).
Dentro de um contexto educacional, a avaliao da usabilidade no o
suficiente. Tambm importante avaliar o projeto pedaggico da aprendizagem
baseado na web. Deve-se lembrar que a avaliao do projeto pedaggico no
substitui a inspeo da usabilidade. Um ambiente de aprendizagem baseado na web
pode ser usvel, mas pedagogicamente no usvel, e vice-versa, mesmo que uma
sobreposio dos problemas encontrados possa ocorrer na avaliao (TSELIOS,
2001 apud REITZ, 2009).
Existem algumas solues e servios disponibilizados para aferio da
qualidade de uso, como as metodologias de Gomes (2009), Santos (2007) e Oliveira
Junior (2006), alm dos questionrios de satisfao de usurio j desenvolvidos,
mas que no levam em considerao os aspectos pedaggicos nos softwares
instrucionais. No entanto, a maioria desses servios no est disponvel livremente
para aqueles que a necessitam, ou tem um custo elevado, inviabilizando o uso por
parte dos interessados. Reitz (2009), Nokelainen (2006) e Ssemugabi (2006)
propuseram metodologia para avaliar a usabilidade, levando em conta os aspectos
pedaggicos, mas que precisariam ser adaptadas para serem utilizadas para o
contexto do problema abordado neste trabalho e que no esto disponibilizadas
como uma ferramenta a ser utilizada por pedagogos ou desenvolvedores.
16
Diante desta necessidade, neste trabalho, proposta uma metodologia de

fcil uso e disponibilizada para que desenvolvedores e principalmente os
educadores do ensino fundamental possam avaliar a qualidade de uso dos
softwares educativos a serem utilizados, por meio de uma ferramenta que ser
desenvolvida para execuo de testes de usabilidade.
Alm disso, tal soluo prestar-se- a armazenar os resultados das
avaliaes feitas pelos profissionais, passando a ser um repositrio de informaes
sobre usabilidade pedaggica dos diversos softwares que forem sendo avaliados.
Dessa forma, evita-se o re-trabalho que hoje acontece nos laboratrios de
informtica das escolas, onde seus responsveis buscam e avaliam aplicaes
isoladamente no podendo compartilhar suas informaes em tempo real.
Tal ferramenta poder vir a ser utilizada por Secretarias de Educao de
Estados e Municpios como forma de disponibilizar um portiflio colaborativo de
informaes sobre a qualidade aferida de softwares educativos pelos prprios
educadores envolvidos que os utilizam. Por consequncia, propicia-se um ambiente
que favorece a elevao no nvel de qualidade das ferramentas computacionais
utilizadas nas salas de aula das escolas.
O objetivo geral desta pesquisa definir uma metodologia para aplicao
de testes de usabilidade em softwares educacionais voltados aos alunos do ensino
fundamental, via questionrio de satisfao para auxiliar os profissionais da
educao a selecionarem melhor as aplicaes destinadas ministrao de
contedo para seus alunos.
So objetivos especficos:
Analisar o referencial terico de diversos autores sobre a usabilidade e os

vrios critrios existentes para avaliao da mesma.
Consolidar os diversos critrios de testes da Engenharia de Software com

foco na usabilidade e os critrios relativos aos aspectos pedaggicos,
propondo uma metodologia que faa a congruncia dos critrios mais
significativos e referenciados.
17
Realizar testes de usabilidade em objetos de aprendizagem, de modo a

validar a metodologia desenvolvida.
Desenvolver um site que ser utilizado como uma ferramenta de apoio

aos educadores para testes de usabilidade dos softwares educativos a
serem adotados em sala de aula.
Este trabalho est organizado em cinco captulos. No captulo 2, falamos
sobre a importncia da atividade de teste, segundo a Engenharia de Software,

voltado para o desenvolvimento de softwares para a educao, mostramos como se
devem fazer os testes de usabilidade. Mostrar os diversos tipos de testes de
usabilidade existentes que podem e devem ser feitos logo no incio do projeto do
software. Apontar para a contribuio destes testes para o software, principalmente
quando se destinar educao. J que a tecnologia empregada que precisa ser
adequada necessidade do aluno, e no o contrrio.
No captulo 3, ainda na fundamentao terica, feita a apresentao
dos questionrios de usabilidade mais conhecidos com os seus critrios de
usabilidade adotados para testes em aplicaes educacionais, mostrar a existncia
de diversas combinaes destes critrios, segundo vrios autores. Mostrar o
conjunto de critrios dispostos nos questionrios que serviram de base a esta
pesquisa.
No captulo 4, faz-se a apresentao da contribuio deste trabalho, pela
definio e apresentao dos critrios usados nas questes que compem a base
do questionrio desenvolvido neste trabalho de pesquisa. Mostramos as
funcionalidades da ferramenta implementada que servir como ponto de apoio aos
profissionais da educao para aferio da qualidade dos softwares educacionais a
serem utilizados em sala de aula. O resultado das avaliaes poder ser
armazenado, poupando esforos na procura de novas ferramentas para sala de aula
para outros profissionais da educao, que j encontraro produtos j avaliados.
Constituindo-se tambm esta ferramenta em um repositrio de informaes
compartilhado sobre softwares educacionais com qualidade de uso para o ensino.
18
No captulo 5, apresentada a validao da proposta deste trabalho,

atravs da aplicao do questionrio em dois objetos de aprendizagem, mostrando
os resultados atravs dos relatrios gerados pela ferramenta implementada.
Finalmente, so apresentadas consideraes sobre a importncia da
metodologia aplicada na avaliao de usabilidade de softwares educativos.
mencionado, tambm, as contribuies com o desenvolvimento deste trabalho, que
aproxima os conceitos da engenharia de software desconhecidos dos profissionais
da educao, que ao serem utilizados de forma prtica, por meio desta ferramenta,
contribuem em muito para aferio da qualidade dos produtos de software levados
para a sala de aula.
19
2. TESTE DE SOFTWARE
O teste de software um dos processos da Engenharia de Software que

visa atingir um nvel de qualidade de produto superior. O objetivo por
paradoxal que parea mesmo de encontrar defeitos no produto, para que
estes sejam corrigidos pela equipe de programadores, antes da entrega
final (Pressman,2006, p. 289)
O software ultrapassou o hardware, com relao importncia para o

sucesso de muitos sistemas baseados em computador. Seja o computador usado
para dirigir negcios, controlar um produto ou capacitar um sistema, o software um
fator que diferencia (PRESSMAN, 1995). O seu desenvolvimento vem evoluindo,
porm ainda persistem problemas na construo de softwares de qualidade que
obedeam a prazos e oramentos planejados. Buscando resolver este problema,
surgiu a Engenharia de Software que se destina a prover uma estrutura para a
construo de software com alta qualidade (PRESSMAN, 2004).
O processo de desenvolvimento de software, pautado na Engenharia de
Software, engloba vrias atividades e utiliza tcnicas, mtodos e ferramentas, no
entanto erros podem ainda persistir. Para diminuir a quantidade desses erros, a
atividade de Garantia de Qualidade de Software, por meio das atividades de VV&T
Verificao,
Validao
Teste,
vem
sendo
introduzida
no
processo
de
desenvolvimento. Dentre tais atividades, o teste uma das mais utilizadas, de modo
a prover evidncias de confiabilidade do software, em conjunto com outras
atividades, como as revises formais de especificao e de verificao
(MALDONADO, 1991).
Uma diferena interessante entre o Teste e as outras disciplinas do RUP
Rational Unified Process, que a principal finalidade do Teste localizar e expor
os pontos fracos do software. O Rational Unified Process (tambm chamado de
processo RUP) um processo de Engenharia de Software. Sua abordagem
baseia-se em disciplinas, atribuindo tarefas e responsabilidades em uma
organizao de desenvolvimento. Seu objetivo a produo de software de alta
20
qualidade que atenda s necessidades dos usurios dentro de um cronograma e de

um oramento previsveis.
A disciplina de Testes, para obter o mximo benefcio, usa uma filosofia
geral diferente das disciplinas Requisitos, Anlise e Design, e Implementao.
Enquanto as outras disciplinas enfatizam a abrangncia, o Teste enfatiza a
deficincia. O teste desafia as suposies, os riscos e as incertezas inerentes ao
trabalho de outras disciplinas, tratando essas questes por meio de uma
demonstrao concreta e uma avaliao imparcial (RUP, 2006).
Para grande parte das empresas que produzem software, o teste
executado como uma atividade dentro do processo de desenvolvimento, sendo
realizado pelos prprios desenvolvedores ou pelos usurios do sistema. Tal prtica
apenas garante saber se as especificaes do negcio foram implementadas na
aplicao. Em um modelo de garantia de qualidade, estes testes so insuficientes, j
que para o desenvolvedor difcil detectar erros naquilo que ele mesmo construiu.
Ter uma equipe especializada e capacitada nessa atividade faz toda a diferena se o
intuito disponibilizar um software com qualidade (RIOS & BASTOS, 2007).
Existem algumas reas de negcio em que a ocorrncia de defeitos na
produo pode trazer prejuzos muito maiores. Numa corrida de Frmula 1, um carro
parou por um defeito no software que controlava o veculo (RIOS & BASTOS, 2007).
Essa falha, causada por uma condio inesperada, obrigou a equipe a sair da
corrida na qual vinha tendo bom desempenho. de se imaginar o quanto foram
altos os prejuzos oriundos deste erro.
Nas aplicaes voltadas para a educao, como nas demais reas, no
poderia ser diferente. Ao se pensar em desenvolver um software educacional, em
que exista uma preocupao com a qualidade do que vai ser oferecido aos
aprendizes, mster investir em um processo de testes bem planejado. Imagine o
impacto negativo no aprendizado de um aluno se a aplicao utilizada para o ensino
de matemtica est retornando um clculo errado ou respondendo com uma ao
inesperada. Se o aluno ou o facilitador no perceber o erro, o aprendiz ir apreender
e fixar aquela resposta como uma informao vlida.
21
Com o intuito de criar um modelo de avaliao da qualidade do software,

foi criada a ISO 9126 (1998), de modo a buscar alcanar uma qualidade que atinja
as necessidades de seus usurios. Ela composta por seis caractersticas:
funcionalidade,
confiabilidade,
usabilidade,
eficincia,
manutenibilidade
portabilidade. Neste estudo vamos abordar a importncia da usabilidade, por ser

uma caracterstica da qualidade do software que contribui para a habilidade do uso
dos softwares instrucionais pelos alunos, permitindo que eles possam concentrar o
esforo no aprendizado e no no entendimento do uso da ferramenta.
2.1 Conceito de Usabilidade
Para que possamos escrever sobre testes de usabilidade, faz-se

necessrio definir o atributo usabilidade. Dizemos que ela alcanada quando um
produto ou servio realmente utilizvel, isto , o indivduo pode fazer o que ele
quer da forma como ele espera ser capaz de faz-lo, sem entraves, hesitao ou
perguntas. O que faz algo usvel a ausncia de frustrao em us-lo, ser
agradvel, de forma que o usurio fique satisfeito ao us-lo (RUBIN & CHISNELL,
2008).
A norma ISO 9241-11 (1998) define usabilidade como a capacidade de
um produto ser usado por usurios especficos para atingir objetivos especficos com
eficcia, eficincia e satisfao em um contexto especfico de uso. Uma pgina web
com uma boa eficcia permite que seus usurios alcancem seus objetivos iniciais de
interao. Caso o indivduo no consiga atingir seus objetivos, ele entrar em
desuso, mesmo que seja agradvel. Quando dizemos que um produto tem
eficincia, associamos ideia da quantidade de esforo necessrio para atingir
determinado objetivo no menor tempo possvel e com a mnima quantidade de erros.
A satisfao relaciona-se qualidade do uso, faz referncia ao nvel de conforto que
o usurio sente ao utilizar a interface para alcanar seus objetivos.
22
2.2 Participantes de uma avaliao de usabilidade
Usurio: o sujeito alvo dos testes de usabilidade e prototipagem, prov

informaes sobre o negcio; dependendo das experincias dos usurios
solues diferentes na interface sero exigidas para o mesmo problema.
Avaliador: a pessoa que planeja e conduz as avaliaes de usabilidade,

sendo tambm o responsvel pela anlise dos dados gerados. Ele detm
conhecimento na rea de usabilidade para fazer a anlise da interface ou a
anlise das atividades do usurio.
Outros
colaboradores:
como
equipe
de
suporte,
gerente
de
TI,
desenvolvedores
Projetista instrucional: tambm chamado de designer instrucional, aquele

imbudo da responsabilidade de elaborar o material, tem a responsabilidade
de planejar, pesquisar e avaliar o que ser disponibilizado aos aprendizes.
(LEE & OWENS, 2004)
A elaborao do projeto ou design instrucional uma atividade muito
importante que envolve um cuidadoso planejamento pautado em princpios

cientficos de comunicao, aprendizagem e ensino. Definidos os objetivos do
design, estes serviro de base para que o analista de requisitos elabore os
requisitos da aplicao. No entanto, ter um design instrucional e requisitos bem
elaborados no so suficientes por si s para que a aplicao atenda os objetivos de
seus usurios. O envolvimento e entrosamento do designer instrucional com outros
profissionais facilita alcanar um planejamento e um projeto prximos ao ideal.
23
Figura 1 Interao no desenvolvimento de software educacional
Para que a atividade do projetista instrucional seja mais efetiva bastante

recomendvel existirem:
Validao dos requisitos pela equipe de testes de modo a verificar a

testabilidade dos requisitos. Isto habilita a equipe de testes a conhecer o
negcio envolvido na aplicao desde a fase inicial. O ideal seria, segundo
Rios (2009), que os requisitos escritos s sejam entregues ao cliente para
aprovao, aps a validao pela equipe de testes.
Reunies com os designers (instrucional e grfico) - para apresentar os

roteiros elaborados pelo designer instrucional, antes da implementao de
cada roteiro. Os roteiros elaborados pelo designer instrucional so
apresentados para verificar o nvel de comunicao do material, para saber
at que ponto o que foi planejado pedagogicamente poder ser implementado
sem restries, e caso estas existiam, fazer a compatibilizao. Esta reunio
fundamental para esclarecer dvidas e evitar grandes reformulaes depois
do trabalho de programao j adiantado. Caso, o design grfico no tenha
conhecimento na rea de interao humano computador, um especialista
nessa rea ser importante. Prottipos de baixa fidelidade podero ser
utilizados como: a prototipao em papel, wireframes, entre outros (COELHO,
CARVALHO, BELTRO, FERRAZ, 2008). Tais tcnicas ajudam a definir o
24
layout da aplicao. Assim, precocemente a usabilidade j pode ir sendo

verificada pela equipe de testes.
2.3 Testes de Usabilidade
termo
teste
de
usabilidade
frequentemente
utilizado
indiscriminadamente para se referir a qualquer tcnica usada para avaliar um

produto ou sistema. Na verdade uma das tcnicas de avaliao existentes para
aferir a qualidade de uso dos softwares. Um teste de usabilidade um processo que
emprega, como participantes do teste, pessoas que representam o pblico-alvo do
software em avaliao para avaliar a adequao do produto a critrios de
usabilidade. Tal tcnica difere das demais como as avaliaes heursticas, walkthroughs e similares que no exijam usurios representativos como parte do
processo (RUBIN e CHISNELL, 2008).
O teste de usabilidade uma ferramenta de pesquisa, com suas razes na
metodologia experimental clssica, podendo ser aplicada desde testes de grandes
tamanhos de amostra e de modelos complexos a estudos qualitativos informais, com
apenas um nico participante. Pode-se utilizar abordagens de teste diferentes de
acordo com os objetivos, tempo e recursos necessrios.
Para que tenhamos uma avaliao de usabilidade mais eficiente
importante que ela seja realizada como parte do processo de desenvolvimento de
um produto. Assim, caso alguma deficincia no seja percebida em um teste, um
outro ciclo de teste oferece a oportunidade para identificar esta deficincia. Partindo
disso, Rubin e Chisnell (2008) classificam a avaliao de usabilidade em quatro
tipos, de acordo com a etapa do ciclo de desenvolvimento em que a avaliao de
usabilidade ser realizada:
Teste de Explorao: realizado com o software na fase de definio e

design. Seu objetivo avaliar a efetividade do desenho preliminar e conhecer
a concepo do usurio ou modelo mental do produto. Este tipo de teste
bastante informal, com uma intensa interao entre o usurio e o avaliador.
25
Teste de Avaliao: o mais comum e simples dos testes, podendo ser feito
na fase inicial ou no meio do ciclo de desenvolvimento do produto, mas
normalmente depois da elaborao do design do produto. Busca avaliar se o
conceito foi implementado efetivamente, verificando como um usurio
consegue desenvolver tarefas reais, observando deficincias especficas de
usabilidade.
Teste de Validao: acontece numa fase mais avanada do ciclo de

desenvolvimento, verifica como o produto se enquadra em relao a padres
de usabilidade, de performance e histricos definidos no comeo do projeto.
Valida tambm a interao entre os componentes do produto, por exemplo, a
forma em que a ajuda, a documentao e o software esto integrados entre
si. Seu objetivo prever o lanamento de um produto novo no mercado.
Teste de Comparao: no associado a nenhum ponto especfico do ciclo

de desenvolvimento. utilizado para comparar diferenas entre estilos de
interface, para medir a efetividade de um elemento integrante da interface,
para ver como a liberao de um produto atinge um produto concorrente.
2.4 Tcnicas de Avaliao de Usabilidade
As tcnicas de usabilidade podem ser classificadas quanto ao seu

objetivo. Para esta classificao, temos trs classes distintas de tcnicas para
avaliao de usabilidade (CYBIS, 2003). No entanto, neste trabalho, daremos mais
nfase avaliao prospectiva, por meio dos questionrios.
2.4.1 Tcnicas Objetivas (ou Interpretativas)
O avaliador faz uma simulao de uso do aplicativo com os usurios

finais, monitorando-os. Aps isso, os dados coletados devem ser interpretados.
Podemos citar como exemplo:
26
Teste Emprico Tradicional - consiste em observar e monitorar a interao do

usurio
com
sistema,
em
um
ambiente
parcialmente
controlado
(normalmente em um laboratrio), atravs da execuo de uma bateria de

atividades de determinada funcionalidade da aplicao
(PRATES &
BARBOSA, 2003);
Protocolo Think-Aloud - durante o teste, o usurio participante realiza uma

tarefa da aplicao expressando em voz alta os seus pensamentos,
sensaes e opinies enquanto interage com o produto (OLIVEIRA JUNIOR,
2006);
Focus Groups - ou discusso em grupo (DG), ajuda a levantar as

necessidades das pessoas, desejos, sentimentos, valores, idias..., sempre a
partir do que discutido e dito por elas. til na criao ou reformulao de
um produto ou servio (AMSTEL, 2004);
Teste de Comunicabilidade - como o teste de usabilidade tradicional, deve ser

executado em laboratrio, para avaliar a interface com relao qualidade da
comunicao do designer para os usurios, coletando as expresses
utilizadas pelo usurio na sesso do teste (PRATES & BARBOSA, 2003).
2.4.2 Tcnicas Prospectivas
Faz-se uma prospeco das opinies subjetivas dos usurios, baseadas

na aplicao de questionrios ou entrevistas com o usurio para avaliar sua
satisfao em relao ao sistema e sua operao. Sua dificuldade que as taxas de
devoluo so reduzidas (no mximo 30% de retorno).
Questionrios de Satisfao dos Usurios - so teis na avaliao da
interao entre o usurio e a aplicao, permitindo conhecer as experincias,
opinies e preferncias dos usurios, coletando informaes sobre a
qualidade da interface. Tais dados so to (ou mais) importantes quanto a
performance do sistema, e s podem ser obtidas perguntando aos usurios
27
(WINCKLER, 2001). No prximo captulo abordaremos com mais detalhes os

questionrios de satisfao j desenvolvidos.
2.4.3 Tcnicas Preditivas (ou Diagnsticas)
So realizadas atravs de inspees feitas por especialistas na interface,

destinando-se a prever problemas que os usurios possam vir a ter. So mais
baratas e fceis para aplicar, pois no h esforo em recrutar usurios. So
exemplos desta tcnica: avaliao heurstica, checklists, percurso cognitivo.
Avaliao Heurstica - consiste em um exame de um produto ou sistema feito

por um especialista em usabilidade ou em fatores humanos. Foi desenvolvida
pelos pesquisadores Jakob Nielsen e Rolf Molich. um mtodo simples, de
curta durao e de baixo custo comparado a outros mtodos. Sua eficincia
depende da capacidade dos avaliadores de reconhecerem problemas de
usabilidade (NIELSEN, 1993).
Checklist - um conjunto mnimo de regras baseadas em recomendaes,

que so aplicveis diretamente ao projeto por programadores e analistas, no
necessariamente especialistas em usabilidade, no exigem um grande
esforo de interpretao como enfatiza Winckler (2001). Nessa tcnica, a
qualidade do checklist que faz a diferena no resultado da avaliao.
Verses adaptadas ou especializadas de um checklist podem ser feitas, como
as de: Matias (1995) com seu checklist para avaliao de interfaces de
software em geral, onde foi aplicado em um software editor de textos, e o
ErgoList que uma base de conhecimento em ergonomia com um checklist
para inspeo ergonmica de interfaces humano-computador.
Dentre as tcnicas j mencionadas para avaliar a usabilidade, existe um
atrativo na utilizao de questionrio como ferramenta para avaliao: os achados

produzidos pela investigao, independentemente dos sistemas, usurios e tarefas
considerados, so passveis de descrio e anlise estatstica (NIELSEN, 1994). Isto
torna tal tcnica uma ferramenta para sondagem de aplicao rpida, o que reduz,
por conseguinte, os custos envolvidos com a administrao e computao dos
28
resultados. Foi adotado o questionrio como ferramenta apropriada para a soluo

do problema explorado neste trabalho, uma vez que sua adoo no exige maiores
conhecimentos, especialmente, quando um questionrio on-line em que a
tabulao dos dados automatizada.
29
3. FERRAMENTAS DE AVALIAO DA USABILIDADE
Para que possa fazer uma avaliao da usabilidade dos sistemas

computacionais, utilizamo-nos de metodologias, tcnicas e ferramentas que melhor
se adequem s necessidades da avaliao pretendida. A escolha das tcnicas e
ferramentas apropriadas depender da etapa do desenvolvimento do software. Nas
situaes em que a aplicao j esteja desenvolvida ou sendo implantada mister
que elas passem por verificao de sua qualidade, de modo que o usurio certifiquese que a soluo prestar-se- para os fins que motivaram a sua aquisio.
Em casos como esse, em que a soluo j esteja pronta, as tcnicas de
avaliao prospectivas como os questionrios e entrevistas so ideais por colherem
as opinies e experincias de seus usurios finais a respeito da aplicao
desenvolvida sob demanda ou a ser adquirida da prateleira. Muitas empresas de
software elaboram e aplicam regularmente questionrio de satisfao a seus
usurios, como parte de sua estratgia de qualidade (CYBIS, 2003).
Para que a avaliao de um software educativo seja precisa, necessrio
empregar critrios para medir no s a usabilidade em um contexto de uso genrico,
mas tambm levar em considerao o projeto pedaggico da aprendizagem que
est inserido na aplicao voltada ao ensino (SQUIRES & PREECE, 1999). Portanto
os questionrios para este tipo de software tambm devem conter critrios
pedaggicos em suas formulaes. Elencam-se a seguir questionrios de satisfao
do usurio mais apontados em pesquisa bibliogrfica, com suas peculiaridades
distintas.
Foram encontrados vrios questionrios para medir a usabilidade de
softwares de uso geral e de uso especfico para o ensino. A seguir relacionamos
alguns mais referendados nas pesquisas (USABILITYNET; SOARES, 2004;
OLIVEIRA JUNIOR, 2006).
A seguir apresentamos diferentes tipos de questionrios dispostos em
dois grupos: um para avaliao de usabilidade tcnica, abrangendo neste tpico
30
tanto aplicaes voltadas ou no para a internet e outro para a avaliao da

usabilidade pedaggica.
3.1. Ferramentas para Avaliao da Usabilidade Tcnica
A usabilidade tcnica est relacionada aos critrios que objetivam facilitar

o uso e a eficincia das funes, objetos de interao e caractersticas das
interfaces (REITZ, 2009). Relaciona-se a fatores como, por exemplo, tempo de
download muito lento que pode fazer com que os alunos, usurios de um site
destinado educao, desistam de utiliz-lo por sua deficincia. No importa o quo
pedagogicamente elaborado um contedo de um site possa ser, se o site
impossibilita os alunos de encontrarem o contedo desejado. Nesse sentido,
observamos que a usabilidade tcnica serve de base para a usabilidade relacionada
ao processo pedaggico. Existem diversos questionrios elaborados avaliar os
aspectos da interao com o usurio que precisam estar presentes em qualquer
aplicao, independentemente da rea a que se destine.
3.1.1 ErgoList
O questionrio ErgoList um servio disponibilizado via internet composto

de uma base de conhecimento em ergonomia, que inspeciona, atravs de um
checklist, interfaces homem-computador. Nesse ambiente, o especialista avalia a
interface de uma aplicao usando o checklist disponibilizado pelo LabIUtil. Tem
uma base de questes bastante completa, cobrindo vrios aspectos da usabilidade
do software. Por ser um checklist, deve ser usado por um especialista com
conhecimento em ergonomia (ERGOLIST, 2008).
Este questionrio leva em considerao os dezoito critrios ergonmicos
de Bastien e Scapin (1993). So dezoito checklists disponveis no Ergolist, para cada
um destes critrios que determina a ergonomia de uma interface homem-
31
computador, totalizando 194 questes. Abaixo segue a descrio de sua

organizao:
Critrio
Descrio
Qtde
questes
1.Presteza
Verifica se o sistema informa e conduz o usurio durante a

interao
17
2.Agrupamento por
localizao
Verifica a distribuio espacial dos itens traduz as relaes

entre as informaes.
11
3. Agrupamento/
distino por
formato
Verifica os formatos dos itens como meio de transmitir

associaes e diferenas.
17
4. Feedback
Avalia a qualidade do feedback imediato s aes do usurio.
12
5. Legibilidade
Verifica a legibilidade das informaes apresentadas nas telas

do sistema.
27
6. Conciso
Verifica o tamanho dos cdigos e termos apresentados e

introduzidos no sistema.
14
7. Aes Mnimas
Verifica a extenso dos dilogos estabelecidos para a

realizao dos objetivos do usurio.
8. Densidade
Informacional
Avalia a densidade informacional das telas apresentadas pelo

sistema.
9. Aes Explcitas
Verifica se o usurio quem comanda explicitamente as aes

do sistema.
10. Controle do
Usurio
Avalia as possibilidades do usurio controlar o encadeamento e

a realizao das aes.
11. Flexibilidade
Verifica se o sistema permite personalizar as apresentaes e

os dilogos.
12. Experincia do
Usurio
Avalia se usurios com diferentes nveis de experincia tm

iguais possibilidades de obter sucesso em seus objetivos.
13. Proteo contra Verifica se o sistema oferece as oportunidades para o usurio

erros
prevenir eventuais erros.
14. Mensagens de
erro
Avalia a qualidade das mensagens de erro enviadas aos

usurios em dificuldades
15. Correo de
erros
Verifica as facilidades oferecidas para que o usurio possa

corrigir os erros cometidos.
16. Consistncia
Avalia se mantida uma coerncia no projeto de cdigos, telas

e dilogos com o usurio
11
17. Significados
Avalia se os cdigos e denominaes so claros e significativos

para os usurios do sistema.
12
18. Compatibilidade Verifica a compatibilidade do sistema com as expectativas e

necessidades do usurio em sua tarefa
Quadro 1 - Distribuio das questes Ergolist por critrio
21
32
Este questionrio utiliza o checklist para avaliao disponibilizado na web.

gratuito e bem recomendado, mas no especfico para aplicao web.
3.1.2 Questionrio ISONORM
O ISONORM 9241/10 um modelo de questionrio proposto por Prumper

(1993 apud OLIVEIRA JUNIOR, 2006) baseado na Norma ISO 9241. Objetiva
avaliar a conformidade dos produtos de software com as recomendaes constantes
da parte 10 da norma, possui grau de aplicabilidade bastante satisfatrio,
identificando os pontos de melhoria e bastante estvel. Uma vantagem nele que
foi limitado a cinco questes para cada principio de modo a reduzir o tempo de
preenchimento para, no mximo, 10 minutos, totalizando 34 questes. Ele dividido
em 7 sees, conforme os princpios de dilogo da norma ISO 9241 parte 10:
Adequao Tarefa, Autodescrio, Controlabilidade, Conformidade com as
Expectativas do Usurio, Tolerncia a Erros, Adequao Individualizao e
Adequao ao Aprendizado (ISONORM, 2010).
Sua avaliao pode ser feita pelos prprios usurios do software a ser
avaliado. um questionrio para avaliao de qualidade do software como um todo,
sendo de domnio pblico, podendo ser usado abertamente por qualquer pessoa ou
entidade. Seus dados tm que ser tabulados manualmente, disponvel apenas para
uso em papel, no existindo uma verso em um questionrio on-line.
3.1.3 WAMMI
O WAMMI - Web Analysis and MeasureMent Inventory um questionrio

desenvolvido usando tcnicas psicomtricas, com confiabilidade de 90% a 93%,
usado para medir a satisfao dos usurios e a facilidade de uso de website. Est
disponibilizado para preenchimento on-line, gerando vrios relatrios com: grfico de
33
resultados, mostrando a mdia dos fatores que esto acima ou abaixo do valor de
referncias; anlise de sentenas; perfil do website, sendo medida a atratividade do
usurio, o grau que o usurio sente que tem no controle da interao, a eficincia do
site, o suporte ao usurio e a facilidade do aprendizado.
As vinte perguntas do questionrio esto em vocabulrio de fcil
entendimento e, por no conterem uma quantidade elevada de questes, permite
ser preenchido em pouco tempo. A sua restrio quanto ao custo, pois para ser
utilizado no todo ou em parte, a empresa ou instituio precisa pagar (WAMMI,
2010).
3.1.4 QUIS
Questionnaire for User Interaction Satisfaction QUIS um questionrio

para medir a satisfao do usurio quanto usabilidade de um modo padronizado,
seguro e vlido, a fim de obter informaes precisas em relao reao dos
usurios a novos produtos. Foi hierarquicamente organizado em 7 fatores referentes
interface:
Fatores relacionados s telas;
Terminologia e retorno do sistema;
Fatores relacionados ao aprendizado;
Capacidade do sistema;
Manuais tcnicos;
Tutoriais on-line;
Multimdia;
Foi desenvolvido por Shneiderman, em 1987, onde o registro das opinies
feito atravs de uma escala numrica indo de 1 a 9. Foi modificado muitas vezes
34
para mant-lo atualizado, desde a sua primeira apario. O questionrio projetado

para ser configurado de acordo com as necessidades de cada anlise de interface,
incluindo unicamente as questes que interessam para a anlise proposta. Ele est
disponvel comercialmente para uso. Apesar de ser muito bom e recomendado, tem
a desvantagem de no poder ser usado gratuitamente (HCLI, 2010).
3.1.5. SUS
System Usability Scale - SUS um questionrio maduro, desenvolvido

por John Brooke (1986). muito robusto e tem sido amplamente utilizado e
adaptado. de domnio pblico e no h ningum que tenha publicado nenhum
dado de normalizao sobre o assunto. Os dez itens deste questionrio e a forma
de calcular suas pontuaes se difere acentuadamente dos demais questionrios,
seus resultados so mais gerais, pois no foi desenvolvido para ser aplicado
especificamente a softwares. Dessa forma, adaptar suas dez questes, da forma
como foram idealizadas por seu autor, ao contexto deste trabalho pode distorcer os
resultados a serem esperados. No sendo uma opo razovel a ser utilizada para
avaliar a usabilidade geral de uma aplicao educacional.
3.1.6 SUMI
Software Usability Measurement Inventory - SUMI um questionrio para

medio da qualidade de um software do ponto de vista do usurio. Foi
desenvolvido em 1990 por KiraKowski (2002). Est em constante atualizao e
normalizao de sua base e manual. mencionado na norma ISO 9241 como um
mtodo reconhecido para testar a satisfao do usurio. Trata-se de um produto
comercial completo, com pontuao e software de gerao de relatrio. Ele
projetado e vendido pela Human Factors Research Group da Universidade College
Cork. composto de 50 questes, com trs nveis de resposta: Concordo, Indeciso
e No Concordo. Relaciona-se com cinco aspectos principais: Eficincia, Empatia
35
(apreciao subjetiva), Controle, Ajuda e Aprendizagem. bem recomendado e com

resultados precisos, mas no pode ser usado sem nus (SUMI, 2010).
3.2 Ferramentas de Avaliao da Usabilidade Pedaggica
A usabilidade pedaggica est associada aos critrios e recomendaes

de usabilidade com a finalidade de satisfazer as necessidades dos alunos para a
realizao de tarefas propostas atravs de componentes da interface do material de
aprendizagem. Ela definida, conforme classificao de Nielsen (1990), como um
sub-conceito de utilidade, enquanto que a usabilidade tcnica um sub-conceito de
usabilidade, conforme demonstrado na figura 2.
Para Nokelainen (2006), a usabilidade tcnica deve proporcionar
facilidade na aprendizagem do uso das principais funes da aplicao e que as
mesmas sejam eficientes e convenientes em seu uso. Para o autor, a usabilidade
pedaggica deve prover um projeto do material de aprendizagem cujas funes
facilitam a aprendizagem deste material e sua distribuio.
Figura 2 Conceito de Usabilidade Tcnica e Pedaggica

Fonte: Nielsen (1990), adaptado por Nokelainen (2006), apud Reitz (2009)
36
3.2.1 Questionrio de satisfao de Nokelainen
Nokelainen (2006) props um questionrio para avaliao da usabilidade

pedaggica composto de 56 itens (Anexo A) dispostos em uma escala Lickert.
Apresenta os seguintes critrios de usabilidade pedaggica: controle do aluno;
controle de atividade; aprendizagem colaborativa/cooperativa; orientao de metas;
aplicabilidade; valor agregado; motivao; avaliao do conhecimento prvio;
flexibilidade e feedback. Estes critrios so decompostos em 51 sub-dimenses da
usabilidade pedaggica. Tem uma excelente abordagem das necessidades
pedaggicas, mas no aborda os aspectos inerentes usabilidade tcnica e que so
necessrios para se atingir um bom nvel de qualidade numa aplicao educacional.
3.2.2 Questionrio de Ssemugabi
Foi elaborado por Ssemugabi (2006) para medir a usabilidade tcnica e

pedaggica (Anexo B). Alm das 10 heursticas propostas por Nielsen adotadas
neste questionrio para a avaliao geral de usabilidade, existe um conjunto
propondo outras 10 heursticas, especficas para avaliao de usabilidade de
aplicaes e-learning, tendo por base as heursticas de aprendizado com software
(learning with software) propostas por (SQUIRES e PREECE 1999, apud
SSEMUGABI, 2006). As 20 heursticas so divididas em 03 categorias:
Categoria 1: Critrio geral de usabilidade de interface, com as 10 heursticas

propostas por Nielsen, com pequenas modificaes para o contexto de
aplicaes e-learning;
Categoria 2: Critrio especfico para aplicaes web educacionais, com 02

heursticas;
Categoria 3: Critrio especfico sobre design com foco em aprendizado,

focando em aprendizado efetivo, com 08 heursticas.
37
Tem uma abordagem muito boa, porm por utilizar as 10 heursticas de

Nielsen para medio da usabilidade tcnica, resulta numa quantidade grande de
questes s para a medio da usabilidade geral, dificultando a sua aplicao aos
usurios. Quando aplicado em um ensaio deste estudo a alguns usurios, estes
relataram
que
quantidade
grande
de
questes
desestimulava
seu
preenchimento.
3.2.3 Questionrio de Reitz
Este questionrio (Anexo C), desenvolvido por Reitz (2009), utiliza as 10

heursticas propostas por Nielsen, como base para avaliao da usabilidade geral,
que foram adaptadas pelo trabalho de Ssemugabi (2006), gerando um bom conjunto
de questes, mas ainda extenso para ser aplicado a um questionrio on-line.
Tendo em vista a necessidade de uma ferramenta que se adeque ao
problema apresentado neste trabalho, buscou-se criar uma ferramenta de avaliao
da interface de usurio de aplicao educativa web, com o compromisso de
simplicidade e gratuidade, uma vez que as ferramentas supramencionadas no se
adquam s necessidades do problema a ser resolvido por esta pesquisa.
38
4. PROPOSTA E FUNCIONAMENTO DO SAUSP
O desenvolvimento da metodologia utilizada no SAUSP Sistema

Avaliador de Usabilidade em Softwares Pedaggicos objetiva auxiliar professores a
avaliar os softwares educacionais a serem utilizados como ferramenta de apoio
aprendizagem dos alunos nos laboratrios de informtica das escolas. Destina-se a
oferecer um mecanismo a professores de laboratrios de informtica que necessitem
mensurar a qualidade de uso de materiais de aprendizagem, levando em
considerao os fatores pedaggicos e tcnicos da usabilidade. A ferramenta utilizase de um questionrio de satisfao do usurio para avaliar a usabilidade geral, a
usabilidade pedaggica e a usabilidade voltada web.
4.1 Seleo do Tipo do Tcnica de Avaliao de Usabilidade
A escolha do questionrio como tcnica empregada por esta ferramenta,

dentre as diversas tcnicas aplicados para avaliao de usabilidade de softwares,
justificada pelas seguintes razes (REITZ, 2009; OLIVEIRA JUNIOR, 2006):
- tem um custo baixo (VASCONCELOS, 2007);
- por colher a opinio de seus usurios finais, uma forma recomendada
e prtica de detectar problemas de usabilidade;
- oferece uma mtrica para a usabilidade, pois quantitativamente classifica
os materiais de aprendizagem em diferentes nveis de usabilidade;
- adequada a usurios finais, neste caso, a professores, evidenciada
pela quantidade de questionrios por eles respondidos nos trabalhos desta pesquisa
e de Reitz (2009);
- tem praticidade na deteco de problemas de usabilidade, no exigindo
conhecimento de especialista ou um grande esforo para interpretao.
39
Shneiderman (1998, p.132 apud SOARES, 2004) tambm elenca razes

que apontam o questionrio de satisfao do usurio como uma tcnica
recomendvel para avaliao de usabilidade, por ser uma tcnica de baixo custo e
ser um bom complemento para os testes e inspees de usabilidade. Alm disso,
til, quando se tem uma grande quantidade de usurios dispersos geograficamente,
como o caso dos professores das escolas municipais que trabalham nos 225
laboratrios de informtica nas 324 escolas municipais, em que aproximadamente
175 mil alunos os utilizam (NOGUEIRA, 2010).
O questionrio desenvolvido nesta proposta adotou como medida de
usabilidade a satisfao do usurio, j que ela, junto com a eficincia e a efetividade,
pela definio da International Organization for Standardization (RODRIGUES,
2010), so mtricas de usabilidade que permitem usarmos um produto alcanando
seus objetivos especficos em um contexto de uso especfico (ISO 9241-10).
Levando em considerao a satisfao, como o sentimento de prazer ou
de desapontamento resultante da comparao do desempenho esperado pelo
produto (ou resultado) em relao s expectativas do usurio, possvel analisar
esse sentimento quantitativamente pelos questionrios (SOARES, 2004).
importante ressaltar que, quando um questionrio avalia a satisfao dos usurios
de um software, est tambm investigando o grau de usabilidade observado na
interao e nos resultados obtidos. Dessa forma, o avaliador acaba tambm aferindo
os parmetros relativos eficincia do sistema e de suas interfaces (CYBIS e
MEDEIROS, 2000, apud ENDLER, 2000; SANTOS, 2003). Para organizar as
respostas, a melhor alternativa para esse tipo de avaliao, disp-las em escalas,
para depois que as perguntas terem sido respondidas, serem tabuladas para
obteno de dados quantitativos do nvel de satisfao dos usurios (KOTLER,
2003; SANTOS, 2003).
4.2 Proposta do questionrio de avaliao desta ferramenta
Primeiramente, algumas definies no tocante avaliao sero feitas

(NASCIMENTO JUNIOR, 2000 apud SOARES, 2004). Um mtodo de avaliao
40
constitudo de vrias tcnicas, j a tcnica de avaliao corresponde a um

procedimento de natureza nica. Enquanto que a ferramenta a implementao
das tcnicas de avaliao de usabilidade disponibilizadas atravs de recursos
computacionais ou no.
Para a obteno dos objetivos de uma pesquisa, podemos combinar
vrios mtodos, tcnicas e ferramentas j desenvolvidas. Isso bastante positivo,
pois essa combinao desses achados amplia a possibilidade de aplicao dos
mtodos em situaes de carter mais especfico (SOARES, 2004).
Esta ferramenta utiliza: os princpios estabelecidos pela Norma ISO 9241Parte 10 Princpios de Dilogo, baseado nas perguntas do modelo de questionrio
proposto por Prumper (1993 apud OLIVEIRA JUNIOR, 2006, p. 21), para medir a
usabilidade geral das aplicaes; nos critrios e heursticas de usabilidade
pedaggica de Nokelainen (2006) para medir a usabilidade pedaggica e nos
critrios de Ssemugabi (2006) para medir a usabilidade voltada web.
4.3 Forma de Organizao do Questionrio na Ferramenta
Para a formulao deste questionrio foi realizada uma pesquisa

bibliogrfica sobre o estado da arte, de modo a colher informaes sobre os vrios
tipos de questionrios j existentes e validados, para poder selecionar as ideias que
melhor pudessem se adequar resoluo do problema proposto.
As questes extradas dos questionrios de satisfao encontrados na
pesquisa bibliogrfica de Nokelainen (2006), Ssemugabi (2006) e da ISONORM
(1993) foram agrupadas e ajustadas em sees, atravs de sntese e adaptao das
questes, sendo eliminadas as perguntas semelhantes das fontes diversas ou
adaptadas para aplicao ao contexto deste problema, de modo a minimizar a
quantidade de questes, contribuindo para reduzir o tempo de preenchimento do
formulrio, gerando mais atratividade por seus utilizadores e, por consequncia, um
maior nmero de respostas aos questionrios (NIELSEN; MACK, 2001).
41
Antes de sua verso final, foi feito um pr-teste do questionrio pelos

usurios, em que foram colhidas suas opinies e dificuldades, onde algumas
questes foram eliminadas e outras sofreram ajustes em sua redao para melhor
entendimento por seus avaliadores, para enfim chegar-se sua verso final.
O questionrio de satisfao de uso desta proposta (ver Apndice C) ser
disponibilizado atravs de um questionrio on-line implementado no SAUSP, um site
com o propsito de dar suporte mensurao da qualidade em uso das aplicaes
educacionais para os professores do ensino fundamental das escolas municipais.
Atravs de uma escala, medida a satisfao do usurio com a interface da
aplicao educacional e a sua eficincia pedaggica. As respostas so dispostas em
uma escala Lickert com pontuao de 1 a 5, indo de Concordo Totalmente (5
pontos) at Discordo Totalmente (1 ponto), conforme a figura abaixo:
Figura 3 Resposta do questionrio em escala Lickert
As perguntas deste questionrio esto organizadas em trs categorias:

usabilidade geral, usabilidade de sites para EAD e usabilidade pedaggica,
conforme abaixo descrito:
- Usabilidade Geral: baseada nas questes do modelo de questionrio
ISONORM 9241/10
- Usabilidade para sites de EAD: baseada em Ssemugabi (2006)
- Usabilidade Pedaggica: baseada em Nokelainen (2006)
4.3.1 Questes relativas Usabilidade Geral
As questes extradas do questionrio ISONORM so relativas

usabilidade geral e relacionam-se a sete grupos, conforme os princpios de dilogo
da
parte
10
da
norma
ISO
9241
(RODRIGUES,
2010),
uma
norma
42
internacionalmente reconhecida, conforme Cybis (2003). Seus princpios so

(NOKELAINEN, 2006 apud REITZ, 2009):
Adequao Tarefa: uma interface adequada para uma tarefa
quando ela d apoio ao usurio de modo que a tarefa seja concluda de forma
efetiva e eficiente.
Autodescrio: quando os passos do dilogo na interface so
imediatamente compreensveis por meio de resposta do sistema ou explicado, sob
demanda, ao usurio.
Controlabilidade: permite que o usurio inicie e controle a direo e o
ritmo da interao at seu objetivo ser atingido.
Conformidade com as Expectativas do Usurio: a interface
consistente e corresponde s caractersticas do usurio (conhecimento da tarefa,
educao e experincia) e s convenes por ele normalmente aceitas.
Tolerncia a Erros: se, apesar de erros de entrada do usurio, o
resultado da aplicao esperado pode ser obtido com pouca ou nenhuma ao
corretiva do usurio.
Adequao Individualizao: se capaz de ser modificado para se
adequar s necessidades da tarefa, preferncias individuais e habilidades do
usurio.
Adequao ao Aprendizado: quando guia e d apoio ao usurio para
as estratgias em aprender a usar o sistema, permitindo sua compreenso e
memorizao.
Este questionrio foi escolhido por refletir fielmente aos princpios da ISO
9241/10 e ser de domnio pblico, podendo ser empregado no apenas para uso
acadmico, mas tambm disponibilizado livremente para uso profissional, suprindo a
necessidade da poltica de informtica de Software Livre, implantada pelo governo
municipal nos softwares implantados nas escolas no municpio de Fortaleza (SILVA,
2009).
43
4.3.2. Questes relativas Usabilidade de Sites para EAD
As questes relativas usabilidade para sites de EAD foram baseadas no

questionrio de satisfao do usurio de Ssemugabi (2006) de sua segunda
categoria (Design especfico para websites educacionais). A escolha dessa parte
dos critrios desse autor se deu, pois eles se adequam perfeitamente s
necessidades desta pesquisa, no sendo extenso. interessante ressaltar um
detalhe nos seus achados. Apesar de sua pesquisa ter sido realizada com 61
alunos, os quatro especialistas em usabilidade pedaggica que tambm foram
consultados, detectaram mais problemas que todos os alunos. Ressaltando que esta
tcnica se mostrou mais proveitosa para profissionais do ensino do que para alunos,
que apesar de serem os usurios alvo dos materiais de aprendizagem, no tiveram
maturidade suficiente para ponderar questes importantes do processo cognitivo. As
questes foram classificadas em dois grupos:
1. Simplicidade de navegao e estrutura: o site disponibilizar uma
estrutura de navegao simples, de modo que seus usurios possam saber sua
localizao dentro dele.
2. Relevncia do contedo do site para a aprendizagem: o site apresentar
um contedo motivador, relevante e adaptado para o aluno. O contedo oferecido ao
aluno pertencer a autores consagrados na literatura.
4.3.3 Questes relativas Usabilidade Pedaggica
As questes relativas usabilidade pedaggica apontam para os dez

critrios de usabilidade pedaggica de Nokekainem (2006). A deciso por estes
critrios se deu, pois eles se referem aos fatores pedaggicos a serem observados
em uma aplicao voltada ao ensino, sendo j adaptados para este contexto e
inclusive aplicados a alunos do 5 e 6 ano do ensino fundamental (REITZ, 2009).
Outrossim, as perguntas de seu questionrio tem uma grande abrangncia,
totalizando 56 perguntas que podem ser usadas para os diversos contextos de
44
aprendizagem, sobrepujando os critrios de Ssemugabi (2006) dispostos nas 39

perguntas do questionrio de seu trabalho ligadas ao design instrucional centrado no
usurio. A classificao das questes se aplica para os critrios abaixo:
1. Controle do aluno: observar a sobrecarga da memria do aluno, para
evitar que os materiais sejam mal divididos, respeitando o preconizado por John
Sweller (2003), em que as pessoas podem ter de cinco a nove itens em sua
memria de curto prazo.
2. Atividade do aluno: quando existe uma boa didtica, a atividade
individual do aluno pode ser melhorada e, portanto, aumentada.
3. Aprendizagem colaborativa/cooperativa: o aluno poder estudar com
outros aprendizes para alcanar as metas de aprendizagem em comum.
4. Orientao a objetivos: deixar evidente para os aprendizes, quais so
suas metas e os objetivos de aprendizagem a serem alcanados.
5. Aplicabilidade: o
contedo do material deve
corresponder s
habilidades que o aluno necessitar de maneira prtica em sua vida. Procurar

transferir o conhecimento e as habilidades do aluno a outros contextos.
6. Valor agregado: normalmente adicionado atravs do uso criativo das
possibilidades disponibilizadas pelo computador, por meio de udio, imagens, vdeo,
de acordo com a necessidade do aluno.
7. Motivao: o material apresentar contedos e funes interativas de
modo a manter os alunos motivados, proporcionando-lhes criatividade, pensamento
crtico e aprendizagem ativa.
8. Avaliao do conhecimento prvio: respeitar o conhecimento prvio do
aprendiz, observando as suas diferenas individuais de conhecimento e habilidades,
podendo oferecer a reviso de contedos anteriores necessrios ao aprendizado do
contedo atual.
9. Flexibilidade: oferecer facilidade para o usurio operar e manter o
sistema
45
10.
Feedback: oferecer ao aluno um feedback incentivador para
aumentar sua motivao e imediato, para ele entender os problemas em sua

aprendizagem.
A proposta da utilizao dos critrios levantados por essa soluo no
avaliar os materiais de aprendizagem, definindo-os como bons ou ruins. O
propsito auxiliar seus usurios, os professores, na seleo mais adequada
situao de aprendizagem para os alunos. Isso pode ser realizado porque os
resultados obtidos da avaliao sero medidos por cada categoria especfica de
usabilidade e por cada um de seus critrios. Podendo o professor, atravs dos
grficos gerados com os resultados apontados para cada critrio, observar os pontos
mais fortes do material de aprendizagem e us-los para a situao de aprendizagem
mais adequada.
Para exemplificar a ajuda desta proposta, vejamos um determinado objeto
de aprendizagem no laboratrio de informtica que tem um elevado nvel de
aceitao
no
critrio
Motivao,
mas
no
critrio
Aprendizagem
Colaborativa/Cooperativa tem uma baixa avaliao. Primeiramente, vejamos uma

situao de aprendizagem em que os alunos precisem interagir com seus colegas.
Nessa situao, esse objeto de aprendizagem ser inadequado, pois no atende
eficientemente necessidade de cooperao entre os alunos. No entanto, se a
situao de aprendizagem for diferente da anterior, onde seja necessrio que os
alunos estejam bem motivados no uso do mesmo objeto de aprendizagem, mas que
eles no tenham que trabalhar cooperativamente, este objeto de aprendizagem ser
o recomendado.
4.4 Implementao da ferramenta em um site
A ferramenta ser destinada a um pblico especfico, aos profissionais da

educao interessados em aferir a qualidade dos softwares educacionais a serem
usados por alunos do ensino fundamental nos laboratrios de informtica.
O usurio que adentrar no site encontrar trs funcionalidades na tela
inicial da aplicao (Figura 4). Ter as opes de conhecer um pouco mais sobre
46
Usabilidade, ver que materiais j foram avaliados e responder ao questionrio de

avaliao.
Figura 4 Tela inicial do SAUSP
4.4.1 Saiba mais sobre usabilidade
Ao clicar em Saber Sobre Usabilidade, o usurio poder, conhecer sua

definio, sua importncia e como avali-la. Consiste em um contedo introdutrio
sobre a importncia dos princpios que regem a qualidade dos softwares, dando
nfase usabilidade, subdivindo-a em usabilidade tcnica e pedaggica. Um texto
resumido ir explicar para o utilizador que a avaliao ser medida em trs
categorias da usabilidade, elencando os critrios atinentes a cada uma delas:
- usabilidade geral
- usabilidade de sites para EAD
47
- usabilidade pedaggica
Ser tambm disponibilizada uma relao de links recomendados para
leitura, para um maior aprofundamento sobre o tema usabilidade. De modo que a
aplicao tenha somente as informaes essenciais para o uso pelos professores
(Figura 4)
Figura 5 Tela da funcionalidade Saiba sobre Usabilidade
4.4.2 Consultar Materiais Avaliados
Essa funcionalidade acessa os materiais que j foram avaliados pelos

professores atravs do questionrio on-line. Todos os materiais cadastrados e
avaliados constaro na base de dados da aplicao, para eventuais consultas por
qualquer professor.
A consulta ser realizada da seguinte maneira.
a) Na tela inicial da consulta constar o campo:
48
- Disciplina: ser um campo do tipo menu de escolha nica, onde

constaro como valores as disciplinas do curriculum escolar da rede de ensino. Este
campo de preenchimento obrigatrio, com valor default Escolha uma disciplina,
para que o professor tenha que selecionar uma opo. Esta condio importante
para que, caso o usurio inadvertidamente no preencha este campo, a consulta
no venha trazer todos os materiais existentes no banco de dados. Caso o usurio,
no preencha esse campo, uma mensagem de erro ser exibida ao lado do campo,
informando a necessidade de seu preenchimento.
- Consultar: boto de envio (ou submisso), que ao ser acionado verificar
o contedo do campo Disciplina relacionada, trazendo todos os registros com os
materiais de aprendizagem j avaliados.
b) Na tela seguinte, ser exibido o campo:
- Nvel: um campo do tipo menu de escolha nica. Nele constaro como
valores a escolher: Fundamental I ou Fundamental II . Esse campo de
preenchimento obrigatrio, com valor default Escolha um nvel. Ao selecionar um
valor nesse campo, a aplicao ir exibir na tela todos os materiais de aprendizagem
que atendam a essa consulta.
As informaes pertinentes aos materiais de aprendizagem sero:
- Nome do material: texto contendo o nome do objeto ou material de
aprendizagem
- Onde encontro: texto contendo a localizao do material, que poder ser
um link ou uma outra descrio, caso esteja disponvel, por exemplo, em CD.
- Nvel: texto contendo um dos valores Fundamental I ou Fundamental
II.
- Ano: texto opcional caso no cadastro do material de aprendizagem,
tenha sido preenchido pelo professor.
- Avaliao do material: link para exibio dos grficos com os resultados
das avaliaes feitas pelo(s) professore(s).
49
c) A tela com a avaliao do material selecionado exibir os dados da

avaliao em forma de grfico (Grficos 1, 2, 3 e 4). As figuras mostradas dentro
desta seo tem carter apenas ilustrativo, no contendo dados reais.
Quadro Geral da Usabilidade
Grfico 1 Resultado das 3 categorias de usabilidade
Usabilidade Geral
Grfico 2 Resultado dos critrios de usabilidade tcnica
50
Usabilidade relativa a sites EAD
Grfico 3 Resultado dos critrios de usabilidade para sites web
Usabilidade Pedaggica
Grfico 4 Resultado dos critrios de usabilidade pedaggica
51
4.4.3 Responder ao Questionrio
Disponibilizar para o professor usurio uma tela (Figura 6) com os

seguintes campos:
Figura 6 Tela da funcionalidade Responder Questionrio
- Nome: campo do tipo texto, de preenchimento obrigatrio. Caso o

usurio no preencha este campo, uma mensagem ser exibida ao lado da caixa,
informando da sua obrigatoriedade. Este campo conter o nome do avaliador.
- Escola: campo do tipo texto, de preenchimento obrigatrio. Caso o
informando da sua obrigatoriedade.
- Email: campo do tipo texto, de preenchimento obrigatrio. Caso o
52
- Nome do material: Campo do tipo menu de escolha nica, em que

constaro como valores os materiais de aprendizagem j cadastrados e avaliados
por outros profissionais, conforme os campos anteriormente preenchidos, mais o
valor Ainda no cadastrado. Seu preenchimento obrigatrio. Caso o usurio no
preencha este campo, uma mensagem ser exibida ao lado da caixa, informando da
sua obrigatoriedade. Se o usurio informar o valor Ainda no cadastrado habilitar
o campo Novo material, que fica oculto, s sendo exibido nesta situao. Este
cuidado foi tomado para que os dados cadastrados estejam normalizados, evitando
ambiguidade na nomeao dos materiais informados.
- Disciplina: Campo do tipo menu de escolha nica, que constar como
valores as disciplinas do curriculum escolar da rede de ensino. Esse campo de
preenchimento obrigatrio, com valor default Escolha uma disciplina.
- Nvel: Campo do tipo menu de escolha nica, com valores possveis:
Fundamental I e Fundamental II. Seu preenchimento obrigatrio. Caso o
- Ano: Campo do tipo menu de escolha nica, de preenchimento opcional.
Seus valores sero exibidos conforme o preenchimento do campo Nvel. Caso seja
Fundamental I, os valores possveis sero: 2 ano, 3 ano, 4 ano ou 5 ano.
Caso seja Fundamental II, os valores sero: 6 ano, 7 ano, 8 ano ou 9 ano.
- Onde encontro: Campo do tipo caixa de texto, de preenchimento
obrigatrio. Caso o usurio no preencha este campo, uma mensagem ser exibida
ao lado da caixa, informando da sua obrigatoriedade. O preenchimento desse
campo obrigatrio para que outros professores, que venham a consultar a
avaliao feita do material, possam tambm encontr-lo e us-los, proporcionando
compartilhamento dos materiais.
As perguntas do questionrio estaro dispostas na aplicao como
campos do tipo botes de Rdio, permitindo ao utilizador selecionar uma entre as
cinco opes (Figura 7).
53
Figura 7 Apresentao das perguntas no questionrio
O usurio preencher todas as questes e submeter o formulrio

avaliao, atravs do boto Concluir Avaliao. Ele ter a opo de no preencher
alguma (s) questo (s) que no se aplique ao material de aprendizagem, pois pode
estar avaliando um objeto simples que no envolva todos os critrios utilizados nesta
ferramenta de avaliao. No entanto, caso isso seja feito de maneira inadvertida, ele
ser informado ao final do preenchimento do formulrio que alguma(s) questo (s)
no foi (ram) preenchida(s), e que afetar a preciso dos resultados.
4.4.4 Exibio do Resultado da Avaliao
Antes de exibir os relatrios, uma tela ser exibida com as respostas de

todas as questes e acionando o boto Exibir Grficos com Resultado, sero
disponibilizados em tela os grficos com os resultados referentes avaliao do
professor (Figuras 4, 5, 6 e 7).
importante observar que os resultados exibidos nesta tela no sero
necessariamente os mesmos dos exibidos na tela da funcionalidade Consulta de
Materiais Avaliados, uma vez que esta conter a mdia dos valores atribudos pelas
avaliaes de outros profissionais, enquanto que aquela conter o resultado da
avaliao do professor logado na aplicao para conferncia e impresso de sua
avaliao.
54
4.4.5 Aspectos Arquiteturais Gerais da Ferramenta
O SAUSP ser desenvolvido em Java, verso 6. uma linguagem de

programao e uma plataforma de computao executada em mais de 850 milhes
de computadores pessoais e em bilhes de dispositivos em todo o mundo, inclusive
telefones celulares e dispositivos de televiso.
O Java permite criar web sites
dinmicos, possibilitando uma interao com o usurio atravs de formulrios,

parmetros da URL e links.
A vantagem do desenvolvimento da aplicao por esta tecnologia a sua
portabilidade, provendo uma independncia de plataforma o desenvolvedor
"escreva uma vez, execute em qualquer lugar" (JAVA, 2010).
A aplicao desenvolvida utilizar como banco de dados o MySql verso
5.0, mas outros Sistemas Gerenciadores de Bancos de Dados (SGBD) podem ser
utilizados como o Firebird, Oracle, PostgreSQL, SQLServer, dentre outros. Na figura
8, temos o MER Modelo de Entidade Relacionamento que descreve, de maneira
conceitual, os dados a serem utilizados em no banco de dados da aplicao.
Figura 8 Modelo de Entidade Relacionamento (MER)
55
A escolha do MySQL como SGBD foi feita devido vantagem de ser

gratuito (para boa de suas funcionalidades), seu cdigo fonte ser aberto, leve,
rpido, seguro e prtico. Seu desempenho tem sido um ponto bastante relevante em
matria de sistemas, principalmente no quesito internet . Quanto segurana, com
seus diversos tipos de tabelas, possvel ter um banco de dados bastante seguro e
estvel contando com integridade referencial, backup e restore, controle de usurios
e acessos, e ainda , se necessrio , verificao e correo de corrompimento de
tabelas (MYSQL, 2010).
Para que possamos validar a soluo proposta nesta ferramenta, foram
submetidos dois objetos de aprendizagem avaliao, por meio do questionrio
proposto nesta soluo, pelos professores do ensino fundamental de escolas
municipais, para que sejam mensurados os critrios de usabilidade geral, web e
pedaggica.
Os dois objetos avaliados pela ferramenta sero utilizados pelos alunos
para que se possa verificar-lhes o desempenho em cada objeto de aprendizagem,
traando um paralelo entre a avaliao de usabilidade apontada pela ferramenta e o
nvel de desempenho dos alunos, quando do uso de aplicaes com nveis
diferentes de qualidade em uso.
56
5. VALIDAO DA PROPOSTA
O objetivo do questionrio de avaliao implementado nesta ferramenta,

como j explicado, no simplesmente apontar um software como bom ou ruim
para uso. Seu intuito auxiliar o professor a selecionar o aplicativo educacional mais
adequado a uma determinada situao de aprendizagem, apoiado nos resultados
das avaliaes nele realizadas.
A avaliao realizada atravs do SAUSP foi aplicada, no perodo de
09/12/2010 a 17/12/2010, em dois objetos de aprendizagem, um deles disponvel no
endereo
(http://a77.com.br/matematica/contas_on_line_adicao_1.php),
que
chamaremos a partir deste ponto do texto de Objeto 1. um portal que oferece

vrias opes de objetos de aprendizagem, cujo contedo indicado como auxiliar
nos processos de ensino e aprendizagem de crianas, jovens e adultos. O outro
objeto de aprendizagem est disponvel no portal Junta de Andaluca
(http://www.juntadeandalucia.es/averroes/centros-tic/41009470/helvia/aula/archivos
/repositorio/0/61/html/datos/05_rdi/U02/01.htm) que contem diversos objetos de
aprendizagem para um pblico tambm diverso a semelhana do primeiro apontado,
que chamaremos a partir deste ponto do texto de Objeto 2 .
5.1 Estudo Piloto do Uso do SAUSP
Foram convidados para a avaliao, professores de escolas pblicas

municipais do ensino fundamental com experincia no uso das tecnologias da
informao na educao. Para que pudessem ser aplicadas as avaliaes, as
escolas participantes desta pesquisa foram visitadas. Foi realizada uma capacitao
dos professores com relao ferramenta e ao conhecimento dos aspectos da
qualidade em uso dos softwares educacionais com vistas a despertar-lhes para a
importncia da qualidade nos softwares, desenvolvendo seu senso crtico.
57
Os professores acessaram cada um objeto de aprendizagem por vez,

explorando todas as suas funcionalidades, de modo a conhec-los bem. Aps esta
etapa,
foi-lhes
solicitado
acessar
SAUSP,
no
domnio
www.humbertocbrasil.com.br/sasp , para efetuarem seus cadastros como usurios e

o cadastro da ferramenta a ser avaliada na aplicao.
Uma vez cadastrado o objeto de aprendizagem alvo da avaliao, o
professor faz a sua avaliao sobre o material com que ele interagiu, respondendo
aos itens do questionrio. Foi deixado claro para o usurio avaliador que o que
estava sendo avaliado o material de aprendizagem e no a habilidade de seu
utilizador.
Aps preenchimento do questionrio, os professores foram convidados a
verificarem os dados coletados apresentados por meio de grficos gerados pela
ferramenta (Figuras 9, 10, 11 e 12 ) . A escolha da exibio dos resultados em forma
de grficos deu-se pela praticidade e intuitividade que lhes peculiar. O pedagogo
pode fcil e objetivamente observar a pontuao dos nveis dos vrios critrios de
usabilidade.
Foram
convidados
18
pedagogos
para
avaliar
os
objetos
de
aprendizagem. Responderam o questionrio 11 professores, sendo eles: dois

mestres em educao, um mestrando em computao, um mestre em computao
aplicada, quatro especialistas em educao e trs pedagogos. Os sete professores
capacitados, que no participaram desta pesquisa foram impossibilitados de
contriburem, devido suas intensas atividades dentro da escola e fora dela. Os
demais professores foram acompanhados dentro e fora de suas respectivas escolas,
uma vez que alguns s tinham tempo de participar da pesquisa na escola e outros
somente em suas residncias. Em virtude destas dificuldades encontradas, o
deslocamento e acompanhamento direto dos professores, aliado a incentivos
participao deles nesta pesquisa, oferecendo-lhes kits com materiais de papelaria e
chocolates, foram estratgias que contriburam para uma maior adeso dos
professores aos questionrios.
Para o bom direcionamento da avaliao, foram realizadas tarefas pelos
professores nos objetos de aprendizagem: navegao, explorao dos botes e
58
links, preenchimento de campos com dados vlidos e invlidos, para observar o

comportamento do objeto e o mesmo poder ser avaliado.
5.2 Preenchimento do questionrio de avaliao
Os professores responderam cada quesito do questionrio de acordo com

o objeto de aprendizagem. As perguntas do questionrio foram formuladas para
serem aplicadas em vrios tipos de softwares educativos voltados para o ensino
fundamental utilizados nos laboratrios das escolas. Como os objetos de
aprendizagem so materiais de aprendizagem com simples contedo, algumas
questes no foram respondidas, j que no se aplicavam a eles. Tais quesitos no
respondidos no foram computados no clculo da mdia, caso contrrio,
distorceriam os resultados. Foram obtidas as mdias das perguntas respondidas
pelos 11 professores envolvidos na pesquisa, referentes a cada critrio, como
demonstrado nas tabelas 01 e 02.
59
Objeto 1
N da
questo 1
1
3
2
4
3
5
4
5
5
5
6
5
7
5
8
5
9
3
10
3
11
3
12
4
13
4
14
5
15
5
16
5
17
4
18
4
19
5
20
1
21
22
23
4
24
25
4
26
1
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
2
3
2 3
3 4
4 4
5 5
5 4
5 4
5 5
4 5
3 4
3 3
4 3
4 4
3 4
5 5
5 5
5 5
3 4
3 3
4 5
1 1
- - 4 3
- 3 4
1 1
3
1
1
-
2
1
1
-
4
4
3
3
4
3
3
1
2
4
4
2
3
1
3
1
1
-
4
4
4
3
4
3
3
1
3
5
4
3
4
1
Professores avaliadores
4 4 6 7 8 9
2 2 3 2 4 2
5 4 5 4 4 4
4 5 4 5 5 4
4 5 5 4 5 5
5 4 5 5 5 4
5 5 5 5 4 5
4 5 5 5 5 4
5 5 5 4 5 5
2 3 3 2 3 3
3 4 3 3 2 3
4 3 3 4 2 2
5 4 4 5 4 3
4 3 4 5 5 4
5 5 5 5 5 5
5 5 5 5 5 5
5 5 5 5 5 5
4 5 4 4 5 4
4 4 3 4 3 4
5 4 5 5 4 5
1 1 1 1 1 1
- - - - - - - - - - 4 5 4 4 5 4
- - - - - 4 5 4 4 4 5
1 1 1 1 1 1
4
2
1
-
5
4
4
4
3
2
4
1
3
4
5
2
4
1
4
1
1
-
4
3
3
3
4
4
3
1
4
5
5
2
3
1
3
2
1
-
4
4
5
4
3
3
3
1
3
4
4
3
4
1
3
1
1
-
4
3
4
3
3
2
4
1
3
4
5
3
4
1
2
1
1
-
3
4
4
3
2
3
3
1
4
4
4
4
3
1
4
2
1
-
5
5
3
4
3
2
2
1
4
5
5
3
4
1
10
1
5
4
4
5
5
5
4
2
2
3
4
5
5
5
5
5
4
5
1
4
5
1
3
1
1
-
4
4
3
4
4
3
2
1
5
5
5
2
3
1
11 Media
2 2,36
3 4,09
5 4,45
5 4,73
5 4,73
5 4,82
5 4,82
5 4,73
4 2,91
3 2,91
3 3,09
4 4,09
4 4,09
5 5,00
5 5,00
5 5,00
4 4,18
3 3,55
5 4,73
1 1,00
0,00
0,00
5 4,18
0,00
5 4,27
1 1,00
3
2
1
-
4
3
3
3
3
3
3
1
3
5
4
2
3
1
3
4
4
4
4
2
4
1
4
4
5
2
3
1
3,09
1,36
1,00
0,00
4,00
3,82
3,64
3,45
3,36
2,73
3,09
1,00
3,45
4,45
4,55
2,55
3,45
1,00
Tabela 1 Respostas do questionrio (Objeto 1)
60
Objeto 2
N da
questo 1
1
4
2
5
3
5
4
3
5
5
6
5
7
5
8
5
9
5
10
5
11
4
12
5
13
4
14
5
15
4
16
17
5
18
4
19
5
20
1
21
22
23
5
24
25
5
26
1
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
2
4
4
5
3
5
5
4
5
5
5
4
5
5
5
5
5
5
5
1
5
5
1
1
2
3
-
1
2
2
-
5
5
5
5
4
4
2
5
5
4
5
5
5
1
Professores avaliadores
3 4 4 6 7 8 9
5 3 4 5 5 4 3
5 5 5 5 5 5 5
5 4 5 5 5 5 5
4 2 3 3 2 3 4
5 4 5 5 4 5 5
5 5 4 5 5 5 4
4 5 4 3 2 4 3
5 5 5 4 5 5 5
5 4 5 5 5 5 4
5 4 5 5 5 4 5
5 3 4 5 4 4 5
5 4 5 5 5 5 4
5 4 5 5 4 5 5
5 5 5 5 5 5 5
5 4 5 5 4 3 3
5 5 5 5 4 4 4
5 4 5 5 4 5 4
5 5 5 5 5 5 5
1 1 1 1 1 1 1
5 5 4 4 5 5 4
4 5 4 4 5 5 4
1 1 1 1 1 1 1
1
3
2
-
5
5
5
5
5
4
3
5
5
5
5
5
5
1
1
2
3
-
5
5
5
5
5
4
2
5
4
4
5
5
5
1
1
2
2
-
5
5
5
5
4
5
2
5
5
5
5
5
5
1
1
2
2
-
5
5
5
5
5
5
3
5
5
4
5
5
5
1
1
3
2
-
5
4
5
5
5
4
3
5
4
4
5
5
5
1
1
2
3
-
5
5
5
5
5
5
1
4
5
4
5
5
4
1
1
2
2
-
5
5
5
5
4
5
2
5
5
5
5
5
5
1
10
5
5
5
2
5
5
3
4
5
5
5
5
5
5
4
5
4
5
1
5
4
1
1
3
3
-
5
4
4
5
5
4
2
4
4
5
5
5
5
1
11 Media
4 4,18
4 4,82
5 4,91
3 2,91
5 4,82
5 4,82
3 3,64
5 4,82
5 4,82
5 4,82
5 4,36
5 4,82
4 4,64
5 5,00
4 4,18
0,00
5 4,73
5 4,55
5 5,00
1 1,00
0,00
0,00
5 4,73
0,00
5 4,55
1 1,00
1
2
2
-
5
5
5
5
5
4
2
5
5
4
5
4
5
1
5
5
5
5
5
5
1
4
5
4
5
5
5
1
1,00
2,27
2,36
0,00
5,00
4,82
4,91
5,00
4,73
4,45
2,09
4,73
4,73
4,36
5,00
4,91
4,91
1,00
Tabela 2 - Respostas do questionrio (Objeto 2)

Nos dois objetos de aprendizagem, os quesitos 16, 21, 22, 24 e 30 no
foram respondidos, em virtude de que tais perguntas no se aplicavam a eles. Os
61
quesitos avaliam cada um dos critrios organizados nesta ferramenta. Quando uma
pergunta no se aplica a um material de aprendizagem simples, como estes que so
alvo nesta validao, a ferramenta considera que a pergunta no respondida no
ser computada nos resultados estatsticos da avaliao. Na seo Saiba Sobre
Usabilidade do SAUSP, este detalhe informado para os avaliadores. Aps
preenchimento do questionrio, o professor ser convidado a verificar os dados
coletados pela ferramenta, de modo a observar os pontos fortes, isto , os critrios
de usabilidade com pontuao maior.
5.3 Resultado das avaliaes dos objetos
Para que seja calculado um valor para cada critrio a ser exibido em um
grfico, feita uma mdia dos valores correspondentes s respostas das questes,
conforme a tabela 3.
5.3.1 Avaliao do Objeto 1
Objeto 1
Usabilidade geral
Adequao de tarefas
Autodescritivo
Controlabilidade
Conformidade
Tolerancia a Falhas
Individualizao
Adequao ao aprendizado
Usabilidade sites web

Navegao e Estrutura
Relevncia do contedo
Usabilidade pedaggica
Controle do aluno
Atividade do aluno
Aprendizagem colaborativa
Orientao de objetivos
Aplicabilidade
Valor agregado
Motivao
Flexibilidade
Feedback
Avaliao do conhecimento prvio
Mdia
3,23
4,59
4,77
4,77
2,91
3,09
4,09
Mdia
4,65
2,59
Mdia
2,77
4,18
4,27
1,61
2,94
3,48
2,73
3,09
3,00
4,45
Tabela 3 Valores calculados para os critrios (Objeto 1)
62
No tocante usabilidade geral, o critrio que teve uma pontuao menor

na avaliao, descrito no grfico 5, foi Tolerncia a falhas. Observou-se que o
Objeto 1, apesar de, por definio, s poder receber em seus campos valores
numricos, aceita caracteres alfanumricos. Alm do mais, a aplicao no fora o
aluno corrigir o valor errado aps a mensagem de erro ser exibida. Pode o usurio
preencher outros campos informando novos valores errados. Isso acaba
confundindo o usurio que aps ter preenchido vrios campos, pois no saber mais
onde est o erro. Os critrios Controlabilidade e Conformidade obtiveram as
maiores pontuaes, ficando empatados. O critrio Controlabilidade apontou que o
aluno pode fazer as contas de adio na ordem que quiser, pulando de uma pgina
para outra, sem nenhuma restrio por parte da aplicao; j o critrio
Conformidade apontou que a interface corresponde s expectativas dos usurios,
sendo-lhes compreensveis as convenes por ele usadas.
Grfico 5 Critrios de usabilidade geral (Objeto 1)
Com relao usabilidade para sites web, o critrio com menor valor no foi
Relevncia do contedo, pois seu contedo no era motivador em relao a outros
softwares com a mesma funcionalidade. Por outro lado, o critrio Navegao e
estrutura teve uma boa pontuao, por dispor de uma estrutura de navegao
simples.
63
Grfico 6 Critrios de usabilidade de sites web (Objeto 1)
No tocante usabilidade pedaggica (Grfico 7), o critrio com menor

pontuao foi Orientao de objetivos, uma vez que a aplicao no deixa evidente
para os aprendizes quais so suas metas e os objetivos de aprendizagem a serem
alcanados com a resoluo dos exerccios. A Avaliao de conhecimento foi o
critrio que mais satisfez a avaliao, alcanando 4,45 pontos. Foi relatado nas
pesquisas, que este tipo de exerccio simula a forma de se fazer uma conta de
adio, numa forma parecida com o que j foi explicado em sala de aula
convencional, usando lpis e papel.
Grfico 7 - Critrios de usabilidade pedaggica (Objeto 1)
O grfico 8 apresenta os resultados gerais dos questionrios com a mdia

geral de cada um dos critrios relativos usabilidade geral, usabilidade de sites web
e usabilidade pedaggica.
64
Grfico 8 - Resultados gerais dos questionrios (Objeto 1)
Os resultados gerais apontam que a usabilidade geral foi a categoria que

obteve melhor pontuao, seus usurios no demonstraram dificuldades que
inviabilizassem a sua utilizao. No entanto, a usabilidade relativa a sites web e a
usabilidade pedaggica tiveram uma menor avaliao, indicando as dificuldades e
necessidades observadas nestas duas categorias, conforme j comentado.
5.3.2 Avaliao do objeto 2
A mdia dos valores correspondentes s respostas das questes

respondidas pelos professores avaliadores, que alimenta os grficos gerados pela
ferramenta, est descrita na tabela 4 abaixo.
65
Objeto 2
Usabilidade geral
Adequao de tarefas
Autodescritivo
Controlabilidade
Conformidade
Tolerancia a Falhas
Individualizao
Adequao ao aprendizado
Usabilidade sites web

Navegao e Estrutura
Relevncia do contedo
Usabilidade pedaggica
Controle do aluno
Atividade do aluno
Aprendizagem colaborativa
Orientao de objetivos
Aplicabilidade
Valor agregado
Motivao
Flexibilidade
Feedback
Avaliao do conhecimento prvio
Mdia
4,50
3,91
4,82
4,23
4,82
4,36
4,73
Mdia
4,68
2,86
Mdia
4,86
4,73
4,55
1,66
3,61
4,84
4,45
2,09
4,91
4,36
Tabela 4 Valores calculados para os critrios (Objeto 2)
Na avaliao da usabilidade geral, a pontuao menor foi no critrio

Autodescritivo, em virtude do objeto de aprendizagem 2 ter sido desenvolvido no
idioma espanhol, dificultando-se a leitura dos termos e a compreenso do udio
explicativo. Foram dois, os critrios com maiores pontuaes. O critrio Tolerncia a
falhas, pois informa o usurio quando so preenchidos campos com valores
incorretos e no permite que sejam informados pelo usurio valores alfanumricos
invlidos. O critrio Controlabilidade recebeu tambm a maior pontuao, pois
permite o aluno navegar facilmente entre telas e menus da aplicao, apesar de no
permitir que as contas de adio sejam feitas na ordem que o usurio quiser, como
no objeto 1. No entanto, isso acaba permitindo que o usurio passe de uma
atividade para outra sem ter concludo os exerccios com sucesso, no logrando
uma boa aprendizagem.
66
Grfico 9 - Critrios de usabilidade geral (Objeto 2)
Para a usabilidade para sites web (Grfico 10), o critrio com menor valor
foi o de Relevncia do contedo, pois no informado os contedos mais
referenciados, nem os protegidos por direitos autorais. J o critrio Navegao e
estrutura teve uma boa pontuao, por dispor de uma estrutura de navegao
simples.
Grfico 10 - Critrios de usabilidade de sites web (Objeto 2)
No tocante usabilidade pedaggica, o critrio com menor pontuao foi

Orientao de objetivos, uma vez que a aplicao no deixa evidente para os
aprendizes quais so suas metas e os objetivos de aprendizagem a serem
alcanados com a resoluo dos exerccios. O Feedback foi o critrio que mais
satisfez a avaliao, alcanando 4,91 pontos. Caso o usurio informe campos com
67
valores incorretos, a aplicao d um aviso bastante intuitivo do erro. Alm disso,

medida que o usurio vai preenchendo os campos, setas e campos vo sendo
exibidos, ensinando o usurio como realizar os exerccios. O Controle do Aluno
neste objeto foi bem alcanado, pois apresentado ao aluno uma atividade por vez,
no sobrecarregando sua memria com muito contedo. O critrio Valor agregado
foi ressaltado no resultado das avaliaoes e em comentrios a respeito das
imagens, animaes que servem de guia para a concluso com xito das atividades.
Grfico 11 - Critrios de usabilidade pedaggica (Objeto 2)
Na figura 16, temos o grfico com o resultado geral do questionrio. Ele

contem a mdia geral de cada um dos critrios relativos usabilidade geral,
usabilidade de sites web e usabilidade pedaggica.
Grfico 12 Resultado geral da usabilidade (Objeto 2)
68
Evidenciou-se que o objeto 2 obteve uma melhor avaliao que o objeto 1

em todas as categorias relativas usabilidade, destacando-se a diferena
significativa em relao usabilidade pedaggica que no objeto 1 foi de 3,61, e no
objeto 2 foi de 4,45, uma diferena de 23,27 %. Na categoria de usabilidade geral, o
objeto 1 teve uma mdia de 3,92, e no objeto 2 foi de 4,48, uma diferena de
14,29%. Enquanto que na categoria de usabilidade de sites web, o objeto 1 teve
uma mdia de 3,62, e no objeto 2 foi de 3,77, uma diferena de 4,14%.
5.4. Concluso da aplicao do questionrio
Na aplicao do questionrio, como podemos verificar na sua avaliao, a

maioria das mdias dos critrios possuem mdia superior a 3 pontos, o que equivale
a dizer que estes critrios se aproximam de um nvel ideal de aceitao do usurio.
O objeto 2 teve 84,21% de seus critrios superiores a 3 pontos, enquanto que
63,16% dos critrios do objeto 1 foram superiores a 3 pontos. A mdia aparada
(Tabela 5) de todos os critrios do objeto 1 foi calculada em 3,50 pontos, enquanto
que, para o objeto 2 (Tabela 6), esta mesma mdia registrou 4,26 pontos.
Mdias dos critrios (Tabela 5) do Objeto 1, eliminando os valores
extremos superiores e inferiores 1,61 e 4,77:
2,59 2,73 2,77 2,91 2,94 3,00 3,09 3,09 3,23 3,48 4,09 4,18 4,27 4,45 4,59 4,65
Mdia aparada = 3,50
Tabela 5 Valores para mdia aparada (Objeto 1)
Mdias dos critrios (Tabela 6) do Objeto 2, eliminando os valores

extremos superiores e inferiores 1,66 e 4,91:
2,09 2,86 3,61 3,91 4,23 4,36 4,36 4,45 4,50 4,55 4,68 4,73 4,73 4,82 4,82 4,84 4,86
Mdia aparada = 4,26
Tabela 6 Valores para mdia aparada (Objeto 2)
69
5.5 Avaliao do Desempenho dos Alunos
Nesta seo, feita uma anlise do desempenho dos alunos, usando os

objetos 1 e 2, observando a interferncia da usabilidade tcnica e pedaggica sobre
a aprendizagem dos alunos. Esta anlise foi feita de modo a comprovar a eficcia da
avaliao por meio do questionrio desenvolvido nesta pesquisa. O intuito verificar
se os critrios de usabilidade mais pontuados pelo questionrio colaboraram com a
performance e aprendizado dos alunos.
A anlise foi feita baseada na quantidade de erros cometidos pelos
grupos A e B de alunos que utilizaram respectivamente os objetos 1 e 2. Todos os
alunos, de ambos os grupos, pertenciam ao terceiro ano do ensino fundamental de
escola pblica municipal, com idade e experincia no uso de computador
semelhantes, de modo a no interferir nos resultados alcanados. O grupo A era
composto de 16 alunos e o grupo B por 18 alunos.
Em cada mquina utilizada pelos alunos no laboratrio da escola, foi
instalado o aplicativo Wink (Figura 9) . Este programa, disponvel nas verses para
Linux e Windows, grava tudo o que usurio fizer em seu computador, desde a
execuo de um aplicativo, at o movimento e ao realizados pelo mouse no
aplicativo que desejamos salvar. Este programa usado por equipes de testes de s
para filmar a execuo de testes para demonstrao dos erros encontrados equipe
de desenvolvimento de uma aplicao sob avaliao.
70
Figura 9 Tela do Wink (frame capturado do objeto 2)
As sesses dos testes gravadas foram utilizadas para que fossem

contabilizados os erros dos alunos durante a realizao dos 18 exerccios feitos em
cada um dos objetos 1 e 2. A quantidade total de erros encontrados na utilizao do
objeto 1 foi 234 (Tabela 7), enquanto que a quantidade de erros registrados na
realizao dos exerccios do objeto 2 foi 201. A mdia de erros por aluno no grupo A
foi de 14,6, enquanto que a mdia do grupo B foi de 11,2. A diferena percentual da
quantidade de erros por aluno do grupo A em relao ao grupo B de 20%. Isso
evidenciou a vantagem encontrada no objeto 2 apontada na avaliao atravs do
questionrio.
71
Exerccios
exerc. 1
exerc. 2
exerc. 3
exerc. 4
exerc. 5
exerc. 6
exerc. 7
exerc. 8
exerc. 9
exerc. 10
exerc. 11
exerc. 12
exerc. 13
exerc. 14
exerc. 15
exerc. 16
exerc. 17
exerc. 18
1
0
2
0
0
6
1
0
1
0
1
0
0
0
1
0
1
0
0
2
1
0
0
2
1
0
0
0
0
4
0
1
1
0
3
0
1
0
3
2
2
0
0
1
2
0
0
1
3
0
0
1
1
0
2
0
0
4
0
2
1
0
0
1
0
0
8
0
0
1
3
3
4
2
0
0
5
0
3
2
3
2
1
0
0
0
1
0
3
0
0
1
0
0
1
6
0
2
0
1
0
0
0
1
0
2
0
0
0
0
0
0
0
0
7
0
6
1
0
1
3
0
1
0
1
0
0
0
1
0
1
0
0
8
2
1
0
3
0
0
0
0
0
5
0
1
1
0
3
0
1
0
9 10 11 12 13 14 15 16 Total
0 0 3 1 1 1 2 2 15
1 3 2 1 0 2 1 1 29
0 1 1 0 0 0 0 0
6
1 2 0 3 0 1 0 0 16
2 0 0 1 0 1 7 0 22
1 7 0 0 4 3 0 1 24
0 0 0 0 0 0 0 0
0
0 0 1 1 0 0 1 1
7
0 1 0 0 6 0 0 0 16
4 3 2 1 0 1 2 2 32
0 0 0 0 0 0 0 0
0
1 0 0 0 1 3 0 0 11
1 1 0 0 3 0 0 0 11
0 1 0 1 3 0 0 0 11
3 0 0 0 4 1 0 0 19
0 2 0 1 2 0 0 0 11
1 0 0 0 0 0 0 0
3
0 0 0 0 0 0 0 0
1
Total de erros: 234
Tabela 7 - Quantidade de erros nos exerccios (Grupo A)
Exerccios
exerc. 1
exerc. 2
exerc. 3
exerc. 4
exerc. 5
exerc. 6
exerc. 7
exerc. 8
exerc. 9
exerc. 10
exerc. 11
exerc. 12
exerc. 13
exerc. 14
exerc. 15
exerc. 16
exerc. 17
exerc. 18
1
5
4
1
0
1
2
0
1
0
1
0
0
0
1
0
1
0
0
2
2
3
2
0
1
0
0
0
0
2
0
1
1
0
0
0
1
0
3
3
4
1
0
0
1
0
0
1
3
0
0
1
1
0
0
0
0
4
2
3
0
3
0
0
0
0
2
0
0
1
2
1
1
0
0
0
5
0
0
0
0
0
1
0
0
0
1
0
2
0
0
1
0
0
1
6
1
0
0
0
3
0
0
1
0
2
0
0
0
0
0
0
0
0
7
4
1
0
0
1
0
0
1
3
0
0
1
1
0
0
0
0
0
8
6
0
3
0
0
0
0
2
0
0
1
2
2
1
1
0
0
0
9 10
0 0
0 0
0 0
0 3
1 0
0 0
0 1
0 0
1 2
0 0
3 0
0 0
0 0
1 0
0 0
0 0
1 0
0 1
11
2
3
2
0
1
0
0
0
0
2
0
0
0
0
0
0
0
0
12 13
3 2
4 4
1 0
0 3
0 0
1 0
0 0
0 0
1 3
1 0
0 0
1 2
1 1
0 1
0 0
0 0
0 0
0 0
14
0
0
0
0
0
1
0
0
0
1
0
0
0
1
0
0
1
0
15
2
5
0
3
0
0
0
0
0
1
2
2
0
0
0
0
0
0
Tabela 8 - Quantidade de erros nos exerccios (Grupo B)
16 17 18 Total
0 1 4
37
0 0 1
32
0 0 0
10
0 0 0
12
0 3 1
12
1 0 0
7
0 0 0
1
1 2 0
8
0 0 4
17
2 0 0
16
0 0 0
6
0 0 2
14
0 0 0
9
1 1 0
9
1 0 0
4
0 0 0
1
0 1 0
4
0 0 0
2
Total de erros: 201
72
Um outro fator que chamou a ateno foi o comportamento da curva da

mdia de erros cometidos nos 18 exerccios respondidos por cada grupo de alunos.
Grfico 13 - Evoluo da ocorrncia de erros (mdia) Grupo A
O grfico 13 mostra que ao final da resoluo dos exerccios, os alunos

tendem a no mais errar, porm a curva da mdia de erros apresenta oscilaes
bruscas. Isso mostrou que caso o aluno no fosse levado a resolver uma quantidade
maior de exerccios, teria-se que por volta do exercicio 7, a impresso de que os
alunos j teriam entendido o contedo. No entanto, nos exerccios 9 e 10, percebese que a quantidade de erros volta a aumentar consideravelmente.
2,5
1,5
Srie1
0,5
0
1
10
11
12
13
14
15
16
17
18
Grfico 14 - Evoluo da ocorrncia de erros (mdia) Grupo B
73
O grfico 14 mostra um decrscimo na quantidade de erros do objeto 2

mais linear em comparao com a evoluo dos erros do objeto 1 (Figura 19), nos
levando a constatar que os critrios Feedback (usabilidade pedaggica) e
Tolerncia a falhas (usabilidade geral), melhor pontuados na avaliao do objeto 2
pelo SAUSP, influenciaram no melhor desempenho dos alunos do grupo B.
5.6 Consideraes finais
O uso do SAUSP como ferramenta de avaliao, apesar de estar sendo

submetida validao pela primeira vez para aferir a qualidade de uso de softwares
pedaggicos, mostrou-se eficaz na descoberta de problemas de usabilidade nos
objetos de aprendizagem. A utilizao de questionrio, como meio de avaliar a
satisfao dos usurios, tem a vantagem em ser de rpida aplicao e baixo custo,
sendo isto um dos fatores preponderantes para adoo do questionrio como
ferramenta para implementar e ser disponibilizada por professores de escolas
municipais, cuja plataforma o software livre, sem nus para seus usurios.
A avaliao, em resumo, diagnosticou:
Na usabilidade geral do objeto 1, o critrio que teve uma pontuao menor

foi Tolerncia a falhas. A aplicao aceita caracteres alfanumricos no
permitidos, conforme instrues iniciais na tela. Alm do mais, a aplicao
no fora o aluno corrigir o valor errado aps a mensagem de erro ser
exibida. O critrio com maior pontuao foi Controlabilidade, pois o aluno
pode fazer as contas de adio na ordem que quiser, pulando de uma
pgina para outra, sem nenhuma restrio por parte da aplicao. Para o
objeto 2, a pontuao menor foi no critrio Autodescritivo, por ter sido
desenvolvido no idioma espanhol, dificultando a leitura dos termos e a
compreenso do udio explicativo. Os critrios Tolerncia a falhas e
Controlabilidade ficaram empatados com as maiores pontuaes. O
critrio Tolerncia a falhas, informa o usurio quando so preenchidos
campos com valores incorretos e no permitindo o usurio informar
74
valores alfanumricos invlidos. O critrio Controlabilidade aponta para

a navegao fcil entre telas e menus da aplicao.
Na usabilidade de sites web, para os objetos 1 e 2, o critrio de menor

valor foi a Relevncia do contedo pois seu contedo no era motivador
em relao a outros softwares com mesma funcionalidade. O critrio
Navegao e estrutura teve a melhor pontuao, por sua simples
estrutura de navegao.
Na usabilidade pedaggica, os objetos 1 e 2, tiveram como critrio menos

pontuado a Orientao de objetivos, pois a aplicao no deixa evidente
para os aprendizes quais so suas metas e os objetivos de aprendizagem
a serem alcanados com a resoluo dos exerccios. Para o objeto 1, a
Avaliao de conhecimento foi o critrio com melhor avaliao, pois
simula a forma de fazer uma conta de adio parecida com a forma j
explicado em sala de aula convencional, usando lpis e papel. Para o
objeto 2, o critrio com melhor pontuao foi o Feedback, por responder
s aes do usurio com animaes que o orientam e ensinam na
resoluo correta dos exerccios.
O resultado geral do questionrio aponta vantagem para o objeto 2, na
maioria dos critrios. Apesar do objeto de aprendizagem ter sido desenvolvido em

outro idioma, sua intuitividade em seu uso superou a barreira cultural, sendo mais
efetivo para a aprendizagem, conforme avaliao de desempenho dos alunos que
apontou que estes conseguiram ter maior nmero de acertos, usando este objeto de
aprendizagem.
Aps o preenchimento do questionrio, os avaliadores sugeriram
melhorias do SAUSP, com respeito quantidade de questes dispostas no
questionrio, solicitando um menor nmero de quesitos no questionrio. No entanto,
esta sugesto deve ser muito bem avaliada, de modo que o questionrio continue
aferindo corretamente os critrios de usabilidade tcnica e pedaggica.
75
CONCLUSES
Em busca de solues, para o problema abordado nesta pesquisa, foram

analisados alguns questionrios de usabilidade j desenvolvidos e validados. No
entanto, eles no se prestavam proposta levantada neste trabalho, que
disponibilizar uma ferramenta gratuita para avaliar os softwares pedaggicos,
levando em considerao os aspectos da usabilidade e os aspectos pedaggicos.
Os dados oriundos da avaliao proposta neste trabalho no teriam que ser
tabulados manualmente como nos questionrios em papel, pois a ferramenta
desenvolvida tabula automaticamente os dados do questionrio on line, emitindo
grficos para melhor nortear as avaliaes e as escolhas de aplicaes educacionais
usadas nas escolas.
Observou-se, no desenvolvimento deste questionrio, que a reduo na
quantidade de questes beneficiou em uma maior adeso dos participantes da
pesquisa, j que eles no teriam que perder muito tempo no preenchimento. Os
resultados coletados das respostas do questionrio mostraram que no houve
prejuzo na qualidade dos resultados da pesquisa.
Evidenciou-se a importncia do estudo e adaptao das tcnicas j
existentes, para a produo de uma soluo de avaliao que atenda s
especificidades do contexto de uso da aplicao e que seja fcil utilizao, que se
adeque realidade e s necessidades de seus utilizadores.
Como fruto desta pesquisa, espera-se oferecer uma metodologia para
teste da usabilidade de softwares educacionais que poder ser utilizada por
professores de escolas, e at mesmo por desenvolvedores de aplicaes
pedaggicas. Esta ferramenta, se utilizada por secretarias de educao, propicia um
ambiente de colaborao e padronizao dos softwares educativos utilizados nas
vrias escolas pblicas. Uma vez que os profissionais da educao que acessem
esta ferramenta tanto podem simplesmente consultar e at adotar as aplicaes j
avaliadas, como podem cadastrar e avaliar as aplicaes que j tenham acesso,
76
tornando-se um colaborador ativo na avaliao desta ferramenta. Ou ainda cadastrar

novos materiais que no passaram por nenhuma avaliao anterior.
Como trabalho futuro, em resposta s sugestes dos professores, fazer
uma re-anlise das questes de modo enxugar ainda mais a quantidade de quesitos
nos questionrios, pois quanto menos quesitos existirem em um questionrio, maior
ser a adeso aos questionrios. Uma contribuio futura seria mudar os perfis de
acesso ferramenta, de modo que existam usurios com poderes de adaptar um
questionrio e envi-lo para ser respondido por outra pessoa, j com as questes
pertinentes ao tipo de material de aprendizagem sob avaliao.
Este trabalho contribuiu para minha formao profissional tanto para
minhas atividades acadmicas, como nas atividades voltadas qualidade de
softwares, na equipe de testes em que atuo como projetista de testes. No
desempenho de atividades acadmicas como professora, o conhecimento dos
aspectos pedaggicos aumentaram minha viso crtica no que envolve o processo
de
aprendizagem.
Nas
minhas
atividades
como
projetista
de
testes,
aprofundamento no conhecimento do conceito da usabilidade, deram-me a

oportunidade de colaborar para a empresa onde trabalho, contribuindo no
desenvolvimento de propostas de boas prticas de boa usabilidade e at mesmo de
acessibilidade.
77
REFERNCIAS
AMSTEL, F. V. Grupo de foco excitante. 2004.
<http://www.usabilidoido.com.br>. Acesso em: 05/12/2010
Disponvel
em:
BAILEY, R.W. Human Performance Engineering: Using Human Factors/Ergonomics

to Achieve Computer System Usability. Englewood Cliffs: Prentice Hall. 1989.
BASTIEN, J. M. Christian, SCAPIN, Dominique L. Ergonomic criteria for the
evaluation of humam-computer interfaces. Report Technique n. 156, Rocquencourt,
France: Institut National de Recherche en Informatique et en Automatique, 1993.
BOEHM, B.W. Software Engineering. IEEE Transactions on Computers, vol. 25, no.
12, pp. 1226-1241, Dec. 1976
BROOKE, J. SUS: a quick and dirty usability scale. Taylor & Francis, London, 1996
COELHO, Andrino, CARVALHO, Andr, BELTRO, Mauro, FERRAZ, Carlos.
WheeTV: TV Interativa em Dispositivos Portteis. 2008. Disponvel em:
<http://tvdilab.inf.pucpcaldas.br/tvdi2008/cd_TVDI2008/pdf/TVDI2008AndreCarvalho.
pdf>. Acesso em: 14/06/2010.
CYBIS, Walter de Abreu. Engenharia de Usabilidade: Uma Abordagem Ergmica.
2003. Disponvel em: http://www.unoescsmo.edu.br/poscomp/cybis/Apostila_v51.pdf
. Acesso em: 09/10/2010.
CYBIS, Walter de Abreu. Engenharia de Usabilidade: uma abordagem ergonmica.
2003. Disponvel em: < http://www.labiutil.inf.ufsc.br/hiperdocumento/conteudo.html
>. Acesso em: 05/12/2010.
ENDLER, A. M. Mtodo do design macroergonmico aplicado ao desenvolvimento
de um software corporativo de correio e agenda na web. 2000. Dissertao de
Mestrado em Engenharia de Produo Programa de Ps-Graduao em
Engenharia de Produo, UFRGS, Porto Alegre.
ERGOLIST. Seja bem-vindo(a) ao ErgoList. Disponvel em:
<http://www.labiutil.inf.ufsc.br/ergolist/ >. Acesso em: 03/11/2010.
FILENO, rico Fernandes. O professor como autor de material para um ambiente
virtual de aprendizagem. 2007. 130 p. Dissertao apresentada ao Curso de
Mestrado em Educao, do Programa de Ps-Graduao em Educao da
Universidade Federal do Paran.
GOMES, Albert Schilling. FAVIHC Framework de AValiao da Interao HumanoComputador. 2009. 147 p. Dissertao apresentada ao Curso de Mestrado em
Informtica Aplicada da Universidade de Fortaleza (UNIFOR)
GOULD, John D. How to Design Usable Systems. Ed. Handbook of Computer
Interaction, pp. 757-789, North-Holland, Amsterd, Holanda. 1988.
78
HCIL. QUIS: The Questionnaire for User Interaction Satisfaction. Disponvel em:
<http://www.cs.umd.edu/hcil/quis/ >. Acesso em 01/11/2010.
ISO 9241-10. Disponvel em :
http://www.inf.ufsc.br/~cybis/ine5624/ISO9241parte10.pdf . Acesso em: 03/10/2010.
ISONORM. Beteiligungsorientierter Einsatz des ISONORM-Fragebogens. Disponivel
em: <http://www.ergoonline.de/site.aspx?url=html/software/verfahren_zur_beurteilung_der/beteiligungsorie
ntierter_eins.htm&qu=isonorm >. Acesso em 01/11/2010.
JAVA,
Saiba
mais
sobre
a
tecnologia
Java.
<http://www.java.com/pt_BR/about/>. Acesso em 01/11/2010.
Disponvel
em:
KILIAN, C. Como tornar um texto eficaz para a Web. 2002. Disponvel em

<http://www.hainet.com.br/kilian/ver.php?id=6>, acesso em 28/09/2009.
KIRAKOWSKI, J. Usability Evaluation by Questionnaire. Taylor & Francis, London.
2002
KOTLER, Philip. Marketing de A a Z: 80 conceitos que todo profissional precisa
saber. Ed. Campos. So Paulo. 2003.
LEE, William W., OWENS, Diana L. Multimedia-Based Instructional Design, Second
Edition. John Wiley and Sons, Inc. 2004
Lopes, M.S.S. Avaliao da Aprendizagem em Atividades Colaborativas em EAD
Viabilizada por um Frum Categorizado. Universidade Federal do Rio de Janeiro,
R.J, 2007. Dissertao de Mestrado.
MALDONADO, J. C. Critrios Potenciais Usos: Uma Contribuio ao Teste Estrutural
de Software. PhD thesis, DCA/FEE/UNICAMP, Campinas, SP, July 1991.
MATIAS, Marcio. Checklist: uma Ferramenta de Suporte Avaliao Ergonmica de
Interfaces
MYERS, G. J. The Art of Software Testing. Wiley, New York, 1979.
MYSQL, Viso Geral do Sistema de Gerenciamento de Banco de Dados MySQL.
Disponvel em: http://dev.mysql.com/doc/refman/4.1/pt/what-is.html >. Acesso em:
01/11/2010.
NIELSEN, J.Evaluating Hipertext Usability. Berlin: Springer Verlag. 1990.
NIELSEN, J. Usability Engineering. San Francisco: Morgan Kaufmann Publishers,
1993.
NIELSEN,
J.
Ten
Usability
Heuristics.
1994.
Disponvel
<www.useit.com/papers/heuristic/ heuristic_list.html>, acesso em 01/10/2009.
em
79
NIELSEN, J. Why You Only Need to Test with 5 Users. 2000. Disponvel em:
<http://www.useit.com/alertbox/20000319.html >. Acesso em: 09/11/2010.
NIELSEN, J.; MACK, Robert. Usability Inspection Methods. New York: John Wiley &
Sons, 2001.
NOGUEIRA, Daniela. Tecnologia vira matria fundamental na escola. O POVO,
Fortaleza,
11
Maio
2010.
Disponvel
em:
<http://www.opovo.com.br/www/opovo/fortaleza/982299.html>
.
Acesso
em
01/12/2010.
NOKELAINEN, Petri. An emprical assessment of pedagogical usability criteria for
digital learning material with elementary school students. Educational Technology &
Society, v.9 (2), p. 178 197, 2006.
OLIVEIRA JUNIOR, Joo A. Gonalves de. Apoio Avaliao de Usabilidade na
Web desenvolvimento do USEWEB. Dissertao de Mestrado Profissional em
Computao. Instituto de Computao - Universidade Estadual de Campinas. p. 116.
2006.
PRATES, Raquel Oliveira; BARBOSA, Simone Diniz Junqueira. Avaliao de
Interfaces de Usurio Conceitos e Mtodos. Disponvel em:http://www.inf.pucrio.br/~inf1403/docs/JAI2003_PratesBarbosa_avaliacao.pdf Acesso em : 03/11/2010
PRESSMAN, R. S. Engenharia de Software. Makron, 1995.
PRESSMAN, R. S. Engenharia de Software. McGraw-Hill, 6 edio. 2006
REITZ, Doris Simone. Avaliao do Impacto da Usabilidade Tcnica e Pedaggica
no Desempenho de Aprendizes em E-learning. Tese para Doutorado em Informtica
na Educao. Centro Interdisciplinar de Novas Tecnologias na Educao
Universidade Federal do Rio Grande do Sul. p. 197. 2009.
RIOS, Emerson, BASTOS, Base de Conhecimento em Testes de Software. 2007
RIOS, Emerson. MPT Melhoria de Processo de Teste Brasileiro. 2009. Disponvel
em:
<http://www.riosoft.softex.br/media/MPT%20BR%20Nivel%202%20v%201.0
.pdf> Acesso em 14/11/2009.
RODRIGUES, Gelter T. M. Anlise de Usabilidade em Ambientes Virtuais de
Aprendizagem: O Ambiente Solar na perspectiva do aluno. Dissertao de Mestrado
Profissional em Computao Aplicada do Centro de Cincia e Tecnologia da
Universidade Estadual do Cear. p. 118. 2010.
RUBIN, Jeff, CHISNELL, Dana. Handbook of Usability Testing - How to Plan, Design,
and Conduct Effective Tests. Second Edition. Wiley Publishing, Inc., 2008
RUP Rational Unified Process, 2006. Disponvel em:
<http://www.wthreex.com/rup/portugues/index.htm >. Acesso em: 13/07/2010.
80
SANTOS, Robson. Alguns conceitos para avaliar usabilidade. 2003. Disponvel em:
<http://webinsider.uol.com.br/vernoticia.php/id/1821>. Acesso em 02/12/2010.
SANTOS, Rodrigo Costa dos. Desenvolvimento de uma Metodologia para Avaliao
de usabilidade de sistemas utilizando a lgica Fuzzy baseado na ISO. 2007. 115 p.
Dissertao de Mestrado Profissionalizante apresentada a Programa de PsGraduao em Administrao das Faculdades Ibmec.
SILVA, Maria Auriclia da. Formao e Prtica Docente em Software Livre na Rede
Municipal de Ensino de Fortaleza. Dissertao de Mestrado Acadmico em
Educao do Centro de Educao da Universidade Estadual do Cear. p. 168. 2009.
SILVA,
Viviane
Pereira.
Engenharia
de
Sofware.
Disponvel
em:
<http://www.webartigos.com/articles/47882/1/Engenharia-de-Software/pagina1.html
>. Acesso em 01/12/2010.
SOARES, Lenidas Garcia. Avaliao de Usabilidade , por Meio do ndice de
Satisfao dos Usurios, de um Software Gerenciador de Websites. Dissertao de
Mestrado Profissionalizante em Engenharia nfase em Ergonomia. p. 156. 2004.
SOMMERVILLE, I. Engenharia de Software, 8a. edio. So Paulo: Pearson
Addison-Wesley, 2007.
SQUIRES, D., PREECE, J. Predicting quality in educational software: Evaluation for
learning, usability and the synergy between them. Elsevier Science B. V., Interacting
with Computers. Vol. 11, p. 467-483, 1999.
SSEMUGABI, Samnuel. Usability Evaluation of a Web-based E-learning Application:
A Study of Two Evaluation Methods. Dissertao de Mestrado em Sistemas da
Informao, University of South Africa, 336 p., 2006.
SUMI. What is SUMI?. Disponvel em: < http://sumi.ucc.ie/whatis.html >. Acesso em:
01/11/2010.
SWELLER, John.
Cognitive Load Theory: A Special Issue of Educational
Psychologist. LEA, Inc, 2003.
USABILITY
NET.
Questionnaire
resources.
Disponvel
em:
<http://www.usabilitynet.org/tools/r_questionnaire.htm>. Acesso em: 03/11/2010.
VASCONCELOS, Liliana. Artigo publicado no X SEMEAD Seminrios em
Adnministrao
FEA-USP.
2007.
Disponvel
em:
http://www.ead.fea.usp.br/Semead/10semead/sistema/resultado/an_resumo.asp?cod
_trabalho=420. Acessado em 01/12/2010.
WAMMI. About WAMMI. Disponvel em: <http://www.wammi.com/about.html >.
Acesso em: 02/11/2010.
WINCKLER, M. Avaliao de Usabilidade de sites Web. In: IV Workshop sobre
Fatores Humanos em Sistemas de Computao. Out. 2001, Florianpolis.
81
APNDICES
82
APNDICE A - Questionrio de pesquisa
Forma de trabalho dos professores responsveis por laboratrio de informtica das

escolas
Nome: ______________________________________________________________
Turma que leciona:____________________________________________________
1. Existe alguma indicao por parte da Secretaria de Educao dos materiais de
aprendizagem a serem ministrados nos laboratrios das escolas?
( ) Sim ( ) No
2. Voc observa que existe um retrabalho dos professores responsveis por laboratrio na
seleco de bons materiais de aprendizagem?
( ) Sim ( ) No
3. Os profissionais das diferentes escolas podem compartilhar dos bons materiais de
aprendizagem utilizados com sucesso em uma escola?
( ) Sim ( ) No Se sim, atravs de que?________________________________________
4. A tarefa de avaliar o software, em relao a facilidade de uso pelos alunos, feita
baseada em alguma mtrica?
( ) Sim ( ) No
5. Existe algum local ou alguma recomendao onde voc pode receber indicao da
qualidade do software educacional a ser utilizado em laboratrio pelos alunos?
( ) Sim ( ) No Se sim, indicar o local:________________________________________
6. Voc considera importante a criao de um site que lhe permita ter acesso a softwares
educacionais j avaliados segundo princpios pedaggicos e tcnicos?
( ) Sim ( ) No
7. Voc sente necessidade da criao de uma ferramenta que lhe permita avaliar os
softwares a serem utilizados em sala de aula?
( ) Sim ( ) No
8. Quando voc seleciona os softwares educacionais, voc faz essa tarefa baseado no
conhecimento que voc tem da engenharia de software ou atravs de sua experincia em
sala de aula?
( ) Conhecimento em engenharia de software
( ) Experincia
Desde j, agradeo por sua contribuio a este trabalho!
83
APNDICE B - Dados coletados no questionrio de pesquisa
Pergunta do Questionrio de Pesquisa
Resposta
Q Observaes
qtde
1. Existe alguma indicao por parte da Secretaria de Educao
Sim
Centro
9
de Refer. do
a serem ministrados nos
No
Professor
1
2.Voc observa que existe um retrabalho dos professores
Sim
dos materiais de aprendizagem

laboratrios das escolas?
responsveis por laboratrio na seleco de bons materiais de

aprendizagem?
0
No
3.Os profissionais das diferentes escolas podem compartilhar
Sim
Reunies
8
no Centro
dos bons materiais de aprendizagem utilizados com sucesso em
No
de
2 Refer. do Professor
Sim
uma escola?
4.A tarefa de avaliar o software, em relao a facilidade de uso
pelos alunos, feita baseada em alguma mtrica?
No
1
0
5.Existe algum local ou alguma recomendao onde voc pode
Sim
receber indicao da qualidade do software educacional a ser

utilizado em laboratrio pelos alunos?
6.Voc considera importante a criao de um site que lhe
No
Sim
permita ter acesso a softwares educacionais j avaliados segundo

princpios pedaggicos e tcnicos?
7.Voc sente necessidade da criao de uma ferramenta que lhe
0
No
Sim
permita avaliar o softwares a serem utilizados em sala de aula?
0
No
8.Quando voc seleciona os softwares educacionais, voc faz
Conhecimento em
essa tarefa baseado no conhecimento que voc tem da
engenharia de
engenharia de software ou atravs de sua experincia em sala de
software
aula?
Experincia
1
0
84
APNDICE C - Questionrio de Satisfao de Uso para Pesquisa

Ol, colega!
As perguntas deste questionrio so destinadas a avaliar a facilidade de uso do software
que voc acabou de utilizar. Fique vontade em responder, pois o que est sendo avaliado
este material e no voc.
1. Este material tem todas as funes necessrias para voc, disponibilizadas

de forma eficiente para as tarefas correspondentes? (Por exemplo: ajuda,
impresso, busca, calculadora, etc.)
2. Voc se sente vontade com todas as funes deste material, ou somente

algumas lhes so familiares?
3. Voc consegue visualizar bem os recursos disponveis neste material?
4. Voc entende com facilidade as palavras, nomes, abreviaturas ou smbolos

que esto neste material?
5. Permite voc alternar facilmente entre os menus ou telas?
6. No impe qualquer interrupo desnecessria em seu ritmo de estudo? (Por

exemplo, mensagens explicativas s aparecem quando voc espera que
apaream.)
7. As telas deste material com seus textos, botes e figuras tem formato de fcil
reconhecimento? (Por exemplo, os botes para cancelar tem um mesmo
formato e localizao em todas as telas e oferecem explicao de como
utiliz-los?)
8. Voc consegue navegar por todas as telas com seus vrios componentes
(textos, botes, etc.) da mesma forma. Existe alguma tela ou funo que ficou
mais difcil para voc entender para que serve?
9. O sistema lhe informa imediatamente quando voc digita um valor incorreto?

Por exemplo, se num campo era para voc digitar um nmero e voc digita
um texto, o sistema informa que naquele campo s so aceitos nmeros e
no letras.
85
10. Este material que d instrues especficas para a soluo de problemas?
11. Esse material pode ser entendido e usado por qualquer aluno, com pouca ou
muita experincia no uso de computadores?
12. Depois que voc se acostumou a usar este material, no precisa se esforar
para se lembrar onde encontrar uma informao ou para que servem os
botes?
13. Foi fcil aprender a us-lo? Voc no precisou ficar pedindo muito ajuda ao
professor at entender como o sistema funciona?
14. Quando voc clica em um link ou boto, o site direciona voc para onde
deveria realmente ir? (Pgina ou documento)
15. Existem links neste material que levam voc a outros tpicos dentro da
mesma pgina?
16. As cores dos links so as mesmas usadas nos padres da internet (links no
visitados em azul, visitados em verde ou roxo)?
17. Voc acha que o contedo deste material mantem a sua ateno?
18. Voc encontra as informaes importantes no topo da pgina?
19. Para voc visualizar todo o contedo de uma pgina, no necessrio rolar
vrias pginas (usando a tecla PgDown) at chegar ltima linha?
20. Este material diz para voc quais so os contedos protegidos por direitos
autorais e aqueles que no so?
21. Voc acha que tem controle sobre as tarefas que faz? (O sistema no lhe faz
ir simplesmente de um passo para o outro, voc tem controle na ordem para
finalizao de suas tarefas)
86
22. Para aprender, voc no usa somente o contedo deste material, mas usa
tambm links para vrias outras fontes, as quais tem que usar para aprender?
23. Voc, ao utilizar este material, acabou se aprofundando tanto que sentiu que
o tempo passou muito rpido?
24. Quando estuda com este material, voc sente que sabe mais sobre alguns
tpicos do que outros? (Voc aprende os outros tpicos, mas acha que se
tornou um perito em alguns)
25. agradvel usar este material com outro colega no mesmo computador?
26. Aps ter utilizado este material, voc avisado sobre o que est esperando
saber (ou aprender)? (O programa diz: Aps esta lio voc saber fazer
perguntas em ingls)
27. Ao iniciar o uso deste material, mostra-se claramente porque til aprendlo? (O programa diz: Esta lio ir ajud-lo a fazer frases interrogativas.)
28. Este material mostra seu progresso (quanto voc j explorou) e desempenho (o
resultado/nota de seus exerccios) em seus estudos?
29. Voc encontrou limitaes para tirar suas dvidas neste material? No tem uma dica
ou informao a mais para qualquer dvida ou curiosidade?
30. Este material lhe mostra como aplicar o conhecimento aprendido em situaes de sua
vida diria? (Por exemplo, calcular quantos metros quadrados tem a sala de sua casa)
31. Este material usa a idia de que melhor aprender fazendo por voc mesmo? (
disponibilizado uma boa quantidade de exerccios)
87
32. Ao usar este material, sente que ele foi projetado para voc? (As tarefas no so muito
fceis, nem muito difceis)
33. As imagens deste material ajudam a aprender?
34. As animaes deste material ajudam a aprender?
35. mais til aprender assuntos com este material do que em sala de aula normal? (
melhor do que usar livro de estudos normal)
36. Voc teria interesse de aprender os tpicos deste material mais profundamente? Se
voc tivesse mais tempo, iria querer usar mais este material para aprender um pouco
mais?
37. Existem caminhos opcionais para voc navegar dentro deste material at chegar a um
contedo desejado?
38. Voc s consegue seguir para o prximo tpico, aps ter respondido corretamente
todas as questes?
39. Voc acha que rpido aprender um novo tpico ou recapitular um tpico anterior
neste material?
40. Quando voc usa este material, sente que tem que lembrar muitas coisas ao mesmo
tempo? (s vezes melhor usar papel para escrever algumas anotaes)
41. Voc acha que a quantidade de informaes em cada tpico muito grande? difcil
memorizar (aprender) o assunto de um tpico que acabou de ser concludo por voc?
88
42. Voc pode cometer uma certa quantidade de erros neste material, e o programa lhe d
um aviso amigvel para soluo de cada erro.
43. Este material lhe d um feedback (resposta ou retorno) motivador? (Voc pode
explorar as funes desconhecidas sem medo, porque o programa ir lhe dar todos os
avisos que forem precisos)
44. Este material d inicialmente, para os exerccios, um exemplo de soluo correta.
89
ANEXOS
90
ANEXO A Questionrio de Nokelainen

Fonte: Nokelainen (2006) apud Reiz (2009)
1. Quando eu trabalho nesta tarefa eu sinto que eu, no o programa, tenho controle sobre a
responsabilidade de minha aprendizagem. (Definio: Eu no repito os mesmos tipos de
passos nos meus estudos, mas as tarefas me fazem pensar e alcanar solues diferentes
para cada uma),
Critrio: CONTROLE DO ALUNO
Resposta:
( ) Concordo totalmente ( ) Concordo parcialmente ( ) Indeciso ( ) Discordo parcialmente ( ) Discordo totalmente
2. Quando eu usei este material senti que tive controle sobre o que realizei e no ao
contrrio. (Definio: O programa no me conduz de um passo para outro, mas eu posso
controlar sozinho qual a ordem na qual quero finalizar minhas tarefas).
3. Eu tenho que pensar e tomar minhas prprias resolues para aprender este material de
aprendizagem. (Definio: Eu tenho que me concentrar no material, eu no posso completar
as tarefas simplesmente para com a funo de aprendizagem).
Critrio: ATIVIDADE DO ALUNO
4. Este material de aprendizagem tem sido dividido dentro de sees, minha tarefa
aprend-Ias em uma ordem pr-definida (e possivelmente responder s tarefas).
5. Este material de aprendizagem proporciona questes de aprendizagem sem um modelo
pr-definido para a sua resoluo.
6. Este material no possui somente o material, mas links para vrias outras fontes, as quais
eu tenho de usar para aprender. (Definio: A aprendizagem inicia, por exemplo, com uma
dica do professor, o qual conta qual tipo de aes so necessrias para a construo de
"algo". Algumas das informaes que voc ir precisar esto no sistema, mas voc ter de
procurar a maioria delas em peridicos, livros ou na Internet para fazer sua prpria
apresentao).
7. Eu me aprofundei tanto neste material de aprendizagem que esqueci tudo o que estava
acontecendo ao meu redor e de quanto tempo se passou.
8. Quando eu trabalho com este material de aprendizagem sinto que sei mais sobre alguns
tpicos do que outros. Eu "sou um perito". (Definio: O material de aprendizagem pode
envolver urna informao especfica reunida a uma tarefa, por exemplo, uma entrevista com
vizinhos ou a medida da altura da neve no jardim da casa em um perodo de um ms).
9. Quando eu trabalho neste material de aprendizagem, eu (ou ns, se um grupo de
trabalho) tenho de encontrar solues prprias em a soluo de modelos dos professores ou
do programa.
91
10. Estou orgulhoso com as minhas solues ou uma soluo realizada com outros para o
problema apresentado no material de aprendizagem. (Definio: Eu sinto que eu ou fizemos
algo significativo).
11.Este material de aprendizagem me deixa conversar com meus colegas (Definio: Por
exemplo, as mensagens em chat ou quadro de avisos).
Critrio: APRENDIZAGEM COOPERATIVA/COLABORATIVA
12. Eu posso fazer trabalhos em grupo com meus colegas neste material de aprendizagem.
(Definio: Se eu quiser, eu posso realizar tarefas junto com meus colegas de aula de modo
que ambos utilizem seus prprios computadores).
Critrio: APRENDIZAGEM COOPERATIV A/COLABORATIVA
13. agradvel usar o material de aprendizagem com outro estudante no mesmo
computador.
Critrio: APRENDIZAGEM COOPERA TIVA/COLABORATIVA, MOTIVAO
14. Este material de aprendizagem me permite saber o que os outros usurios tm feito no
sistema. (Definio: Por exemplo, quais materiais de aprendizagem mais lidos ou as tarefas
mais consagradas).
Critrio: APRENDIZAGEM COOPERA TIVA/COLABORATIVA
15. Este material de aprendizagem permite saber o que os outros usurios esto fazendo
quando eu estou usando o sistema. (Definio: Por exemplo: a maior parte do material de
aprendizagem no momento ou as tarefas com as quais a maior parte das pessoas esto
trabalhando).
Critrio: APRENDIZAGEM COOPERA TIVA/COLABORA TIVA
16. Este material de aprendizagem oferece programas de utilidade simples, como por
exemplo, a calculadora.
17. Este material de aprendizagem oferece programas de utilidade prtica (por exemplo,
Tabelas Excel, editor HTML, processador de textos, etc..).
18.Neste material de aprendizagem os programas de aplicaes possuem uma funo
fundamental. (Definio: Eu tenho que, por exemplo, editar uma tabela Excel para resolver
um problema).
19. Eu posso salvar meu trabalho neste material de aprendizagem e usar ou avaliar o
trabalho dos outros. (Definio: Eu posso, por exemplo, explorar ou avaliar o trabalho de
outros grupos de trabalho e us-los em meus estudos).
20. Este material de aprendizagem avisa claramente o que estou esperando saber (ou
aprender) aps t-lo utilizado. (Definio: As metas de aprendizagem esto claramente
definidas, por exemplo, "Aps esta tarefa voc saber como dividir em fraes decimais" ou
"Aps estas tarefas voc pode formar perguntas na lngua inglesa").
Critrio: ORIENTAO DE OBJETIVOS
21. Este material de aprendizagem mostra claramente porque til aprend-lo. (Definio:
Os objetivos de aprendizagem so justificados, por exemplo, "Esta tarefa ir ajud-lo a fazer
frases interrogativas na lngua inglesa").
92
22. O material de aprendizagem avalia meus desempenhos com classificaes. (Definio:

Por exemplo, o sistema d uma classificao ao final de uma tarefa e mostra a classificao
mxima).
23. Este material de aprendizagem mostra quanto progresso eu realizei em meus estudos.
(Definio: Eu sei no que ou experiente ou tenho que aprender mais).
24. Este material de aprendizagem estritamente limitado. (Definio: Por exemplo, o tpico
do material de aprendizagem de matemtica "Clculo do significado").
25. Este material de aprendizagem ensina habilidades que necessitarei. (Definio: Eu sou
capaz de, por exemplo, converter Euros em dlares, ou ajudar meus pais a escolher entre
diferentes tamanhos de pacotes de acordo com seus diferentes preos).
Critrio: APLICABILIDADE
26. Eu sinto que estou apto a usar as habilidades e conhecimento que este material de
aprendizagem tem me ensinado no futuro.
Critrio: APLICABILlDADE
27. Este material de aprendizagem baseado na ideia que "algum aprende melhor fazendo
por si mesmo". (Definio: O material oferece mais tarefas do que por exemplo, as
apresentaes de Power Point).
Critrio: APLlCABILIDADE
28. Eu sinto que este material de aprendizagem ajudar a realizar melhor o teste.
(Definio: Eu penso que as tarefas no material so similares s tarefas que ns
frequenternente temos nos testes).
Critrio: APLICABILlDADE
29. Este material de aprendizagem adequadamente desafiador para mim. (Definio: As
tarefas no so to fceis ou to difceis).
30. Eu sinto que este material de aprendizagem foi projetado para mim. (Definio: O
material satisfaz minhas necessidades e isso no d a sensao de que voc seja muito ou
pouco competente).
31. Este material de aprendizagem ajusta-se s dificuldades para adaptar-se s minhas
habilidades. (Definio: Eu posso praticar algo que difcil para mim at que eu o tenha
aprendido e antes de partir para o prximo tpico).
32. As imagens neste material de aprendizagem ajudam a aprender.
Critrio: VALOR AGREGADO
33. Os sons neste material de aprendizagem ajudam a aprender.
34. As animaes neste material de aprendizagem ajudam a aprender.
93
35. mais til aprender tpicos com este material de aprendizagem do que com mtodos
convencionais em uma sala de aula. (Definio: Pense se voc estaria mais disposto a fazer
estas tarefas com um computador ou com um livro de estudos normal ou livro de
exerccios).
36. Eu tento alcanar uma alta classificao tanto quanto posso neste material de
aprendizagem.
Critrio: MOTIVAO
37. Eu quero aprender os tpicos deste material de aprendizagem to profundamente
quanto posso.
Critrio: MOTIVAO
38. Estou interessado nos tpicos deste material de aprendizagem.
Critrio: MOTIVAO
39. Este material de aprendizagem requer que eu saiba algo que tem sido pensado em
algum outro material de aprendizagem. (Definio: Este material faz referncia a algum
outro material de aprendizagem).
Critrio: AVALIAO DO CONHECIMENTO PRVIO
40. Eu posso usar meus conhecimentos prvios quando estudo com este material.
Critrio: CONTROLE DO ALUNO, APLICABILIDADE, AVALIAO DO CONHECIMENTO
PRVIO
41. Este material de aprendizagem rev materiais anteriores antes de iniciar a ensinar um
novo tpico. (Definio: Por exemplo, na matemtica, o material primeiro inicia com simples
clculos que so necessrios para aprender um tpico mais difcil).
Critrio: AVALIAO DO CONHECIMENTO PRVIO
42. Este material de aprendizagem oferece caminhos opcionais para o meu progresso.
(Definio: Eu posso escolher diferentes tarefas cada vez que eu uso o sistema).
Critrio: FLEXIBILIDADE
43. Este material de aprendizagem no me deixa prosseguir para o prximo ponto antes de
ter respondido corretamente a cada questo. (Definio: Por exemplo, em um exerccio de
lngua inglesa deve-se ter respondido corretamente a todas as questes, mesmo que com a
ajuda do programa, antes de deix-to prosseguir para o prximo tpico).
44. Este material de aprendizagem apresenta muitas similaridades, tarefas consecutivas.
(Definio: Por exemplo, uma tarefa de preencher que possui muitas tarefas consecutivas
para sentenas do verbo "to be").
Critrio: FLEXIBILIDADE
45. Este material de aprendizagem torna rpido e fcil o aprendizado de um novo tpico ou
o recapitular de um tpico anterior.
46. Se eu no posso me lembrar de uma palavra especfica ou conceito enquanto uso este
material de aprendizagem posso retomar e verificar seu significado no material anterior.
Critrio: FLEXIBILDADE
94
47. Quando uso este material de aprendizagem sinto que tenho de lembrar muitas coisas ao
mesmo tempo. (Definio: Eu sinto em alguns momentos que deveria ter usado o papel para
escrever algumas anotaes).
48. Este material de aprendizagem apresenta informaes em formato que o toma fcil de
aprender. (Definio: A informao apresentada de forma significativa e interconectada e
no em partes separadas que so difceis de entender).
Critrio: CONTROLE DO ALUNO, APLICABILIDADE
49. Este material de aprendizagem apresenta novos materiais (ou recapitula antigos) em
"pores" adequadas para mim. (Definio: No h muitas novas coisas apresentadas de
uma s vez, eu tenho tempo de aprend-Ias antes de mover-me para o prximo tpico).
Critrio: CONTROLE DO ALUNO, APLICABIUDADE
50. Eu posso fazer certo nmero de erros com este material (por exemplo, respostas
erradas em tarefas de clculos).
Critrio: FEEDBACK
51. Quando eu erro uma soluo de uma tarefa, o programa me envia um aviso amigvel.
Critrio: FEEDBACK
52. Este material de aprendizagem me d um feedback motivador. (Definio: Eu estou
querendo pr a prova as funes menos usadas no material de aprendizagem porque eu sei
ir me dar todos os avisos que eu preciso).
Critrio: FEEDBACK
53. Este material de aprendizagem apresenta um feedback imediato das minhas atividades.
(Definio: Quando eu escrevo minha resposta a uma tarefa de clculo, o sistema mostra
imediatamente se a resposta correta ou no).
Critrio: FEEDBACK
54. Este material de aprendizagem d inicialmente um exemplo da soluo correta.
(Definio: Multiplicar com fraes decimais iniciado com um modelo de desempenho, e
depois posso calcular por conta prpria).
55. Neste material de aprendizagem, eu transporto a responsabilidade para a soluo de
uma tarefa em pequenas pores. (Definio: Por exemplo, em uma tarefa de matemtica,
ser apresentada primeiro a tarefa e ento o resultado. A seguir, eu vejo a tarefa mas no o
resultado, o qual eu tenho de resolver por conta prpria).
Critrio: APLlCABILlDADE
56. Eu penso que aprendo mais rapidamente com este material do que normalmente.
(Definio: Este material de aprendizagem proporciona o tipo certo de suporte quando
preciso).
Critrio: APLlCABILlDADE
95
ANEXO B - Questionrio de Ssemugabi

Fonte: Ssemugabi (2006) apud Reiz (2009)
Categoria 1: Projeto interface em geral (Baseado nas heursticas de Nielsen, adaptado

por Ssemugab para o contexto de e-Iearning
1 Visibilidade do status do sistema

1.1 O Sistema me mantm informado atravs de feedback: sobre o que est acontecendo.
Resposta:
( ) Concordo plenamente ( ) Concordo ( ) Talvez ( ) Discordo ( ) Discordo plenamente.
1.2 Eu entendo o que significa feedback.

1.3 Eu obtenho o feedback dentro de um tempo razovel.
1.4 Posso ver ou ouvir os resultados de cada ao que eu realizo.
1.5 O sistema no reage de forma que me surpreenda e no faz nada inesperado.
2 Modelo do projetista e modelo do aluno, isto , correlao entre o sistema e o

mundo real
2.1 A linguagem usada natural, os termos, frases, conceitos so similares queles usados
no meu dia-a-dia ou no ambiente de estudo.
2.2 Eu no fico confuso com o uso dos termos.
2.3 Eu no fico confuso com a forma que os smbolos, cones, imagens so usadas.
2.4 No h jarges usados (jargo significa uma abreviatura ou uma expresso
desenvolvida e usada por um grupo de pessoas).
2.5 A metfora usada corresponde aos objetos ou conceitos do mundo-real,por exemplo, o
cone para salvar se parece com um disquete.
2.6 As informaes so organizadas em uma ordem natural e lgica.
3 Controle do usurio e liberdade
3.1 Eu controlo o sistema, ao invs deste me controlar.
3.2 O sistema trabalha da forma que eu quero que trabalhe.
3.3 Cada pgina apresenta todos os botes de navegao ou hiperlinks necessrios, tais
como, anterior (voltar), prxima e pgina inicial (home).
3.4 Quando eu cometo um erro eu no posso escolher sair do sistema usando um boto de
sada de emergncia claramente sinalizado.
96
4 Consistncia e aderncia s normas

4.1 A mesma conveno (normas ou o caminho pelo qual o contedo organizado e
apresentado) usado atravs do sistema.
4.2 E fcil de entender as convenes usadas atravs do sistema.
4.3 A conveno usada similar quelas em outros sistemas que utilizei.
4.4 As mesmas palavras, frases, situaes ou aes referem-se s mesmas coisas atravs
do sistema.
4.5 As cores so usadas de forma consistente (mesma forma) atravs do sistema.
4.6 Os grficos, cones e imagens so consistentemente usados atravs do sistema.
4.7 H consistncia no Ieiaute do sistema.
4.8 H consistncia no uso dos menus.
4.9 H consistncia no uso do tipo e tamanhos das fontes.
4.10 Os links das pginas so consistentes com os ttulos das pginas as quais esto
vinculadas.
5
Preveno de erros, preveno especificamente de erros relacionados
usabilidade perifrica
5.1 O sistema me d suporte de forma que se toma difcil cometer erros graves.
5.2 A qualquer hora que um erro cometido uma mensagem de erro apresentada.
5.3 O sistema lisa uma interface de usurio grfica, tais como, listas suspensas (drop down),
com hiperlink ou interfaces baseadas em cones, que podem ser clicadas por mouse, ao
invs de baseada em comandos, onde os comandos tm de ser digitados pelo uso de
teclado.
5.4 Sou requisitado a confirmar minhas entradas antes de levar adiante aes
"potencialmente perigosas" como a de "apagar".
5.5 Acho fcil entrar com as informaes no sistema.
6 Reconhecimento ao invs de evocao
6.1 Esto disponveis instrues de como utilizar o sistema.
6.2 H uma relao bvia entre os controles e suas aes.
6.3 Os objetos usados, como os grficos em barras de ferramentas, so fceis de
reconhecer.
6.4 Ao trabalhar em uma tarefa eu no preciso relembrar as informaes de outras tarefas.
7 Flexibilidade e eficincia do uso

7.1 O site oferece diferentes nveis de usurios, desde o novato at o experiente.
97
7.2 Atalhos em forma de abreviaes, questes especiais, macros e comandos escondidos

esto disponveis para usurios experientes.
7.3 O site guia os usurios novatos de forma competente.
7.4 H a opo de usar somente o teclado para realizar as tarefas.
7.5 O sistema o bastante flexvel para permitir que os usurios ajustem as configuraes
adequando-as, isto , personalizando o sistema.
8 Design esttico e minimalista

8.1 As pginas contm a informao requisitada.
8.2 A informao em cada pgina no muito grande para confundir-me ou distrair-me.
8.3 No h o uso excessivo de grficos e imagens no site.
8.4 As caixas de dilogo proporcionam informaes adequadas ao desempenho das tarefas.
8.5 Menus e listas suspensas possuem as opes exigidas para as escolhas.
9 Reconhecimento, diagnstico e recuperao de erros
9.1 As mensagens de erros so expressas em linguagem simples.
9.2 As mensagens de erros indicam precisamente qual o problema.
9.3 Cada mensagem proporciona um procedimento para a correo do erro.
9.4 O procedimento para 'corrigir um erro especfico, rpido e eficiente.
9.5 Se um erro de digitao (dados) resulta em um erro, no necessrio digitar o comando
por inteiro, mas de preferncia reparar somente a parte errada.
9.6 O site proporciona uma rpida mudana de ao pela qual possvel, por exemplo,
disponibilizar ambos Desfazer (Undo) e Refazer (Redo).
10 Ajuda e documentao
10.1 Eu acho os recursos de ajuda, tais como ajuda online e o glossrio, teis.
10.2 Os recursos de ajuda so fceis de usar.
10.3 Eu acho fcil procurar pela ajuda solicitada.
10.4 Os links para outras fontes so de g:'.mdc auxlio.
Categoria 2: Design especfico para websites educacionais
11 Simplicidade de navegao, organizao e estrutura

11.1 Eu sempre sei onde estou e quais opes seguir, isto , o que conclu e o que ainda
devo fazer.
11.2 No h a necessidade de ter o Menu do Curso desde que eu tenha o Mapa do Curso, o
qual satisfaz mesma proposta.
98
11.3 O site sempre direciona para os documentos e pginas corretas,

11.4 Eu gostaria de ter Iinks s sees dentro da mesma pgina.
11.5 As cores para os links so consistentes com as convenes Web, isto , links no
visitados em azul e os visitados em verde ou roxo.
11.6 Informaes correlacionadas so colocadas juntas.
11.7 Informaes importantes so colocadas no topo da pgina.
11.8 A funo de rolar pginas minimizada, isto , eu no tenho rolar vrias pginas para
encontrar as informaes requisitadas.
12 Relevncia do contedo do site para a aprendizagem
12.1 O contedo mantm-me engajado.
12.2 O contedo relevante ao que deve ser aprendido.
12.3 O contedo est no nvel apropriado de meu entendimento.
12.4 Esto definidos quais so os materiais esto protegidos por leis de direito autoral e
quais no so.
12.5 O material no site no possui preconceitos raciais ou quanto ao gnero.
12.6 Eu gostaria de ver as gravaes das minhas atividades, tais como, visitas feitas em
cada pgina.
Categoria 3: Heursticas de design instrucional centrado no aluno
13 Claridade das metas, objetivos e sadas

1.3.1 Eu conheo os objetivos antes de cada encontro.
1.3.2 As sadas so comunicadas antecipadamente, antes do incio do encontro.
13.3 Eu acho o plano de estudos til.
13.4 Eu obtenho informaes atualizadas no quadro de avisos.
13.5 O calendrio proporciona informaes teis.
14 Aprendizagem colaborativa
14.1 Eu gosto de sites que tenham meios de incentivar atividades em grupo, tais como, um
projeto em grupo e a colaborao na resoluo de problemas.
14.2 A colaborao com 'outros alunos, introduzida ou apoiada pelo sistema, permite-me
aprender algo.
14.3 Ao colaborar com outros alunos, eu gostaria que o professor agisse como um
facilitador, guia, treinador ou mentor, mas no como um controlador.
14.4 Quando colaboro com o professor, gostaria que o professor agisse como um parceiro,
no como um controlador.
99
14.5 Embora eu tenha a ferramenta de e-mail proposta pela instituio, eu ainda necessito
ter a ferramenta de e-mail dentro de aplicativo.
14.6 Eu gostaria de ter um frum de discusso acadmico com outros alunos usando
ferramentas de discusso no site.
14.7 Eu gostaria de ter um frum de discusso acadmico com o professor usando
ferramentas de discusso no site.
15 Aplicabilidade do nvel de controle do aluno

15.1 Eu posso decidir o que aprender e o que deixar de lado, dentro do site.
15.2 Quando eu uso o si/e, sinto como se eu estivesse no controle da minha prpria
aprendizagem .
15.3 Eu sinto um senso de domnio prprio neste site.
15.4 Eu posso usar meus prprios caminhos para encontrar o que eu quero aprender dentro
do site.
15.5 A partir do site eu gosto de acessar a internet para encontrar meu prprio material de
aprendizagem.
16 Suporte para abordagens significativas de aprendizagem

16.1 Este site proporciona diferentes estratgias de suporte para a aprendizagem.
16.2 O site usado em combinao com outros meios de instruo para dar suporte
aprendizagem.
16.3 O site me permite planejar, avaliar e questionar minhas habilidades de aprendizagem.
16.4 Este site me encoraja a aplicar as habilidades de aprendizagem dentro de situaes do
mundo prtico/real.
17 Identificao de erros cognitivos, diagnstico e restabelecimento

17.1 Quando eu obtenho respostas erradas aos problemas proporcionados pelo sistema, as
solues oferecidas pelo sistema ajudam-me a aprender.
17.2 Eu acredito que as pessoas aprendem por meio de seus erros.
17.3 O sistema reconhece que como aluno, eu posso estar errado sobre alguns conceitos e
que tentar corrigi-Ias parte da aprendizagem.
18 Feedback, orientao e avaliao
18.1 O sistema proporciona feedback em relao as minhas atividades e conhecimentos.
18.2 Eu aprecio a orientao em forma de questes de exemplo e suas solues.
18.3 Eu aprecio o feedback quantitativo como forma de classificar minhas atividades.
100
19 Contexto significativo
19.1 O conhecimento apresentado dentro de um contexto significativo que me ajuda a
aprender.
19.2 O conhecimento apresentado nu sentido de que ser autntico, corresponde a como
as coisas so na prtica.
19.3 So empregadas tarefas autnticas e contextualizadas (tarefas que se relacionam com
as do mundo real), preferivelmente do que instrues abstratas (modelos puramente
tericos).
19.4 As representaes simblicas usadas so fceis de entender e os smbolos usados
so significativos dentro do contexto da tarefa de aprendizagem.
20 Motivao, criatividade e aprendizagem ativa

20.1 A aplicao fornece motivao prpria (intrnseca) que me faz querer aprender.
20.2 As classificaes (notas) e outros incentivos que eu obtenho so motivaes externas
(extrnsecas) e requisitos institucionais consumados.
20.3 A aplicao facilita meu empenho.
20.4 A aplicao mantm minha ateno.
20.5 Eu gosto do visual e da atmosfera deste site.
20.6 Eu prefiro atividades que so subdivididos em partes, tais como jogos e testes, pois
estas no consomem muito tempo.
20.7 Eu gosto dos testes/jogos no site.
20.8 Eu gosto de fazer auto-avaliaes neste site.
Concluses
a. Eu achei o sistema fcil de usar.
b. rpido de se trabalhar no sistema.
c. O sistema desempenha as tarefas apropriadamente.
d. Uma vez que eu aprendi a usar o sistema, ser fcil de us-Ia na prxima vez.
e. Eu fiquei satisfeito com o sistema.
( ) Concordo plenamente ( ) Concordo ( ) Talvez () Discordo ( ) Discordo plenamente
f. O quo bem este site trabalha como um suplemento de instruo da aula/disciplina?

( ) Muito boa ( ) Boa ( ) Adequado ( ) Rum ( ) Muito ruim
g. Eu prefiro aprender usando:

( ) Ambiente virtual de aprendizagem ( ) Aula presencial ( ) Ambos
101
h. Qual sua viso geral deste site?

( ) Muito boa ( ) Boa ( ) Adequado ( ) Ruim ( ) Muito ruim
i. O que mais o atrai neste site? (questo aberta)

j. O que voc mais gostou neste site? (questo aberta)
k. O que voc menos gostou neste site? (questo aberta)
l. Use o espao que segue para preencher no mnimo cinco problemas que voc encontrou
como os mais problemticos no sistema. (questo aberta)
102
ANEXO C Questionrio de Reitz

Fonte: Reitz (2009)
N Severidade Questo de usabilidade

1.
Mdia
O material de aprendizagem dividido em partes (sees),
minha tarefa aprend-las em uma ordem pr-definida.
2
Mdia
As questes para a aprendizagem no seguem sempre o
mesmo modelo para suas resolues.
Os links para outras fontes so de grande auxlio para minha
3.
Baixa
aprendizagem.
4.
Mdia
Esqueci de tudo o que estava acontecendo ao meu redor e de
quanto tempo se passou.
5.
Mdia
Estou orgulhoso das minhas solues para os exerccios
apresentados. Sinto que fiz algo significativo.
6
Mdia
O material de aprendizagem avalia meus desempenhos com
classificaes (notas) de minhas atividades.
7.
Baixa
E mais til aprender tpicos com este material no computador do
que com livros em sala de aula.
8.
Baixa
E rpido e fcil o aprendizado de um novo tpico ou o recapitular
de um tpico anterior.
9.
Alta
Este material exige que eu tenha conhecimentos de outro
material de aprendizagem anterior.
10. Mdia
Este material de aprendizagem no me deixa prosseguir para o
prximo ponto ou exerccio antes de ter respondido corretamente
a cada questo.
11. Mdia
Os programas utilizados (calculadora, exerccios, jogos, etc.)
so simples e prticos de usar.
12.
Baixa
Quando erro na soluo de uma tarefa, o programa me envia um
aviso amigvel,
13.
Alta
O feedback (aviso/resposta dado pelo sistema) imediato.
14.
Baixa
Recebo feedback (aviso) motivador.
15. Mdia
A linguagem usada natural. Os termos, frases, conceitos so
similares queles usados no meu dia-a-dia ou no ambiente de
estudo.
No so usados jarges no site (jargo significa uma abreviatura
16. Mdia
ou uma expresso tcnica desenvolvida e usada por um grupo
de pessoas).
17.
Alta
No fico confuso com a forma com que os smbolos, cones,
imagens so usados.
18. Mdia
A metfora usada corresponde aos objetos ou conceitos do
mundo real, por exemplo, o cone para salvar se parece com um
disquete.
19. Mdia
As imagens ajudam a aprender.
20.
Baixa
Os sons ajudam a aprender.
21.
Baixa
As animaes ajudam a aprender.
22. Mdia
As informaes so organizadas em uma ordem natural e lgica.
23. Mdia
Sinto como se eu estivesse no controle da minha prpria
aprendizagem ao interagir com o site.
103
24
.
25.
Mdia
26.
Alta
27.
Mdia
28.
29.
Alta
Alta
30.
Mdia
31.
Mdia
32.
33.
Mdia
Mdia
34.
35.
Mdia
Baixa
36.
Alta
37.
Mdia
38.
39.
Baixa
Alta
40.
Baixa
41
Mdia
42.
Alta
43.
Alta
44.
Mdia
45.
Alta
46.
47.
48.
Baixa
Mdia
Alta
49.
Mdia
Alta
Eu posso usar meus prprios caminhos para encontrar o que eu

quero aprender dentro do site.
Tenho de lembrar muitas coisas ao mesmo tempo. Gostaria de
usar o papel para escrever algumas anotaes.
Cada pgina apresenta todos os botes de navegao ou
hiperlinks necessrios, tais corno, anterior (voltar), prxima e
pgina inicial (homepage).
Este material de aprendizagem d inicialmente um exemplo de
exerccio com uma soluo correta.
Gosto de aprender com questes de exemplo e suas solues.
Este material de aprendizagem ensina habilidades e
conhecimentos que necessitarei no futuro.
A mesma forma de apresentao e organizao do contedo
usada em todo site.
As informaes so apresentadas em um formato que os torna
fcil de aprender.
As cores so usadas da mesma forma em todo o site.
Os grficos, cones e imagens so usados da mesma forma em
todo o site.
Os menus so apresentados da mesma forma em todo o site.
Os links das pginas correspondem aos ttulos das pginas s
quais esto vinculadas.
A qualquer hora que um erro cometido urna mensagem de erro
apresentada.
Sou requisitado a confirmar minhas aes antes de levar
adiante aes "perigosas" como a de "apagar".
Acho fcil entrar com informaes no sistema.
O site guia os usurios experientes atravs de atalhos em forma
de abreviaes, questes especiais, macros e comandos
escondidos.
Este material de aprendizagem apresenta muitas tarefas
parecidas e repetitivas.
As caixas de dilogo proporcionam informaes adequadas ao
desempenho das tarefas.
As mensagens de erros indicam precisamente qual o
problema.
As mensagens de erro indicam um procedimento para a
correo do erro.
Se um erro de digitao (dados) resulta em um erro, no preciso
digitar novamente o comando por inteiro, mas reparar somente a
parte errada
O site proporciona uma rpida mudana de ao atravs dos
comandos de Desfazer (Undo) e Refazer (Redo).
A ajuda online e o glossrio (recursos de ajuda) so teis.
Os recursos de ajuda so fceis de usar.
Sei onde estou e quais opes seguir, isto , o que conclu e o
que ainda devo fazer.
H links que levam aos tpicos de estudos (sees) dentro da
mesma pgina
104
50.
Mda
51
52.
Mdia
Baixa
53.
54.
55.
Mdia
Mdia
Baixa
56.
57.
58.
Baixa
Baixa
Mdia
59.
Mdia
60.
Mdia
61.
Mdia
62.
Baixa
63.
Mdia
64.
Baixa
65.
Mdia
66.
Mdia
67.
Mdia
68
Alta
69.
Mdia
70.
71.
72.
Mdia
Mdia
Baixa
As cores para os links so consistentes com as convenes da

Web, isto , links no visitados em azul e os visitados em
vermelho ou roxo.
As informaes importantes so colocadas no topo da pgina,
No preciso rolar (barra de rolagem) vrias pginas para
encontrar as informaes que procuro.
O contedo mantm minha ateno.
O contedo est no nvel apropriado de meu entendimento.
Esto definidos quais so os materiais protegidos por leis de
direito autoral e quais no so.
Obtenho informaes atualizadas no quadro de avisos.
O calendrio proporciona informaes teis.
Gosto de atividades em grupo, tais como, um projeto em grupo e
a colaborao na resoluo de problemas.
A colaborao com outros alunos, introduzida ou apoiada pelo
sistema, permite-me aprender.
Ao interagir com os outros alunos e o professor, eu gostaria que
o professor agisse como um parceiro, guia, e no como um
controlador.
Embora eu tenha a ferramenta de e-mail proposta pela
instituio, eu ainda necessito ter a ferramenta de e-mail dentro
do aplicativo.
Gosto de participar do frum de discusso acadmico com
outros alunos.
E agradvel usar o material de aprendizagem com outro
estudante no mesmo computador.
Posso salvar meu trabalho neste material de aprendizagem e
usar ou avaliar o trabalho dos outros alunos.
O site me permite planejar, avaliar e questionar minhas
habilidades de aprendizagem.
Este site me encoraja a aplicar as habilidades de aprendizagem
nas situaes prticas da vida.
Quando eu obtenho respostas erradas aos problemas
proporcionados pelo sistema, as solues oferecidas pelo
sistema ajudam-me a aprender.
So empregadas tarefas autnticas e contextualizadas (tarefas
prticas), mais do que instrues abstratas (conceitos tericos).
O material de aprendizagem me faz querer aprender, sinto-me
motivado.
Gosto de fazer auto-avaliaes neste site.
Gosto do visual e da aparncia deste site
Gosto dos testes e jogos no site.
105
ANEXO D Objeto de Aprendizagem (Grupo A)
106
107
ANEXO E Objeto de Aprendizagem (Grupo B)
108

Avaliação de Usabilidade em Softwares Educativos

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Avaliação de Usabilidade em Softwares Educativos

Enviado por

Direitos autorais:

Formatos disponíveis

UNIVERSIDADE ESTADUAL DO CEAR

Centro de Cincias Tecnolgicas - CCT

INSTITUTO FEDERAL DE EDUCAO,

ANA CLIA BASTOS DE ABREU

ANA CLIA BASTOS DE ABREU

Dissertao apresentada ao Curso de Mestrado

Abreu, Ana Clia Bastos de

O objetivo deste trabalho disponibilizar para a comunidade de profissionais que trabalham

Palavras-chave: Testes de Usabilidade, Questionrio, Usabilidade Pedaggica, Usabilidade

Keywords: Usability Testing, Questionnaire, Pedagogical Usability, Technical Usability.

Tabela 1 Respostas do questionrio (Objeto 1) ..........................................

Tabela 2 - Respostas do questionrio (Objeto 2) ...........................................

Tabela 3 Valores calculados para os critrios (Objeto 1) .............................

Tabela 4 Valores calculados para os critrios (Objeto 2) ..............................

Tabela 5 Valores para mdia aparada (Objeto 1) .......................................

Tabela 6 Valores para mdia aparada (Objeto 2) ........................................

Tabela 7 - Quantidade de erros nos exerccios (Grupo A) ..............................

Tabela 8 - Quantidade de erros nos exerccios (Grupo B) ..............................

Figura 1 Interao no desenvolvimento de software educacional ..................

Figura 2 Conceito de Usabilidade Tcnica e Pedaggica ...............................

Figura 3 Resposta do questionrio em escala Lickert ......................................

Figura 4 Tela inicial do SAUSP...........................................................................

Figura 5 Tela da funcionalidade Saiba Sobre Usabilidade ............................

Figura 6 Tela da funcionalidade Responder Questionrio ............................

Figura 7 - Apresentao das perguntas no questionrio ...................................

Figura 8 - Modelo de Entidade Relacionamento (MER) .....................................

Figura 9 Tela do Wink (frame capturado do objeto 2) ....................................

Grfico 1 Grfico com resultado das 3 categorias de usabilidade................

Grfico 2 - Grfico com resultado dos critrios de usabilidade tcnica...........

Grfico 4 - Grfico com resultado dos critrios de usabilidade pedaggica .....

Grfico 5 Critrios de usabilidade geral (Objeto 1) ...........................................

Grfico 6 Critrios de usabilidade de sites web (Objeto 1) .............................

Grfico 7 - Critrios de usabilidade pedaggica (Objeto 1) ...............................

Grfico 8 - Resultados gerais dos questionrios (Objeto 1) ..............................

Grfico 9 - Critrios de usabilidade geral (Objeto 2) ............................................

Grfico 10 - Critrios de usabilidade de sites web (Objeto 2) ............................

Grfico 11 - Critrios de usabilidade pedaggica (Objeto 2) .............................

Grfico 12 Resultado geral da usabilidade (Objeto 2) ..................................

Grfico 13 - Evoluo da ocorrncia de erros (mdia) Grupo A .................

Grfico 14 - Evoluo da ocorrncia de erros (mdia) Grupo B .....................

Quadro 1 - Distribuio das questes Ergolist por critrio .......................................

No mundo da sociedade da informao, conhecimento algo de grande

Pela importncia que um usurio d aquisio de conhecimento quando

Aps entrevistas com profissionais da educao do Ensino Fundamental,

Diante desta necessidade, neste trabalho, proposta uma metodologia de

Analisar o referencial terico de diversos autores sobre a usabilidade e os

Consolidar os diversos critrios de testes da Engenharia de Software com

Realizar testes de usabilidade em objetos de aprendizagem, de modo a

Desenvolver um site que ser utilizado como uma ferramenta de apoio

sobre a importncia da atividade de teste, segundo a Engenharia de Software,

No captulo 5, apresentada a validao da proposta deste trabalho,

O teste de software um dos processos da Engenharia de Software que

O software ultrapassou o hardware, com relao importncia para o

qualidade que atenda s necessidades dos usurios dentro de um cronograma e de

Com o intuito de criar um modelo de avaliao da qualidade do software,

portabilidade. Neste estudo vamos abordar a importncia da usabilidade, por ser

2.1 Conceito de Usabilidade

Para que possamos escrever sobre testes de usabilidade, faz-se

2.2 Participantes de uma avaliao de usabilidade

Usurio: o sujeito alvo dos testes de usabilidade e prototipagem, prov

Avaliador: a pessoa que planeja e conduz as avaliaes de usabilidade,

Projetista instrucional: tambm chamado de designer instrucional, aquele

importante que envolve um cuidadoso planejamento pautado em princpios