Leandro Agostini Amaral Revisada

Um ambiente para anlise de resultados de avaliaes
de acessibilidade e usabilidade na Web

Leandro Agostini do Amaral
SERVIO DE PS-GRADUAO DO ICMC-USP
Data de Depsito:
Assinatura:________________________
Um ambiente para anlise de resultados de avaliaes de

acessibilidade e usabilidade na Web
Leandro Agostini do Amaral
Orientadora: Profa. Dra. Renata Pontin de Mattos Fortes
Dissertao apresentada ao Instituto de Cincias

Matemticas e de Computao - ICMC-USP, como
parte dos requisitos para obteno do ttulo de Mestre
em Cincias - Cincias de Computao e Matemtica
Computacional. VERSO REVISADA
USP - So Carlos
Julho de 2014
Ficha catalogrfica elaborada pela Biblioteca Prof. Achille Bassi

e Seo Tcnica de Informtica, ICMC/USP,
com os dados fornecidos pelo(a) autor(a)
A485a
Agostini do Amaral, Leandro

Um ambiente para anlise de avaliaes de
acessibilidade e usabilidade na Web / Leandro
Agostini do Amaral; orientadora Renata Pontin de
Mattos Fortes. -- So Carlos, 2014.
125 p.
Dissertao (Mestrado - Programa de Ps-Graduao
em Cincias de Computao e Matemtica
Computacional) -- Instituto de Cincias Matemticas
e de Computao, Universidade de So Paulo, 2014.
1. Acessibilidade Web. 2. Usabilidade Web. 3.
IHC. I. Pontin de Mattos Fortes, Renata, orient.
II. Ttulo.
Agradecimentos
Agradeo a Deus, por estar presente em minha vida atravs de pessoas maravilhosas que
cruzam o meu caminho e nele permanecem, sempre deixando timas contribuies que
servem como combustvel para minha caminhada. Em momentos difceis, Ele me
consolou, respondendo prontamente as minhas splicas e me colocou no caminho correto.
Meus pais, Wilson e Marlene, que vivem em funo dos filhos. Sempre zelando
pelo nosso presente e futuro, fizeram o possvel e o impossvel para nos educar, para nos
ensinar que o bem e a positividade movem montanhas e mudam o mundo. O que sou, devo
em grande parte aos seus ensinamentos e exemplos.
Ao meu irmo Fabio, que por mais longe que esteja e pelas nossas ocupaes no
nos permitirem ter contato frequente, sempre se fez presente em meu corao. Voc meu
exemplo de perseverana, pois sempre buscou por seus sonhos at conquist-los.
Ao meu grande amigo Thiago, que foi como um irmo para mim, aconselhando e
me ajudando a obter grandes conquistas. Sempre acreditou em meu potencial e tenho feito
o possvel para retribuir essa confiana. Estendo meus votos tambm a Luanna, sua noiva,
que contribuiu muito neste mestrado e a quem quero muito bem.
No posso deixar de agradecer a minha orientadora Renata, que foi como uma
segunda me, sempre preocupada e pronta a aconselhar. Soube cobrar quando foi
necessrio e a grande responsvel pela minha caminhada acadmica at agora. Uma
pessoa maravilhosa a quem devo muito. Tambm agradeo ao meu grupo de pesquisa, que
colaborou com ideias e discusses que contriburam para execuo deste trabalho.
Aos meus amigos, Victor, Alexandre, Felipe, Thaynara, Homero, Gustavo, Marcos,
Lemuel, e tantos outros, que me encorajaram quando precisei e que me aguentaram, nos
meus dias mais difceis, sempre se mostrando solcitos.
Agradeo FAPESP, Fundao de Amparo Pesquisa do Estado de So Paulo, cujo
patrocnio tornou possvel a dedicao ao trabalho de pesquisa e redao durante dois anos.
Agradeo vocs de todo o corao!
Any fool can write code that a computer can understand.

Good programmers write code that humans can understand
Martin Fowler
iii
Resumo
A Web apresenta um contedo extenso de informaes disponibilizado a uma populao

diversificada de pessoas, as quais podem apresentar as mais diferentes habilidades e
exigncias. Dessa maneira, garantir a acessibilidade a todo usurio uma tarefa difcil,
mesmo existindo um conjunto extenso de recomendaes disponibilizadas pelo World Wide
Web Consortium (W3C). Assim, so propostas diferentes ferramentas para avaliao de
acessibilidade, que contrapem os artefatos s diretrizes com a finalidade de obter
resultados automatizados, produzindo testes e gerando vrios dados, como a localizao do
problema no cdigo e as falhas especificadas. Para facilitar o processamento desses dados,
mediante a disponibilizao de uma linguagem comum, o W3C desenvolveu a Evaluation
and Report Language (EARL). Dados os problemas acerca das dificuldades em se garantir
a acessibilidade para os diferentes perfis de usurios e a necessidade da interpretao dos
relatrios em EARL, como colaborao para a avaliao manual, indispensvel no
contexto de testes de acessibilidade, neste trabalho proposto um apoio por meio de um
Ambiente para Anlise de Avaliaes de Acessibilidade e Usabilidade na Web (A4U). A
partir do estudo de caso realizado, pde-se validar o ambiente A4U desenvolvido, o qual
inclui relatrios de avaliaes semiautomticas, para que o desenvolvedor possa interpretlos e prosseguir com a avaliao manual de acessibilidade e usabilidade. No mbito do
apoio desenvolvido, foram considerados os avanos em acessibilidade, usabilidade, a
correlao entre os dois conceitos e a colaborao no desenvolvimento de uma ferramenta
denominada AccessibilityUtil 1, a qual se destina ser uma fonte de prticas de acessibilidade
advindas de experincias de desenvolvedores, mediante colaborao em um ambiente Web,
relacionando-as com as diretrizes de acessibilidade do W3C. A presente pesquisa
contribuiu para a consolidao das questes de acessibilidade e usabilidade, a partir do
desenvolvimento do A4U, que viabiliza a avaliao humana de acessibilidade e
usabilidade, e a insero de resultados de avaliaes gerados por ferramentas
semiautomticas, conduzindo o avaliador a produzir melhorias em ambas as frentes.
http://www.accessibilityutil.com
Abstract
The Web has a large content of information available to a diverse population of people
which may have the more different abilities and requirements. Thus, ensure accessibility to
all users is a difficult task, even having an extensive set of recommendations provided by
the World Wide Web Consortium (W3C). So, are proposed different tools for accessibility
assessment that contrast the artifacts with guidelines in order to obtain automated results,
producing tests and generating various data, such as the location of the problem in the code
and the specified faults. To facilitate the processing of such data by providing a common
language, the W3C developed the Evaluation and Report Language (EARL). Given the
issues about the difficulties of ensuring accessibility to the different profiles of users and
the necessity of interpreting the EARL reports, as collaboration for indispensable human
review in the context of accessibility testing, this paper proposes a support through an
Environment for Analyzing results of Assessments of Accessibility and Usability on the
Web (A4U). From the case study conducted, it was possible to validate the A4U
environment developed, which includes semiautomatic evaluating results, so that the
developer can interpret them and proceed with the manual evaluation of accessibility and
usability. Developed in support were considered advancements in accessibility, usability,
the correlation between the two concepts and collaboration in the development of a tool
called AccessibilityUtil, which is intended to be a source of accessibility practices arising
from experiences of developers through collaboration a Web environment relating them to
the W3C accessibility guidelines. This research contributed to the consolidation of the
issues of accessibility and usability, from the development of A4U, which enables the
human evaluation of accessibility and usability, and integration of evaluation results
generated by semi-automatic tools, leading the reviewer to produce improvements in both
fronts.
vii
Lista de figuras
Figura 1: Resumo das diretrizes de acessibilidade das WCAG 2.0 dispostas nos 3 nveis de
conformidade A, AA e AAA (baseada em GAIGG, 2008) ............................................................... 12
Figura 2: Tela representativa da ferramenta TAW ............................................................... 46
Figura 3: Tela representativa da ferramenta Worldspace FireEyes ..................................... 47
Figura 4: Tela representativa da ferramenta Total Validator................................................ 48
Figura 5: Tela representativa da ferramenta WaaT .............................................................. 49
Figura 6: Tela representativa da ferramenta AChecker ....................................................... 50
Figura 7: Grfico representativo dos problemas encontrados nas avaliaes, pelas
diferentes ferramentas, considerando os trs nveis de conformidade ............................................. 51
Figura 8: Exemplo de Assertion .......................................................................................... 56
Figura 9: Avaliao com URI .............................................................................................. 56
Figura 10: Exemplo de Subject............................................................................................ 57
Figura 11: URI dos critrios de teste ................................................................................... 57
Figura 12: Exemplo de validao indefinida ....................................................................... 57
Figura 13: Exemplo do modo automtico ........................................................................... 58
Figura 14: Exemplo de comentrio ..................................................................................... 58
Figura 15: Exemplo completo ............................................................................................. 58
Figura 16: Cadastro de artefato ........................................................................................... 63
Figura 17: Visualizao de artefato ..................................................................................... 64
Figura 18: Grfico de distribuio de problemas cobertos pelas WCAG 2.0 ..................... 76
Figura 19: Diagrama de casos de uso do A4U .................................................................... 77
Figura 20: Arquitetura da A4U ............................................................................................ 78
Figura 21: Diagrama relacional do A4U ............................................................................. 80
Figura 22: Logo da ferramenta A4U ................................................................................... 81
Figura 23: Pgina inicial da ferramenta............................................................................... 82
ix
Figura 24: Pgina inicial visualizada em um dispositivo com dimenses menores ............ 83
Figura 25: Tratamento de erros de formulrio ..................................................................... 83
Figura 26: Exemplo de caixa de mensagem ........................................................................ 84
Figura 27: Tela principal aps login .................................................................................... 84
Figura 28: Tela de criao de projeto .................................................................................. 85
Figura 29: Tela principal de avaliao ................................................................................. 86
Figura 30: Tela de anlise de acessibilidade ........................................................................ 87
Figura 31: Tela de anlise de usabilidade ............................................................................ 88
Figura 32: Representao de problemas resultantes da avaliao por outras ferramentas .. 89
Figura 33: Tela para incluso de relatrios em EARL......................................................... 90
Figura 34: Tela de relatrio resumido.................................................................................. 90
Figura 35: Relatrio completo em PDF............................................................................... 91
Lista de quadros
Quadro 1: Captulos do livro de usabilidade (HHS)............................................................ 21
Quadro 2: Quadro descritivo da ferramenta de avaliao de acessibilidade TAW .............. 41
Quadro 3: Quadro descritivo da ferramenta de avaliao de acessibilidade Worldspace
FireEyes............................................................................................................................................ 42
Quadro 4: Quadro descritivo da ferramenta de avaliao de acessibilidade Total Validator43
Quadro 5: Quadro descritivo da ferramenta de avaliao de acessibilidade WaaT ............. 43
Quadro 6: Quadro descritivo da ferramenta de avaliao de acessibilidade AChecker ...... 44
Quadro 7: Resumo das caractersticas das ferramentas ....................................................... 45
Quadro 8: Critrios de sucesso para conjunto de deficincias visuais ................................ 66
Quadro 9: Limiares tonais, quadro obtido de REDONDO e CARVALHO (2000) ............. 68
Quadro 10: Critrios de sucesso para conjunto de deficincias auditivas ........................... 69
Quadro 11: Critrios de sucesso para conjunto de deficincias cognitivas ......................... 70
Quadro 12: Critrios de sucesso para conjunto de deficincias motoras............................. 72
Quadro 13: Critrios de sucesso para conjunto de transtornos convulsivos ........................ 73
Quadro 14: Recomendaes resultantes dos filtros utilizados na avaliao........................ 94
Quadro 15: Classificao de expertise dos respondentes em desenvolvimento Web .......... 96
Quadro 16: Quadro com as respostas obtidas pelos usurios .............................................. 96
Quadro 17: Resultados de acessibilidade indicando o estado de "No foi possvel verificar"
.......................................................................................................................................................... 97
Quadro 18: Resultados de usabilidade indicando o estado de "No foi possvel verificar" 98
Quadro 19: Resultados das impresses dos participantes pelas respostas ao questionrio . 99
xi
xii
Lista de abreviaturas e siglas
A4U
Ambiente para Anlise de Avaliaes de Acessibilidade e Usabilidade na Web
ACM
Association for Computing Machinery
CSS
Cascading Style Sheets
EARL
Evaluation And Report Language
e-GOV
Governo Eletrnico
e-MAG
Modelo de Acessibilidade em Governo Eletrnico
ERT WG
Evaluation and Repair Tools Working Group
HHS
The Department of Health and Human Services
HTML
HyperText Markup Language
IBGE
Instituto Brasileiro de Geografia e Estatstica
ICMC
Instituto de Cincias Matemticas e de Computao
IHC
Interao Humano-Computao
IEEE
Institute of Electrical and Electronics Engineers
ISO
International Organization for Standardization
LaPES
Laboratrio de Pesquisa em Engenharia de Software
PHP
Hypertext Preprocessor
RDF
Resource Description Framework
SGBD
Sistema Gerenciador de Banco de Dados
SEA
Segment-enrich-annotate paradigm for adapting
StArt
State of the Art through Systematic Review
TICs
Tecnologias de Informao e Comunicao
UFSCar
Universidade Federal de So Carlos
W3C
World Wide Web Consortium
WAI
Web Accessibility Initiative
WAI-ARIA
Accessible Rich Internet Applications
WCAG
Web Content Accessibility Guidelines
XML
eXtensible Markup Language
YAML
Yet Another Multicolumn Layout
xiii
Sumrio
1.
INTRODUO ............................................................................................................. 1
1.1 Contextualizao .................................................................................................... 1
1.2 Motivao e justificativa ........................................................................................ 2
1.3 Objetivos ................................................................................................................ 4
1.4 Metodologia ........................................................................................................... 4
1.5 Organizao da dissertao .................................................................................... 6
2. FUNDAMENTAO DA PESQUISA ......................................................................... 7
2.1 Consideraes iniciais ............................................................................................ 7
2.2 Acessibilidade Web e suas diretrizes ...................................................................... 8
2.2.1 Web Content Accessibility Guidelines (WCAG) ............................................... 9
2.2.2 e-MAG - Modelo de Acessibilidade de Governo Eletrnico .......................... 12
2.3 Usabilidade Web e suas diretrizes ........................................................................ 16
2.3.1 Heursticas de Nielsen .................................................................................... 17
2.3.2 HHS Guidelines .............................................................................................. 18
2.4 Acessibilidade versus Usabilidade ....................................................................... 21
2.5 Design Rationale .................................................................................................. 24
2.6 Trabalhos relacionados ......................................................................................... 26
2.6.1 Acessibilidade ................................................................................................. 26
2.6.2 Usabilidade ..................................................................................................... 28
2.6.3 Acessibilidade e usabilidade ........................................................................... 29
2.7 Consideraes finais ............................................................................................. 32
3. AVALIAO DE ACESSIBILIDADE E USABILIDADE WEB............................... 35
3.1 Consideraes iniciais .......................................................................................... 35
3.2 Avaliao de acessibilidade Web.......................................................................... 35
3.3 Avaliao de usabilidade Web .............................................................................. 36
3.3.1 Avaliao heurstica ........................................................................................ 37
3.3.2 Ensaios de interao ....................................................................................... 37
3.3.3 Inspeo de recomendaes ergonmicas ...................................................... 38
3.3.4 Questionrios .................................................................................................. 38
3.4 Testes utilizados nas avaliaes ........................................................................... 38
3.4.1 Testes automticos .......................................................................................... 39
3.4.2 Testes manuais ................................................................................................ 39
3.4.3 Testes pelo usurio .......................................................................................... 40
3.5 Ferramentas de avaliao ..................................................................................... 40
3.5.1 Ferramentas para avaliao de acessibilidade ................................................ 41
3.5.2 Ferramentas para avaliao de usabilidade..................................................... 52
3.6 Evaluation And Report Language (EARL) .......................................................... 53
3.6.1 Elementos da linguagem EARL ..................................................................... 56
3.7 Consideraes finais ............................................................................................. 59
4. AMBIENTE PARA ANLISE DE AVALIAES DE ACESSIBILIDADE E
USABILIDADE NA WEB (A4U) ................................................................................................... 61
4.1 Consideraes iniciais .......................................................................................... 61
xv
4.2 Projeto inicial: AccessibilityUtil ........................................................................... 62

4.3 Diretrizes WCAG 2.0 e os conjuntos de deficincias........................................... 65
4.3.1 Deficincia visual ........................................................................................... 65
4.3.2 Deficincia auditiva ........................................................................................ 67
4.3.3 Deficincia cognitiva ...................................................................................... 69
4.3.4 Deficincia motora.......................................................................................... 71
4.3.5 Transtornos convulsivos ................................................................................. 72
4.3.6 Estudo relacionado e discusso....................................................................... 73
4.4 Projeto do ambiente .............................................................................................. 76
4.5 Estudo de caso ...................................................................................................... 92
4.5.1 Conduo ........................................................................................................ 93
4.5.2 Resultados da avaliao .................................................................................. 96
4.5.3 Questionrio .................................................................................................... 99
4.6 Consideraes finais ........................................................................................... 103
5. CONCLUSES .......................................................................................................... 105
5.1 Consideraes iniciais ........................................................................................ 105
5.2 Principais contribuies...................................................................................... 105
5.3 Lies aprendidas e impresses pessoais ........................................................... 107
5.4 Limitaes e trabalhos futuros............................................................................ 108
5.5 Publicaes resultantes ....................................................................................... 108
REFERNCIAS BIBLIOGRFICAS ...............................................................................111
APNDICE ....................................................................................................................... 119
A.
Questionrio ....................................................................................................... 119
B.
ROTEIRO DO ESTUDO DE CASO ................................................................. 123
C.
TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO ........................ 125
xvi
CAPTULO
1
1. INTRODUO
1.1 Contextualizao
Apesar dos avanos relacionados Internet e dos diferentes trabalhos desenvolvidos
envolvendo aspectos para facilitar a navegao por parte dos usurios, percebe-se que
ainda h muito a ser feito quando o assunto est relacionado acessibilidade na Web. Os
diferentes perfis de usurios precisam ser atendidos, bem como as pessoas com diferentes
dificuldades, sejam estas deficincias fsicas ou cognitivas, necessitam de ferramentas que
as auxiliem em suas atividades na Internet. Neste sentido, esta dissertao est inserida nas
reas de Acessibilidade e Usabilidade Web, as quais contemplam grande parte das
diferentes necessidades dos usurios, incluindo as visuais, auditivas, fsicas, de fala,
cognitivas e neurolgicas.
De fato, h um grande nmero de pessoas com deficincias que tm seu acesso
limitado na Web. Um dos motivos para essa limitao est relacionado falta de
experincia de muitos desenvolvedores sobre as questes que envolvem a acessibilidade.
POWER e PETRIE (2007) afirmam que as dificuldades do desenvolvimento, respeitando
critrios de acessibilidade, esto relacionadas, em parte, com as ferramentas de autoria, que
no devem se limitar avaliao automtica de contedo, pois muitos problemas
necessitam de interveno do desenvolvedor, o qual, se inexperiente, apresenta grandes
dificuldades para inser-las durante o desenvolvimento. Como soluo, para minimizar as
dificuldades do desenvolvedor, POWER e PETRIE (2007) propem implementar
exemplos, templates e folhas de estilos, com o intuito de gerar contedo acessvel.
1
CAPTULO 1. INTRODUO
Neste sentido, o desafio envolvendo a rea de acessibilidade Web est em garantir

que os projetos de aplicaes permitam que qualquer usurio possa perceber, entender e
interagir com as aplicaes, bem como criar e contribuir com contedo. Sua importncia
notria, pois visa proporcionar oportunidades iguais a todos, tendo em vista o crescente
valor do contedo disponibilizado no ambiente online para educao, negcios, governo,
comrcio e lazer. J o desafio relacionado rea de usabilidade consiste em garantir que o
usurio realize, com facilidade, as funcionalidades disponibilizadas pela aplicao. Assim,
muitos desenvolvedores e pesquisadores consideram que se a usabilidade for confrontada
com a acessibilidade, pode-se configurar um conflito de foras, pois ambas as reas devem
ser atendidas, e ao priorizar uma, a outra pode ser comprometida (LANGDON et al.,
2010).
Este trabalho contempla atividades e base terica para a investigao do potencial
da Evaluation And Report Language (EARL), linguagem disponibilizada pelo World Wide
Web Consortium (W3C) 2, ainda em estado Draft, para representar resultados de testes de
avaliaes em formato padronizado. Deste modo, os resultados tornam-se compreensveis
por outras aplicaes que podem utiliz-los para conduzir a uma experincia com maior
respeitabilidade aos critrios expostos durante a avaliao. A partir dos resultados
formatados nesta linguagem, foi desenvolvido um ambiente para anlise que os processa e
indica os problemas nas respectivas diretrizes, como contribuio com a avaliao manual
de acessibilidade e usabilidade, e tambm, para a investigao da correlao entre esses
dois conceitos.
1.2 Motivao e justificativa

A relao entre a acessibilidade e usabilidade raramente analisada de maneira explcita,
seja no contexto da Web ou em outros sistemas baseados em computador (PETRIE e
KHEIR, 2007). Somado a isso, a Internet tornou-se um dos mais importantes meios de
comunicao e de informao dos dias atuais. Assim, torn-la acessvel a todas as
realidades e dificuldades um desafio que precisa ser enfrentado, para possibilitar que
qualquer indivduo seja capaz de usufruir das facilidades e oportunidades que ela oferece.
http://www.w3.org/
CAPTULO 1. INTRODUO
O site do W3C 3, principal referncia na catalogao de ferramentas de avaliao

semiautomticas que utilizam as Web Content Accessibility Guidelines (WCAG), lista
ferramentas e apresenta informaes obsoletas. A ltima alterao desta lista de
ferramentas datada de maro de 2006, dois anos anteriores publicao da recomendao
2.0 das WCAG. Portanto, trata-se de uma questo relevante a realizao de uma pesquisa
por ferramentas que avaliem sites quanto aos aspectos de acessibilidade, a partir das
diretrizes documentadas nas WCAG 2.0.
A pesquisa tambm compreende a verificao da existncia de ferramentas que
utilizam a EARL, pois, por esta linguagem estar em estado Draft, pouco se sabe sobre
ferramentas que a utilizam. Em junho de 2011 aconteceu a ltima chamada para reviso da
linguagem no estado Draft (W3C, 2011a), o que pode significar sua oficializao em
pouco tempo.
O desenvolvimento de um ambiente para anlise de scripts EARL e de outros meios
de obteno de resultados de avaliaes de ferramentas semiautomticas colaborar na
investigao da correlao entre usabilidade e acessibilidade com o propsito de contribuir
para a escolha entre quais critrios seguir no desenvolvimento de sites acessveis e usveis.
Possibilitar a construo do Design Rationale, que consiste na documentao das tomadas
de decises entre os atores, com o objetivo de desenvolver contedo com maior grau de
acessibilidade e usabilidade.
Neste contexto, o presente projeto apresenta relevncia, uma vez que visa contribuir
para:
Auxiliar desenvolvedores na utilizao dos relatrios EARL e no contraste de

seus resultados, facilitando tomadas de decises que resultem em aplicaes
mais acessveis e usveis;
Auxiliar desenvolvedores na escolha de ferramentas de avaliao de

acessibilidade e usabilidade;
Relacionar tcnicas de promoo de acessibilidade, usabilidade e como essas

sero disponibilizadas nos relatrios;
http://www.w3.org/WAI/ER/tools/
CAPTULO 1. INTRODUO
Relacionar as WCAG 2.0 com os diversos conjuntos de deficincias, de modo

a compreender a abrangncia das diretrizes documentadas pelo W3C;
Traduzir as diretrizes de usabilidade do Departamento de Sade e Servios

Humanos dos Estados Unidos (HHS) para o portugus;
Contribuir com a avaliao humana dos contedos contrastados com as

diretrizes de acessibilidade e usabilidade;
Investigar a hiptese se possvel ou no obter uma experincia em software

com alta usabilidade e acessibilidade, relacionando os conceitos com o
propsito de analisar o trade-off aparente.
Em seguida, os objetivos do projeto so delineados, em conjunto com a descrio

da organizao desta dissertao, para conhecimento prvio do leitor.
1.3 Objetivos
Como objetivo principal tem-se a proposta de um apoio para desenvolvedores de
aplicaes Web, com vistas a analisarem-nas quanto s diversas recomendaes de
acessibilidade e usabilidade. Foi, portanto, desenvolvido um ambiente para dar suporte a
uma anlise da correlao entre usabilidade e acessibilidade. O propsito, acerca do
desenvolvimento deste trabalho, est em contribuir na tomada de decises do
desenvolvedor, na fase de desenvolvimento, e investigar o trade-off sugerido por
profissionais e pesquisadores desta rea.
Como objetivos secundrios do projeto, tm-se a colaborao no desenvolvimento
da ferramenta AccessibilityUtil, a associao dos critrios de sucesso das WCAG 2.0 com
os diferentes conjuntos de deficincia, a traduo das diretrizes HHS para o portugus, a
difuso e a promoo do conhecimento sobre acessibilidade e usabilidade na Web.
1.4 Metodologia
A fase inicial desta pesquisa esteve voltada ao entendimento da EARL, a partir da
documentao do W3C e do estudo das diretrizes das WCAG 2.0, tambm documentadas
no site do Consrcio Internacional. A partir de ento, foram levantadas as aplicaes de
CAPTULO 1. INTRODUO
avaliao semiautomticas que consideram as diretrizes de acessibilidade WCAG 2.0 e

produzem resultados na linguagem EARL.
Como exemplificao, tais resultados foram obtidos na anlise do contedo do
portal do governo do Estado de So Paulo e, assim, pde-se inserir os dados encontrados
no ambiente A4U, desenvolvido neste trabalho, a partir da proposta e execuo de um
estudo de caso que validasse o ambiente. A escolha pelo portal do governo de So Paulo
foi realizada, devido existncia do Decreto 5.296, publicado em dezembro de 2004, que
torna obrigatria a acessibilidade nos portais e sites eletrnicos da administrao pblica
na rede mundial de computadores, para o uso das pessoas com deficincia, garantindo
pleno acesso aos contedos disponveis e, tambm, pelo endereo do portal eletrnico do
Governo do Estado de So Paulo estar bem posicionado no ranking da Alexa 4.
A pesquisa se estendeu ao desenvolvimento de um ambiente para anlise de
resultados representados na linguagem EARL e resultados de avaliaes realizadas pelo
prprio ambiente, a partir da integrao com a ferramenta open source AChecker, a qual
ser melhor descrita na Seo 3.5.1.
Como apresentado anteriormente, com vistas a expor a ferramenta desenvolvida aos
pesquisadores e desenvolvedores e analisar o portal do Estado de So Paulo, foi proposto e
executado um estudo de caso. Aps submeter o ambiente utilizao por diferentes
desenvolvedores e pesquisadores, os resultados foram confrontados para evidenciar o
relacionamento conceitual entre a completude dos critrios de acessibilidade e usabilidade.
Adicionalmente, buscou-se, por meio dos resultados do estudo, promover uma discusso a
respeito da disposio das diretrizes no ambiente proposto, verificar a clareza empregada
na apresentao de cada recomendao aos desenvolvedores, juntamente com sua
descrio oficial, bem como, oferecer meios alternativos para tornar a avaliao menos
trabalhosa. Foi possvel, assim, coletar opinies acerca da interface construda para a
ferramenta desenvolvida neste trabalho, denominada Ambiente para Anlise de Avaliaes
de Acessibilidade e Usabilidade na Web (A4U).
Segunda posio entre os portais .gov.br - Alexa - The Web Information Company (URL:
http://www.alexa.com/)
CAPTULO 1. INTRODUO
A pesquisa e o desenvolvimento deste trabalho foram realizados preferencialmente

nos laboratrios do Instituto de Cincias Matemticas e de Computao (ICMC),
localizado na USP, Campus So Carlos. Os laboratrios do ICMC dispem de total
infraestrutura para realizao do projeto.
1.5 Organizao da dissertao

No Captulo 2 so apresentados os conceitos como Acessibilidade, Usabilidade, o Design
Rationale e tambm alguns trabalhos relacionados. No Captulo 3 so apresentadas as
dificuldades e solues em avaliao automtica e humana, alm de identificar ferramentas
semiautomticas para avaliao e a linguagem de relatrios Evaluation And Report
Language (EARL), utilizada no decorrer do projeto. No Captulo 4 so descritos o
planejamento da ferramenta e sua consolidao; na Seo 4.2 apresentado o projeto
inicial, AccessibilityUtil. Na Seo 4.3 as diretrizes de acessibilidade WCAG so divididas
de acordo com os conjuntos de deficincias; enquanto Seo 4.4 cabe a apresentao do
projeto em si, seguida do estudo de caso realizado para sua validao, na Seo 4.5. Por
fim, no Captulo 5 so tecidas as concluses desta pesquisa.
CAPTULO
2
2. FUNDAMENTAO DA
PESQUISA
2.1 Consideraes iniciais

Acessibilidade um assunto que merece ser continuamente tratado, porm ainda observase que pouco explorado, considerando sua vital importncia no que concerne
equiparao de direitos na concepo e incorporao dos produtos e servios
disponibilizados a todas as pessoas. Sobretudo, acessibilidade precisa ser cuidada tanto em
ambientes fsicos, como nos digitais. A usabilidade, por sua vez, nos vrios tipos de
Tecnologias de Informao e Comunicao (TICs), abrange um contedo mais consolidado
e difundido, haja vista seu impacto direto na qualidade das aplicaes.
Por conseguinte, como os desenvolvedores de software so os principais
responsveis no processo de desenvolvimento de aplicaes Web, estes devem estar cada
vez mais cientes da existncia de tais temas e conhecer como aplicar os conceitos de
acessibilidade e usabilidade durante o desenvolvimento.
Baseado em tais necessidades, neste mestrado proposto um apoio efetivo para os
desenvolvedores, de modo que discutam e troquem experincias sobre estes conceitos.
Assim, neste captulo, so apresentados os conceitos de acessibilidade e usabilidade, a
relao entre ambos, o Design Rationale, que se faz presente no registro de decises no
momento de desenvolvimento e tambm os trabalhos relacionados.
CAPTULO 2. FUNDAMENTAO DA PESQUISA
2.2 Acessibilidade Web e suas diretrizes

Acessibilidade Web consiste em tornar um contedo disponvel a qualquer pessoa, sem
qualquer restrio, com o propsito de possibilitar a mesma experincia de aprendizado,
lazer e negcios, tanto para usurios com deficincias, quanto para os sem (W3C, 2011b).
Tim Berners-Lee, um dos inventores da Web e diretor do World Wide Web
Consortium, define acessibilidade em termos de incapacidade e de universalidade. O autor
afirma que o poder da Web est no acesso por todas as pessoas, no obstante a sua
incapacidade, considerando como aspecto essencial o acesso por todos, independentemente
da deficincia (WAI 5). THATCHER (2004) associa o fato da tecnologia ser acessvel
condio de ser usada de modo eficaz, tanto por pessoas com deficincias, como pelas que
no as apresentam.
PETRIE e KHEIR (2007) afirmam que acessibilidade um conceito menos claro
do que a usabilidade e caracterizam as diretrizes documentadas pelo W3C como condies
para se conseguir atingir a acessibilidade tcnica e poder avali-la. Para obter a
acessibilidade usvel definitiva, necessrio o estudo fundamentado em experincias
dos usurios finais. Essa afirmao foi resultante da pesquisa conduzida pela Disability
Rights Comission (2004), abrangendo 1.000 sites, a qual mostrou pouca relao
significativa entre a conformidade com as recomendaes das diretrizes WCAG e as
medidas de desempenho e satisfao para cinco diferentes categorias de pessoas com
deficincia.
Assim, possvel concluir que vrias aes devem ser consideradas para serem
obtidas boas prticas no desenvolvimento voltado acessibilidade, no se limitando
completude das diretrizes existentes, mas voltando a anlise utilizao do contedo pelo
usurio final. Ainda, necessrio que as pessoas envolvidas tenham conscincia dos
benefcios associados adoo da acessibilidade. Para tanto, tecnologias assistivas devem
ser utilizadas, de modo a viabilizar o desenvolvimento de aplicaes acessveis e facilitar
sua utilizao, por parte dos usurios com algum tipo de deficincia.
Apesar de sua enorme importncia s pessoas com deficincia, os recursos de
tecnologia assistiva, sozinhos, no garantem o acesso ao contedo de uma pgina da Web.
5
http://www.w3.org/WAI/
Para isso, necessrio que a pgina tenha sido desenvolvida de acordo com os padres
Web (Web Standards) e as recomendaes de acessibilidade, as quais so abordadas nas
prximas subsees, sendo apresentadas as diretrizes de acessibilidade do W3C, as WCAG
2.0 e o Modelo de Acessibilidade de Governo Eletrnico (e-MAG), desenvolvido por
requisio do Governo Brasileiro, baseado nas WCAG e inserido no mbito das
necessidades locais.
2.2.1 Web Content Accessibility Guidelines (WCAG)
As diretrizes WCAG representam regras para produzir contedo (textos, imagens,
formulrios, sons) para a Web, que seja acessvel s pessoas com deficincia, incluindo
cegueira e baixa viso, surdez e baixa audio, dificuldades de aprendizagem, limitaes
cognitivas, limitaes de movimentos, incapacidade de fala, foto-sensibilidade e suas
combinaes (W3C, 2009).
Outrossim, para formalizar a definio das diretrizes de acessibilidade do W3C,
tem-se sua definio oficial, atribuda s Recomendaes de Acessibilidade para Contedo
Web:
As diretrizes WCAG 2.0 definem a forma como tornar o contedo da Web
mais acessvel a pessoas com incapacidades. A acessibilidade envolve uma
vasta gama de incapacidades, incluindo visuais, auditivas, fsicas, de fala,
cognitivas, de linguagem, de aprendizagem e neurolgicas. Embora estas
diretrizes abranjam um grande nmero de problemas, no tm capacidade
para abordar as necessidades de pessoas com todos os tipos, graus e
combinaes de incapacidades. Estas recomendaes tambm facilitam a
utilizao do contedo da Web por pessoas mais velhas, cujas capacidades
esto em constante mudana, devido ao processo de envelhecimento, e
facilitam a utilizao para os usurios em geral (W3C, 2009).
Tais diretrizes so direcionadas aos desenvolvedores Web, desenvolvedores de
ferramentas para Web e desenvolvedores de softwares de avaliao da acessibilidade. Elas
se encontram em um documento na verso 2.0 desde dezembro de 2008.
10
As WCAG 2.0 apresentam quatro princpios que constituem a fundamentao da

acessibilidade da Web, os quais so: perceptvel, opervel, compreensvel e robusto. A
partir desses princpios, 12 recomendaes so apresentadas (W3C, 2008).
Princpio 1: Perceptvel - A informao e os componentes da interface do usurio
tm que ser apresentados aos usurios em formatos que eles os possam perceber.
Isso significa que os usurios devem ser capazes de perceber a informao que est
sendo apresentada, no podendo ser imperceptvel para todos os seus sentidos. Para sua
obteno, so listadas as seguintes recomendaes:
Recomendao 1.1 - Alternativas em Texto: Fornecer alternativas em
texto para qualquer contedo no textual, permitindo, assim, que o mesmo
possa ser alterado para outras formas mais adequadas necessidade do
indivduo, tais como impresso em caracteres ampliados, Braille, fala,
smbolos ou linguagem mais simples;
Recomendao 1.2 - Mdias com base no tempo: Fornecer alternativas
para mdias com base no tempo, que contemplem o mesmo contedo,
possibilitando a recuperao da informao por outra fonte;
Recomendao 1.3 - Adaptvel: Criar contedos que possam ser
apresentados de diferentes maneiras (por exemplo, um layout mais simples),
sem perder informao ou estrutura;
Recomendao 1.4 - Discernvel: Facilitar a audio e a visualizao de
contedos aos usurios, incluindo a separao do primeiro plano e do plano
de fundo.
Princpio 2: Opervel - Os componentes de interface de usurio e a navegao tm
que ser operveis.
Isso significa que os usurios devem ser capazes de operar a interface. A interface
de interao no pode exigir interao que o usurio no possa executar. Para sua obteno,
so listadas as recomendaes:
Recomendao 2.1 - Acessvel por Teclado: Fazer com que toda a
funcionalidade fique disponvel a partir do teclado;
11
Recomendao 2.2 - Tempo Suficiente: Fornecer tempo suficiente aos

usurios para lerem e utilizarem o contedo;
Recomendao 2.3 - Ataques Epilpticos: No criar contedo de uma
forma conhecida que possa causar ataques epilticos;
Recomendao 2.4 - Navegvel: Fornecer formas de ajudar os usurios a
navegar, localizar contedos e determinar o local onde esto.
Princpio 3: Compreensvel - A informao e a operao da interface de usurio
tm que ser compreensveis.
Isso significa que os usurios devem ser capazes de compreender as informaes,
bem como o funcionamento da interface do usurio. O contedo ou operao no pode ir
alm de sua compreenso. Para sua obteno, so listadas as recomendaes:
Recomendao 3.1 - Legvel: Tornar o contedo de texto legvel e
compreensvel;
Recomendao 3.2 - Previsvel: Fazer com que as pginas Web surjam e
funcionem de modo previsvel;
Recomendao 3.3 - Assistncia de Entrada: Ajudar os usurios a evitar e
corrigir erros.
Princpio 4: Robusto - O contedo tem que ser robusto o suficiente para poder ser
interpretado de maneira concisa por diversos agentes do usurio, incluindo tecnologias
assistivas.
Isso significa que os usurios devem ser capazes de acessar o contedo conforme as
tecnologias evoluem. Como a tecnologia e os agentes de usurio so frequentemente
atualizados, o contedo deve permanecer acessvel.
Recomendao 4.1 - Compatvel: Maximizar a compatibilidade com atuais
e futuros agentes de usurio, incluindo tecnologias assistivas.
Para cada uma das 12 recomendaes enumeradas, um nmero de critrios a serem
testados est associado, divididos em trs nveis de conformidade: A (nvel mnimo), AA
(nvel mdio) e AAA (nvel mximo), ilustrados na Figura 1.
12
Figura 1: Resumo das diretrizes de acessibilidade das WCAG 2.0 dispostas nos 3 nveis de conformidade
A, AA e AAA (baseada em GAIGG, 2008)
Como apresentado na Figura 1, para obter a conformidade de Nvel A, todos os 25

critrios de sucesso do Nvel A devem ser cumpridos, ou uma verso alternativa, em
conformidade, deve ser disponibilizada, enquanto o Nvel AA conseguido a partir do
cumprimento dos critrios de Nvel A somados aos 13 critrios de Nvel AA e, o Nvel
AAA, de maior conformidade, requer obteno dos critrios de Nvel A, AA e dos 23
critrios de Nvel AAA.
As WCAG 2.0 foram normatizadas em outubro de 2012, sendo reconhecidas como
um padro ISO/IEC, de identificador 40500:2012 pelo Comit Tcnico Conjunto JTC
(Tecnologia da Informao) da Organizao Internacional de Normalizao (ISO) e da
Comisso Eletrotcnica Internacional (IEC) (ISO/IEC, 2012).
Neste contexto, o Governo Brasileiro, visando regular e desenvolver um material
padro a ser seguido para adequao de seus sites administrativos com relao
acessibilidade, props o e-MAG, Modelo de Acessibilidade de Governo Eletrnico, que
descrito na prxima subseo.
2.2.2 e-MAG - Modelo de Acessibilidade de Governo Eletrnico
No tpico de Governo Eletrnico (e-GOV), o no comprometimento com as questes de
acessibilidade inviabiliza o acesso ao contedo e aos servios de poder pblico por uma
parcela da populao, influindo diretamente na cidadania. Essa parcela de cidados com
13
deficincias vm aumentando, considerando os Censos Demogrficos feitos pelo IBGE.

Em 2002, 24,5 milhes de pessoas (14,5% da populao brasileira da poca) apresentavam
alguma deficincia, desse total, 48,1% apresentavam deficincia visual parcial ou total
(CARVALHO, 2008). No Censo Demogrfico de 2010, o nmero de pessoas com
deficincias, seja mental, motora, visual ou auditiva, quase dobrou, chegando aos 46
milhes, o que representa 24% da populao e, os idosos passaram a representar 24,1% da
populao (IBGE, 2010).
O governo brasileiro, observando a necessidade de uma parcela crescente de
pessoas idosas e com deficincia, a partir do Departamento de Governo Eletrnico, em
parceria com a ONG Acessibilidade Brasil, disponibilizou a primeira verso do e-MAG em
18 de janeiro de 2005. Em 7 de maio de 2007, a Portaria n 3 institucionalizou o e-MAG,
no mbito do sistema de Administrao dos Recursos de Informao e Informtica - SISP,
obrigando sua validao nos portais do Governo Brasileiro (E-MAG, 2010).
A verso 3.0 do e-MAG foi elaborada com base na sua verso anterior, apoiando-se
nas WCAG 2.0, e considerando as novas pesquisas na rea de acessibilidade Web. Mesmo
sendo baseada nas WCAG 2.0, as recomendaes foram apoiadas considerando as
necessidades locais, visando atender as prioridades brasileiras e mantendo-as coerentes
com o que existe de mais atual no assunto. Nessa verso do e-MAG,, no se encontram os
nveis de conformidade A, AA e AAA, conforme visto nas WCAG, pois considerando que
o Modelo de Acessibilidade de Governo Eletrnico foi focado para pginas do Governo,
no so permitidas excees com relao ao cumprimento das recomendaes (E-MAG,
2010).
As 45 recomendaes do e-MAG so categorizadas por Marcao, Comportamento
(DOM), Contedo/Informao, Apresentao/Design, Multimdia e Formulrio, e as
recomendaes so associadas, em suas descries, aos critrios de Sucesso das WCAG
2.0, nas quais foram baseadas. As recomendaes, divididas por suas categorias, so
listadas a seguir:
Marcao
Recomendao 1 - Respeitar os padres de desenvolvimento Web.
Recomendao 2 - Organizar o cdigo HTML de forma lgica e semntica.
Recomendao 3 - Utilizar corretamente os nveis de cabealho.
14
Recomendao 4 - Ordenar de forma lgica e intuitiva a leitura e tabulao.

Recomendao 5 - Disponibilizar todas as funes da pgina via teclado.
Recomendao 6 - Fornecer ncoras para ir direto a um bloco de contedo.
Recomendao 7 - No utilizar tabelas para diagramao.
Recomendao 8 - Separar links adjacentes.
Recomendao 9 - No abrir novas instncias sem a solicitao do usurio.
Comportamento (DOM)
Recomendao 10 - Garantir que os objetos programveis sejam acessveis.
Recomendao 11 - No criar pginas com atualizao automtica peridica.
Recomendao 12 - No utilizar redirecionamento automtico de pginas.
Recomendao 13 - Fornecer alternativa para modificar limite de tempo.
Recomendao 14 - No incluir situaes com intermitncia de tela.
Recomendao 15 - Assegurar o controle do usurio sobre as alteraes temporais
do contedo.
Contedo/Informao
Recomendao 16 - Identificar o idioma principal da pgina.
Recomendao 17 - Oferecer um ttulo descritivo e informativo pgina.
Recomendao 18 - Disponibilizar informao sobre a localizao do usurio na
pgina.
Recomendao 19 - Descrever links clara e sucintamente.
Recomendao 20 - Fornecer alternativa em texto para as imagens do stio.
Recomendao 21 - Fornecer alternativa em texto para as zonas ativas de mapa de
imagem.
Recomendao 22 - Disponibilizar documentos em formatos acessveis.
Recomendao 23 - Em tabelas, utilizar ttulos e resumos de forma apropriada.
Recomendao 24 - Associar clulas de dados s clulas de cabealho em uma
tabela.
Recomendao 25 - Garantir a leitura e compreenso das informaes.
Recomendao 26 - Disponibilizar uma explicao para siglas, abreviaturas e
palavras incomuns.
Recomendao 27 - Informar mudana de idioma no contedo.
15
Apresentao/Design
Recomendao 28 - Oferecer contraste mnimo entre plano de fundo e primeiro
plano.
Recomendao 29 - No utilizar apenas cor ou outras caractersticas sensoriais para
diferenciar elementos.
Recomendao 30 - Permitir redimensionamento de texto sem perda de
funcionalidade.
Recomendao 31 - Dividir as reas de informao.
Recomendao 32 - Possibilitar que o elemento com foco seja visualmente
evidente.
Multimdia
Recomendao 33 - Fornecer alternativa para vdeo.
Recomendao 34 - Fornecer alternativa para udio.
Recomendao 35 - Oferecer audiodescrio para vdeo pr-gravado.
Recomendao 36 - Fornecer controle de udio para som.
Recomendao 37 - Fornecer controle de animao.
Formulrio
Recomendao 38 - Fornecer alternativa em texto para os botes de imagem de
formulrios.
Recomendao 39 - Associar etiquetas aos seus campos.
Recomendao 40 - Estabelecer uma ordem lgica de navegao.
Recomendao 41 - No provocar automaticamente alterao no contexto.
Recomendao 42 - Fornecer instrues para entrada de dados.
Recomendao 43 - Identificar e descrever erros de entrada de dados.
Recomendao 44 - Agrupar campos de formulrio.
Recomendao 45 - Fornecer captcha 6 humano.
Na prxima seo a usabilidade abordada, com as heursticas de Nielsen e as
diretrizes HHS.
6
Um teste de desafio cognitivo, para identificar interao humana. utilizado como ferramenta anti-spam.
16
2.3 Usabilidade Web e suas diretrizes

Usabilidade definida pela facilidade de um usurio dispor de um servio oferecido pela
aplicao. NIELSEN (2003a) um dos mais conhecidos pesquisadores e defensores da
usabilidade Web e define usabilidade como um atributo de qualidade que avalia quo
fceis as interfaces de usurio so. Em contrapartida, QUESENBERY (2002) disse que os
5 Es de usabilidade (the 5 Es of usability) provm a definio mais robusta: effectiveness,
efficiency, engaging, error tolerant e easy to learn, ou seja, a eficcia, eficincia, a
condio de ser atraente, tolerante a erro e de fcil aprendizado.
A definio formalizada pela ISO/IEC 9421, estabelecida pela Organizao
Internacional de Normalizao, afirma que: Usabilidade uma medida da eficincia,
eficcia e satisfao com que usurios especficos podem alcanar objetivos especificados
em um determinado ambiente. Desta maneira, diz-se que uma interface apresenta
problema de usabilidade se um usurio ou grupo de usurios apresenta dificuldade ao
realizar uma tarefa prpria da aplicao, pela interface disponibilizada.
A avaliao de usabilidade por ferramentas semiautomticas, em sua maioria,
limita-se aplicao de conformidade das regras de formalismo de linguagem e verificao
de links quebrados, haja vista que uma anlise ergonmica conseguida mais facilmente a
partir de testes priorizando a relao humana com a ferramenta. No h um conjunto de
critrios definitivo, padronizado, a fim de se obter usabilidade, contudo h diferentes
conjuntos de critrios que colaboram neste sentido.
Alguns exemplos de mtricas, obtidos de MELODY (2001), que podem ser
verificadas no intuito de se conseguir uma interface com maior grau de usabilidade, so
listados a seguir:
Desempenho do usurio nas tarefas: a partir da anlise do comportamento
do usurio em frente aplicao, consegue-se delinear algumas mtricas:
o Concluso das tarefas: se o usurio conseguiu finalizar as tarefas
completamente, parcialmente ou no chegou a sua concluso. As
duas ltimas condies podem representar indcios de problemas na
usabilidade;
17
o Tempo na realizao das tarefas: o longo perodo para concluso de

uma tarefa pode representar uma dificuldade em sua realizao,
indicando uma usabilidade falha;
o Erros: a ocorrncia de erros pode representar ausncia de
informaes que conduzam o usurio concluso assertiva da tarefa.
Correspondncia s recomendaes: existem algumas recomendaes que
podem ser seguidas durante a criao das interfaces, tais como HHS
Guidelines 7, ISO DIS 9241-151 8 e JISC Guidelines 9, a fim de evitar
problemas conhecidos de usabilidade. Essas recomendaes tambm podem
ser utilizadas na avaliao das interfaces.
Dentre outras mtricas, est a satisfao do usurio na utilizao da aplicao e sua
correspondncia aos objetivos previamente definidos pelo usurio. Para a avaliao de
usabilidade, podem tambm ser utilizadas as 10 Heursticas de Nielsen, descritas a seguir.
2.3.1 Heursticas de Nielsen
NIELSEN (1994), com base em 294 erros comuns encontrados em suas anlises frequentes
em sites, props 10 heursticas de avaliao, a saber:
1. Visibilidade de status do sistema: a aplicao deve estar em comunicao
ativa com o usurio, em cada tarefa, a fim de inform-lo sempre o que est
acontecendo (feedback);
2. Relacionamento entre a interface do sistema e o mundo real: toda a
comunicao do sistema deve ser contextualizada ao usurio, a fim de ser
compreensvel;
3. Liberdade e controle do usurio: as opes de ao devem ser facilitadas,
a fim de que se um usurio se encontrar perdido ou em situaes
inesperadas, possa retornar a pontos anteriores;
http://guidelines.usability.gov/
http://www.iso.org/iso/iso_catalogue/catalogue_tc/catalogue_detail.htm?csnumber=37031
http://www.jisc.ac.uk/uploaded_documents/JISC-HCIDesign-Study-Final.doc
18
4. Consistncia: no utilize expresses ou cones diferentes para nomear uma

mesma tarefa, preciso utilizar um contexto linear para fcil compreenso;
5. Preveno de erros: deve-se priorizar a preveno de erros s boas
mensagens de exibio deles;
6. Reconhecimento ao invs de lembrana: procure contextualizar toda
situao ao usurio ao invs de remet-lo a lembranas, antes de executar
uma ao;
7. Flexibilidade e eficincia de uso: o sistema deve prover facilidade de uso
para os usurios leigos, porm no deve comprometer a utilizao por
usurios avanados;
8. Esttica e design minimalista: as informaes transmitidas aos usurios
devem ser precisas, simples e naturais. Deve-se evitar a utilizao de textos
e design exorbitantes, que transmitam mais do que o usurio necessita;
9. Ajuda ao usurio a reconhecer, diagnosticar e sanar erros: as mensagens
de erro devem colaborar no sentido de contornar a situao, com redao
simples e clara, a fim de no intimidar o usurio;
10. Ajuda e documentao: a interface deve fornecer uma documentao clara,
de fcil acesso e a presena de ferramenta para buscas.
As 10 heursticas se tornaram populares e so utilizadas at os dias atuais como
mtricas de avaliao e promoo de usabilidade, assim como as diversas recomendaes
representadas pelos conjuntos HHS Guidelines, ISO DIS 9241-151 e JISC Guidelines. O
conjunto HHS Guidelines apresentado na prxima subseo.
2.3.2 HHS Guidelines
HHS o termo conhecido para as diretrizes de usabilidade que foram criadas pelo
Departamento de Sade e Servios Humanos dos Estados Unidos, em parceria com a
Administrao de Servios Gerais dos Estados Unidos. Essas diretrizes surgiram de um
esforo no sentido de identificar abordagens baseadas em pesquisas que resultem em sites
altamente geis e fceis de usar, sendo particularmente relevantes para concepo de sites
orientados informao. Elas podem ser aplicadas em todo o amplo espectro de sites,
19
orientando sobre uma ampla gama de questes de design e comunicao na Web, no

sentido de contribuir para a tomada de decises certas j no incio do desenvolvimento,
reduzindo a possibilidade de erros, que podem se tornar caros (HHS, 2006).
Desde a sua introduo, em 2003, as diretrizes tm sido amplamente utilizadas por
agncias governamentais e do setor privado, implementadas no currculo escolar e
traduzidas em vrias lnguas estrangeiras. Os autores encorajam todos os rgos do
governo dos Estados Unidos a usarem estas orientaes para contribuir com uma viso
centrada no cidado e orientada a resultados (HHS, 2006).
As diretrizes so classificadas quanto a sua importncia relativa para o sucesso de
um site e fora de evidncia. Tais mtricas foram obtidas pela contribuio de
designers Web profissionais, especialistas em usabilidade e pesquisadores acadmicos,
visando contribuir com o desenvolvedor a identificar quais diretrizes apresentam maior
impacto sobre o sucesso de sua aplicao (HHS, 2006).
Para determinar a importncia relativa de cada diretriz, 16 revisores externos
foram recrutados. Metade do conjunto desses revisores foi formada por Web designers e a
outra metade por especialistas em usabilidade. Cada revisor avaliou as diretrizes, uma a
uma, e preencheu suas classificaes, com base na questo: Quo importante esta
diretriz para o sucesso de um site?. Aquelas diretrizes que foram classificadas como tendo
pequena importncia para o sucesso de um site foram eliminadas (HHS, 2006).
Para gerar uma classificao de fora de evidncia para as diretrizes, um grupo de
oito pesquisadores de usabilidade, praticantes e autores foram recrutados. Esses revisores
eram pesquisadores com doutorado, pares de revisores com experincia e conhecedores do
projeto experimental. Eles construram um conjunto de critrios para julgar a fora da
evidncia para cada diretriz, posteriormente utilizado como a escala de fora de
evidncia (HHS, 2006).
Os critrios empregados para gerar a estimativa de fora da evidncia so
mostrados a seguir, por ordem de maior para menor:
5 - Forte apoio pesquisa
o provas cumulativas e atraentes, baseadas em pesquisas;
o pelo menos um estudo formal, rigoroso com validade contextual;
20
o sem descobertas baseadas em pesquisas conflitantes conhecidas;

o a opinio dos especialistas concordam com a pesquisa.
4 - Moderado apoio pesquisa
o evidncias baseadas em pesquisas cumulativas;
o pode ou no pode estar em conflito com base em resultados de pesquisa;
o opinio de especialistas;
o tendem a concordar com a pesquisa, e
o parece haver um consenso na construo.
3 - Fraco apoio pesquisa
o evidncias baseadas em pesquisas limitadas;
o conflitantes descobertas baseadas em pesquisas podem existir e/ou
o existe um acordo misto de opinies de especialistas.
2 - Forte apoio da opinio de especialistas
o nenhuma evidncia baseada em pesquisa;
o os especialistas tendem a concordar, apesar de no haver um consenso;
o apoiam mltiplas opinies de especialistas em livros didticos, guias de
estilos, etc. e
o geralmente aceitas como "melhores prticas" ou refletem o "estado da arte".
1 - Fraco apoio da opinio de especialistas
o nenhuma evidncia baseada em pesquisa e
o opinies de especialistas limitadas ou conflitantes.
As diretrizes compem o livro Research-Based Web Design & Usability Guidelines
e formam um total de 209, divididas em 18 captulos, listados a seguir:
21
Quadro 1: Captulos do livro de usabilidade (HHS) 10
1. Processo de Design e Avaliao
10. Links
2. Otimizando a Experincia do Usurio
11. Aparncia do Texto
3. Acessibilidade
12. Listas
4. Hardware e Software
13. Controles Baseados na Tela
5. A Pgina Principal
14. Grficos, Imagens e Multimdia
6. Layout da Pgina
15. Escrita Contedo Web
7. Navegao
16. Organizao de Contedo
8. Rolagem e Paginao
17. Busca
9. Cabealhos, Ttulos e Rtulos
18. Teste de Usabilidade
Considerando acessibilidade e usabilidade, a questo atual, e assunto da prxima

seo, est dedicada a discutir sobre a relao envolvida entre esses dois conceitos,
ressaltando se existe um complemento ou um trade-off ao buscar atend-los em um mesmo
projeto.
2.4 Acessibilidade versus Usabilidade

ALEXANDER (2006) relata que o verdadeiro desafio em design de interface de usurio
no decidir qual o conjunto de orientaes deve sobrepujar os outros, mas na
compreenso dos requisitos de usurios de diferentes grupos e, tambm, para encontrar
uma maneira de projetar uma interface de usurio que corresponda s suas necessidades.
Praticantes e estudiosos em acessibilidade e usabilidade podem e devem colaborar.
Cada um desses grupos tem conhecimento e habilidades que, impreterivelmente,
beneficiaro o trabalho do outro.
De acordo com a pesquisa apresentada por ALEXANDER (2006), os praticantes de
acessibilidade devem adotar as prticas dos seus congneres de usabilidade por:
10
Research-Based Web Design & Usability Guidelines (URL: http://www.usability.gov/how-to-andtools/resources/guidelines_book.pdf)
22
Assegurar que os requisitos de design acessvel so explicitados nos

requisitos da fase de projetos, identificando os usurios com deficincia
como parte do pblico-alvo para o projeto;
Envolver-se em pesquisa de design, alm de saber aplicar design acessvel;
Adotar e defender mtodos centrados no usurio em todas as fases dos seus
projetos de design.
Em contrapartida, baseado na mesma pesquisa (ALEXANDER, 2006), os
profissionais de usabilidade devem adotar as prticas dos seus congneres de
acessibilidade, conforme segue:
Tornar os clientes cientes do crescimento do mercado de design acessvel;
Educar os clientes sobre os benefcios do design acessvel e utilizar sua
responsabilidade profissional para aconselhar os clientes da legislao
pertinente, neste caso, os requisitos da legislao contra discriminao;
Tornar visveis os utilizadores com deficincia, incluindo-os em suas
prticas de design.
Da mesma forma, alguns estudiosos colaboram com afirmaes controversas sobre
a relao existente entre os dois conceitos. Para THATCHER (2006), problemas de
acessibilidade afetam to somente usurios com alguma disfuno, enquanto PETRIE e
KHEIR (2007) afirmam que, frequentemente, usurios com deficincias, assim como os
sem deficincias, encontram os mesmos problemas, porm so afetados diferentemente.
A partir de um experimento com a finalidade de identificar a relao entre
acessibilidade e usabilidade, SLATIN e LEWIS (2002) observaram que para usurios com
deficincia, a aplicao de diretivas de acessibilidade melhora significativamente a
experincia nos sites, enquanto que usurios sem deficincias no visualizam diferenas
significativas. Tais resultados contribuem para a afirmao de que a acessibilidade no
necessariamente aumenta a usabilidade.
ROCHA (2013) defende que a acessibilidade prejudicada tambm por questes de
usabilidade no cobertas e expe resultados de seu experimento que reforam essa
afirmao, como:
23
A ausncia de padronizao dos termos e de expresses diferentes usadas

para se referir ao mesmo contedo, contradiz a quarta heurstica de
usabilidade de Nielsen, que prega a consistncia e a padronizao.
Visualmente, fcil identificar que diferentes termos esto sendo usados
para se referir ao mesmo elemento, porm apenas ouvir o rtulo de um
objeto ou elemento em um site, por meio do leitor de telas, e saber do que se
trata mais difcil;
A falta de conformidade com a stima heurstica de usabilidade de
BASTIEN e SCAPIN (1993), Aes Mnimas, tambm foi observada.
Quanto mais aes forem necessrias para atingir um objetivo, maior a
probabilidade de ocorrer erros por parte do usurio;
Alguns elementos, apesar de dificultar o acesso informao desejada, no
impedem ou comprometem o usurio de executar a funo, como, por
exemplo, o relato de um usurio com deficincia visual na pesquisa de
ROCHA (2013), que ao digitar as primeiras letras em uma lista de opes
esperava filtrar mais rapidamente os resultados. Essa questo pode ser vista
como uma violao stima heurstica de usabilidade de NIELSEN (1994):
Flexibilidade e eficincia de uso. Segundo tal heurstica, o sistema deve
ser fcil para usurios leigos, mas tambm deve ser flexvel o bastante para
usurios avanados, que optam por usar teclas de atalho e outras estratgias
para agilizar a navegao.
Considerando as relaes envolvidas nos estudos realizados, para se compreender
as vises dos desenvolvedores e pesquisadores sobre os problemas de acessibilidade e
usabilidade durante as avaliaes e, contribuir na identificao da correlao entre os dois
conceitos, importante que haja uma documentao clara que relate os motivos e as
tomadas de decises desses atores. Neste contexto, o registro das discusses e razes sobre
cada deciso (denominada Design Rationale) foram considerados para o apoio proposto
neste trabalho, conforme visto adiante.
24
2.5 Design Rationale

Durante os processos de desenvolvimento de software, muitas decises de projeto no so
explicitamente documentadas com sua lgica (TYREE e AKERMAN, 2005), e assim, o
conhecimento associado s tomadas de deciso muitas vezes perdido.
GRUBBER e RUSSEL (1991), MORAN e CARROL (1996) definem Design
Rationale como referncia ao raciocnio e descrio que justificam o projeto e as
escolhas de estruturas sobre demais alternativas. Somada a essa definio, MACLEAN et
al. (1991) e LEE (1997) consideram que Design Rationale no inclui apenas a descrio do
artefato em potencial, mas tambm as justificativas e alternativas das decises sobre seu
projeto, e as argumentaes que levaram a elas.
O aprendizado do projeto como um todo e o auxlio aos projetistas para identificar
questes, que de outra maneira poderiam passar despercebidas, so contribuies
atribudas ao uso de Design Rationale (HORNER e ATWOOD, 2006), assim como a
colaborao na identificao de premissas inadequadas e na diminuio da tendncia dos
projetistas em no perceber alternativas possveis em decises importantes. Segundo
DUTOIT et al. (2006), seu uso empregado, principalmente, para promover a colaborao
entre membros de equipe, facilitar a manuteno e o reuso, melhorar a qualidade dos
artefatos e transferir conhecimentos.
A utilizao do Design Rationale possibilita a criao de um vocabulrio comum, a
produo de artefatos mais completos em menor tempo, com menor esforo, a manuteno
e evoluo, garantindo a qualidade do design. Porm, CONKLIN e BURGESSYAKEMOVIC (1996), SHIPMAN e MCCALL (1997) e REGLI et al. (2000) indicam as
limitaes existentes que no contribuem com sua utilizao na prtica: as dificuldades dos
desenvolvedores de recuperarem informaes capturadas, a diferena entre informaes
que os desenvolvedores gostariam e as que o sistema permite registrar, a generalidade das
ferramentas e a no contribuio para a progresso natural das atividades de projeto.
Embora o uso de Design Rationale seja reconhecido como um dos passos mais
promissores durante o projeto de software e manuteno, seu uso tem enfrentado
obstculos, em particular no esforo de produzir e manter documentao adicional (LEE,
1997). Neste sentido, GORTON (2006) afirma que a gerao de documentao da
25
arquitetura quase sempre uma boa ideia e que a dica despender apenas o tempo
suficiente para produzir a documentao que ser til para os stakeholders do projeto.
Alguns obstculos foram apresentados por FALESSI et al.(2013), e incluem:
Mau tempo e benefcio atrasado. O perodo em que so realizadas as decises de
projeto muitas vezes fundamental para o sucesso geral do mesmo. Pessoas
envolvidas em decises de design esto, geralmente, ocupadas tentando executar
outras tarefas mais reconhecidas e essenciais, e para cumprir seus prazos
relacionados. Em tais circunstncias, a documentao percebida como menos
importante e, eventualmente, desconsiderada;
Previsibilidade a informao. Consumidores e produtores de Design Rationale
muitas vezes so pessoas diferentes. As pessoas que so responsveis pela evoluo
de um projeto de software geralmente no so os criadores originais. Por isso, o
produtor precisa de documentao para prever quais informaes os consumidores
necessitaro no futuro. Como resultado, o produtor ter de documentar toda a
informao que possa ser til;
Esforo exagerado. Existe o costume de se concentrar em maximizar os benefcios
para o consumidor, em vez de minimizar o esforo do produtor. Isso resulta em um
esforo substancial a ser gasto em atividades de documentao e manuteno. Essa
sobrecarga pode ser minimizada, selecionando cuidadosamente os itens de
informao do Design Rationale a serem capturados;
Benefcios pouco claros. Os tomadores de deciso muitas vezes no sabem como o
Design Rationale vai apoiar atividades especficas;
Falta de motivao. A desmotivao pode surgir a partir da ausncia de benefcios
diretos ou falta de interesse pessoal. As pessoas encarregadas por documentar e
manter artefatos de Design Rationale no esto muito motivadas, porque elas no
se beneficiam diretamente do Design Rationale. Os especialistas podem no estar
interessados em fazer seu valioso conhecimento explcito, pois podem perceber que
ele seja um ativo. Em outras palavras, alguns especialistas podem no ver nenhuma
vantagem clara em documentar Design Rationale;
26
Falta de maturidade. Somente algumas ferramentas esto disponveis para apoiar

o Design Rationale e a maioria delas so imaturas [BURGE e BROWN, 1998;
CONKLIN e BEGEMAN, 1988; LEE e KRUCHTEN, 2007; JANSEN et al.,
2008];
Inconsistncias potenciais. Design Rationale e os projetos devem ser mantidos
atualizados e alinhados para evitar possveis inconsistncias quando o projeto for
modificado ou quando as decises mudarem.
A fim de amadurecer e mapear as contribuies no contexto dos conceitos
envolvidos com esta pesquisa, realizou-se um levantamento dos trabalhos relacionados,
assunto da prxima seo.
2.6 Trabalhos relacionados

Nesta seo so apresentados os trabalhos relacionados, em ordem cronolgica, separados
pelas categorias de acessibilidade, usabilidade e ambas. Os trabalhos foram resumidos de
maneira a enfatizar as metodologias, mtodos e tcnicas para prover um desenvolvimento
de aplicaes Web, visando a acessibilidade, a usabilidade, ou mesmo, correlacionando os
dois conceitos. Tal separao foi necessria, de maneira a obter resultados que aproximem
o entendimento de como a acessibilidade e a usabilidade podem estar interligadas, seja de
maneira complementar, com interseces, ou representando um trade-off, no qual ao
priorizar um conceito, o outro prejudicado. A partir disso, buscou-se identificar a rea
estudada e justificar a pesquisa, atravs de trabalhos j validados.
2.6.1 Acessibilidade
Usurios que so cegos tm sua experincia em navegao dificultada em muitos sites que
apresentam demasiado nmero de links ou hierarquias profundas. Eles so penalizados
uma vez que a informao buscada est escondida em mltiplas camadas ou de maneiras
indiretas. Nesses ambientes de hipertexto no lineares, onde muitas estruturas coexistem e
evoluem, o desafio est em descobrir como os vrios tpicos e unidades de informaes
evoluram e como eles se relacionam. Isso requer mecanismos que possam, por exemplo,
segmentar, enriquecer e anotar o contedo, e assim, facilitar a indexao, recuperao,
ranking, e apresentao de unidades de informao apropriadas (ou segmentos) para o
usurio (CANDAN et al., 2009).
27
Nesse contexto, CANDAN et al. (2009) apresentam a abordagem Segment-enrichannotate (SEA), para adaptao de contedo digital, com o objetivo de melhorar a
acessibilidade. O paradigma tem como base a segmentao, que est relacionada
extrao de unidades de informao de pginas para a adaptao dinmica;
enriquecimento, que a propagao de palavras chave relevantes entre as unidades de
informao relacionadas, para permitir que elas, individualmente, sejam consideradas com
o contexto apropriado e; anotao, que designa a marcao de unidades de informao
com palavras chave descritivas (no diretamente disponveis a partir do contedo) para o
acesso a tarefas apoiadas e guiadas.
No sentido de valid-la, a abordagem foi instanciada na ferramenta iCare-Assistant,
um sistema de apoio para ajudar estudantes cegos no acesso Web e aos materiais do curso
eletrnico. A partir de avaliaes feitas pelos autores da pesquisa, envolvendo alunos
cegos, identificou-se que a sobrecarga de navegao foi reduzida significativamente,
permitindo que os usurios cegos pudessem acessar o sistema de cursos online de forma
eficaz.
Desse modo, o conhecimento adquirido pela SEA pode ser utilizado na segmentao
de contedo em unidades coerentes, para facilitar a indexao, recuperao e classificao,
bem como para orientar os usurios atravs de segmentos que sejam relevantes para seus
objetivos de navegao.
Em outro estudo na rea de acessibilidade, KOUTSABASIS et al. (2010) afirmam
que a utilizao de ferramentas e especificaes para assegurar a acessibilidade na Web
requerem conhecimentos especficos e, frequentemente, os desenvolvedores necessitam de
orientaes tcnicas. A partir disso, foi proposta uma metodologia simples e prtica, na
viso dos autores, para avaliao da acessibilidade Web, e como as ferramentas e
especificaes podem ser utilizadas.
A metodologia proposta para alcanar a manuteno de acessibilidade consiste em:
(a) identificao de necessidades dos utilizadores e criao de metas de acessibilidade; (b)
avaliao de acessibilidade Web e processo de redesign e; (c) o estabelecimento e
acompanhamento da poltica de acessibilidade.
Os mesmos autores defendem, ainda, uma abordagem prtica para avaliao de
acessibilidade Web, que fornece recomendaes para os mtodos e ferramentas a serem
28
utilizados, assim como os processos de manuteno. Eles afirmam que essa abordagem
necessria para investigar o fato de que os desenvolvedores, com o atual conjunto de
ferramentas de acessibilidade Web e especificaes, necessitam de conhecimentos tcnicos
para a sua compreenso e aplicao.
Os dois trabalhos aqui expostos identificaram esforos no sentido de aprimorar a
acessibilidade, tendo como pblico alvo os desenvolvedores, seja no desenvolvimento em
aplicaes com estruturas complexas ou na colaborao para manuteno da
acessibilidade. Em seguida, os trabalhos envolvendo usabilidade so apresentados.
2.6.2 Usabilidade
No estudo em usabilidade realizado por FLSTAD et al. (2012), identificou-se que a
anlise uma parte fundamental da realizao de avaliaes de usabilidade e que, no
entanto, ainda pouco estudada de maneira sistemtica. Neste sentido, falta orientao de
como fazer as pesquisas apoiarem a anlise dos desenvolvedores e perde-se a oportunidade
da rea acadmica e do mercado contriburem entre si, pois a anlise de pesquisa
acadmica, incluindo ferramentas, formas e formatos estruturados, segundo os autores, no
parece ter um impacto direto na prtica.
A pesquisa tem por objetivo identificar prticas de anlise e, consequentemente,
gerar conhecimento sobre como os mtodos e ferramentas baseadas em pesquisa apoiam
tais prticas. Desta maneira, foram entrevistados 155 profissionais, considerando a anlise
na avaliao mais recente em usabilidade que eles fizeram, e a principal questo estudada
foi: Qual o estado da arte, na prtica, da anlise de avaliao de usabilidade?.
Dos resultados obtidos, os envolvidos na anlise veem a necessidade de reforar a
confiabilidade da avaliao e, que as prticas de anlise evoluem medida que os
desenvolvedores se adaptam s ferramentas e aos mtodos adequados para as necessidades
de seu contexto de avaliao.
Em particular, os resultados do presente estudo devem ser complementados com
estudos observacionais e estudos de caso de anlise real. A pesquisa de usabilidade pode
fornecer contribuies valiosas para a evoluo futura das prticas de anlise. Entretanto,
para que isso ocorra, preciso um grau muito maior no sentido de direcionar os esforos
de pesquisa s necessidades dos profissionais de usabilidade.
29
O estudo aqui indicado contribuiu na identificao da problemtica que consiste no

avano independente, no que concernem os mbitos da pesquisa e da prtica. Tal evidncia
favorece os esforos apresentados nesta dissertao, ao incluir desenvolvedores no estudo
de caso, de maneira a validar o ambiente A4U, cujo foco o prprio desenvolvedor.
A seguir, so discutidos os trabalhos que abordam os conceitos de acessibilidade e
usabilidade, em paralelo, como apoio na identificao da relao entre eles.
2.6.3 Acessibilidade e usabilidade
O pesquisador WATTENBERG (2004) afirma que a boa experincia em acessibilidade e
usabilidade s adquirida, utilizando uma metodologia assistiva durante a implementao
das diretrizes. Adicionalmente, o autor apresenta as recomendaes WCAG como base de
conduo do desenvolvimento de aplicaes acessveis.
Nesse objetivo de se obter boa experincia em acessibilidade e usabilidade, como
KOUTSABASIS et al. (2010), WATTENBERG (2004) tambm afirma que h falta de
treinamento e compreenso, no s com relao s diretrizes, como tambm na utilizao
das ferramentas de avaliao, por parte dos designers de aplicaes Web.
Com o objetivo de contribuir nessa compreenso por parte do designer, provendo
mtodos eficientes na descoberta e na apresentao dos problemas, o grupo Digital Media
Access Group at the University of Dundee buscou, em vo, por uma ferramenta simples,
pois as que encontraram no se enquadraram nessa necessidade. H inmeras combinaes
de tecnologias, atributos de design e aplicaes para o mesmo mtodo trabalhar em
diferentes situaes, tornando difcil a simplificao dessas questes, a fim de contribuir
com seu entendimento.
O melhor mtodo, apresentado e assim definido por WATTENBERG (2004), para
avaliar a usabilidade e a acessibilidade de um produto, foi a partir da observao de seu
uso por um diferente grupo de pessoas. Porm, h uma baixa adeso ao uso de tecnologias
assistivas, pois os usurios com deficincias encontram dificuldades e h pouco esforo em
se integrar essas tecnologias ao estilo de vida, ambiente social, estrutura familiar e em
atividades em comunidade dessa populao.
30
Como lacuna da rea, WATTENBERG (2004) afirma que necessrio pesquisar

como os usurios com deficincia utilizam e aprendem, enquanto usam as tecnologias
assistivas.
J em outro estudo, envolvendo a comparao de acessibilidade e usabilidade,
PETRIE e KHEIR (2007) afirmam que os dois conceitos, raramente, so explicitamente
analisados, quer no contexto Web ou em outros sistemas baseados em computadores. Os
autores citam a ISO 9241, como uma definio precisa e amplamente aceita para
representar usabilidade de produtos/websites. Ainda afirmam que os critrios de
acessibilidade no esto to claros quanto validade e eficcia na experincia dos usurios
com deficincias, pois as recomendaes WCAG enfrentam dificuldades em relao a sua
confiabilidade na usabilidade de pessoas com deficincia.
Como base nessa afirmao, os mesmos autores apresentam um estudo realizado em
mais de 1.000 websites. Como resultado apresentado que no foi encontrada nenhuma
relao significativa entre a conformidade com as diretrizes WCAG e uma srie de
medidas de desempenho e satisfao do usurio por cinco diferentes categorias de pessoas
com deficincia. O estudo aponta a questo de que as recomendaes WCAG foram
construdas com uma base fraca de estudos empricos, o que resulta nesses problemas de
confiabilidade e na eficcia das diretrizes, no papel de adequar o design da aplicao a
todas as populaes.
Contribuindo com a comparao entre os dois conceitos, THATCHER et al. (2003)
afirmam que acessibilidade um subconjunto de usabilidade e que, portanto, problemas
relacionados acessibilidade so problemas de usabilidade. Porm, os autores afirmam que
problemas de usabilidade afetam a populao em geral, enquanto os de acessibilidade
priorizam os usurios com deficincia em relao aos outros usurios, garantindo uma
relao complexa entre esses dois conceitos.
Nesse contexto, PETRIE e KHEIR (2007) afirmam que essa relao pode ser vista
como trs reas distintas: problemas que afetam apenas pessoas com deficincias, chamada
de acessibilidade pura; problemas que afetam apenas pessoas sem deficincias, chamada
de usabilidade pura e problemas que afetam ambas as populaes, chamada de
usabilidade universal.
31
Outro estudo envolvendo os dois conceitos foi feito por SEVILLA et al. (2007), que
consideraram uma populao com retardo mental, a fim de obter um estudo emprico
relacionado com aplicaes normais e adaptadas para essa populao. Neste estudo foi
observada a importncia da adaptao das aplicaes para as necessidades das diferentes
populaes de deficincia.
Neste sentido, os autores indicaram que necessrio estudar cada implicao
cognitiva para relacionar critrios especficos no esforo de tornar as aplicaes acessveis
a este pblico, com deficincia cognitiva.
No experimento realizado por eles, a usabilidade foi avaliada considerando um
adendo de critrios, pela ISO-9241. Os critrios foram obtidos a partir da observao de
eventos e foi apresentada uma frmula para avaliao, a qual consiste na adio e
subtrao do nmero de eventos que foram codificados por observadores independentes. A
partir desse experimento prtico, observou-se que a avaliao de usabilidade e
acessibilidade est intimamente ligada observao na utilizao da aplicao pela
populao que se deseja observar.
J, considerando as deficincias visuais, ROCHA e LIMA (2010) apresentaram uma
pesquisa sobre a relao entre acessibilidade e usabilidade de websites do governo
brasileiro, para pessoas com deficincia visual e afirmaram que o nmero de sites com
problemas de acessibilidade ainda muito grande. Tambm relacionaram a usabilidade
como diretamente ligada acessibilidade, de maneira que ela seja prejudicada pelo baixo
grau de conformidade de websites em acessibilidade.
O Governo Brasileiro aderiu, a partir do ano 2000, ao Governo Eletrnico (egovernment), fazendo uso das TICs e da Web para democratizar o acesso as suas
informaes e servios. Entretanto, os resultados desta iniciativa so comprometidos pela
excluso digital, causada pelo acesso limitado s TICs, pelo analfabetismo digital e pela
falta de acessibilidade dos websites.
O acesso Web pelas pessoas com deficincia visual acontece atravs de tecnologias
assistivas, softwares leitores de tela, capazes de ler o contedo exibido e transform-lo em
sada de udio. Porm, para que esses leitores produzam resultados coerentes, que
colaborem para o entendimento do contedo disponibilizado, o website precisa estar de
acordo com recomendaes de acessibilidade, as quais podem ser avaliadas por
32
validadores automticos, entretanto, apenas eles, no identificam todos os problemas em

uma interface.
Para investigar a correlao de acessibilidade e usabilidade de websites para pessoas
com deficincias visuais, o estudo considerou as seguintes etapas: (i) avaliao de
acessibilidade; (ii) capacitao dos usurios e (iii) avaliao da usabilidade. No estudo, a
metodologia para a pesquisa foi apresentada, porm no demonstrou os resultados finais,
que deveriam apontar o relacionamento direto entre os dois conceitos. Assim, uma
pesquisa adicional foi realizada, adicionando a dissertao de mestrado de ROCHA (2013)
como trabalho relacionado. Esta, por sua vez, apresentou informaes mais precisas e
resultados mais concretos.
Na dissertao de mestrado de ROCHA (2013), a partir de entrevistas, o autor
identificou o que por ele j era esperado, que a acessibilidade na Web depende do
relacionamento entre os diversos componentes, porm os participantes, ainda que
indiretamente, perceberam e mencionaram a interdependncia, sobretudo entre os
navegadores e os leitores de tela. Outro resultado que surpreendeu o autor foi que os
usurios com deficincia visual apontaram problemas de usabilidade como problemas de
acessibilidade.
Os relatos da influncia da experincia e das habilidades dos usurios j eram
esperados na pesquisa, assim como os relatos de violaes s diretrizes de acessibilidade,
ainda que sem referncias diretas a elas, posto que a maioria dos participantes as
desconheciam, mas enfrentaram barreiras de acessibilidade quando elas no eram seguidas.
Considerando os estudos aqui apresentados, pode-se observar que a relao entre
acessibilidade e usabilidade ainda uma questo em aberto, o que contribui para a
justificativa desta pesquisa de mestrado. Adiante, so tecidas as consideraes finais do
captulo.
2.7 Consideraes finais

Os conceitos aqui descritos e os dados observados por meio dos trabalhos relacionados
foram utilizados como base para o desenvolvimento da pesquisa e projeto do Ambiente
para Anlise de Avaliaes de Acessibilidade e Usabilidade na Web (A4U).
33
A necessidade de explorao dos conceitos deste Captulo ficou clara, para auxiliar
a definio dos termos incorporados ao projeto do ambiente A4U, pois deste modo pode-se
contribuir com uma maior elucidao dos contrastes, assim como buscar identificar os
pontos de convergncia dos conceitos.
Como resultado da pesquisa por trabalhos relacionados, foi possvel encontrar um
embasamento importante nos critrios de usabilidade, a partir de sua padronizao na ISO
9241. Por meio destes trabalhos, foi possvel tambm confirmar que as tcnicas para
obteno de acessibilidade em produtos e servios esto atreladas firmemente na
observao da populao a ser atingida, a partir da adaptabilidade do contedo.
Mesmo
que em outros estudos, autores refiram-se acessibilidade como um
subconjunto da usabilidade, h casos em que um conceito sobrevive separadamente, ou

seja, pessoas com deficincia acabam sendo menos favorecidas na experincia de
navegao e interao com aplicaes Web. Assim, foi possvel observar que a relao
desses conceitos ainda pouco explicitamente analisada.
Existem limitaes de confiabilidade, tanto em considerao s diretrizes, como s
ferramentas de avaliao, e a compreenso das diretrizes no objetiva. Somada a essas
limitaes, foi possvel observar a lacuna que existe entre o ambiente acadmico e o
profissional, no que tange avaliao de usabilidade e o apelo em se direcionar as
pesquisas ao contexto profissional.
No mbito dos problemas identificados na rea, a pesquisa aqui descrita, por meio
da dissertao, prioriza identificar a relao entre acessibilidade e usabilidade, focando o
desenvolvedor, como usurio final.
Adiante, so estudados os mtodos de avaliao de acessibilidade, usabilidade e as
ferramentas semiautomticas que contribuem nesse sentido.
CAPTULO
3
3. AVALIAO DE
ACESSIBILIDADE E
USABILIDADE WEB

Para uma avaliao de acessibilidade e usabilidade efetiva necessria a combinao de
inmeras disciplinas e habilidades, a partir de tcnicas de conformidade com padres,
diretrizes, alm do acompanhamento por usurios finais durante o processo. Neste captulo
so apresentados mtodos de avaliao e ferramentas para os dois conceitos.
Adicionalmente apresentada a linguagem de relatrio EARL, que algumas dessas
ferramentas utilizam para representar os resultados das avaliaes de maneira a se
tornarem legveis por mquina e, assim, possibilitar que funcionalidades possam ser
construdas por esforos computacionais, tais como a viso comparativa entre inmeros
relatrios, que ser almejada no projeto aqui exposto.
3.2 Avaliao de acessibilidade Web

Avaliao de acessibilidade corresponde a uma avaliao sobre quo bem aplicaes Web
podem ser utilizadas por pessoas com deficincias e como so consideradas em diferentes
cenrios. Segundo ABOU-ZAHRA (2008), a avaliao de acessibilidade Web pode estar
presente em algumas situaes, como segue:
36
CAPTULO 3. AVALIAO DE ACESSIBILIDADE E USABILIDADE WEB
Um
desenvolvedor
Web
visando
verificar
conformidade
do
desenvolvimento com padres de acessibilidade requeridos;

Um autor de contedo Web investigando a conformidade da informao
publicada com os padres, com o objetivo de ser compreendida pelo maior
nmero de pessoas;
Um webdesigner que quer aprender questes de acessibilidade em design, a
fim de us-las no processo de criao;
Um gerente de projetos Web que deseja explorar algumas questes
potenciais de acessibilidade no site, para estimar seu desempenho;
Uma organizao que almeja determinar se suas pginas Web se encontram
nos padres, para garantir acessibilidade ou encontrar falhas neste quesito.
As avaliaes no devem se limitar fase de produo, pois a gerao de contedo
aps o produto ter sido liberado contribui com a aplicao em geral, podendo incorporar
falhas aos padres e diretrizes estabelecidos durante o desenvolvimento. Exemplos para
essa questo so as postagens em blogs, fruns, wikis, ou em ferramentas interativas;
enquanto a ferramenta segue os requisitos de acessibilidade, o contedo inserido pode
conter problemas, como a falta da descrio textual em imagens. Desta maneira, as
avaliaes devem acompanhar todo o perodo de existncia das aplicaes, a fim de
garantir procedncia nos requisitos. Por depender de uma avaliao contnua ou restrio
regrada na insero e alterao desse contedo, o desafio em se garantir acessibilidade
torna-se ainda maior.
3.3 Avaliao de usabilidade Web

Os mtodos utilizados para avaliao de usabilidade consistem, em grande parte, em testes
empricos com a participao de usurios e testes de inspeo. Os testes de inspeo so
efetuados a partir da anlise por um especialista (expert), em busca de incompatibilidades
que afetem a usabilidade na aplicao, como acontece na avaliao heurstica.
A participao de usurios se d por meio de questionrios ou pelo
acompanhamento do usurio na execuo de tarefas na aplicao. Nas subsees a seguir,
so apresentados os mtodos mais utilizados para avaliao de usabilidade.
37
3.3.1 Avaliao heurstica

A avaliao heurstica foi criada por NIELSEN e MOLICH (NIELSEN, 2003b) e
caracterizada pela inspeo sistemtica da aplicao em relao usabilidade. Um
avaliador avalia a interface de uma aplicao Web, a partir dos princpios de usabilidade
denominados heursticas, as quais foram apresentadas na Seo 2.3.1.
Para aumentar a confiabilidade das avaliaes e evitar vieses, indicado que mais
de um avaliador faa a verificao, individualmente, para ento, ao final, apresentarem
seus resultados e contrastarem com as outras avaliaes. NIELSEN indica o nmero de 3 a
5 avaliadores como o de maior custo/benefcio (NIELSEN, 2003b).
Durante a avaliao, que tem durao mdia de uma a duas horas, o prprio
avaliador pode tomar nota ou este papel pode ser atribudo a um observador, que
acompanha as interaes do avaliador e pode colaborar respondendo as dvidas a respeito
do prottipo. Aps todos os avaliadores terem finalizado suas obrigaes, os observadores
tm a tarefa de reunir os resultados, que so representados em uma lista de problemas, bem
como os princpios violados e as respectivas intensidades de gravidade de usabilidade, em
um nico documento.
3.3.2 Ensaios de interao
Neste mtodo de inspeo, usurios so assistidos a partir de filmagem. O ideal que a
interao na tela do computador seja focalizada em conjunto com o rosto do usurio. Para
tanto, existem salas especiais que contribuem nessa tarefa, at com a utilizao de espelhos
falsos (LEEDY e ORMROD, 2005).
Os usurios podem seguir um cenrio de teste, previamente moldado pelos
avaliadores, ou interagir livremente na aplicao, sendo instrudos a falarem a todo tempo
o que esto pensando, estimulados por perguntas dos avaliadores.
importante contribuir com um ambiente propcio para evitar transtornos aos
usurios, enfatizando que no so eles os principais alvos de teste, mas sim a aplicao, e
os mesmos devem estar colaborando por vontade prpria.
38
3.3.3 Inspeo de recomendaes ergonmicas

As recomendaes ergonmicas, ou guidelines e checklists, foram elaboradas como
resultados de pesquisas em psicologia, cincia cognitiva e ergonomia. Estas podem ser
utilizadas na concepo e avaliao da interface (WINCKLER e PIMENTA, 2002).
A inspeo consiste em um ou mais avaliadores analisando, minuciosamente, se as
recomendaes so seguidas na utilizao da aplicao. Considerando a difcil
aplicabilidade de algumas recomendaes, ferramentas automticas no podem contribuir e
a avaliao pode exigir um conhecimento profundo por parte do condutor. Para tanto,
podem ser utilizadas as checklists, que so pontos objetivos a serem seguidos e que
requerem menos esforos para compreenso e identificao. Porm, por serem muito
objetivas, podem ser constitudas por centenas de pontos a serem averiguados,
contribuindo significativamente com o tdio dos inspetores.
Alguns conjuntos de recomendaes, j mencionados (Seo 2.3), so: HHS
Guidelines, ISO DIS 9241-151 e JISC Guidelines.
3.3.4 Questionrios
Questionrios so utilizados para obter informaes a respeito da experincia do usurio
com a aplicao, a fim de identificar seu grau de satisfao durante o uso, traar o perfil,
tanto funcional como pessoal de cada usurio, alm de contribuir na identificao de
problemas encontrados, documentando-os nesse formato. Os questionrios possibilitam a
anlise simultnea em inmeros locais distintos (BRANDO e MORAES, 2006).
Estes podem ser disponibilizados online, possibilitando atingir um nmero elevado
de usurios. Porm, os resultados precisam ser cuidadosamente analisados, a fim de se
obter uma concluso a respeito da usabilidade. Isso pode despender um tempo elevado e
um grande esforo por parte do avaliador.
3.4 Testes utilizados nas avaliaes

Existem diferentes tipos de teste que, se combinados, podem garantir a qualidade de
software, considerando acessibilidade e usabilidade. Em geral, h trs tcnicas bsicas de
teste: o teste automtico, feito atravs de ferramentas de avaliao sem a interao humana,
o teste manual, feito atravs da percepo humana (geralmente por pessoas habilitadas na
39
rea) e, tambm, o teste pelo usurio final, ou seja, o usurio com deficincia, no caso de
se estar testando a acessibilidade da aplicao (HARPER e YESILADA, 2008).
3.4.1 Testes automticos
Os testes automticos avaliam apenas conceitos bem definidos, de uma lista de diretrizes
referente aos padres de acessibilidade e usabilidade. Existe uma limitao computacional
nesta tcnica de avaliao, j que, por exemplo, em imagens custoso verificar o contraste
de cor entre o contedo principal e o plano de fundo, pois identificar o cenrio
automaticamente difcil (WebAIM, 2013d).
Os testes automticos podem ser diferenciados em:
Avaliao sinttica: o teste analisa a estrutura sinttica do contedo, por
exemplo: se tags de imagem IMG contm o atributo ALT, para
contedo textual descritivo;
Anlise heurstica: baseada nas heursticas de Nielsen, so examinados a
semntica no contedo Web, o leiaute, a linguagem natural e de marcao.
Esta avaliao colabora com alertas para avaliadores humanos, a fim de
aumentar a validade e confirmar o potencial das questes de usabilidade e
acessibilidade;
Anlise indicativa: estima a performance das aplicaes Web, a partir de
mtricas estatsticas e tcnicas de perfis. So bastante teis para avaliaes
em grande escala.
3.4.2 Testes manuais
Embora os testes semiautomticos sejam de grande importncia para identificar falhas
rapidamente, estes devem servir apenas como apoio na avaliao (PETRIE e KHEIR,
2007). A viso humana essencial para validar os resultados apresentados e aprimorar a
avaliao, haja vista que, em muitos casos, as ferramentas no so capazes de discernir
entre a conformidade ou no de critrios ergonmicos (PETRIE e KHEIR, 2007).
Para diferentes situaes, so necessrios distintos perfis ou a combinao entre
eles:
40
Avaliaes por leigos: so executadas por leigos em contexto de

acessibilidade e usabilidade, como tambm pelos autores de contedo, para
verificar se o contedo multimdia efetivo e correto ou se as imagens esto
descritas pelo atributo ALT, por exemplo;
Avaliaes por tcnicos: frequentemente realizadas por desenvolvedores
Web, com o mnimo de conhecimento em acessibilidade e usabilidade, ao
verificarem se a linguagem de marcao segue as recomendaes, a partir
de ferramentas de avaliaes;
Avaliao por especialistas: so pessoas com profundo conhecimento da
interao humana com questes relacionadas Web, bem como as inmeras
questes de acessibilidade que devem ser interpretadas para se obter a
usabilidade universal.
3.4.3 Testes pelo usurio
Os testes realizados por usurios finais amplificam as avaliaes e servem como
complemento s duas tcnicas j apresentadas (PETRIE e KHEIR, 2007). Usurios
representantes das diversas categorias de gnero, idade ou deficincias so assistidos diante
da utilizao da ferramenta, a fim de encontrar comprometimento durante a execuo de
alguma tarefa disponibilizada pela aplicao.
Em qualquer teste que envolva usurios finais, preciso classificar os perfis de
cada um, relacionados s expertises, a fim de evitar concluses precipitadas diante de
dificuldades apresentadas por eles na utilizao do site. Por exemplo, um usurio
inexperiente na utilizao de computador no deve representar gravidade em questes de
usabilidade e acessibilidade, caso tenha dificuldades nas execues das tarefas, em seus
primeiros acessos.
3.5 Ferramentas de avaliao

Existem inmeras ferramentas semiautomticas para, a partir de conjuntos de critrios,
avaliarem aplicaes Web (VANDERDONCKT et al., 2004). No estudo aqui exposto, o
foco ser as que tratem acessibilidade e usabilidade. Considerando a estagnao do
41
contedo que lista as principais ferramentas de avaliao pelo W3C desde 2006 11, faz-se
necessrio um maior aprofundamento na pesquisa, a fim de se obter ferramentas que
tenham sido criadas desde ento. Aqui se entende por semiautomtica, a ferramenta que
necessita de interao humana para concretizar a avaliao.
3.5.1 Ferramentas para avaliao de acessibilidade
Os objetivos da catalogao, aqui realizada, foram, alm de comparar as funcionalidades
presentes em cada aplicao, verificar a existncia de softwares de avaliao que utilizem
os critrios do W3C em sua ltima verso, mas que tambm habilitassem a representao
dos resultados na linguagem EARL.
No primeiro momento so apresentados os quadros descritivos de cada ferramenta, a
fim de sumarizar suas caractersticas e identificar rapidamente os benefcios de cada uma.
Em seguida as ferramentas so relacionadas a partir da avaliao do portal do governo do
Estado de So Paulo. A escolha pelo portal foi devido obrigatoriedade dos sites
administrativos governamentais estarem de acordo com as recomendaes de
acessibilidade e-MAG, que baseada nas WCAG 2.0 e pelo site estar bem posicionado no
ranking de sites mais acessados do Brasil, com domnios governamentais, segundo a Alexa
- The Web Information Company 12, conforme j dito na Seo 1.4.
I) Web Accessibility Test (TAW)
Quadro 2: Quadro descritivo da ferramenta de avaliao de acessibilidade TAW
Responsvel:
Fundao CTIC
Endereo:
http://www.tawdis.net/
Conjunto de critrios avaliados:
WCAG 1.0 [Nvel A, AA e AAA], WCAG 2.0 [Nvel

A, AA e AAA] (Beta) e MobileOK (Beta)
Idiomas:
Ingls, espanhol, galego, catalo
Dados de entrada:
URL
11
http://www.w3.org/WAI/ER/tools/complete
12
http://www.alexa.com
42
Output:
Relatrio em HTML
Licena de uso:
Freeware
Disponibilidade:
Online e Desktop
No Quadro 2 so apresentadas as caractersticas da TAW, que faz uso dos dois

conjuntos de critrios do W3C, porm se encontra em Beta com relao s diretrizes
WCAG 2.0.
II) Worldspace FireEyes
Quadro 3: Quadro descritivo da ferramenta de avaliao de acessibilidade Worldspace FireEyes
Responsvel:
Deque System
Endereo:
http://www.deque.com/products/fireeyes/
Conjunto de critrios avaliados: Section 508, WCAG

1.0 [Nvel A, AA e AAA], WCAG 2.0 [Nvel A e AA]
Idioma:
Ingls
Dados de entrada:
URL
Output:
Relatrio no plugin
Licena de uso:
Freeware
Disponibilidade:
Plugin para o navegador Firefox
J, no Quadro 3, o plugin para o navegador Firefox, Worldspace FireEyes, descrito.

Nota-se, que, assim como a ferramenta anterior, possibilita a verificao de aplicaes a
partir dos dois conjuntos de critrios do W3C para acessibilidade. Entretanto, no
contempla a avaliao a partir dos critrios com o nvel de conformidade mais elevado, o
AAA. Adicionalmente, viabiliza a anlise a partir dos critrios da Section 508.
III)
43
Total Validator
Quadro 4: Quadro descritivo da ferramenta de avaliao de acessibilidade Total Validator
Responsvel:
Total Validator
Endereo:
http://www.totalvalidator.com
Section 508, WCAG 1.0 [Nvel A, AA e AAA], WCAG

2.0 [Nvel A, AA e AAA]
Idioma:
Ingls
Dados de entrada:
URL
Output:
Relatrio em HTML
Licena de uso:
Freeware para a verso bsica e Shareware a verso

Pro
Disponibilidade:
Desktop e extenso para navegadores Chrome e Firefox
Com relao Total Validator, ferramenta apresentada no Quadro 4, alm de

suportar avaliaes a partir das verses 1.0 e 2.0 das WCAG, tambm possibilita a
validao a partir da Section 508. Ela pode ser encontrada na verso Desktop ou por meio
de extenses dos navegadores Chrome e Firefox.
IV) Web Accessibility Assessment Tool (WaaT)
Quadro 5: Quadro descritivo da ferramenta de avaliao de acessibilidade WaaT
Responsvel:
CERTH/ITI
Endereo:
http://www.accessible-project.eu/index.php/waat.html
WAI-ARIA, CSS e WCAG 2.0 [Nvel A, AA e AAA]
Idioma:
Ingls
Dados de entrada:
URL
44
Output:
Relatrio em HTML, em PDF e em EARL
Licena de uso:
Open Source
Disponibilidade:
Desktop e online
Como destaque na ferramenta WaaT, apresentada no Quadro 5, pode-se observar a

representao dos resultados na linguagem EARL.
V) AChecker
Quadro 6: Quadro descritivo da ferramenta de avaliao de acessibilidade AChecker
Responsvel:
Atutor - earning Management Tools
Endereo:
http://atutor.ca/achecker/
Section 508, WCAG 1.0 [Nvel A, AA e AAA], WCAG

2.0 [Nvel A, AA e AAA]
Idioma:
Ingls
Dados de entrada:
URL
Output:
Relatrio em HTML, EARL
Licena de uso:
Open Source
Disponibilidade:
Online
Em similaridade com a ferramenta WaaT, a AChecker, descrita no Quadro 6,

tambm reproduz os resultados em EARL. Outra caracterstica importante que, por ser
implementada em PHP, pode ser facilmente integrada ao projeto do ambiente A4U,
possibilitando a avaliao semiautomtica pelo prprio ambiente.
3.5.1.1 Relao entre as ferramentas
Em virtude do contedo dinmico do portal, importante ressaltar que as
avaliaes, apresentadas nesta dissertao, aconteceram no dia 22 de fevereiro de 2014, de
maneira que fosse avaliado o mesmo material para todas as anlises. A avaliao foi
45
dividida em trs etapas, para cada ferramenta: I) a avaliao feita considerando o nvel de
conformidade A das WCAG 2.0; II) a avaliao feita considerando o nvel de
conformidade AA, que contempla tambm os critrios de sucesso do nvel A e III) a
avaliao feita considerando o nvel de conformidade AAA, que contempla tambm os
nveis de conformidade AA e A.
Como exposio geral das caractersticas das ferramentas apresentado o Quadro 7
a seguir, no qual tm-se especificados os nveis de conformidade dos dois conjuntos de
diretrizes WCAG, a observncia do conjunto de critrios Section 508, a obteno de
relatrios em EARL e a licena ao qual o software est atribudo.
Quadro 7: Resumo das caractersticas das ferramentas
A TAW apresenta uma interface limpa e de fcil compreenso, conforme se pode

verificar na Figura 2. A data de execuo da avaliao considera a configurao de hora do
servidor e, na interface, um thumbnail da tela do contedo sendo avaliado apresentado.
As tecnologias HTML e CSS so obrigatoriamente avaliadas em conjunto com a
acessibilidade, quanto a sua sintaxe, podendo estender, opcionalmente, sintaxe da
linguagem JavaScript.
Em primeiro momento, uma tela resumida dos resultados da avaliao exibida,
porm a ferramenta disponibiliza a opo para detalhar os resultados da avaliao. No
contedo resumido, a ferramenta reala as limitaes pelos princpios de acessibilidade das
WCAG, categorizando-os por problemas efetivos, advertncias que requerem esforo
humano e no revisados, que necessitam de ateno total do avaliador humano, pois a
ferramenta no pode verificar.
46
Figura 2: Tela representativa da ferramenta TAW
A avaliao realizada pela TAW resultou em 53 problemas, 290 advertncias e 10

no revisados, totalizando 29 critrios de sucesso afetados. Desses, 15 so cobertos por
problemas e/ou advertncias. A ferramenta no disponibiliza pgina personalizada para
impresso.
A Worldspace FireEyes, por sua vez, uma extenso integrada ao add-on FireBug,
do navegador da Mozilla, Firefox. Sua utilizao est condicionada ao cadastro no site da
companhia.
A interface da extenso, exibida na Figura 3, no intuitiva, mas existe a
comunicao com o servidor no qual seu cadastro est associado, podendo carregar o
relatrio, visualiz-lo e interagir com ele a partir da interface Web, que se mostra mais
amigvel.
As opes de avaliao so diversas, incluindo a opo de se avaliar os critrios da
Section 508 13, elementos WAI-ARIA, contedo PDF e Flash, estendendo-se avaliao de
contedos dinmicos, a partir de eventos de mouse, teclado e mudana de foco. Nenhuma
documentao de apoio foi encontrada para identificar o que avaliado, por exemplo, no
contedo PDF e em Flash.
13
http://www.hhs.gov/web/508/
47
Figura 3: Tela representativa da ferramenta Worldspace FireEyes
A avaliao realizada pela Worldspace FireEyes resultou em 60 questes, atingindo

8 critrios de sucesso das WCAG 2.0 como problemas efetivos e trs critrios necessitando
avaliao manual. Desses, apenas um no foi coberto pelos problemas efetivos.
A outra ferramenta aqui pesquisada foi a Total Validator, que apresenta uma
interface bastante amigvel, conforme indicado na Figura 4. Sua verso bsica, gratuita,
apresenta muitas opes bloqueadas, porm atende o objetivo principal da pesquisa,
validando pginas pelos critrios das WCAG 2.0. A ferramenta tambm avalia a sintaxe
HTML e verifica se existem links quebrados. Os resultados so gerados em uma pgina
HTML. Houve problema na instalao da verso para Windows, uma vez que a mesma no
compatvel com a verso 7 do Java.
48
Figura 4: Tela representativa da ferramenta Total Validator
A avaliao pela Total Validator retornou 16 erros efetivos e 17 alertas para

verificao manual, atingindo 7 critrios de sucesso por erros e 5 por alertas, sendo que 4,
dos 5, j so cobertos pelos problemas.
A WaaT, posteriormente avaliada, tambm apresenta uma interface de fcil
compreenso, exibida na Figura 5. Em sua verso gratuita, conforme as demais
ferramentas, avalia apenas uma pgina do site. Alm dos critrios de acessibilidade das
WCAG 2.0, a ferramenta tambm avalia quanto conformidade da Accessible Rich
Internet Applications (WAI-ARIA). Seu relatrio pode ser salvo em PDF, em EARL ou
RDF/XML. Por fim, o software exibe a porcentagem de cobertura do site sobre as
recomendaes de acessibilidade testadas.
49
Figura 5: Tela representativa da ferramenta WaaT
Na avaliao para o nvel de conformidade A, a ferramenta WaaT exibiu 46 erros

efetivos e 64 alertas de necessidade de verificao manual, por especialistas. Apenas um
Critrio de sucesso foi atingido pelos problemas encontrados, enquanto outros 5 foram
relacionados aos alertas.
Por fim, a ferramenta AChecker foi utilizada para a avaliao do portal. Esta
apresenta interface intuitiva, conforme se pode ver na Figura 6, implementa as
recomendaes de acessibilidade das WCAG 2.0 e possibilita a validao da sintaxe do
HTML e do CSS. O resultado categorizado em:
I)
Problemas conhecidos: so problemas que foram identificados com

certeza de serem barreiras de acessibilidade;
II)
Provveis problemas: so problemas que tm sido identificados

como possveis barreiras, porm requerem uma deciso humana e;
50
III)
Potenciais problemas: so problemas que o AChecker no pode

identificar, que requerem uma deciso humana. A avaliao pode
ser exportada para PDF, EARL, HTML e The Comma Separated
Value (CSV).
Figura 6: Tela representativa da ferramenta AChecker
Os resultados obtidos pela avaliao do AChecker foram 13 problemas conhecidos

e 418 potenciais problemas, afetando 3 critrios de sucesso pelos problemas conhecidos e
11 critrios pelos potenciais problemas.
Relacionando os resultados obtidos em todas as avaliaes e considerando o
nmero de questes, constitudo pela soma dos problemas encontrados e dos alertas de
cada ferramenta, para os trs nveis de conformidade, tem-se o grfico exibido na Figura 7.
51
Figura 7: Grfico representativo dos problemas encontrados nas avaliaes, pelas diferentes
ferramentas, considerando os trs nveis de conformidade
Todas as ferramentas se mostraram bastante funcionais e com resultados

expressivos, no que concerne a avaliao de acessibilidade a partir das WCAG 2.0.
Entretanto, como se pode observar, no grfico da Figura 7, a diferena entre o nmero de
questes exibidas pelas cinco ferramentas marcante, o que valoriza ainda mais a
avaliao manual, uma vez que as ferramentas podem gerar resultados de falso positivo,
falso negativo, ou mesmo no qualificar problemas por limitaes tcnicas.
Na avaliao utilizando a WaaT foi observado uma inconsistncia, pois ao
considerar que o nvel de conformidade A est contido no conjunto do nvel de
conformidade AA, que por sua vez est contido no AAA, sua avaliao do nvel A no
deve ultrapassar o nmero de questes obtidas nas demais avaliaes. A avaliao no
simultnea provavelmente contribuiu para isso, pois o site dinmico, podendo ter alterado
seu contedo no intervalo das avaliaes. Em relao aos nveis de conformidade, apenas o
Worldspace FireEyes no contempla os trs nveis.
52
Em anlise aos resultados da avaliao, a ferramenta Web Accessibility Assessment

Tool foi escolhida como sendo a que melhor se adequa aos requisitos do ambiente A4U. Tal
concluso foi baseada na anlise das caractersticas das ferramentas encontradas e
presenciando a dificuldade em se identificar softwares que atendam aos requisitos aqui
explorados, que correspondem utilizao das WCAG 2.0 como diretrizes confrontadas
com o elemento a ser avaliado e a produo de resultados na linguagem especfica EARL,
alm da eficcia, boa apresentao e licena Open Source.
Neste sentido, a WaaT ser sugerida aos usurios que queiram submeter avaliaes
no ambiente A4U, utilizando relatrios EARL. Adicionalmente, a ferramenta AChecker,,
por apresentar as mesmas caractersticas evidenciadas da WaaT e por ser implementada na
linguagem PHP, foi incorporada no ambiente A4U desenvolvido, de modo que o objeto
avaliado pelo usurio, seja analisado primeiramente pelo prprio ambiente A4U, atravs da
integrao com a AChecker.
Adiante so identificadas as ferramentas de usabilidade e a dificuldade em tornar
automtica a avaliao da percepo dos usurios.
3.5.2 Ferramentas para avaliao de usabilidade
Existem ferramentas de avaliao, assim como acontece em acessibilidade, para avaliar
automaticamente a usabilidade em um site. Entretanto a maioria delas no faz anlise
ergonmica, que diz respeito capacidade de trabalho perceptivo, cognitivo e motor do
usurio, limitando-se validao da sintaxe HTML. Como exemplo, pode-se citar o
Boddy 14, Dr. Watson 15 e o Lift 16.
Bobby: desenvolvida pela CAST, suporta inspeo automtica e manual de
recomendaes de usabilidade e a compatibilidade entre navegadores. Pode ser utilizada
em sua verso online ou Desktop.
Dr. Watson: desenvolvida pela Addy & Associates, disponvel apenas na verso
online, verifica o cdigo HTML, validando os links, tempo de download de pginas,
14
http://www.cast.org/bobby
15
http://watson.addy.com
16
http://www.jimthatcher.com/lifteval.htm
53
compatibilidade com ferramentas de busca, popularidade de links, nmero de palavras no

contexto e correo ortogrfica.
Lift: desenvolvida pela UsableNet, em sua verso online, permite desenvolvedores
testarem e corrigirem problemas de acessibilidade e usabilidade, incluindo tempo de
navegao, qualidades das imagens, etc.
Atualmente as ferramentas de avaliao de acessibilidade j compem a anlise de
sintaxe de linguagem, contribuindo, neste sentido, para a usabilidade que outras
ferramentas verificam, apoiada na conformidade da sintaxe. Deste modo, como ocorre em
acessibilidade, o estudo humano voltado ao usurio final mais que obrigatrio no mbito
de avaliao de usabilidade.
Na prxima seo, a linguagem de relatrios EARL descrita e exemplos de
utilizao de sua sintaxe so exibidos, de maneira a entender como os relatrios podem ser
compreendidos pela mquina, e por sua vez, pelo ambiente proposto nesta dissertao.
3.6 Evaluation And Report Language (EARL)

A EARL uma linguagem que define um vocabulrio para expressar resultados de testes.
Ela permite a qualquer pessoa, aplicao de software ou organizao, representar
resultados para qualquer teste de contedo contra um conjunto de critrios pr-definidos
pelo avaliador e seu nvel de cumprimento.
O contedo do teste representado por um site, um usurio ou qualquer outra
entidade. O conjunto de critrios composto por orientaes de acessibilidade, gramticas
formais ou outros modelos de requisitos. Assim, a EARL flexvel, considerando o
contexto ao qual pode ser aplicada (W3C, 2011a).
A EARL no deve ser utilizada como um vocabulrio compreensivo para descrever
procedimentos de teste, critrios de teste ou requisitos de teste, mas sim,
preferencialmente, para descrever resultados de teste. Um dos principais objetivos da
EARL ser um mtodo de interoperabilidade de dados de armazenamento de avaliao.
Por isso, um requisito importante que ela seja simples o suficiente para ser aplicada com
apenas um entendimento claro do modelo completo.
54
Uma definio mais precisa para esta linguagem, conforme apresentada pelo W3C
(2013a): a EARL um framework baseado em Resource Description Framework (RDF)
para gravao, transmisso e processamento de dados sobre as avaliaes manual e
automtica de recursos. O objetivo do framework fornecer formatos de avaliao e
descries genricas que possam ser utilizadas em ferramentas genricas de avaliao e de
relatrios.
O Grupo de Trabalho Evaluation and Repair Tools Working Group (ERT WG) 17
escolheu RDF, padro do W3C para metadados, como o mtodo de gravao das
avaliaes EARL e, como tal, criou uma normativa RDF Schema da linguagem. Uma das
razes para sua escolha no ser limitada quanto a eXtensible Markup Language (XML).
A ordem e estrutura do cdigo no so fixas e a linguagem possibilita mesclar elementos
com outros vocabulrios ou aumentar o vocabulrio da EARL.
A EARL oferece flexibilidade para descrever os diferentes tipos de afirmaes,
como as realizadas pelas ferramentas automatizadas de testes, por avaliadores humanos, ou
os feitos de ensaio sobre os casos de teste genrico ou especfico.
ABOU-ZAHRA (2004) expe alguns casos de uso para a EARL, os quais so:
1. Combinar relatrios:
Ferramentas de avaliao de acessibilidade Web variam muito em sua
capacidade para testar pontos de verificao das WCAG. A EARL fornece
um formato de dados normalizado que permite resultados do teste de
avaliao totalmente automatizados, utilizando ferramentas semiautomticas
ou manuais, que podem ser coletados em um nico repositrio. Isso permite
que revisores possam se integrar facilmente em diversos instrumentos de
avaliao do processo de reviso e maximizar o nmero de validaes que
so avaliadas com o auxlio de ferramentas.
2. Comparar resultados de teste:
Permite que os resultados de testes, oferecidos por diferentes instrumentos
de avaliao, possam ser comparados uns contra os outros. A partir de
ferramentas para comparao, o revisor pode preferir resultados de
17
http://www.w3.org/WAI/ER/
55
aplicaes especficas para determinadas diretrizes. Essas ferramentas

tambm colaboram no sentido de minimizar as taxas de falsos negativos
(no identificao de erros existentes) e falsos positivos (identificao
incorreta).
3. Ferramentas de avaliao comparativas:
Considerando que os resultados dos testes so representados em um formato
uniforme em EARL, esses podem ser comparados a um conjunto de
resultados conhecidos como corretos.
4. Minerao de dados:
O formato padronizado incentiva a criao de ferramentas de processamento
de dados para analisar, classificar, priorizar ou inferir os resultados dos
testes de acordo com as diferentes polticas.
5. Relatrios:
Os resultados dos testes podem conter informaes completas para
diferentes utilizadores finais. A estrutura bem definida de EARL permite
exibies personalizadas de dados, a partir do mesmo conjunto.
6. Integrao com ferramentas de autoria:
Alm de gerar relatrios com os resultados dos testes, as ferramentas de
autoria poderiam utilizar a propriedade de legibilidade por mquina da
EARL e contribuir com os desenvolvedores, para encontrar e corrigir erros a
partir de mensagens adequadas.
7. Interao com Web Browsers:
Ferramentas de avaliao de acessibilidade podem avaliar contedos e
fornecer resultados detalhados, a partir do browser, e esse, por sua vez,
compara as preferncias do usurio aos resultados de acessibilidade e
readaptam o contedo de acordo.
8. Integrao em Mquinas de busca:
Mquinas de busca podem fazer uso de relatrios EARL para responder as
solicitaes do usurio de acordo com suas preferncias, similar aos
navegadores Web.
56
Outros usos: adicionalmente aos usos anteriormente descritos, com a

EARL possvel contrastar avaliadores e ferramentas, avaliar o progresso
com o tempo e encontrar o site mais acessvel. Espera-se, assim, que a
linguagem EARL possa ser a base para outros vocabulrios.
Atualmente, a EARL est em fase de desenvolvimento, porm em junho de 2011
houve a ltima chamada para a reviso em estado Draft. Desde 2001 ela suficiente para
expressar 95% das avaliaes feitas pelas ferramentas semiautomticas (W3C, 2011a).
Na sequncia, descrita a estrutura da sintaxe utilizada pela linguagem, com
exemplos, desenvolvidos nesta dissertao, como resultados para facilitar a compreenso.
3.6.1 Elementos da linguagem EARL
Um relatrio em EARL dispe de um grupo de tags para identificar a ferramenta (Tool), a
pessoa avaliadora (Person), o contedo avaliado (WebContent) e uma srie de declaraes
(Assertor) que contm o resultado de uma avaliao. Na Figura 8 apresentado um caso de
teste que respeita o critrio meramente ilustrativo testcase. Este teste foi avaliado
manualmente, ou seja, por inspeo do usurio avaliador, pois o modo da avaliao
(moderdf) est atribudo como manual.
Figura 8: Exemplo de Assertion
Conforme apresentado na Figura 8, o assertor pode incluir informao sobre quem

ou o que executa o teste (avaliadores humanos, ferramentas de anlise de acessibilidade
automticas, ou combinao desses).
O test subject pode incluir contedo Web, como pginas Web, vdeos e applets;
software, como ferramentas de autoria e usurios ou outras aplicaes sendo testadas. O
contedo da Figura 9 corresponde a um exemplo de subject utilizando Uniform Resource
Identifier (URI) e a Figura 10, o contedo especificado.
Figura 9: Avaliao com URI
57
Figura 10: Exemplo de Subject
O test criterion (critrio de teste) pode ser uma especificao, um conjunto de

provas automticas, uma validao de linguagem (HTML, CSS), os pontos de validao
WCAG, etc. A EARL supe que cada caso de referncia tem um URI, como exibido na
Figura 11.
Figura 11: URI dos critrios de teste
O test result indica o resultado do teste, que pode incluir informaes contextuais,
tais como mensagens de erro ou locais relevantes dentro do tema do ensaio. Como
resultado da validao, tem-se:
Pass - Passou;
Fail - Falhou;
NotTested - No testado;
CannotTell - Indefinido;
NotApplicable - No aplicvel.
A seguir, na Figura 12, apresentado um teste em que a ferramenta no pode
concluir com exatido se o critrio ou no respeitado, atribuindo CannotTell ao
resultado, ou seja, o teste indefinido.
Figura 12: Exemplo de validao indefinida
O mode, maneira de decidir o resultado, indica como se chegou ao resultado:

inicialmente o modo automtico, j que os resultados so obtidos pela ferramenta.
Manual: uma pessoa decide;
58
Automtico: uma ferramenta decide;

Por inferncia - heurstica: um resultado obtido por inferncia a partir de
outros resultados.
Na Figura 13 tem-se um exemplo de linha de cdigo na EARL representando o
resultado decidido automaticamente.
Figura 13: Exemplo do modo automtico
O comentrio (message) til como campo de texto livre para destacar impresses
interessantes ou outra informao desejada pelo autor do relatrio. Na Figura 14
apresentado um exemplo de um comentrio livre utilizando a opo message.
Figura 14: Exemplo de comentrio
Nas opes de configurao, para identificar quem fez avaliaes manuais, so

dispostos campos para introduzir o nome da pessoa avaliadora e seu endereo de e-mail.
Para ilustrar a utilizao das estruturas explicadas individualmente, segue o modelo
completo em EARL na Figura 15.
Figura 15: Exemplo completo
Verifica-se que a pgina http://www.w3.org/ foi testada pela ferramenta

http://validator.w3.org/, a partir do critrio chamado transitional, utilizado para ilustrar a
explicao, e o resultado foi positivo (pass), ou seja, o contedo obedece ao critrio
verificado.
59

As avaliaes, mesmo que conduzidas por ferramentas semiautomticas, requerem grande
esforo humano devido limitao existente no mbito computacional. Para tanto, existem
inmeros mtodos que podem ser utilizados e inmeras recomendaes a se seguir, tanto
para acessibilidade, quanto para usabilidade.
No prximo Captulo apresentado o Ambiente para Anlise de Avaliaes de
Acessibilidade e Usabilidade na Web (A4U) desenvolvido nesta dissertao, seguido pelo
seu planejamento e esforos iniciais, bem como os resultados obtidos e o estudo de caso
executado, a fim de validar o ambiente.
CAPTULO
4
4. AMBIENTE PARA ANLISE
DE AVALIAES DE
ACESSIBILIDADE E
USABILIDADE NA WEB (A4U)

Os estudos sobre os fundamentos tericos relativos aos conceitos de acessibilidade,
usabilidade, bem como os meios para avaliao deles em aplicaes e pginas web
possibilitaram uma viso da necessidade do ambiente proposto neste mestrado. Assim, foi
elaborado o planejamento do ambiente, que visa contribuir com o desenvolvedor e com o
especialista em acessibilidade e/ou usabilidade para produzirem relatrios concretos sobre
as avaliaes, bem como para criarem contedo cada vez mais voltado conformidade das
recomendaes em prol da acessibilidade universal.
Neste Captulo tambm descrita a ferramenta AccessibilityUtil, projetada durante o
doutorado de BITTAR (2013). O desenvolvimento dessa ferramenta, em parte, tambm foi
realizado como exerccio de boas prticas sobre implementao dos requisitos de
acessibilidade e, com essa colaborao foi possvel o compartilhamento de bons resultados
e obteno de experincias para o desenvolvimento do A4U. Neste captulo ainda
apresentado o estudo da relao dos critrios de sucesso das WCAG 2.0 com os conjuntos
61
CAPTULO 4. AMBIENTE PARA AVALIAO DE ACESSIBILIDADE E
62
de deficincias, alm do planejamento do ambiente e os resultados obtidos com seu

desenvolvimento. Finalmente, discutido um estudo de caso aplicado no ambiente A4U,
junto aos desenvolvedores e pesquisadores da rea de Interao Humano-Computao
(IHC).
4.2 Projeto inicial: AccessibilityUtil

Com base no conceito de Design Rationale, a AccessibilityUtil possibilita a
insero de experincias dos usurios, a partir de avaliaes, relatos de uso, tcnicas e
decises de projeto, mediante apresentao e insero de artefatos visveis a todos, a fim de
se obter a completude dos critrios de acessibilidade envolvendo um esforo humano
colaborativo.
A base de dados modelada possibilitou a insero de todos os princpios das
diretrizes, com suas respectivas descries, alm dos critrios de sucesso, conforme
documentado nas WCAG 2.0.
Optou-se pelo cadastro de artefatos Web para tornar o sistema flexvel, ao invs de
apoiar apenas padres, por exemplo. So considerados artefatos, neste contexto, quaisquer
elementos presentes na construo de aplicaes Web, para os quais haja alguma
considerao sobre acessibilidade. Tambm comporta os tipos de artefatos, com nome e
descrio, as avaliaes e seus respectivos dados, como a data de cadastro, os comentrios,
o nvel de entendimento, a dificuldade de cada experincia relatada e as recomendaes.
A ferramenta foi criada para suportar inicialmente dois idiomas, o portugus e o
ingls, com o objetivo de ser internacional e explorar tambm o conhecimento de
pesquisadores do exterior.
A criao de conta do usurio est condicionada ao preenchimento de sua
experincia em desenvolvimento Web, dentre as opes:
1. Nenhuma - s uso Web para visualizar pginas como usurio;
2. Baixa - consigo desenvolver algo de forma simples;
3. Moderada - tenho alguma experincia no desenvolvimento e;
4. Avanada - tenho experincia (especialista).
CAPTULO 4. AMBIENTE PARA ANLISE DE AVALIAES DE

ACESSIBILIDADE E USABILIDADE WEB
63
O formulrio de cadastro do artefato pode ser visualizado na Figura 16, no qual so

requeridas informaes como o tipo do artefato previamente cadastrado pelo
administrador, o nome, sua descrio, as imagens associadas e as referncias literrias. O
participante pode tambm realizar avaliaes e comentrios sobre as avaliaes j
realizadas.
Figura 16: Cadastro de artefato
Na Figura 17 apresentada a visualizao de um artefato com uma imagem

associada e o formulrio para avaliao. A avaliao feita selecionando a diretriz de
acessibilidade e posteriormente escolhendo os critrios de sucesso habilitados a partir da
seleo da diretriz. Outros dois campos a serem preenchidos so os comentrios gerais de
acessibilidade e a pontuao da dificuldade em se desenvolver com acessibilidade.
Observa-se que esses campos proporcionam caractersticas de acessibilidade
essenciais ferramenta, durante seu uso.
64

Figura 17: Visualizao de artefato
importante destacar que a interface foi planejada para apoiar aqueles que no tm
conhecimento em profundidade sobre as WCAG 2.0, exibindo o texto relacionado a uma
determinada diretriz, quando o usurio permanece com o foco ou o ponteiro do mouse
alguns instantes em cada opo, via atributo title. Caso fosse um requisito conhecer as
diretrizes para fazer a avaliao, isso poderia se constituir em uma barreira para os
desenvolvedores.
No momento, a ferramenta conta com 176 usurios cadastrados, 93 artefatos
inseridos, 614 avaliaes e 215 comentrios 18. Com destaque para o artigo publicado:
AccessibilityUtil: a tool for sharing experiences about accessibility of web artifacts no
evento ACM Special Interest Group on Design of Communication Conference 2011
18
Dados obtidos na data de 19 de fevereiro de 2014.

65
(SIGDOC 2011), que propiciou uma divulgao no cenrio internacional da ferramenta.

Ainda, foi premiada no Todos@Web, Prmio Nacional de Acessibilidade na Web, com a
segunda colocao, na categoria Tecnologias assistivas / Aplicativos, em 2012.
Com o objetivo de classificar os critrios de sucesso das WCAG 2.0 utilizados na
AccessibilityUtil e inseri-los no A4U, foi desenvolvida uma anlise para associ-los aos
conjuntos de deficincia de Viso, Audio, Motora, Cognitiva e Convulsiva. Esta anlise e
seus resultados so apresentados na prxima seo.
4.3 Diretrizes WCAG 2.0 e os conjuntos de deficincias

Existem inmeras deficincias que prejudicam a experincia do usurio no uso da Web,
incluindo visual, auditiva, fsica, de fala, cognitiva de linguagem, de aprendizado e
neurolgicas (W3C, 2008). No estudo aqui apresentado, foi percorrida a lista de critrios
de sucesso das WCAG 2.0 e sugerida uma categoria dentre as principais: Visual, Auditiva,
Cognitiva, Motora e Convulsiva (WebAIM, 2013b).
De acordo com o Decreto 3.298, de 20/12/1999, pessoa com deficincia aquela
que apresenta, em carter permanente, perda ou anormalidade de uma estrutura ou funo
psicolgica, fisiolgica ou anatmica que gere incapacidade para o desempenho de
atividade, dentro do padro considerado normal para o ser humano.
Nas sees a seguir sero descritos os conjuntos de deficincias e os critrios de
sucesso das WCAG 2.0 relacionados. Posteriormente, na Seo 5.3.6 apresentado e
discutido o estudo do professor Giorgio Brajnik, da University of Udine, Itlia, que
tambm relacionou os conjuntos de deficincias com os critrios de sucesso.
4.3.1 Deficincia visual
A viso um dos sentidos que ajudam o ser humano a compreender o mundo a sua volta,
colaborando na compreenso e concretizao de objetos, conceitos e ideias. A
comunicao por meio de imagens e elementos visuais relacionados denominada
"comunicao visual". Os humanos empregam-na desde seu nascimento e predadora de
todas as linguagens escritas.
66

Deficincia visual a perda ou reduo da capacidade visual em ambos os olhos,

com carcter definitivo, no sendo possvel melhorar ou corrigir com o uso de lentes ou
tratamentos clnicos e cirrgicos. A legislao brasileira considera uma pessoa com
deficincia visual, quando ela apresenta acuidade visual igual ou menor que 20/200 no
melhor olho, aps a melhor correo, ou campo visual inferior a 20 (tabela de Snellen), ou
ainda a ocorrncia simultnea de ambas as situaes (art. 3, I e II, combinado com art. 4,
III).
Dentre os usurios com deficincias visuais, pode-se ainda distinguir os cegos e os
de viso subnormal. As possveis causas para sua formao podem ser congnitas:
Amaurose Congnita de Leber, malformaes oculares, glaucoma congnito, catarata
congnita; ou adquiridas: traumas oculares, catarata, degenerao senil de mcula,
glaucoma, alteraes relacionadas hipertenso arterial ou diabetes (GIL, 2000).
Considerando a definio de deficincia visual, percorrendo os critrios de sucesso,
lendo os objetivos e os benefcios na utilizao de cada um, foi possvel incluir os critrios
de sucesso do Quadro 8 como benficos para o conjunto de deficincias visuais.
Quadro 8: Critrios de sucesso para conjunto de deficincias visuais
1.1.1
1.2.1
1.2.2
1.2.3
1.2.5
1.2.7
1.2.8
1.3.1
1.3.2
1.3.3
1.4.1
1.4.3
1.4.4
1.4.5
1.4.6
1.4.9
2.1.1
2.1.2
2.1.3
Contedo No Textual
Apenas udio e apenas Vdeo (Pr-gravado)
Legendas (Pr-gravadas)
Audiodescrio ou Mdia alternativa (Pr-gravada)
Audiodescrio (Pr-gravada)
Audiodescrio Estendida (Pr-gravada)
Mdia Alternativa (Pr-gravada)
Informaes e Relaes
Sequncia com Significado
Caractersticas Sensoriais
Utilizao da Cor
Contraste (Mnimo)
Redimensionar texto
Imagens de Texto
Contraste (Melhorado)
Imagens de Texto (Sem Exceo)
Teclado
Sem Bloqueio do Teclado
Teclado (Sem Exceo)

2.2.1
2.2.2
2.2.3
2.2.4
2.4.1
2.4.2
2.4.3
2.4.4
2.4.5
2.4.6
2.4.7
2.4.9
2.4.10
3.1.1
3.1.2
3.1.3
3.1.4
3.1.6
3.2.1
3.2.2
3.2.3
3.2.5
3.3.1
3.3.2
3.3.3
3.3.4
3.3.6
4.1.1
4.1.2
67
Ajustvel por Temporizao

Pausar, Parar, Ocultar
Sem Temporizao
Interrupes
Ignorar Blocos
Pgina com Ttulo
Ordem do Foco
Finalidade do Link (Em Contexto)
Vrias Formas
Cabealhos e Etiquetas
Foco Visvel
Finalidade do Link (Apenas o Link)
Cabealhos da sesso
Linguagem da Pgina
Linguagem das Partes
Palavras Incomuns
Abreviaturas
Pronncia
Em Foco
Em Entrada
Navegao Consistente
Alterao mediante solicitao
Identificao do Erro
Etiquetas ou Instrues
Sugesto de Erro
Preveno de Erros (Legal, Financeiro, Dados)
Preveno de Erros (Todos)
Anlise
Nome, Funo, Valor
4.3.2 Deficincia auditiva

A deficincia auditiva constitui a diminuio na capacidade de escutar sons. Segundo
muitos autores, o desenvolvimento do sistema auditivo inicia por volta da vigsima semana
de gestao at o primeiro ano de vida (REDONDO, 1990).
REDONDO e CARVALHO (2000) subdividem o ouvido em trs partes e explicam
suas funes:
68

Ouvido externo: composto pelo pavilho auricular e pelo canal auditivo,

que a porta de entrada do som. Neste canal, certas glndulas produzem cera, para
proteger o ouvido.
Ouvido mdio: formado pela membrana timpnica e por trs ossos
minsculos, que so chamados de martelo, bigorna e estribo, pois so parecidos
com estes objetos. Em contato com a membrana timpnica e o ouvido interno, eles
transmitem as vibraes sonoras que entram no ouvido externo e devem ser
conduzidas at o ouvido interno.
Ouvido interno: nele est a cclea, em forma de caracol, que a parte mais
importante do ouvido, pois responsvel pela percepo auditiva. Os sons
recebidos na cclea so transformados em impulsos eltricos que caminham at o
crebro, onde so entendidos pela pessoa.
Qualquer dano a uma dessas partes pode resultar na perda de acuidade auditiva. No
Quadro 9, obtido de REDONDO e CARVALHO (2000), so identificadas as intensidades
que representam os limiares da audio.
Quadro 9: Limiares tonais, quadro obtido de REDONDO e CARVALHO (2000)
Limiares tonais *
Audio normal
0 a 15 dB
Deficincia auditiva suave
16 a 25 dB
Deficincia auditiva leve
26 a 40 dB
Deficincia auditiva moderada
41 a 55 dB
Deficincia auditiva moderadamente severa
56 a 70 dB
Deficincia auditiva severa
71 a 90 dB
Deficincia auditiva profunda
acima de 91 dB
* Mdia dos limiares tonais em 500, 1.000 e 2.000 Hz.

69
Considerando a definio de deficincia auditiva, percorrendo os critrios de

sucesso, lendo os objetivos e os benefcios na utilizao de cada um, foi possvel incluir os
critrios de sucesso do Quadro 10 como benficos para conjuntos de deficincias auditivas.
Quadro 10: Critrios de sucesso para conjunto de deficincias auditivas
1.1.1
1.2.1
1.2.2
1.2.3
1.2.4
1.2.5
1.2.6
1.2.7
1.2.8
1.2.9
1.3.1
1.4.7
2.2.1
2.2.3
2.2.5
3.3.4
3.3.6
4.1.1
Contedo No Textual
Legendas (Ao Vivo)
Linguagem de sinais (Pr-gravada)
Apenas udio (Ao vivo)
Informaes e Relaes
Som Baixo ou Sem Som de Fundo
Sem Temporizao
Nova autenticao
Anlise
4.3.3 Deficincia cognitiva

Uma pessoa com deficincia cognitiva est sujeita a ter maior dificuldade ao
executar algumas tarefas mentais do que a pessoa sem essa deficincia.
Existem inmeras variantes de deficincia cognitiva. A maioria tem como base
alguma disfuno na biologia ou fisiologia do indivduo. A ligao entre uma pessoa com
relao biolgica e os processos mentais mais evidente no caso de traumatismos crnio
enceflicos e as doenas genticas, mas at mesmo as mais sutis deficincias cognitivas
tem, frequentemente, uma base na estrutura qumica do crebro (WebAIM, 2013a).
Uma pessoa com deficincia cognitiva profunda vai precisar de ajuda em quase
todos os aspectos da vida diria, enquanto existem pessoas com to pequena disfuno, que
a influncia na aprendizagem diminuta, a ponto de nunca serem diagnosticadas.
70
H uma grande quantidade de contedo da Web que no pode ser acessvel s

pessoas com deficincias cognitivas profundas, independente do esforo do desenvolvedor
(WebAIM, 2013a). Alguns contedos podem ser demasiados complexos para determinado
pblico. No entanto, ainda existem aes para minimizar as questes de acessibilidade para
as pessoas com deficincias cognitivas menos graves.
Considerando a definio de deficincia cognitiva, percorrendo os critrios de
critrios de sucesso do Quadro 11 como benficos para conjuntos de deficincias
cognitivas.
Quadro 11: Critrios de sucesso para conjunto de deficincias cognitivas
1.1.1
1.2.1
1.2.2
1.2.3
1.2.4
1.2.5
1.2.7
1.2.8
1.2.9
1.3.1
1.3.2
1.4.2
1.4.5
1.4.8
1.4.9
2.2.1
2.2.2
2.2.3
2.2.4
2.2.5
2.4.1
2.4.2
2.4.4
2.4.5
2.4.6
2.4.7
2.4.8
Contedo No Textual
Legendas (Ao Vivo)
Apenas udio (Ao vivo)
Informaes e Relaes
Controle de udio
Imagens de Texto
Apresentao Visual
Imagens de Texto (Sem Exceo)
Sem Temporizao
Interrupes
Nova autenticao
Ignorar Blocos
Pgina com Ttulo
Vrias Formas
Cabealhos e Rtulos
Foco Visvel
Localizao

2.4.9
2.4.10
3.1.1
3.1.2
3.1.3
3.1.4
3.1.5
3.1.6
3.2.1
3.2.2
3.2.3
3.2.4
3.2.5
3.3.1
3.3.2
3.3.3
3.3.4
3.3.5
3.3.6
71

Cabealhos da sesso
Linguagem da Pgina
Linguagem das Partes
Palavras Incomuns
Abreviaturas
Nvel de Leitura
Pronncia
Em Foco
Em Entrada
Navegao Consistente
Identificao Consistente
Identificao do Erro
Sugesto de Erro
Ajuda
4.3.4 Deficincia motora

Diferentes condies motoras que acometem as pessoas comprometendo a mobilidade, a
coordenao motora geral e da fala, em consequncia de leses neurolgicas,
neuromusculares, ortopdicas, ou ms formaes congnitas ou adquiridas (MEC, 2006).
De acordo com o Decreto n 5.296 de 2 de dezembro de 2004, deficincia motora
a alterao completa ou parcial de um ou mais segmentos do corpo humano, acarretando o
comprometimento da funo fsica, apresentando-se sob a forma de paraplegia,
paraparesia, monoplegia, monoparesia, tetraplegia, tetraparesia, triplegia, triparesia,
hemiplegia, hemiparesia, ostomia, amputao ou ausncia de membro, paralisia cerebral,
nanismo, membros com deformidade congnita ou adquirida, exceto as deformidades
estticas e as que no produzam dificuldades para o desempenho de funes.
Considerando a definio de deficincia motora, percorrendo os critrios de
critrios de sucesso do Quadro 12 como benficos para conjuntos de deficincias motoras.
72
Quadro 12: Critrios de sucesso para conjunto de deficincias motoras
1.1.1
1.3.1
2.1.1
2.1.2
2.1.3
2.2.1
2.2.3
2.2.4
2.4.1
2.4.2
2.4.3
2.4.4
2.4.6
2.4.7
2.4.9
2.4.10
3.2.1
3.2.5
3.3.3
3.3.4
3.3.5
3.3.6
Contedo No Textual
Informaes e Relaes
Teclado
Teclado (Sem Exceo)
Sem Temporizao
Interrupes
Ignorar Blocos
Pgina com Ttulo
Ordem do Foco
Cabealhos e Etiquetas
Foco Visvel
Cabealhos da sesso
Em Foco
Sugesto de Erro
Ajuda
4.3.5 Transtornos convulsivos

Algumas pessoas so suscetveis a convulses causadas devido exposio visual de luzes
estroboscpicas, luzes tremulantes, ou efeitos de pisca pisca. Esta disfuno muitas
vezes chamada de convulso fotoepilptica ou fotoepilepsia porque causada devido aos
pulsos de luz interagindo com os olhos, neurnios e com o sistema nervoso central
(WebAIM, 2013c).
Considerando a definio de transtorno convulsivo, percorrendo os critrios de
critrios de sucesso do Quadro 13 como benficos para conjuntos de transtornos
convulsivos.

73
Quadro 13: Critrios de sucesso para conjunto de transtornos convulsivos
2.2.2
2.3.1
2.3.2

Trs Flashes ou Abaixo do Limite
Trs Flashes
4.3.6 Estudo relacionado e discusso

BRAJNIK (2009) listou as possveis barreiras de acessibilidade e props uma avaliao
heurstica baseada nelas. Parte do trabalho que ele teve foi justamente associar os critrios
de sucesso das WCAG (1.0 e 2.0) a essas barreiras, possibilitando um conjunto para
contraste dos resultados obtidos na seleo feita pelo autor desta dissertao.
No estudo, Brajnik divide a gama de deficincias em conjuntos mais especficos:
cegos, pessoas com baixa viso, com daltonismo, com deficincias motoras, surdos,
pessoas com problemas cognitivos, e estende para pessoas independente de deficincia,
que tenham o JavaScript desabilitado em seu navegador, e avaliaes considerando
motores de busca.
Para cada uma dessas categorias, Brajnik lista possveis barreiras a serem avaliadas
quanto ao impacto, persistncia e gravidade, de maneira a construir uma checklist baseada
nas barreiras percebidas por cada conjunto de deficincia.
Considerando a diviso especfica que Brajnik adotou, e generalizando cegueira,
pessoas com baixa viso e daltonismo como problemas relacionados viso, chegou-se a
categorizao feita nesta dissertao e pde-se realizar uma comparao, no sentido de
confirmar a seleo ou identificar casos contraditrios que precisaram ser analisados com
mais cuidado, a fim de identificar razes de contraste.
A comparao dos estudos resultou em quatro divergncias que merecem destaque
para uma discusso mais aprofundada sobre o que as WCAG 2.0 objetivaram com estes
critrios de sucesso, a fim de atribu-los ou no s categorias aqui dispostas.
1.2.4 Legendas (ao vivo)
Descrio disponibilizada pelo W3C: so fornecidas legendas para a totalidade
do udio ao vivo existente num contedo em mdia sincronizada (Nvel AA). Como
benefcios, o W3C especifica que este critrio colabora com pessoas com surdez ou que
74

tenham perda de audio no sentido de possibilitar que elas possam acessar a informao
do udio em contedo textual (legenda) sincronizado.
Brajnik associa este critrio aos problemas de viso, mais especificamente aos
usurios cegos, alm de apontar para problemas auditivos. Aqui, foi descartada a
possibilidade de o critrio corresponder a melhorias aos usurios cegos, tendo em vista que
no se trata de uma descrio de cenrio pr-gravada, que possibilitaria a compreenso da
cena por pessoas com deficincias visuais, mas sim uma analogia textual do udio, em
tempo de execuo. Entretanto, a outra proposio vlida, conforme o W3C mesmo
afirma, a legenda contribui para que pessoas com deficincia auditiva tenham o
entendimento da mdia. Pode-se afirmar, tambm, que colabora com pessoas com
diferentes problemas cognitivos, pois um auxiliar apresentao em udio.
1.2.5 Audiodescrio (Pr-gravada)
Descrio disponibilizada pelo W3C: fornecida audiodescrio para a totalidade
do vdeo pr-gravado existente num contedo em mdia sincronizada (Nvel AA). Como
benefcios, o W3C especifica que este critrio colabora com pessoas cegas ou com baixa
viso, como tambm com pessoas que tenham limitaes cognitivas que apresentam
dificuldade de interpretar visualmente o que est ocorrendo, sendo beneficiados pela
descrio de udio da informao visual.
Este critrio atribudo por Brajnik ao conjunto de deficincias auditivas, visuais e
cognitivas. Em primeiro momento a associao com deficincias auditivas foi descartada,
porm notou-se a pr-disposio errada que se teve, pois ao se destacar problemas
auditivos, habitual que se associe, de maneira direta, com a surdez completa,
desconsiderando a baixa audio, que pode se beneficiar da audiodescrio, j que essa
corresponde descrio dos fatos de maneira a indicar novos meios de entendimento a
pessoas com deficincias que no possam compreender por completo o udio. As demais
indicaes foram correspondentes.
1.2.7 Audiodescrio Estendida (Pr-gravada)
Descrio disponibilizada pelo W3C: quando as pausas no udio do primeiro plano
forem insuficientes para permitir que as audiodescries transmitam o sentido do vdeo,

75
fornecida uma audiodescrio estendida para a totalidade do vdeo pr-gravado existente

num contedo em mdia sincronizada (Nvel AAA). Como benefcios, o W3C especifica
que este critrio colabora com pessoas cegas e com baixa viso, que no possam ver a tela,
alm das pessoas com limitaes cognitivas, que tenham dificuldade de interpretao
visual do que est ocorrendo, sendo beneficiados pela descrio de udio da informao
visual.
Alm de associar este critrio a problemas visuais e cognitivos, Brajnik tambm
interpreta que o critrio colabora com pessoas que tenham deficincia auditiva. Em
primeiro momento, como ocorreu no critrio de sucesso 1.2.5, foi considerado o problema
absoluto de audio, que no se beneficia de qualquer udio, entretanto o equvoco foi
observado e a proposio do Brajnik foi correspondida, pois a audiodescrio contribui
para a percepo de contedo que tenha sua compreenso dificultada pela baixa audio.
1.2.9 Apenas udio (ao vivo)
Descrio disponibilizada pelo W3C: fornecida uma alternativa para mdia
baseada no tempo que apresenta informaes equivalentes para o contedo composto
por apenas udio ao vivo (Nvel AAA). O W3C no descreve os benefcios deste critrio,
porm exemplifica-o, contribuindo com o entendimento.
Brajinik interpreta que este critrio colabora com pessoas com deficincias visuais,
assim como auditivos e com limitaes cognitivas. Este critrio de sucesso assemelha-se
muito com o 1.2.4, pois corresponde disponibilizao de contedo alternativo textual
(legenda) mdia de udio e, por conseguinte verificada a mesma contradio, pois
pessoas com deficincia visual no so beneficiadas pelo contedo transcrito em tempo de
execuo, pois o entendimento do udio suficiente.
Feita a comparao com o estudo realizado por Brajnik, com a catalogao de
critrios de sucesso por conjuntos de deficincia, possvel identificar que as WCAG 2.0
priorizam problemas visuais em sua composio, ou que existem mais barreiras a serem
cobertas por esta categoria, seguidos de problemas cognitivos, motores, auditivos e por fim
convulsivos, conforme se pode observar pelo grfico apresentado na Figura 18. As
barreiras visuais se mostram mais numerosas, pois a Web composta, provavelmente, em
sua maioria, por contedo visual.
76

Figura 18: Grfico de distribuio de problemas cobertos pelas WCAG 2.0
Na prxima seo, o projeto do A4U descrito em detalhes, a partir do

planejamento e tomadas de decises, com o intuito de tornar a ferramenta acessvel e
produzir uma experincia de fcil utilizao, para a contribuio da anlise e avaliao de
contedos em benefcio da usabilidade e da acessibilidade Web.
4.4 Projeto do ambiente

O planejamento inicial considerou a utilizao de conceitos de Engenharia de
Requisitos, para identificar as necessidades dos elementos que deveriam ser desenvolvidos
na ferramenta (SOMMERVILLE e SAWYER, 1997). Em seguida, foi feita a anlise para
compreenso e inferncia dos dados, iniciando a conduo do projeto, a partir da proposta
da arquitetura e o modelo conceitual dos dados.
Os requisitos sugeridos foram convertidos em casos de uso da ferramenta, que so
exibidos pelo diagrama da Figura 19.

77
Figura 19: Diagrama de casos de uso do A4U
Um requisito no funcional que permeou o desenvolvimento da ferramenta foi a

necessidade em se buscar a usabilidade e a acessibilidade em seu contedo, a partir de
tomadas de decises e a implantao de artefatos que buscassem atender estas
expectativas.
78

Considerando a reusabilidade de cdigo e a separao de conceitos, com relao ao

que visual do que mediador da entrada para processamento da informao e, do que
armazenamento de dados, optou-se pela utilizao do modelo de arquitetura de software
Model View Controller (MVC), conforme apresentado na Figura 20.
Figura 20: Arquitetura da A4U
A camada de apresentao foi desenvolvida a partir das linguagens HTML, CSS e

JavaScript, com frameworks de apoio para CSS, o YAML e para JavaScript, o jQuery. O
YAML contribui na construo de sites responsivos, ou seja, que adequam seu contedo de
acordo com as dimenses da tela do dispositivo. Em usabilidade, nos dias atuais, em que o
mercado de smartphones j supera o de computadores pessoais, tornar a aplicao
responsiva, de maneira a aumentar a experincia e facilidade de acesso por diversos
dispositivos, uma necessidade. Outra questo que o YAML se prope contribuir com a
acessibilidade, fazendo uso de artefatos implementados j acessveis.

79
A camada lgica, ou de controle, utiliza a linguagem de programao PHP, muito

difundida entre desenvolvedores Web e de fcil compreenso. Por fim, a camada de
persistncia fica a cargo do Sistema Gerenciador de Banco de Dados (SGBD) MySQL.
Softwares gratuitos foram utilizados para o desenvolvimento do ambiente de
avaliao proposto. O Codelobster PHP Edition 3.7, como ferramenta de autoria PHP e o
VertrigoServ 2.23, pacote de instalao PHP, Apache e MySQL. No desenvolvimento, as
linguagens utilizadas foram: CSS e o Framework CSS YAML, HTML, JavaScript e o
Framework JavaScript jQuery, PHP, EARL e como Sistema Gerenciador de Banco de
Dados, o MySQL. Ainda, foi incorporada a biblioteca Gettext, que uma biblioteca no
Projeto GNU que prope a escrita de mltiplos idiomas em softwares, com o apoio da
ferramenta Poedit, utilizada em processos de internacionalizao de software para
simplificar operaes de traduo por meio do catlogo Gettext.
Considerando o objetivo de avaliar e analisar avaliaes de usabilidade e
acessibilidade, buscaram-se recomendaes no modelo checklist para avano em ambos os
conceitos, a fim de metrificar a anlise e torn-la mais objetiva, a ponto de usurios sem
experincia poderem utilizar o ambiente para aperfeioar suas aplicaes. Desta maneira,
as WCAG 2.0 foram escolhidas como conjunto de diretrizes de acessibilidade, por serem
um conjunto oficial do W3C e um dos documentos mais difundidos da rea. Em
usabilidade, por sua vez, a HHS foi atribuda, pois pouco se conhece de diretrizes objetivas
em usabilidade e a HHS se mostrou muito eficiente nos critrios.
Aps a escolha dos conjuntos de recomendaes, foi possvel recuperar o conjunto
de dados referentes s WCAG 2.0, a partir da ferramenta AccessibilityUtil, que j tinha
mapeada as diretrizes e inseridas em seu banco de dados. A HHS, entretanto no pde ser
recuperada to facilmente. Assim, foi desenvolvido um Web crawler para fazer a leitura do
site da HHS e recuperar o cdigo das diretrizes, seus ttulos, suas descries, os ndices de
fora de evidncia e os de importncia relativa, alm dos captulos e suas descries. Com
os dados, criou-se o modelo relacional do ambiente, Figura 21, e aps instanciar o banco,
os dados foram atribudos.
80

Figura 21: Diagrama relacional do A4U
A modelagem foi criada j enfatizando a internacionalizao da ferramenta, assim

os campos das WCAG e HHS consideraram o ingls e o portugus, porm a HHS no
disponibiliza seu contedo em portugus. Portanto, um esforo adicional na traduo foi
requerido. O autor desta dissertao traduziu todo o contedo da HHS para portugus a fim
de disponibilizar os dois idiomas na ferramenta.

81
O Diagrama Relacional do A4U, exibido na Figura 21, considera os pacotes de

tabelas das diretrizes WCAG 2.0, HHS, do AChecker, das avaliaes, dos artefatos e dos
usurios discriminados.
Tendo criada a base de dados, o servidor foi configurado para facilitar a
internacionalizao do contedo textual via cdigo, a partir da instalao do Gettext. Em
PHP, criada uma marcao nas strings e com o apoio da ferramenta Poedit, pode-se
recuperar todas as strings e traduz-las facilmente. Ao salvar o projeto, o Poedit gera o
arquivo de extenso .MO, que o arquivo de strings compilado, utilizado pela Gettext no
servidor.
O logo, apresentada na Figura 22, foi criado com base na corporao accessible
Applications Design and Development 19, com cones de elementos que indicam as
deficincias auditivas, motoras e visuais. O numeral 4 representa as quatro iniciais de
Ambiente, Anlise, Avaliao e Acessibilidade, entretanto ao mesmo tempo simboliza,
quando lido, a proposio for e o U, de usabilidade, pode simbolizar YOU, do
ingls, conduzindo a Accessibility for you.
Em relao s cores, foram escolhidas
aquelas que denotam a bandeira do Brasil, por ser uma ferramenta genuinamente brasileira.
Figura 22: Logo da ferramenta A4U
O objetivo do design foi ser simples, intuitivo e responsvel. Assim, o layout foi
construdo baseado em grids, a partir do YAML, para que a adequao ao contedo da tela
fosse perfeita. Dependendo do tamanho da tela, a grid se dispe dinamicamente,
otimizando a utilizao do espao disponibilizado horizontalmente e fazendo uso do
crescimento vertical.
19
http://www.accessible-eu.org/
82

A pgina inicial da ferramenta, que pode ser acessada pelo endereo

http://www.leandroagt.com.br/a4u/, exibida na Figura 23, ilustra a simplicidade, porm no
dispensa nenhuma funcionalidade requerida pela ferramenta. Nela possvel verificar a
barra de navegao e os formulrios de login e cadastro, todos sensveis tecla Tab e as
imagens significativas, ou seja, que no tm o papel bsico de composio de cenrio,
recebem a tag alt, com seu respectivo contedo textual descritivo.
Figura 23: Pgina inicial da ferramenta
Na Figura 24 apresentada a mesma pgina, porm na experincia de utilizao em

um dispositivo de tela menor.

83
Figura 24: Pgina inicial visualizada em um dispositivo com dimenses menores
Os formulrios foram programados com verificao de campos obrigatrios e os

erros foram dispostos em lista de elementos descritveis e clicveis, que conduzem ao
campo identificado com problema. Todos os rtulos foram associados ao campo de entrada
correspondente, respeitando uma das diretrizes de acessibilidade. Na Figura 25
apresentada a lista de problemas ao submeter o formulrio de login, sem preencher os
campos obrigatrios.
Figura 25: Tratamento de erros de formulrio
84

Outro elemento importante na conduo de acessibilidade so as mensagens de

erros claras, que proporcionam um feedback ao usurio, conduzindo-o a perceber os
resultados de suas aes no ambiente, seja de sucesso ou de erro. importante observar
que as caixas de mensagem limitam a rea de foco a elas, a fim de inibir a perda de
contexto na utilizao de leitores de contedo. Um exemplo de caixa de mensagem
exibido na Figura 26.
Figura 26: Exemplo de caixa de mensagem
Assim, como na AccessibilityUtil, o cadastro est condicionado informao da

expertise do usurio em desenvolvimento, para evitar vieses na anlise dos resultados, pois
incoerente avaliar a experincia de um usurio avanado, com um usurio que no
conhece o alicerce de Web, produzindo resultados e registrando experincias no
confiveis de usabilidade e acessibilidade, pois desconhece padres bsicos.
Finalizando o cadastro, o ambiente disponibiliza a funo de criao de um projeto
de avaliao e exibe uma mensagem informando que no existem avaliaes feitas at o
momento. A ferramenta salva todas as avaliaes, para caso o usurio queira continuar em
um momento posterior ou para consulta de histrico de avaliaes. A Figura 27
corresponde tela principal aps o login.
Figura 27: Tela principal aps login

85
A criao da avaliao, indicada pela Figura 28, possibilita a insero de dados em

dois idiomas, obrigando o preenchimento do idioma corrente da aplicao. A URL a ser
inserida, ser posteriormente avaliada pela ferramenta AChecker, embutida no ambiente,
produzindo alertas nos critrios de sucesso que apresentem incompatibilidades. Ainda na
criao da avaliao, possvel identificar o objeto a ser avaliado, seja uma pgina inteira
ou um artefato. Os artefatos, foram aproveitados do catlogo existente na AccessibilityUtil.
Figura 28: Tela de criao de projeto
Ao criar o projeto, a ferramenta indaga o usurio se ele quer abrir a URL avaliada
em outra aba do navegador, a fim de facilitar a validao da avaliao e conduzir novas
anlises de acordo com as recomendaes disponibilizadas.
O ambiente dispe as opes de funcionalidades da ferramenta em um widget de
abas, reproduzido na Figura 29. Esse widget foi tratado para ser acessvel, sensvel tecla
Tab. As opes fornecidas so Acessibilidade (WCAG 2.0), para avaliao de
acessibilidade, conduzida pelas recomendaes do W3C; Usabilidade (HHS), para
avaliao de usabilidade a partir da checklist HHS; Cdigo, onde o cdigo fonte fornecido
pela URL avaliada disponibilizado; Incluir avaliao EARL, onde possvel carregar
arquivo XML ou RDF, produto de avaliaes em ferramentas semiautomticas e Relatrio,
86

onde gerado um relatrio resumido do andamento da avaliao, com a possibilidade de

gerao de um relatrio completo.
Figura 29: Tela principal de avaliao
Ainda na Figura 29, informado ao usurio que o sistema fez a avaliao com o
AChecker e disponibilizada a lista de possveis problemas resultantes de sua avaliao. A
aba principal, de acessibilidade, possibilita a filtragem das diretrizes e de seus critrios de
sucesso pelo Princpio das WCAG 2.0, das deficincias, conforme resultado produzido
pelo estudo descrito na Seo 4.3.6 e pelo Nvel de conformidade.
Todos os princpios, conjuntos de deficincias, nveis de conformidade, diretrizes e
critrios de sucesso so descritos, seja por ao do mouse durante o foco, ou opo de
boto, a fim de que mesmo pessoas com baixo grau de conhecimento em acessibilidade,
possam conduzir a avaliao.
Ao selecionar a opo de Avaliar critrios de sucesso, presente em cada diretriz,
uma lista de critrios de sucesso disponibilizada na coluna ao lado e o foco atribudo
primeira opo. Na Figura 30 so ilustrados os critrios de sucesso obtidos a partir da
diretriz 1.2 Mdias com base no tempo, na qual o usurio conduzido a validar o

87
Critrio de sucesso, indicar desacordo ou considerar no aplicvel aos elementos presentes

no objeto avaliado.
Ainda nos critrios de sucesso, o usurio tem a possibilidade de fazer a leitura da
descrio fornecida pela documentao do W3C, tanto para os critrios de sucesso, quanto
para as diretrizes, alm de produzir comentrios, a fim de colaborar com um modelo de
Design Rationale, onde documentar suas tomadas de deciso.
Figura 30: Tela de anlise de acessibilidade
Toda ao do usurio salva e informada a ele em tempo de execuo, a fim de

evitar esforos em vo, ao fechar a aplicao sem que as informaes tenham sido salvas.
Para evitar desgaste do usurio causado pelo refresh da pgina a cada ao, a
interface foi desenvolvida com submisses tratadas em Ajax 20, assim o sistema salva as
alteraes sem interromper o fluxo de avaliao. O refresh s executado ao mudar opes
no filtro de diretrizes.
Os comentrios podem ser inseridos e removidos de acordo com a vontade do
usurio, com a informao do horrio de insero disponibilizada e, ao selecionar o
20
Faz uso de tecnologias como Javascript e XML, para tornar pginas Web mais interativas com o usurio,
utilizando-se de solicitaes assncronas de informaes.
88

conjunto de critrios de sucesso de outra diretriz, a lista de critrios de sucesso atualizada

sem recarregar a pgina, porm as aes do usurio j salvas, podem ser recuperadas ao
voltar para a lista anterior.
A experincia de usabilidade se repete na avaliao das diretrizes HHS, com os
captulos da HHS fazendo o papel das diretrizes da WCAG 2.0 e as diretrizes HHS, no
papel de critrios de sucesso, conforme visualizado na Figura 31.
Figura 31: Tela de anlise de usabilidade
Os filtros presentes na avaliao de usabilidade correspondem ao grau de

importncia relativa e fora de evidncia, definidos na Seo 2.3.2. Todos os nveis de
importncia relativa, fora de evidncia, captulos e diretrizes so descritos, seja por ao
do mouse durante o foco, ou opo de boto, a fim de que mesmo pessoas com baixo grau
de conhecimento em usabilidade, possam conduzir a avaliao.
A aba seguinte reproduz o cdigo fonte da URL objeto da avaliao, a fim de
facilitar a anlise de critrios de sucesso ou diretrizes de usabilidade que precisam de apoio
e verificao do cdigo fonte da aplicao, como, por exemplo, a atribuio textual
descritiva aos elementos de imagem, como recomendao de acessibilidade.

89
Outra opo disponibilizada pelo ambiente carregar avaliaes feitas por outras
ferramentas que disponibilizem os resultados na linguagem EARL, conforme descrita na
Seo 3.6. A atribuio de resultados de outras ferramentas possibilita uma experincia
mais rica na avaliao, pois evita vieses ao priorizar resultados de uma fonte nica.
necessrio frisar, neste ponto, que para a atribuio de outros resultados, seja do AChecker,
seja de outras ferramentas a partir da EARL, o ambiente no dispensa a avaliao manual
do usurio, pois conforme indicado nos trabalhos relacionados no Captulo 2, a avaliao
humana, manual, imprescindvel para a validade do teste (ALMEIDA e
BARANAUSKAS, 2010). Na Figura 32 indicado como a representao de problemas
encontrados nas recomendaes aparece ao usurio.
Figura 32: Representao de problemas resultantes da avaliao por outras ferramentas
A recomendao indicada com problemas recebe a cor de fundo avermelhada e a

categoria do problema apresentada abaixo. Assim, o A4U no substitui a ferramenta de
avaliao semiautomtica, mas tem o papel de apoio para as avaliaes humanas.
A ferramenta sugerida para produo de relatrios de acessibilidade em EARL, a
WaaT, vista na Seo 4.5.1, pois junto AChecker, considera as WCAG 2.0 e produz o
relatrio nessa linguagem. Conforme identificado na Figura 33, a informao sobre a
EARL direcionada ao usurio.
90
Figura 33: Tela para incluso de relatrios em EARL
Por fim, a aba Relatrio conduz o usurio visualizao estatstica de sua

avaliao, com dados como recomendaes atendidas, em desacordo, no aplicveis e
ainda no avaliadas. Grficos so produzidos para ilustrar essa situao, conforme exibido
na Figura 34.
Figura 34: Tela de relatrio resumido
Ainda na Figura 34, possvel gerar o relatrio completo da avaliao pela opo
Gerar relatrio completo. O relatrio produzido gerado em PDF, com as estatsticas de
completude da avaliao, bem como todas as recomendaes, categorizadas por seu status,
seja de acordo, em desacordo, no aplicveis ou no avaliadas. As recomendaes so
seguidas dos respectivos comentrios que o usurio realizou durante a anlise. Na Figura
35 apresentado um relatrio onde no existiu nenhuma avaliao.

91
Figura 35: Relatrio completo em PDF
Os relatrios completos podem ser utilizados como histrico de decises e

comparados com resultados de outros avaliadores, com a finalidade de conduzir ao maior
grau de conformidade possvel.
A ferramenta se props inovar com a avaliao de acessibilidade e usabilidade no
mesmo ambiente, conduzindo o usurio a pensar nos dois conceitos, de maneira a gui-lo
ao que chamado de usabilidade universal. A conduo de avaliaes indicar se existem
questes que implicam em contrastes de recomendaes e colaborar na identificao da
configurao do Diagrama de Venn 21, considerando os conjuntos de conceitos de
acessibilidade e usabilidade.
21
So usados em matemtica para simbolizar graficamente propriedades, axiomas e problemas relativos aos
conjuntos e sua teoria.
92

Com o propsito de iniciar a verificao das questes de contrastes dos conceitos e

validar o uso do ambiente, foi proposto o estudo de caso descrito na prxima seo.
4.5 Estudo de caso

Nesta seo apresentado o estudo de caso, utilizado para validar o A4U,
envolvendo duas categorias como pblico alvo, os pesquisadores e os desenvolvedores. A
atividade consistiu em avaliar o portal do governo do Estado de So Paulo 22 em
acessibilidade e usabilidade, registrando o histrico de tomadas de decises e a posterior
discusso sobre os resultados obtidos na experincia dos usurios com a ferramenta.
Antes de iniciar a conduo do estudo de caso, a utilizao do A4U foi submetida,
como estudo piloto, a um desenvolvedor. Suas aes diante da ferramenta foram
supervisionadas pelo autor desta dissertao, possibilitando encontrar algumas questes
que deveriam ser tratadas antes de iniciar o procedimento formalizado. As questes
levantadas e posteriormente tratadas, foram:
1. O usurio no achou intuitivo abrir uma aba com o site objeto da avaliao,
conduzindo o procedimento a partir do cdigo disponibilizado na aplicao;
2. Quando as recomendaes eram filtradas, a completude da operao nos
conjuntos (diretrizes ou captulos) no eram informadas;
3. Ao filtrar os resultados de usabilidade, o filtro previamente selecionado na
seo de acessibilidade era perdido;
4. Havia um erro no filtro de fora de evidncia, em usabilidade e;
5. O sistema no considerava o timeout da sesso, possibilitando que o usurio
continuasse a avaliao, sem salv-la.
Depois de corrigidas as questes anteriores, o ambiente foi disponibilizado aos
usurios que formaram o pblico estudado.
22
http://www.saopaulo.sp.gov.br

93
4.5.1 Conduo
Como previamente mencionado, a escolha do portal, como objeto a ser avaliado,
deu-se a partir da obrigatoriedade de sites da administrao pblica serem acessveis, e
pelo endereo constar entre os sites governamentais mais acessados, no ranking da
ferramenta Alexa 23.
Aps o trmino da avaliao, os participantes foram convidados a completar um
questionrio sobre a atividade. O questionrio (APNDICE A) foi composto de 8 questes
utilizando a Likert Scale (LIKERT, 1932), considerando o conhecimento em acessibilidade
Web, usabilidade Web, a quantidade de itens expostos para avaliao, a dificuldade em se
entender os critrios de sucesso das WCAG 2.0 e as diretrizes HHS. Ainda, indaga sobre a
cobertura da avaliao por ferramentas semiautomticas e a experincia do usurio em
considerar acessibilidade e usabilidade no mesmo ambiente.
Duas perguntas objetivas foram inseridas no questionrio para classificar o
avaliador em pesquisador ou desenvolvedor e, verificar se durante a anlise, houve a
percepo de ao menos um conflito entre as tomadas de deciso envolvendo os dois
conceitos, acessibilidade e usabilidade. Mais de 5 campos livres tambm esto presentes,
para comentrios sobre a quantidade de itens avaliados, a cobertura das ferramentas
semiautomticas, a experincia em considerar os dois conceitos no mesmo ambiente, a
interface do A4U e impresses gerais da atividade.
O estudo envolveu trs pesquisadores da rea, sendo esses um professor da
Universidade Federal de Gois, uma doutoranda e uma mestranda do Instituto de Cincias
Matemticas e de Computao - USP; e 7 desenvolvedores de software que trabalham em
uma empresa de desenvolvimento Web.
A atividade consistiu em seguir um roteiro (APNDICE B) preparado pelo autor
desta dissertao. O roteiro disponibilizou um vdeo de apresentao do ambiente e da
ferramenta WaaT, utilizada como apoio na atividade; listou alguns materiais para consulta,
e restringiu os itens de avaliao ao nvel de conformidade A, das WCAG 2.0, ao nvel 5
23
http://www.alexa.com/
94

de importncia relativa e 4 para o nvel de fora de evidncia, pois 5 neste ltimo,

representaria um nmero muito reduzido de diretrizes a serem cobertas.
As restries na avaliao contriburam para limitar a quantidade de questes, a fim
de evitar excessivo desconforto durante o procedimento, por parte dos participantes, mas
ao mesmo tempo considerar as principais questes de acessibilidade e usabilidade, j que o
nvel de conformidade A o bsico em acessibilidade requerido e os nveis elevados dos
parmetros da HHS correspondem aos itens mais importantes a serem seguidos. Nessa
configurao, 25 critrios de sucesso em acessibilidade e 12 diretrizes de usabilidade
foram expostos avaliao, conforme informado no Quadro 14.
Quadro 14: Recomendaes resultantes dos filtros utilizados na avaliao
Acessibilidade (WCAG 2.0)
Usabilidade (HHS)
1.1.1
Contedo No Textual
1.2.1
01:02 Estabelecer requisitos do usurio

No usar uma nica cor para transmitir
03:03 informaes
Criar uma primeira impresso positiva do seu
05:03 site
1.2.2
1.2.3
Audiodescrio ou Mdia alternativa (Prgravada)
1.3.1
Informaes e Relaes
1.3.2
06:02 Posicionar itens importantes consistentemente

Posicionar os itens importantes no centro
06:03 superior
1.3.3
Caractersticas Sensoriais
08:01 Eliminar rolagem horizontal
1.4.1
Utilizao da Cor
09:01 Usar rtulos claros para as categorias
1.4.2
Controle de udio
10:01 Usar rtulos significativos para os "links"
2.1.1
Teclado
15:01 Deixar claras as sequncias de aes
2.1.2
16:01 Organizar informaes de forma clara
2.2.1
2.2.2
16:02 Facilitar a visualizao (exame do contedo)

Garantir resultados de pesquisa
17:01 utilizveis/teis
2.3.1
Trs Flashes ou Abaixo do Limite
2.4.1
Ignorar Blocos
2.4.2
Pgina com Ttulo
2.4.3
Ordem do Foco
2.4.4
3.1.1
Linguagem da Pgina
3.2.1
Em Foco
3.2.2
Em Entrada
3.3.1
Identificao do Erro
3.3.2
4.1.1
Anlise
4.1.2
Nome, Funo, Valor

95
Os participantes foram submetidos concordncia do termo de consentimento livre

e esclarecido (APNDICE C), que explica o objetivo do estudo e coloca o participante no
direito de se ausentar da atividade em qualquer momento, sem qualquer nus. Tambm
frisa os procedimentos do estudo e garante a preservao da privacidade do respondente.
A tarefa foi encaminhada aos avaliadores, de maneira que fizessem em suas
prprias residncias ou local de trabalho, em acordo com o empregador, a fim de
possibilitar o melhor ambiente para que se sentissem vontade. O tempo de execuo
mdio foi informado, porm eram livres para executarem o procedimento no tempo que
achassem necessrio.
O primeiro passo foi assistir ao vdeo de apresentao do ambiente, posteriormente
cadastrar uma conta de usurio na ferramenta e criar o projeto de avaliao da URL
http://www.saopaulo.sp.gov.br/. O participante foi informado que a criao do projeto
remete automaticamente avaliao do objeto em estudo ferramenta AChecker, para
destacar os critrios de sucesso que necessitem de maior ateno.
Para contribuir com os resultados da AChecker, o avaliador indicado a baixar a
ferramenta WaaT, fazer a anlise da URL por ela e submeter o relatrio gerado em EARL,
ao A4U. Assim, o ambiente discrimina todos os critrios de sucesso que ficaram em
desacordo em alguma das duas ferramentas semiautomticas de avaliao. Um vdeo de
utilizao da Waat foi produzido e disponibilizado atravs do roteiro. Em seguida, os
usurios so conduzidos a filtrarem os critrios de sucesso, a partir do nvel de
conformidade A e os de usabilidade, a partir do ndice 5 para importncia relativa e 4 para
fora de evidncia.
Ao seguir todas as recomendaes expostas pelos filtros, avaliando se essas se
encontram em acordo ou desacordo, ou mesmo no se aplicam ao objeto de teste, o usurio
submetido gerao do relatrio completo de sua avaliao e solicitado a responder o
questionrio de impresses durante a anlise.
Os resultados obtidos deste estudo de caso so ilustrados na prxima subseo,
onde tambm realizada uma discusso sobre o que foi evidenciado com o experimento,
envolvendo pesquisadores e desenvolvedores.
96

4.5.2 Resultados da avaliao

Os resultados aqui apresentados so distribudos primeiramente considerando a avaliao
do portal do governo de So Paulo, com relao a sua concordncia ou no aplicabilidade
com as recomendaes de acessibilidade e usabilidade.
Os respondentes indicaram sua expertise em desenvolvimento Web, obtendo a
classificao geral a seguir, exposta no Quadro 15. possvel observar, a partir das
atribuies nesse critrio, que em sua maioria, os participantes se disseram avanados em
desenvolvimento Web, porm isso no implica no conhecimento de tcnicas de promoo
de usabilidade ou acessibilidade.
Quadro 15: Classificao de expertise dos respondentes em desenvolvimento Web
Baixa - consigo desenvolver algo de forma simples

Moderada - tenho alguma experincia no desenvolvimento
Avanada - tenho experincia (especialista)
1
2
7
As avaliaes resultaram na anlise de 37 recomendaes, sendo 25 de

acessibilidade e 12 de usabilidade, ilustradas no Quadro 16. A partir do somatrio das
respostas correspondentes nos critrios de Em acordo, Em desacordo e No se
aplica, verificou-se que 4 pessoas no finalizaram a atividade, pois restringiram-se
unicamente avaliao de acessibilidade.
Quadro 16: Quadro com as respostas obtidas pelos usurios
Usabilidade (HHS)
Critrio
Em acordo
Em desacordo
No se aplica
Diretriz
Em acordo
Em desacordo
No se aplica
1.1.1
01:02
1.2.1
03:03
1.2.2
05:03
1.2.3
06:02
1.3.1
06:03
1.3.2
08:01
1.3.3
09:01
1.4.1
10:01
1.4.2
15:01
2.1.1
16:01
2.1.2
16:02
2.2.1
17:01
2.2.2

2.3.1
2.4.1
2.4.2
2.4.3
2.4.4
3.1.1
3.2.1
3.2.2
3.3.1
3.3.2
4.1.1
4.1.2
97
A partir do Quadro 16, considerando que a maioria dos resultados em comum

indicam a observncia daquele estado da recomendao e, nos casos em que dois ou mais
estados se equivalem no possvel verificar a condio, tm-se ento 7 recomendaes de
acessibilidade e uma de usabilidade em que no se pode abstrair um estado de
concordncia ou no aplicabilidade, como exibe o Quadro 17, para acessibilidade.
Quadro 17: Resultados de acessibilidade indicando o estado de "No foi possvel verificar"

Em acordo
Em desacordo
No se aplica
No foi possvel verificar
1.3.2
1.3.1
1.2.2
1.1.1
1.4.1
1.3.3
2.2.1
1.2.1
2.3.1
2.1.1
1.2.3
2.4.2
2.1.2
1.4.2
3.1.1
2.2.2
2.4.3
3.2.1
2.4.1
3.3.1
3.2.2
2.4.4
4.1.2
4.1.1
3.3.2
importante observar que as ferramentas semiautomticas identificaram algumas

incompatibilidades e, todas as questes claramente caracterizadas como erros, tambm
foram consideradas em desacordo pelos avaliadores humanos, o que no aconteceu com os
possveis problemas que as ferramentas solicitam interveno humana. Por exemplo, os
critrios de sucesso 1.4.1, que corresponde a no utilizao de cor como nico meio de
transmitir informaes; 2.3.1, que corresponde utilizao de flash; 2.4.2, que indica a
utilizao de ttulo na pgina que descreva seu contedo e 3.2.2, que indica a variao de
contexto pela alterao em algum componente de interface. A ferramenta AChecker
98
indicou provveis problemas nesses critrios e os avaliadores humanos os classificaram

como em acordo. O Quadro 18, a seguir, apresenta os resultados para a avaliao de
usabilidade.
Quadro 18: Resultados de usabilidade indicando o estado de "No foi possvel verificar"
Usabilidade (HHS)
Em acordo
No foi possvel verificar
01:02
15:01
03:03
05:03
06:02
06:03
08:01
09:01
10:01
16:01
16:02
17:01
Como no houve auxlio de ferramentas semiautomticas na avaliao de

usabilidade, a percepo dos contrastes foi totalmente atribuda avaliao manual. Os
respondentes no souberam identificar se o portal tem sequncias de aes bvias (15:01),
contribuindo com a impossibilidade de verificao a partir dos resultados da avaliao.
Considerando o fluxo sugerido, de verificao do conjunto de acessibilidade em
primeira instncia, seguida da validao das recomendaes de usabilidade e da no
existncia de ferramentas semiautomticas, no roteiro, que apoiassem a validao dessas,
pode-se supor que os quatro usurios que no finalizaram o procedimento de usabilidade,
encontraram dificuldades ou excessivo esforo na execuo das tarefas.
Com relao aos problemas encontrados, afirma-se que o portal do governo de So
Paulo apresenta concordncia com a maioria das recomendaes aqui consideradas, pois
das 37 recomendaes e dos resultados obtidos e apresentados no Quadro 16 e no Quadro
17, 51,36% esto de acordo, 5,40% no se aplicam, 21,62% no foram identificadas, pois
resultaram em empate das decises do usurio com relao concordncia ou no da
pgina com as recomendaes, enquanto as outras 21,62% resultaram em discordncia.
99
Em seguida, as impresses dos usurios, informadas no questionrio aps a

utilizao do A4U, sero discutidas.
4.5.3 Questionrio
A partir do questionrio (APNDICE A), buscou-se verificar as impresses que os
pesquisadores e desenvolvedores tiveram na utilizao do A4U. Para tanto, oito questes
foram integradas no modelo de escala, de 1 a 5, podendo o 1 ser de menor grau, ruim
ou mais difcil, e 5 o de maior grau, timo ou mais fcil. Os resultados destas
questes so apresentados no Quadro 19.
Quadro 19: Resultados das impresses dos participantes pelas respostas ao questionrio
Mediana
(Likert Scale)
3,5
4
Moda
(Likert Scale)
3 (30%) e 5 (30%)
4 (60%)
3,5
4 (40%)
4 (50%)
3,5
4 (40%)
6 - Sobre a cobertura da avaliao das ferramentas

semiautomticas
4 (60%)
7 - Sobre a experincia de tratar acessibilidade e

usabilidade no mesmo ambiente de avaliao
5 (70%)
4,5
4 (50%) e 5 (50%)
1 - Sobre seu conhecimento em acessibilidade Web

2 - Sobre seu conhecimento em usabilidade Web
3 - Sobre a quantidade de itens a serem avaliados
4 - Sobre a dificuldade em entender o que cada sucesso
de critrio da WCAG 2.0 significa, apenas ao ler seu
nome e descrio
5 - Sobre a dificuldade em entender o que cada diretriz da
HHS significa, apenas ao ler seu nome e descrio
8 - Sobre a interface do A4U
Como resultado, pode-se observar que a populao que conduziu a avaliao

formada por conhecedores de acessibilidade e usabilidade; mais da metade dos
respondentes consideraram que a quantidade de recomendaes a serem analisadas alta e
que as ferramentas semiautomticas de avaliao utilizadas tm boa cobertura quanto
deteco de problemas. Ainda, no encontraram tanta dificuldade em entender os critrios
de sucesso referentes acessibilidade e as diretrizes de usabilidade, apenas pela leitura de
sua descrio fornecida pela respectiva documentao de seus criadores. J, ao considerar
o A4U, a grande maioria indicou a experincia em se tratar acessibilidade e usabilidade
100
como prximo do excelente, alm de qualificarem como tima a interface utilizada no

ambiente.
Adicionalmente s questes utilizando Likert Scale, houve cinco questes de
resposta livre para que os participantes pudessem imprimir suas percepes com maior
detalhe, contribuindo com as respostas objetivas. Na sequencia, so levantados os tpicos
das questes e o resumo dos comentrios.
1. Comentrios sobre a quantidade de itens a serem avaliados
a. A quantidade de itens a serem considerados demasiada alta se o
teste no envolver filtros;
b. Mesmo considerando a quantidade alta de recomendaes, elas so
importantes, pois o domnio exige esse nmero. No h como se ter
uma ferramenta completa com menos exigncias;
c. A ferramenta prover filtros, possibilitar salvar e continuar a
avaliao em outro momento facilita muito o processo.
2. Comentrios sobre a cobertura da avaliao das ferramentas
semiautomticas
a. As ferramentas semiautomticas resultaram em falsos positivos,
evidenciando a importncia da percepo humana na avaliao;
b. Mesmo com algumas indicaes incoerentes, em sua maioria as
ferramentas colaboraram com destaques relevantes, porm muitos
critrios no so analisados por elas;
c. Evidenciar ao usurio a importncia da insero de relatrios EARL
antes de comear a avaliao relevante, para que o fluxo colabore
com menos esforo do avaliador.
3. Comentrios sobre a experincia de tratar acessibilidade e usabilidade
no mesmo ambiente de avaliao

101
a. Questes de usabilidade, muitas vezes, influem em acessibilidade,

portanto tratar os dois contextos no mesmo ambiente bastante
importante;
b. Os dois conjuntos de critrios se complementam;
c. Talvez pessoas com menos conhecimento nos conceitos, possam
confundir a diviso de critrios.
4. Comentrios sobre a interface do A4U
a. Interface muito amigvel e interativa, porm a avaliao bastante
cansativa;
b. Interface leve e bem fcil de usar, com abas e outros padres
clssicos (bem conhecidos). Os filtros auxiliam muito ao avaliador
que tem condies de avaliar por partes e de modo organizado. H
explicaes para as diretrizes WCAG 2.0 e HHS, isso facilita e
viabiliza o processo, pois por mais especialista que o avaliador seja,
ele no sabe de memria todas as condies a serem vistas. Ou seja,
a ferramenta avaliativa e tambm educativa, pois guia e d suporte
ao processo de avaliao. A incluso dos relatrios automticos
timo, pois auxilia no trabalho muito desejado em indstrias: "que
os avaliadores no percam tempo analisando questes que poderiam
ser checadas automaticamente";
c. Interface amigvel, com boa utilizao de cores, tamanho dos
objetos e elementos do site, to como uma boa forma de exibir os
"boxes", com a descrio dos critrios ao passar o mouse por cima
dos links e ao clicar no boto. Interessantes como foram separados
os "critrios de sucesso" do lado direito do site e o modo como
feita a avaliao de cada um deles, juntamente com o comentrio
opcional;
102

d. A ferramenta teria um ganho considervel se as questes com

problemas fossem exibidas com exemplos na pgina avaliada e as
linhas do cdigo fossem apontadas.
5. Comentrio geral
a. Bastante interessante, pois a ferramenta possibilita selecionar os
critrios que voc quer avaliar, e tambm, comparar acessibilidade
com usabilidade;
b. Alguns critrios devem ser mais explicativos, considerando
exemplos, pois h casos em que o entendimento prejudicado,
contribuindo com uma avaliao duvidosa;
c. Ferramenta bastante promissora e interface bastante dinmica;
d. Gostei muito de realizar a avaliao nesta ferramenta, que
totalmente Web e em diferentes linguagens. E tambm juntando
acessibilidade e usabilidade, algo que no havia encontrado em outro
lugar. Gostei de ver tambm as definies da HHS em portugus,
algo indito em meus trabalhos investigativos;
e. J fiz alguns testes de usabilidade e achei muito til uma ferramenta
como esta que, ao mesmo tempo em que o guia durante a realizao
da avaliao, proporciona em cada etapa sempre uma descrio do
critrio sendo tratado naquele momento. No entanto, achei algumas
destas descries muito tcnicas ou outras muito breves de maneira
que em certos momentos tive que parar por um minuto para entender
exatamente o que o critrio avaliava. Talvez, se a ferramenta se
direcionar tambm a um pblico com pouco conhecimento de
usabilidade, to como de desenvolvimento Web, fosse interessante
pensar em descrever alguns destes critrios de uma forma um pouco
mais prtica ou prxima do usurio;
f. A ferramenta primeiramente bastante til. Em segundo lugar a
centralizao de vrias metodologias de anlise sem dvida uma
103
*killer
feature*. Acredito
que
adicionar
outros
testes
de
conformidade de cdigo seria til ao programador (como por

exemplo o validador HTML5) mas confesso no saber se isso seria
de fato um ganho ou perda de foco. Por fim, acredito que a
disponibilizao da ferramenta para o pblico combinada com sua
abertura de cdigo em algum repositrio open source (como github)
contribuiria para o projeto. Penso que sua divulgao em grupos de
estudantes e/ou pesquisadores de acessibilidade/usabilidade poderia
angariar desenvolvedores com conhecimento na rea que podem
tanto ajudar, quanto utilizar a ferramenta. Enfim parabns pela
iniciativa.
Ainda, uma questo objetiva foi levantada, sobre a percepo de conflitos entre
elementos de acessibilidade comparados aos elementos de usabilidade. Quatro dos
respondentes afirmaram que verificaram ao menos um contraste, um deles exemplificou no
comentrio referente experincia de se tratar os dois conceitos, que encontrou
disparidade na avaliao de campos de preenchimento de texto no portal. Enquanto parecia
estar de acordo com acessibilidade, seu uso no correspondeu de maneira adequada.
Na prxima seo so apresentadas as consideraes finais referentes ao Captulo,
incluindo a discusso sobre a catalogao de conjunto de deficincias com relao aos
critrios de sucesso das WCAG 2.0, o A4U e os resultados do estudo de caso.

O envolvimento do aluno de mestrado no projeto AccessibilityUtil foi de fundamental
importncia para ganho de experincia em acessibilidade, voltada aos critrios sugeridos
pelo W3C e no desenvolvimento da ferramenta, que posteriormente poder ser integrada ao
A4U, como contribuio a ser dirigida aos desenvolvedores durante sua avaliao,
possibilitando que esses encontrem comentrios nos objetos relacionados, que viabilizem o
mximo grau de acessibilidade a ser alcanado.
A interpretao dos critrios de sucesso em conjuntos de deficincia foi realizada
com o objetivo de atribuir esta funcionalidade ao A4U, de maneira que o desenvolvedor
104
possa priorizar seu pblico alvo, caso tenha esta necessidade, ou mesmo identificar quem
ser beneficiado a cada critrio de sucesso atendido.
No
desenvolvimento
do
ambiente,
buscou-se levar
em
considerao
as
recomendaes de acessibilidade e usabilidade, e apresentar de forma amigvel ao usurio,

possibilitando o relacionamento dos dois conceitos, de maneira a favorecer um pensamento
em conjunto, a fim de viabilizar o ganho na tomada de deciso nas duas frentes, por parte
do desenvolvedor, seja ele inexperiente ou especialista.
A ferramenta procurou ainda, por meio de descries oficiais, alcanar o
desenvolvedor inexperiente, no intuito que esse pudesse compreender e exercer as
avaliaes, sem tantos problemas. Entretanto, pelo estudo de caso, notou-se que para
pessoas com pouco conhecimento na rea, entender a descrio oficial das recomendaes
pode ser uma tarefa difcil.
A possibilidade de salvar a avaliao e continuar posteriormente foi considerada um
avano, pois a quantidade de recomendaes demasiadamente alta para um teste
completo, sem interrupes.
A correlao concreta dos conceitos de acessibilidade e usabilidade, de maneira a
observar limitaes entre essas frentes, s ser possvel em ambiente de produo intenso,
ou seja, com muitas avaliaes, com o propsito de identificar padres de respostas a
serem considerados.
No Captulo 5 so delineadas as consideraes finais desta dissertao, as limitaes
encontradas durante o projeto, as impresses pessoais, os trabalhos futuros e as publicaes
resultantes do mestrado.
CAPTULO
5
5. CONCLUSES

O objetivo principal deste trabalho foi considerar a acessibilidade em conjunto com a
usabilidade, como conceitos que precisam ser alinhados nas avaliaes de aplicativos Web.
Como proposta para contribuir com os principais envolvidos e responsveis pelas
avaliaes de acessibilidade e usabilidade (os desenvolvedores), neste mestrado foi
desenvolvido um ambiente para obteno de resultados que contrastam perspectivas para
reflexo e anlise das questes de acessibilidade e usabilidade
Por meio do estudo de caso, pde observar que as recomendaes so, em geral, de
fcil compreenso, entretanto desenvolvedores inexperientes nos conceitos envolvidos tm
maiores dificuldades de compreenso e acreditam que o nmero de recomendaes muito
alto, porm concordam que os pontos abordados so essenciais para obteno de uma
experincia mais agradvel a todos os usurios.
As contribuies atendidas pela pesquisa, lies aprendidas, impresses pessoais,
limitaes e trabalhos futuros contemplam o assunto deste captulo e so tratados nas
prximas sees.
5.2 Principais contribuies

Conforme as consideraes do Captulo 2, sobre os trabalhos relacionados que apontaram
o esforo humano como fundamental na verificao da observncia das recomendaes de
105
106
CAPTULO 5. CONCLUSES
acessibilidade e usabilidade, o Ambiente para Anlise de Avaliaes de Acessibilidade e

Usabilidade na Web (A4U) conduz os avaliadores a validarem os resultados obtidos pelas
ferramentas semiautomticas e contribui com o testador manual, a fim de finalizar a
verificao dos critrios no observados.
Ainda com relao ao A4U, ele produziu o avano de, no mesmo ambiente,
considerar recomendaes de acessibilidade e usabilidade, visando introduzir ao
desenvolvedor a preocupao em considerar a observncia dos dois conceitos durante o
desenvolvimento de sua aplicao.
O A4U uma contribuio importante para o desenvolvedor, pois o permite
incorporar resultados de avaliaes de diferentes ferramentas semiautomticas em um
mesmo ambiente, relacionando seus apontamentos em forma de apoio a sua avaliao, que
no consistir apenas na correo de erros. A ferramenta instiga o desenvolvedor a pensar
nos problemas, contribuindo para que as recomendaes sejam consideradas previamente
em futuros desenvolvimentos. Esta contribuio relaciona-se problemtica encontrada no
estudo dos trabalhos relacionados, no propsito de diminuir a lacuna entre pesquisas no
meio acadmico e o ambiente profissional.
A relao ente os conceitos no foi explicitamente observada, pois, por mais que o
estudo de caso tenha apontado algumas contraposies, apenas um estudo mais
aprofundado, com um nmero elevado de avaliaes, possibilitar um conjunto mais
representativo de resultados, sem as limitaes plausveis de serem questionadas. Todavia,
a relao fortemente observada na posio do desenvolvedor, que dever analisar todas as
recomendaes para que sua avaliao seja completa.
A pesquisa por ferramentas atuais foi uma contribuio relevante, pois viabilizou
identificar a possibilidade de integrao de resultados de avaliaes por intermdio da
EARL, bem como listar ferramentas que adotam os critrios atuais das recomendaes do
W3C, as WCAG 2.0.
Entender os critrios de sucesso em relao aos conjuntos de deficincia
favorecidos tambm pode significar uma maior compreenso das WCAG 2.0, j que o A4U
faz esta relao se tornar bem clara, atravs de filtros, que possibilitem ao desenvolvedor
priorizar seu pblico alvo.
107
Outro avano da pesquisa foi a traduo das recomendaes HHS para o portugus,
e sua integrao ao ambiente, tornando-a melhor compreensvel pelo desenvolvedor
brasileiro, j que a traduo considera tambm a descrio dos captulos e as diretrizes.
5.3 Lies aprendidas e impresses pessoais

Durante o desenvolvimento desta dissertao, a proposta foi adaptada para se tornar mais
objetiva e resultar em contribuies efetivas, o ambiente foi remodelado para cumprir com
critrios de usabilidade, alm dos que j eram considerados, no caso os da acessibilidade. A
correlao entre a acessibilidade foi imposta por meio do desenvolvimento do ambiente,
entretanto uma visibilidade massiva da ferramenta, a fim de contribuir com expressivas
avaliaes ainda no foi possvel, impossibilitando a identificao concreta da correlao
dos dois conceitos em mbito mais geral.
A submisso do estudo de caso em um experimento piloto foi primordial, pois
foram evidenciadas falhas que poderiam inviabilizar o procedimento. Como exemplo de
problema, o no tratamento do timeout da sesso, que considerado uma questo de
usabilidade. Com esse problema, o usurio continua sua avaliao, sem feedback do
servidor, o qual no salva as alteraes.
Como impresso pessoal, participar de eventos de acessibilidade, como o
Todos@Web, e presenciar entrevistas de pessoas com deficincias, que mostraram a
dificuldade em acessar o contedo na Web foi bastante importante e motivacional para o
desfecho desta pesquisa. Investigar acessibilidade, sem ter a experincia de lidar com o
pblico alvo frustrante e superficial. Foi gratificante a possibilidade de contribuir nesta
rea to essencial. importante colaborar na experincia diria dessas pessoas, que so
visivelmente prejudicadas pela falta de interesse e conhecimento das empresas para tornar
seus contedos acessveis.
Outra lio muito importante foi a integrao com o grupo de pesquisa, com
reunies presenciais e discusses online, que auxiliaram no amadurecimento do trabalho, a
partir de contribuies significativas de pesquisadores de diferentes nveis, de graduao,
mestrado e doutorado, possibilitando maximizar os resultados.
108
5.4 Limitaes e trabalhos futuros

A partir dos estudos aqui realizados, percebeu-se que para correlacionar os conceitos de
acessibilidade e usabilidade, de maneira a qualific-los de modo mais generalizado
possvel, um profundo estudo com desenvolvedores e especialistas deve ser conduzido, a
partir do ambiente proposto. Assim, a divulgao da ferramenta em listas de discusso dos
temas, em conjunto submisso do contedo em fruns de desenvolvimento de software,
aplicao em disciplinas nas universidades, alm da utilizao de outros meios de tornar a
ferramenta conhecida, essencial para obter resultados expressivos que conduzam ao
objetivo final.
O A4U foi submetido avaliao por especialistas em acessibilidade, contribuindo
com resultados importantes para aprimorar sua interface, assim, como trabalho futuro,
estas recomendaes devero ser avaliadas e cumpridas.
A AccessibilityUtil dever ser integrada ao A4U, possibilitando que resultados de
avaliaes de artefatos nela conduzidos, possam ser portados ao ambiente aqui
desenvolvido e, na avaliao de artefatos pelo A4U, seja indicada a referncia do artefato
na AccessibilityUtil, contribuindo na visualizao do Design Rationale l empregado.
O A4U dever incorporar uma licena de software open source e ser
disponibilizado comunidade, a fim de que outros pesquisadores e desenvolvedores
possam fazer uso da ferramenta e contribuir com ela.
Em geral, este trabalho possibilitou, a partir da pesquisa bibliogrfica, identificar a
escassez de pesquisas que relacionam acessibilidade e usabilidade Web, e a lacuna que
existe entre o meio acadmico e o profissional. importante contribuir, no meio
acadmico, com solues que se tornem viveis para que o desenvolvedor considere a
teoria, na prtica do seu desenvolvimento.
5.5 Publicaes resultantes

Alm dos resultados atingidos com o desenvolvimento desta dissertao, pode-se citar
contribuies na forma de publicaes cientficas, as quais esto diretamente relacionadas
dissertao:
109
1. BITTAR, T. J.; AMARAL, L. A., LOBATO, L. L. e FORTES, R. P. M.

Applying an approach to support good practices during the development
of accessible Web applications. Proceedings of 15th International Conference
on Human-Computer Interaction, Las Vegas, USA. (BITTAR et al., 2013).
2. BITTAR, T. J.; AMARAL, L. A.; FARIA, F. B. e FORTES, R. P. M.
Supporting
the
Developer
in
an
Accessible
Edition
of
Web
Communications: a Study of Five Desktop Tools In: Workshop of

Information Systems and Design of Communication (ISDOC2012 EuroSIGDOC), 2012, Lisboa. Proceedings of Workshop of Information Systems
and Design of Communication (ISDOC2012 - EuroSIGDOC). Nova York:
ACM, 2012. v.1. p.39. (BITTAR et al., 2012a).
3. BITTAR, T. J.; AMARAL, L. A. e FORTES, R. P. M. Evoluo da
ferramenta AccessibilityUtil: apoio a projetos, moderao de contedos e
verificaes
de
uso.
In:
Conferncia
IADIS
Ibero
Americana
WWW/INTERNET 2012, 2012, Madrid. Actas da Conferncia IADIS Ibero

Americana WWW/INTERNET 2012. Lisboa: IADIS, 2012. v. 01. p. 107-114.
(BITTAR et al., 2012c).
4. AMARAL, L. A.; BITTAR, T. J. e FORTES, R. P. M. Um ambiente de anlise
para comparar resultados de avaliaes de acessibilidade e usabilidade na
Web. In: Conferncia IADIS Ibero Americana WWW/INTERNET 2012, 2012,
Madrid. Actas da Conferncia IADIS Ibero Americana WWW/INTERNET
2012. Lisboa: IADIS, 2012. v. 01. p. 166-170. (AMARAL et al., 2012).
5. BITTAR, T. J., FARIA, F. B., AMARAL, L. A. e FORTES, R. P. M. Uma
verificao de acessibilidade em formulrios de contato de universidades
brasileiras. In: 7a Conferencia Ibrica de Sistemas y Tecnologas de
Informacin (CISTI), 2012, Madrid. Actas de la 7a Conferencia Ibrica de
Sistemas y Tecnologas de Informacin. Braga, Portugal: APPACDM, 2012. v.
01. p. 783 788. ISBN: 978-989-96247-6-4. (BITTAR et al., 2012d).
6. BITTAR, T. J.; AMARAL, L. A. e FORTES, R. P. M. AccessibilityUtil: a tool
for sharing experiences about accessibility of Web artifacts. 29th ACM
international conference on Design of communication, 2011, Pisa.
110
Proceedings
of
29th
ACM
international
conference
on
Design
of
communication, 2011. v. 1. p. 17-24. (BITTAR et al., 2011a).

7. BITTAR, T. J.; LOBATO, L. L.; AMARAL, L. A. e FORTES, R. P. M.
Desenvolvimento e Aplicao da Ferramenta AccessibilityUtil.com:
colaborao e experincias em acessibilidade na Web. Conferncia IADIS
Ibero Americana WWW/INTERNET 2011, Rio de Janeiro. Actas da
Conferncia IADIS Ibero Americana WWW/INTERNET 2011, 2011. (BITTAR
et al., 2011b).
8. BITTAR, T. J.; AMARAL, L. A.; LOBATO, L. L. e FORTES, R. P. M.
AccessibilityUtil.com: uma ferramenta para colaborao de experincias
de acessibilidade na Web. In: Simpsio Brasileiro de Sistemas Multimdia e
Web - Webmedia 2011, Workshop on Tools and Applications. 2011,
Florianpolis. Anais do Simpsio Brasileiro de Sistemas Multimdia e Web Webmedia 2011, 2011. (BITTAR et al., 2011c).
REFERNCIAS BIBLIOGRFICAS
111
REFERNCIAS
BIBLIOGRFICAS
ABOU-ZAHRA, S. SemanticWeb Enabled Web Accessibility Evaluation Tools. World

Wide Web Consortium, 2004.
ABOU-ZAHRA, S. Web Accessibility Evaluation. Web Accessibility: A Foundation for
Research, [S.l.]: Springer, 2008. p. 80. ISBN: 978-1-84800-049-0.
ALEXANDER, D. Usability and accessibility: best friends or worst enemies?
Proceedings of the International Cross-Disciplinary Conference on Web
Accessibility, 2006.
ALMEIDA, L. D. A.; BARANAUSKAS, M. C. C. Universal design principles combined
with web accessibility guidelines: a case study. In: SIMPSIO DE FATORES
HUMANOS EM SISTEMAS COMPUTACIONAIS, 9., 2010, Porto Alegre.
Anais... Porto Alegre: Sociedade Brasileira de Computao, 2010. p. 169-178.
BASTIEN, C.; SCAPIN, D. Ergonomic Criteria for the Evaluation of Human
Computer Interfaces. Institut National de Recherche en Informatique et en
Automatique, France, 1993.
BITTAR, T. J. Uma abordagem de apoio a boas prticas para desenvolvimento de
aplicaes Web acessveis. 2013. Tese (Doutorado em Cincias de Computao e
Matemtica Computacional) - Instituto de Cincias Matemticas e de Computao,
Universidade
de
So
Paulo,
So
Carlos,
2013.
Disponvel
em:
<http://www.teses.usp.br/teses/disponiveis/55/55134/tde-19042013-150117/>.
Acesso em: 2014-03-04.
BOSCH, J. Software architecture: The next step. In Proceedings of the 1st European
Workshop on Software Architecture (EWSA04). Springer, 2004.
112
BURGE, J. e BROWN, D. Design rationale types and tools, ai in design group. 1998.
Disponvel em: <http://web.cs.wpi.edu/Research/aidg/DR-Rpt98.html>. Acesso em
dezembro de 2013.
BRAJNIK,
G.
Barrier
Walkthrough.
2009.
Disponvel
em:
<http://sole.dimi.uniud.it/~giorgio.brajnik/projects/bw/bw.html>. Acesso em 12 de
novembro de 2013.
BRANDO, E. R.; MORAES, A. Publicidade on-line, ergonomia e usabilidade: o
efeito de seis tipos de banner no processo humano de visualizao do formato
do anncio na tela do computador e de lembrana da sua mensagem. 2006. 2v.
Dissertao (Mestrado)-Pontifcia Universidade Catlica do Rio de Janeiro,
Departamento de Artes e Design, 2006.
CANDAN, K.S.; DONDERLER, M.E.; HEDGPETH, T.; KIM, J.W.; LI, Q.; SAPINO,
M.L. SEA: Segment-enrich-annotate paradigm for adapting dialog-based
content for improved accessibility. ACM Trans. Inf. Syst. 27, 3, Article 15, 2009.
DOI=10.1145/1508850.1508853
CONKLIN, J. AND BEGEMAN, L. M. gIBIS: A hypertext tool for exploratory policy
discussion. Em Proceedings of the ACM Conference on Computer-Supported
Cooperative Work, 1988.
CONKLIN, E. J.; BURGESS-YAKEMOVIC, K. C. A process-oriented approach to
design rationale. In Moran, T. P., & Carroll, J. M. (Eds.), Design rationale:
Concepts, techniques, and use, 1996. p. 393-427.
CARVALHO, C. V. Dados sobre Deficincia no Brasil. 2008. Braslia-DF. Disponvel em
<http://bd.camera.gov.br/bd/bitstream/handle/bdcamera/1383/dados_deficiencia_vi
veiros.pdf?sequence=1>. Acesso em abril de 2010.
Disability Rights Commission The Web: access and inclusion for disabled people.
London: The Stationery Office, 2004.
DUTOIT A., MCCALL R., MISTK I., PAECH B. Rationale Management in Software
Engineering: Concepts and Techniques. A. H. Dutoit and R. McCall and I.
Mistrk and B. Paech (eds.), Rationale Management in Software Engineering,
Springer, 2006, p. 1-48.
113
E-MAG. Modelo de Acessibilidade de Governo Eletrnico. 2010. Disponvel em:

<http://www.governoeletronico.gov.br/acoes-e-projetos/e-MAG>.
Acesso
em
fevereiro de 2014.
FLSTAD, A., LAW, L-C., & HORNBK, K. Analysis in practical usability
evaluation: a survey study. In Proc. CHI 2012, 2012. p. 2127-2136.
GAIGG, M. Web Content Accessiblity Guidelines (WCAG) 2.0: Overview and
Structure.
2008.
Disponvel
em:
<
http://www.michaelgaigg.com/blog/2008/12/19/web-content-accessiblityguidelines-wcag-20-overview-and-structure/>. Acesso em fevereiro de 2013.

GIL, M. Deficincia Visual. Cadernos da TV escolar, MINISTRIO DA EDUCAO SECRETARIA DE EDUCAO A DISTNCIA, 2000, p. 6-7. ISSN 1518-4692.
GORTON, I. Essential Software Architecture. Springer, 2006.
GRUBBER, T. R.; RUSSEL, D. M. Design Knowledge and Design Rationale: A
Framework for Representation, Capture, and Use. Technical Report KSL 90-45,
Knowledge Systems Laboratory, Standford, California, 1991, 40p.
HARPER, S.; YESILADA, Y. Web accessibility : a foundation for research. London:
Springer, 2008, p. 84-91.
HHS. Research-Based Web Design & Usability Guidelines. 2006. U.S. Health and
Human Services Department. Disponvel em: <http://guidelines.usability.gov>.
Acesso em dezembro de 2013.
HORNER, J. ATWOOD, M. E. Design Rationale: the rationale and the barriers. In:
Proceedings of the 4th ACM Nordic conference on Human-computer interaction:
changing roles, 2006.
IBGE. Censo 2010: nmero de catlicos cai e aumenta o de evanglicos, espritas e
sem religio. 2010. Disponvel em: <http://cod.ibge.gov.br/23463>. Acesso em
fevereiro de 2014.
ISO. ISO 9241-210:2010 - Ergonomics of human-system interaction -- Part 210:
Human-centred design for interactive systems. 2010. Disponvel em: <
114
http://www.iso.org/iso/catalogue_detail.htm?csnumber=52075>.
Acesso
em:
fevereiro de 2014.
ISO/IEC. ISO/IEC 40500:2012 - Information technology -- W3C Web Content
Accessibility
Guidelines
(WCAG)
2.0.
2012.
Disponvel
em:
<http://www.iso.org/iso/iso_catalogue/catalogue_tc/catalogue_detail.htm?csnumber
=58625>. Acesso em: fevereiro de 2014.
JANSEN, A., BOSCH, J., AND AVGERIOU, P. Documenting after the fact: Recovering
architectural design decisions. J. Syst. Softw. 81, 4, 2008, p.536557.
KITCHENHAM, B.; CHARTERS, S. Guidelines for performing systematic literature
reviews in software engineering. Relatrio Tcnico EBSE 2007-001, Keele
University and Durham University Joint Report, 2007.
KOUTSABASIS,
P.;
VLACHOGIANNIS,
E.;
DARZENTAS,
J.
S.
Beyond
Specifications: Towards a Practical Methodology for Evaluating Web

Accessibility. J. Usability Studies 5, 4, Article 16, 2010.
LANGDON, P.; PERSAD, U.; CLARCKSON, P. J. Developing a model of cognitive
interaction for analytical inclusive design evaluation. Interact. Comput. 22, 6,
2010, p.510-529. DOI=10.1016/j.intcom.2010.08.008
LEE, J. Design Rationale Systems: Understanding the Issues. IEE expert/Intelligent
Systems ans Their Applications, v. 12, n. 3, 1997, p. 78-85.
LEE, L. e KRUCHTEN, P. Capturing software architectural design decisions. In
Proceedings of the Canadian Conference on Electrical and Computer Engineering
(CCECE07), 2007.
LEEDY, P. D.; ORMROD, J. E. Practical research: Planning and design (8th ed.). Upper
Saddle River, NJ: Prentice Hall, 2005.
LIKERT, R. A Technique for the Measurement of Attitudes. Archives of Psychology
140, 1932, p. 1-55.
MACLEAN, A. et al. Questions, Options and Criteria: Elements of Design Space
Analysis. Human-Computer Interaction, v. 6, n. 3-4, 1991, p. 201-250.
115
MEC. A incluso escolar de alunos com necessidades educacionais especiais DEFICINCIA FSICA. Ministrio da Educao, Secretaria de Educao
Especial. Braslia-DF, 2006.
MELODY, Y.; IVORY, M. A. Hearst: The State of the Art in Automating Usability
Evaluation of User Interfaces. ACM Computing. Survey. vol. 33, No. 4, 2001, p.
470-516.
MORAN, T. P.; CARROL, J. M. Design Rationale: Concepts, Techniques, and Use
Computers, Cognition, and Work. New Jersey: Lawrence Erlbaum Associates,
1996, 659p.
NIELSEN, J. Heuristic evaluation. In J. Nielsen and R.L. Mack (Eds.), Usability
inspection methods. New York: John Wiley and Sons, 1994.
NIELSEN, J. Usability 101: introduction to usability, 2003a. Disponvel em: <
http://www.useit.com/alertbox/20030825.html>. Acesso em mar. 2011.
NIELSEN, J. Usability Engineering. Boston - USA: Academic Press, 2003b, 362 p.
PETRIE, H.; KHEIR, O.: The relationship between accessibility and usability of
websites. In: Proc. CHI 2007. ACM, CA, 2007, p. 397406.
POWER, C.; PETRIE, H. Accessibility in non-professional web authoring tools: a
missed web 2.0 opportunity?. In: Proceedings of the 2007 international crossdisciplinary conference on Web accessibility (W4A) (W4A '07). New York: ACM,
2007, p. 116-119.
QUESENBERY, W. What does usability mean: looking beyond 'ease of use', 2002.
Disponvel em: <http://www.wqusability.com/articles/more-than-ease-of-use.html>.
Acesso em mar. 2011.
REDONDO, M. C. F. O deficiente auditivo e o mercado de trabalho. Tese de mestrado.
So Paulo, Pontifcia Universidade Catlica de So Paulo, 1990.
REDONDO, M. C. F.; CARVALHO, J. M. Deficincia Auditiva. Cadernos da TV escola MINISTRIO
DA EDUCAO
SECRETARIA DE
DISTNCIA, 2000. p. 6-7. ISSN 1518-4706
EDUCAO A
116
REGLI, W. C. et al. A Survey of Design Rationale Systems: Approaches,

Representation, Capture and Retrieval. Engineering with Computers: An
International Journal for Simulation-Based Engineering, special issue on Computer
Aided Engineering in Honor of Professor Steven J. Fenves, v. 16, 2000, p. 209-235.
ROCHA, J. A. P. (In) Acessibilidade na web para pessoas com deficincia visual: um
estudo de usurios luz da Cognio situada. Dissertao de mestrado, UFMG,
2013. Disponvel em: <http://hdl.handle.net/1843/ECIC-9BFKDS>.
ROCHA, J. A. P.; LIMA, T. F. M. Anlise da relao entre acessibilidade web e
usabilidade para pessoas com deficincia visual. SIMPSIO DE FATORES
HUMANOS EM SISTEMAS COMPUTACIONAIS, 9., 2010, Belo Horizonte.
Anais. Porto Alegre: SBC, 2010. p. 257-258
SEVILLA, J. et al. Web accessibility for individuals with cognitive deficits: A
comparative study between an existing commercial Web and its cognitively
accessible equivalent. ACM Trans. Comput.-Hum. Interact. 14, 3, Article 12, 2007.
DOI=10.1145/1279700.1279702
SHIPMAN, F.; MCCALL, R. Integrating Different Perspectives on Design Rationale:
Supporting the Emergence of Design Rationale from Design Communication.
Artificial Intelligence in Engineering Design, Analysis, and Manufaturing, v. 11, n.
2, 1997, p. 141-154.
SLATIN, J.; LEWIS, K.: Challenges of accessible web design: Standards, guidelines,
and user testing. In: Technology and Persons with Disabilities Conference, Los
Angeles, USA. CSUN, California State University Northridge, 2002.
SOMMERVILLE, I. Engenharia de Software. 8a. ed. [S.l.]: Pearson, v. 1, 2007. 568 p.
ISBN 9788588639287.
THATCHER,
J.
508
Web
Accessibility,
2004.
Disponvel
em:
<http://www.jimthatcher.com/webcourse1.htm>. Acesso em mar. 2011.

THATCHER, J. et al. Constructing accessible web sites. San Francisco: glasshaus, 2003.
THATCHER, J. et al. Web Accessibility: Web Standards and Regulatory Compliance,
Friends of ED, 2006.
117
TYREE, J. AND AKERMAN, A. Architecture decisions: Demystifying architecture.

IEEE Softw. 22, 2, 2005, p. 1927.
VANDERDONCKT, J., BEIREKDAR, A., NOIRHOMME-FRAITURE, M.: Automated
Evaluation of Web Usability and Accessibility by Guideline Review. In: Proc. of
4th Int. Conf. on Web Engineering ICWE'04 (Munich, 28-30 July 2004), SpringerVerlag, Berlin. 2004, p. 17-30.
W3C EARL - The Evaluation And Report Language, 2011a. Disponvel em:
<http://www.w3.org/2001/03/earl/>. Acesso em out. 2012.
W3C Recomendaes de Acessibilidade para Contedo Web (WCAG) 2.0, 2009.
Disponvel em: <http://www.ilearn.com.br/TR/WCAG20/>. Acesso em jun. 2011.
W3C Web Accessibility Initiative, 2011b. Disponvel em: <http://www.w3.org/WAI/>.
Acesso em jun. 2011.
W3C Web Content Accessibility Guidelines (WCAG) 2.0, 2008. Disponvel em:
<http://www.w3.org/TR/WCAG20/>. Acesso em out. 2010.
WebAIM. Cognitive. 2013a. Disponvel em: <http://webaim.org/articles/cognitive/>.
Acesso em 10 de setembro de 2013.
WebAIM.
Introduction
to
Web
Accessibility.
2013b.
Disponvel
em:
<http://webaim.org/intro/>. Acesso em 10 de setembro de 2013.

WebAIM. Seizure Disorders. 2013c. Disponvel em: <http://webaim.org/intro/>. Acesso
em 10 de setembro de 2013.
WebAIM.
Accessibility
Evaluation
Tools.
2013d.
Disponvel
em:
<
http://webaim.org/articles/tools/>. Acesso em 10 de setembro de 2013.

WATTENBERG, T. Beyond standards: reaching usability goals through user
participation.
SIGACCESS
Access.
Comput.
79,
2004.
DOI=10.1145/1040053.1040055
WINCKLER, M.; PIMENTA, M. S. Livro Texto da X Escola de Informtica da SBCSul, Sociedade Brasileira de Computao, Porto Alegre - RS, 2002, p. 85-137.
QUESTIONRIO
119
APNDICE
A. Questionrio
120
QUESTIONRIO
QUESTIONRIO
121
122
QUESTIONRIO
ROTEIRO DO ESTUDO DE CASO
123
B. ROTEIRO DO ESTUDO DE CASO

O estudo de caso consiste em utilizar o Ambiente para Anlise de Avaliaes de
Acessibilidade e Usabilidade na Web (A4U) para a avaliao do portal do governo do
Estado de So Paulo (http://www.saopaulo.sp.gov.br/).
Abaixo disponibilizo um vdeo explicativo da ferramenta para que assistam antes
de iniciarem o procedimento. No comecem antes de finalizar o vdeo, o Roteiro mais
abaixo deve ser seguido.
http://youtu.be/McaQZ466LRs
O tempo de execuo da avaliao ser medido atravs do intervalo de criao
do projeto e da ltima avaliao feita, ento procure fazer a avaliao de forma
contnua (tempo aproximado de uma hora e meia).
Material de apoio:
WCAG 2.0 (INGLS: http://www.w3.org/TR/WCAG20/ - PORTUGUS:
http://www.ilearn.com.br/TR/WCAG20/)
Section 508 (INGLS: http://www.hhs.gov/web/508/)
HHS (INGLS: http://guidelines.usability.gov/)
Esto livres a utilizarem qualquer outro material de pesquisa (ex. Google)
Roteiro:
1. Cadastre-se na ferramenta: http://www.leandroagt.com.br/a4u/
2. Em Fazer avaliao de site ou artefato, crie o projeto do portal do governo do
Estado de So Paulo (URL: http://www.saopaulo.sp.gov.br/ ) e em Objeto a ser
avaliado selecione a opo Pgina inteira.
3. Ao criar o projeto, o A4U faz a avaliao da pgina utilizando o AChecker e voc
deve inserir um arquivo em EARL, para complementar a avaliao. Faa download
da
WaaT ( http://www.leandroagt.com.br/a4u/download/WaaT.zip ) e assista o
vdeo que mostra a utilizao da ferramenta: http://youtu.be/YpMNP2xy3aA
124
ROTEIRO DO ESTUDO DE CASO
4. Na WaaT, faa a avaliao do portal do governo do Estado de So Paulo (URL:

http://www.saopaulo.sp.gov.br/ ) e submeta o arquivo .XML no A4U, a partir da
opo Incluir avaliao em EARL.
5. Feito estes passos, na Aba Acessibilidade (WCAG 2.0), escolha a opo de Filtro
Nvel de conformidade, com o mais baixo, A (Para o Nvel A de conformidade
(o nvel mnimo de conformidade), a pgina Web cumpre todos os critrios de
Sucesso de Nvel A, ou uma verso alternativa em conformidade fornecida)
6. Ao finalizar a avaliao de Acessibilidade no Nvel de conformidade A, prossiga
com a avaliao de usabilidade, na aba Usabilidade (HHS), selecionando os filtros:
Importncia relativa = 5 e Fora de evidncia = 4.
7. Ao finalizar a avaliao, v na Aba Relatrio, e clique no boto Gerar relatrio
completo. O sistema ir gerar um arquivo PDF geral, com todos seus resultados.
Faa download do arquivo PDF e envie para: leandromaral@gmail.com
Preencha o formulrio final sobre a avaliao e utilizao do A4U em:
http://www.leandroagt.com.br/a4u/form/
TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO
C. TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO
125

Leandro Agostini Amaral Revisada

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Leandro Agostini Amaral Revisada

Enviado por

Direitos autorais:

Formatos disponíveis

Um ambiente para anlise de resultados de avaliaes

de acessibilidade e usabilidade na Web

SERVIO DE PS-GRADUAO DO ICMC-USP

Um ambiente para anlise de resultados de avaliaes de

Leandro Agostini do Amaral

Orientadora: Profa. Dra. Renata Pontin de Mattos Fortes

Dissertao apresentada ao Instituto de Cincias

Ficha catalogrfica elaborada pela Biblioteca Prof. Achille Bassi

Agostini do Amaral, Leandro

Any fool can write code that a computer can understand.

A Web apresenta um contedo extenso de informaes disponibilizado a uma populao

Lista de abreviaturas e siglas

Ambiente para Anlise de Avaliaes de Acessibilidade e Usabilidade na Web

Association for Computing Machinery

Cascading Style Sheets

Evaluation And Report Language

Modelo de Acessibilidade em Governo Eletrnico

Evaluation and Repair Tools Working Group

The Department of Health and Human Services

HyperText Markup Language

Instituto Brasileiro de Geografia e Estatstica

Instituto de Cincias Matemticas e de Computao

Institute of Electrical and Electronics Engineers

International Organization for Standardization

Laboratrio de Pesquisa em Engenharia de Software

Resource Description Framework

Sistema Gerenciador de Banco de Dados

Segment-enrich-annotate paradigm for adapting

State of the Art through Systematic Review

Tecnologias de Informao e Comunicao

Universidade Federal de So Carlos

World Wide Web Consortium

Web Accessibility Initiative

Accessible Rich Internet Applications

Web Content Accessibility Guidelines

eXtensible Markup Language

Yet Another Multicolumn Layout

4.2 Projeto inicial: AccessibilityUtil ........................................................................... 62

Neste sentido, o desafio envolvendo a rea de acessibilidade Web est em garantir

1.2 Motivao e justificativa

O site do W3C 3, principal referncia na catalogao de ferramentas de avaliao

Auxiliar desenvolvedores na utilizao dos relatrios EARL e no contraste de

Auxiliar desenvolvedores na escolha de ferramentas de avaliao de

Relacionar tcnicas de promoo de acessibilidade, usabilidade e como essas

Relacionar as WCAG 2.0 com os diversos conjuntos de deficincias, de modo

Traduzir as diretrizes de usabilidade do Departamento de Sade e Servios

Contribuir com a avaliao humana dos contedos contrastados com as

Investigar a hiptese se possvel ou no obter uma experincia em software

Em seguida, os objetivos do projeto so delineados, em conjunto com a descrio

avaliao semiautomticas que consideram as diretrizes de acessibilidade WCAG 2.0 e

A pesquisa e o desenvolvimento deste trabalho foram realizados preferencialmente

1.5 Organizao da dissertao

2.1 Consideraes iniciais

CAPTULO 2. FUNDAMENTAO DA PESQUISA

2.2 Acessibilidade Web e suas diretrizes

CAPTULO 2. FUNDAMENTAO DA PESQUISA

CAPTULO 2. FUNDAMENTAO DA PESQUISA

As WCAG 2.0 apresentam quatro princpios que constituem a fundamentao da

CAPTULO 2. FUNDAMENTAO DA PESQUISA

Recomendao 2.2 - Tempo Suficiente: Fornecer tempo suficiente aos

CAPTULO 2. FUNDAMENTAO DA PESQUISA

Como apresentado na Figura 1, para obter a conformidade de Nvel A, todos os 25

CAPTULO 2. FUNDAMENTAO DA PESQUISA

deficincias vm aumentando, considerando os Censos Demogrficos feitos pelo IBGE.