Escolar Documentos
Profissional Documentos
Cultura Documentos
Dissertacao Andre Freire
Dissertacao Andre Freire
Acessibilidade no desenvolvimento de
sistemas web: um estudo sobre o cenrio
brasileiro
Visto do Orientador:
USP So Carlos
Abril/2008
07/03/2008
Agradecimentos
Primeiramente a Deus pelo dom da vida, e pela graa de todos os dias encontrar motivos para
am-Lo mais em todas as coisas e, a cada descoberta, poder am-Lo mais que todas as coisas por
meio das quais Ele se revela.
Aos meus pais, por terem me dado a riqueza de conhecimentos mais valiosos do que o melhor
dos resultados que esta dissertao pudesse mostrar. Pelo carinho incondicional e pela perseverana em amar, sempre. Ao meu irmo, primos, familiares e entes queridos, por estarem sempre
prximos de corao mesmo quando a distncia torna raros os encontros e os abraos.
minha namorada Evelise, pela vivncia do amor verdadeiro em Deus que a cada dia descobrimos mais e mais profundo em ns. Que as linhas desta dissertao dem testemunho de todo
carinho e compreenso que tive de voc neste tempo.
professora Dra. Renata Pontin de Mattos Fortes, pela amizade e confiana adquiridas durante
esses anos de convivncia, e por todo apoio para a realizao deste trabalho. Do que ficou do
aprendizado da sua orientao cientfica esta dissertao at pode dizer um pouco. Contudo, o que
ficou do aprendizado de coragem, honestidade, humildade e de vida no cabe aqui em palavras.
Aos amigos do Grupo de Orao Universitrio, e a todo o Ministrio Universidades Renovadas
da Renovao Carismtica Catlica. Obrigado pela amizade e por serem minha famlia em So
Carlos durante todo este tempo. Sejam canais de Deus para fazer a diferena na vida de muitos nas
universidades mundo afora, como fizeram na minha!
Aos amigos Vagner, da Associao Mulheres da Unimed de apoio aos cegos, Ailton do Laboratrio Prover da UFSCar, e todos amigos da Pastoral dos surdos. Obrigado por me fazerem
acreditar que este trabalho vale a pena!
Ao professor Dr. Mrio de Castro e amiga Cibele Russo, por todo o apoio na realizao das
anlises estatsticas deste trabalho.
A todos os amigos do Laboratrio Intermdia e do grupo de pesquisa. Muito obrigado pela
convivncia e pelo crescimento que me proporcionaram. A todos os professores, funcionrios e
alunos do ICMC-USP, pela saudvel convivncia e por todo apoio dado durante a realizao deste
trabalho.
amiga professora Dra. Dbora Maria Barroso Paiva, pela amizade e pelas contribuies neste
e nos trabalhos que vieram antes deste. Obrigado pelo incentivo e pela confiana neste trabalho,
tomando a frente no prosseguimento dele!
A todos os participantes do levantamento pela disponibilidade em contribuir com a realizao
deste estudo.
Ao Conselho Nacional de Desenvolvimento Cientfico e Tecnolgico (CNPq) pelo apoio financeiro.
Resumo
tem se tornado crucial para que todas as pessoas, independente de deficincias ou de outras restries possam ter acesso a ele. Diversos estudos
indicam que, apesar da instituio de leis federais sobre acessibilidade para
contedo Web em diversos pases, muitos stios ainda apresentam problemas. A falta de conscientizao das pessoas envolvidas em projetos de desenvolvimento Web sobre a acessibilidade e a no utilizao de tcnicas adequadas para desenvolvimento de aplicaes tm um impacto considervel
sobre a acessibilidade. Levantamentos foram realizados com o objetivo de
identificar caractersticas dos desenvolvedores sobre o conhecimento e uso
de tcnicas para acessibilidade. Entretanto, os estudos realizados investigaram somente o uso de um conjunto restrito de tcnicas e, alm disso, tambm
no investigaram a correlao entre as respostas obtidas pelos participantes
e o nvel de acessibilidade das pginas desenvolvidas por eles. Neste trabalho, prope-se efetuar um levantamento sobre a percepo de acessibilidade
e uso de tcnicas para desenvolvimento de sistemas Web considerando acessibilidade com pessoas envolvidas em projetos de desenvolvimento Web no
Brasil de diferentes reas de atuao. Este levantamento foi acompanhado
de avaliaes de acessibilidade automatizadas com uso de mtricas sobre stios desenvolvidos pelos participantes, para verificar a influncia dos fatores
investigados na acessibilidade dos stios e na percepo de acessibilidade
dos participantes. O levantamento realizado contou com a participao de
613 participantes de todo o Brasil. Os resultados indicaram que no Brasil a percepo da acessibilidade por pessoas que participam de projetos de
desenvolvimento Web ainda bastante limitada. Mais do que promover o
treinamento das pessoas envolvidas em projetos sobre questes tcnicas,
necessrio promover maior conscientizao sobre a acessibilidade e sobre os
problemas que pessoas com diferentes restries e habilidades enfrentam ao
utilizar a Web.
Abstract
N iversal
iii
Sumrio
Resumo
Abstract
iii
Introduo
1.1 Contexto e motivao . .
1.2 Objetivos . . . . . . . .
1.3 Metodologia . . . . . . .
1.4 Organizao do trabalho
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
1
1
2
3
3
Acessibilidade na Web
2.1 Consideraes iniciais . . . . . . . .
2.2 Tecnologia assistiva e design universal
2.3 Acessibilidade em sistemas Web . . .
2.4 Legislao de acessibilidade . . . . .
2.5 Diretrizes para acessibilidade na Web
2.6 Avaliao de acessibilidade na Web .
2.7 Consideraes finais . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5
5
6
8
11
12
15
19
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
21
21
22
24
27
28
29
35
Mtricas de acessibilidade
4.1 Consideraes iniciais . . . . . . . . . . . . . . . . . . . . .
4.2 Mtricas de acessibilidade . . . . . . . . . . . . . . . . . . .
4.3 Mtrica de problemas potenciais . . . . . . . . . . . . . . . .
4.4 Mtrica de acessibilidade para usurios cegos . . . . . . . . .
4.5 Mtrica WAB (Web Accessibility Barrier) . . . . . . . . . . .
4.6 Mtrica UWEM - Modelo de agregao de resultados de testes
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
37
37
38
39
39
41
41
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4.7
4.8
4.9
49
49
51
53
56
58
60
62
.
.
.
.
.
.
.
.
.
.
.
.
.
63
63
64
65
66
67
69
70
71
75
75
85
91
92
.
.
.
.
93
93
94
95
96
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
A Glossrio
109
111
117
D Avaliao dos stios dos governos estaduais brasileiros entre 1996 e 2007
121
127
135
vi
Lista de Figuras
2.1
2.2
2.3
2.4
2.5
10
10
11
11
17
3.1
3.2
3.3
4.1
4.2
5.1
5.2
5.3
5.4
5.5
6.1
6.2
6.3
6.4
6.5
6.6
6.7
52
52
76
76
76
77
vii
.
.
.
.
54
59
60
. 77
. 78
. 78
6.8
6.9
6.10
6.11
6.12
6.13
6.14
6.15
6.16
D.1
D.2
D.3
D.4
D.5
. 79
. 79
. 80
. 80
. 81
. 81
. 82
. 83
. 85
Nmero de estados com stios web por ano entre 1996 e 2007 . . . . . . . . . . . .
Srie histrica da anlise das pginas com a mtrica A3 dos stios dos estados . . .
Srie histrica da anlise das pginas com a mtrica UWEM dos stios dos estados
Srie histrica da anlise das pginas com a mtrica WAB dos stios dos estados . .
Srie histrica da anlise das pginas com a mtrica WAQM dos stios dos estados
viii
121
122
123
124
125
Lista de Tabelas
2.1
4.1
5.1
5.2
6.1
ix
127
128
128
129
129
x
.
C APTULO
1
Introduo
1.1
Contexto e motivao
O acesso informao e tecnologia por todas as pessoas tem se apresentado como um grande
desafio para a indstria, academia e para toda a sociedade. Em particular, garantir a acessibilidade
da informao e da comunicao um importante aspecto para promover a incluso na Sociedade
da Informao.
O crescimento do uso da Web como plataforma para aprendizado eletrnico, governo eletrnico, comrcio eletrnico e muitos outros servios online tornam a Web uma tecnologia essencial
atualmente. Dessa forma, a promoo da incluso na Sociedade da Informao passa inevitavelmente pela melhoria da acessibilidade das aplicaes Web. No caso da Web, a acessibilidade
um objetivo que envolve a gerao de documentos que possam ser renderizados por diferentes
dispositivos. Isso inclui o acesso por cegos que utilizem leitores de tela com sintetizadores de voz,
pessoas com baixa viso, surdos, pessoas com deficincia motora, idosos, entre outros grupos que
possam ter algum tipo de dificuldade para ter acesso ao contedo disponibilizado. Para que esse
objetivo seja alcanado, deve-se ter em mente princpios de design universal, evitando restringir o
projeto a grupos restritos de usurios.
Apesar da existncia de muitas diretrizes de acessibilidade, como o Web Content Accessibility
Guidelines (WCAG 1.0) (W3C, 1999a) do W3C e leis federais em diversos pases, relacionadas
acessibilidade na Web, ainda existem muitas pginas com problemas de acessibilidade.
No Brasil, o Decreto Lei No. 5.296/2004 de dezembro de 2004 havia estabelecido que todos
os stios governamentais deveriam se adequar para atender aos requisitos de acessibilidade no
1
1.2. OBJETIVOS
1.2
Objetivos
O principal objetivo desta pesquisa foi de adquirir uma viso abrangente sobre a acessibilidade no desenvolvimento de sistemas Web no Brasil. Para tanto, um levantamento foi realizado,
considerando os seguintes objetivos:
Realizao de um levantamento sobre o conhecimento de desenvolvedores a respeito de
acessibilidade e sobre o uso de tcnicas apropriadas voltadas para acessibilidade;
1
http://www.acessobrasil.org.br
CAPTULO 1. INTRODUO
Realizao de estudos bibliogrficos para contextualizao do estado da arte sobre as tcnicas de Engenharia Web para desenvolvimento de sistemas Web acessveis, auxiliando tanto
o direcionamento sobre o uso de tcnicas quanto na elaborao do levantamento sobre a
percepo a respeito da acessibilidade;
Desenvolvimento de um mdulo de software para clculo de mtricas baseado em uma ferramenta de avaliao automtica de acessibilidade, para apoiar a comparao da acessibilidade
dos sistemas avaliados e do perfil das pessoas envolvidas em seu desenvolvimento;
Anlise estatstica dos dados obtidos no levantamento, buscando verificar a influncia das
variveis analisadas no perfil dos participantes.
1.3
Metodologia
Neste trabalho, o principal mtodo de pesquisa utilizado foi o de pesquisa do tipo levantamento (survey), com a realizao de uma pesquisa com pessoas envolvidas no desenvolvimento de
sistemas Web, apoiada pelo clculo de mtricas sobre acessibilidade de pginas por meio de uma
ferramenta de avaliao automtica.
Para o desenvolvimento da ferramenta para clculo de mtricas, foram utilizados procedimentos para desenvolvimento de software baseados na engenharia reversa de uma ferramenta existente
seguido do projeto e desenvolvimento das modificaes necessrias. A validao da ferramenta
foi feita por meio da realizao de estudos de caso pontuais, contemplando casos em que foram
realizadas avaliaes em grandes quantidades de dados.
Tambm foi utilizado o mtodo de pesquisa bibliogrfica, por meio de uma reviso sistemtica da literatura (Kitchenham, 2004), para identificar o estado da arte em tcnicas para apoiar o
desenvolvimento de sistemas Web acessveis, para auxiliar na obteno de uma viso mais ampla
sobre o desenvolvimento de pesquisa sobre tcnicas e sobre o seu uso na prtica.
1.4
Organizao do trabalho
C APTULO
2
Acessibilidade na Web
2.1
Consideraes iniciais
2.2
Tecnologia Assistiva um termo utilizado para identificar todos os recursos e servios que
contribuem para proporcionar ou ampliar as habilidades funcionais das pessoas com necessidades
especiais e, conseqentemente, promover vida independente e incluso social. O termo Tecnologia Assistiva traduzido do ingls Assistive Technology, que definido como o conjunto de
equipamentos, servios, estratgias e prticas concebidas e aplicadas para atenuar os problemas
encontrados pelas pessoas com necessidades especiais (Cook e Hussey, 2001).
A aplicao de tecnologia assistiva abrange uma srie de possibilidades, desde tarefas domsticas bsicas at atividades de lazer e de trabalho. A obteno da maior independncia e autonomia
possvel um dos caminhos para a completa integrao social das pessoas com necessidades especiais ou mobilidade reduzida e deve, portanto, constituir-se no principal objetivo em matria de
incluso social.
Apesar de o termo tecnologia assistiva ser amplamente utilizado na computao, deve-se
ressaltar que recursos computacionais no so a nica forma de tecnologia assistiva existente.
Outros aparelhos como cadeiras de rodas, dispositivos de escrita em braille, e mesmo a bengala e
os culos so considerados como tecnologias assistivas.
Existem diversos tipos de tecnologias assistivas que do apoio a usurios com deficincia para
utilizar o computador. O objetivo destas tecnologias permitir que esses usurios possam interagir
com sistemas, independente de dificuldades motoras, de percepo, cognitivas ou de linguagem.
No Brasil, existe uma enorme quantidade de pessoas que podem e devem beneficiar-se da Tecnologia Assistiva. Segundo o documento Sntese de Indicadores Sociais do IBGE (IBGE, 2005),
havia no pas em 2003, 16,7 milhes de pessoas com 60 anos ou mais, representando 9,6% do
total de habitantes. Quanto s pessoas com necessidades especiais, esse grupo social representava
14,5% da populao brasileira em 2000, segundo o Censo Demogrfico 2000, tambm elaborado
pelo IBGE (IBGE, 2000).
1
A Tecnologia Assistiva pode proporcionar assistncia na comunicao, transporte, e outras atividades da vida diria. Entretanto, essa tecnologia tambm pode fornecer uma nova barreira se no
for considerada a extenso da variabilidade humana, incluindo incapacidade (disability), idade, e
tipo de corpo (Berliss-Vincent, 2000). Ao considerar opes para Tecnologia Assistiva importante ressaltar que raramente existe a melhor tecnologia para uma determinada situao. Ao
contrrio, a convenincia tecnolgica precisa ser julgada no somente sobre a funcionalidade mas
tambm sobre a habilidade do usurio em adquirir, manter, e obter treinamento sobre o equipamento. Alm disso, um equipamento geralmente somente uma ferramenta entre muitas, e todas
as opes devem ser consideradas antes de assumir que a tecnologia pode fornecer a soluo tima.
Finalmente, ao mesmo tempo em que as pessoas devem ter tantas opes tecnolgicas quanto possvel, elas tambm precisam da opo de no utilizar tecnologia; por exemplo, uma pessoa com
uma dificuldade na fala (speech disability) que prefere usar sua prpria voz a usar um equipamento
auxiliar de comunicao (communication aid) precisa ter a sua preferncia respeitada.
Existem diversos tipos de software e dispostivos para auxiliar o uso do computador por pessoas
com necessidades especiais. Para acessar a Web, muitas pessoas com deficincia visual utilizam
o leitor de tela. Alguns usurios usam navegadores textuais como o Lynx 2 ou navegadores com
voz em vez de utilizar um navegador comum (navegador com interface grfica). muito comum
as pessoas com deficincia visual se utilizarem da tecla tab para navegar somente em links ao
invs de ler todas as palavras que esto na pgina. Deste modo, eles tm uma rpida noo do
contedo da pgina ou podem acessar o link desejado mais rapidamente (Serpro, 2004). A seguir,
so listados alguns exemplos de tecnologia assistiva para deficientes visuais:
Leitor de Tela: um software que l o texto que est na tela do computador e a sada desta
informao fornecida atravs de um sintetizador de voz ou um display braille - o leitor de
tela fala o texto para o usurio ou apresenta o texto em braille atravs de um dispositivo
onde os pontos so salientados ou rebaixados para permitir a leitura. Exemplo de leitores
de tela so o JAWS (Freedom Scientific, 2006) e o DOSVOX (NCE-UFRJ, 2007), que possui
um sistema completo dotado de leitor de tela.
Navegador Textual: um navegador baseado em texto, diferente dos navegadores com
interface grfica onde as imagens so carregadas. O navegador textual pode ser usado com
o leitor de tela por pessoas com deficincia visual e tambm por pessoas que acessam a
internet com conexo lenta. Um dos principais navegadores textuais o Lynx, utilizado em
sistemas Linux.
Navegador com voz: um sistema que permite a navegao orientada pela voz. Alguns
possibilitam o reconhecimento da voz e a apresentao do contedo com sons, outros permitem acesso baseado em telefone (atravs de comando de voz pelo telefone e/ou por teclas
do telefone). O navegador Opera, por exemplo, fornece funes de reconhecimento de voz.
2
Disponvel em http://www.lynx.isc.org
Alm dos exemplos citados de tecnologia assistiva para deficientes visuais, existem diversos
outros softwares e dispositivos, como aumentadores de tela para pessoas com pouca viso, teclados
alternativos, mouses alternativos, entre outros.
Nesse sentido, o conceito de Design Universal (Universal Design), ou Design para Todos (Design for All3 ), est ganhando popularidade (Melo e Baranauskas, 2006b). Design Universal referese tecnologia desenvolvida de maneira que seja flexvel o suficiente para acomodar as diversas
habilidades humanas sem sacrificar a esttica, a eficcia, ou o custo. Embora exista legislao especfica sendo desenvolvida para garantir o Design Universal (nos Estados Unidos, por exemplo),
o maior incentivo talvez seja a ampla recepo positiva das pessoas em relao aos benefcios do
Design Universal. Por exemplo, quando uma inovao que pode ter sido inspirada inicialmente
nas necessidades de pessoas com alguma incapacidade, tambm tem ampla aceitao por todas as
pessoas por causa de diferenciais de conforto e segurana.
Na prxima seo so apresentados os principais conceitos relacionados a acessibilidade na
Web.
2.3
A World Wide Web (ou simplesmente Web) foi concebida com o principal intuito de oferecer
uma tecnologia para disponibilizao de contedo em um formato padro simples e poderoso, por
meio de informaes disponibilizadas em hipertexto utilizando HTML (W3C, 1999). Desde a
concepo da Web, Tim Berners Lee4 destacou que o poder da Web est em sua universalidade.
Ser acessada por todos, independente de deficincia, um aspecto essencial.
O avano das novas tecnologias de computao mvel e ubqua que utilizam a Web, assim
como os avanos sociais para incluso das pessoas com necessidades especiais tm colocado o
tema de acessibilidade na Web em destaque nos ambientes acadmicos, empresariais e governamentais.
Acessibilidade na Web corresponde a possibilitar que qualquer usurio, utilizando qualquer
agente (software ou hardware que recupera e serializa contedo Web) possa entender e interagir
com o contedo de um stio (Thatcher et al., 2002). Acessibilidade incorpora ainda a idia de
que todas as pessoas tm o direito de serem includas na sociedade, independente de deficincias,
localizao geogrfica, barreiras de linguagem, ou outro fator (Thatcher et al., 2002).
Durante o desenvolvimento de um stio na Web necessrio que se leve em conta no s os
usurios que utilizam tecnologias similares s utilizadas pelo desenvolvedor. Deve-se ter em mente
que a Web pode ser usada em diferentes contextos por pessoas que, por exemplo (W3C, 1999a):
sejam incapazes de ver, ouvir, se deslocar, ou interpretar determinados tipos de informaes, tenham dificuldade em ler ou compreender textos, no tenham um teclado ou mouse, ou no sejam
3
4
Na Europa o termo Design for All tem o mesmo significado de Universal Design
Inventor da Web e diretor do World Wide Web Consortium (W3C)
capazes de utiliz-los, possuam tela que apresenta apenas texto, ou com dimenses reduzidas, ou
ainda uma conexo lenta com a Internet, no falem ou compreendam fluentemente o idioma em
que o documento foi escrito, estejam com seus olhos, mos ou ouvidos ocupados (por exemplo,
a caminho do trabalho, ou em um ambiente barulhento), possuam uma verso ultrapassada de navegador Web, diferente dos habituais, um navegador por voz, ou um sistema operacional pouco
convencional.
A partir dos exemplos, pode-se verificar que o tema Acessibilidade na Web no diz respeito
somente ao acesso Web por usurios com deficincias. A utilizao dos padres e recomendaes
de acessibilidade traz benefcios para diversos grupos de usurios, e para a Web como um todo
(Hull, 2004).
Como citado na Seo 2.2, em 2000, 14,5% da populao brasileira possua algum tipo de
necessidade especial e 9,6% da populao tinha mais de 60 anos de idade. Esta parcela da populao bastante significativa, e representa uma grande poro de potenciais clientes de stios de
comrcio eletrnico, usurios de servios do governo, visitantes de stios de entretenimento entre
outros.
A preocupao com acessibilidade na Web deve crescer ainda mais em um futuro prximo,
pois a parcela da populao idosa, por exemplo, est crescendo significativamente com o aumento
da expectativa de vida. Segundo projees do IBGE (2005), estima-se que em 2030 cerca de 20%
da populao mundial ter mais de 65 anos. Tambm deve-se considerar que existe uma estreita
relao entre a faixa etria e o surgimento de deficincias. A proporo de pessoas portadoras de
necessidades especiais com menos de 21 de 10%, enquanto que a proporo de pessoas com mais
de 65 anos de 47,3%.
Existe uma grande quantidade de pginas Web que no seguem padres de acessibilidade, e
possuem diversas barreiras ao acesso por pessoas com necessidades especiais e usurios de dispositivos com capacidade reduzida de exibio. Para exemplificar um dos tipos de problemas de
barreiras em pginas na Web, pode-se observar na Figura 2.1 a pgina do Speedy 5 em um navegador grfico. Na Figura 2.2 ilustrada a mesma pgina acessada a partir de um navegador textual
(Lynx). Pode-se notar que, como o contedo s fornecido no formato Macromedia Flash, e no
fornecido nenhum contedo alternativo, no exibida nenhuma informao no navegador textual. Um navegador com leitor de tela para um usurio cego apresentaria o mesmo resultado que o
obtido a partir do navegador textual.
Desenvolver pginas acessveis no significa que no se deve utilizar recursos grficos e layouts
avanados. No h nada que impea que um designer crie uma pgina rica em layout com o mnimo de barreiras de acessibilidade (Petrie et al., 2003) (Regan, 2004). Esta uma das justificativas
mais utilizadas por pessoas envolvidas com o projeto de sistemas Web para no desenvolver contedo acessvel. Contudo, com o uso das tcnicas adequadas, no necessrio de forma alguma
perder em design em favor da acessibilidade.
5
10
2.4
11
Legislao de acessibilidade
12
referncia de todas as instituies governamentais para a construo e adaptao das suas solues
de governo eletrnico com interface Web. O e-MAG foi criado especificamente para atender ao
Decreto/lei 5.296/2004.
O Decreto 5.296/2004, que regulamenta as Leis 10.048/2000 e 10.098/2000, torna obrigatria
a acessibilidade nos portais e stios da administrao pblica para o uso das pessoas com necessidades especiais para garantir o pleno acesso s informaes.
2.5
A definio de diretrizes para a criao de interfaces bastante utilizada no contexto de interao humano-computador. A utilizao de diretrizes consiste em enumerar um conjunto de princpios e de orientaes para a soluo de problemas conhecidos, bem como solues de reconhecida
eficcia.
Existem diversos conjuntos de guidelines, ou diretrizes, para a confeco de stios visando a
acessibilidade. Os principais documentos que definem diretrizes de acessibilidade so o Section
508 (U.S. Government, 2007), do governo norte-americano, e o WCAG (W3C, 1999a), do W3C.
Cada conjunto de diretrizes possui suas especificidades, mas os principais problemas de acessibilidade so tratados por ambos.
Nesta seo abordada a primeira verso das Diretrizes para a Acessibilidade do Contedo da
Web (Web Content Accessibility Guidelines, WCAG 1.0) [W3C, 1999]. No WCAG 1.0 definido
um conjunto de 14 diretrizes que tratam diversos problemas relacionados a acessibilidade de stios.
Basicamente, as diretrizes so relacionadas a dois temas principais:
Garantir a transformao harmoniosa de pginas: pginas que garantem uma transformao harmoniosa permanecem acessveis independente das restries do usurio (por
exemplo: restries de percepo visual, auditiva ou motora) ou restries tecnolgicas (por
exemplo: dispositivos com restries de exibio ou restrio de velocidade de conexo).
Facilitar a compreenso do contedo e a navegao atravs dele: o desenvolvedor deve
utilizar uma linguagem simples e clara, e tambm disponibilizar mecanismos para facilitar a
navegao dentro de uma pgina e a navegao entre as pginas que compem o contedo.
No WCAG 2.0 (W3C, 2007b), as diretrizes so organizadas em torno de quatro princpios,
de forma que as recomendaes presentes no WCAG 1.0 so tambm atendidas, alm de terem
sido acrescentadas novas recomendaes. Os quatro princpios de acessibilidade definidos nessa
segunda verso so os seguintes:
1. O contedo deve ser perceptvel (Perceivable);
2. Os componentes de interface com o usurio no contedo devem ser operveis (Operable);
13
14
15
Conforme mencionado anteriormente, cada diretriz possui pontos de verificao. Cada ponto
de verificao tem um nvel de prioridade baseado no seu impacto na acessibilidade, que associado pela equipe responsvel pela definio das diretrizes.
De acordo com a classificao, existem trs nveis de prioridade: a) Prioridade 1 - os pontos
de verificao que possuem prioridade 1 so aqueles que devem ser atendidos; b) Prioridade 2
- pontos de verificao que deveriam ser atendidos e c) Prioridade 3: pontos de verificao que
podem ser atendidos.
O conceito de nvel de conformidade varia de acordo com a satisfao das diretrizes de acessibilidade. O WCAG 1.0 define trs nveis de conformidade, nomeados: Nvel A (atende a todas
as recomendaes de Prioridade 1), Nvel AA (atende a todas as recomendaes de Prioridades
1 e 2) e Nvel AAA(atende a todas as recomendaes de Prioridades 1, 2 e 3).
Na prxima seo so apresentados conceitos sobre avaliao de acessibilidade.
2.6
16
No documento Evaluating Web Sites for Accessibility (W3C, 2003) so apresentados dois mtodos principais para inspeo de acessibilidade de stios: a Avaliao Preliminar de Acessibilidade e a Avaliao de Conformidade.
O objetivo da avaliao preliminar identificar de forma rpida problemas gerais de acessibilidade em um stio. Neste tipo de avaliao, no so verificados todos os problemas de acessibilidade.
A avaliao preliminar combina a realizao de testes manuais (efetuados de forma no to
detalhada como na Avaliao de Conformidade) de pginas representativas, e o uso de diversas
ferramentas semi-automticas de avaliao de acessibilidade.
A avaliao de conformidade utilizada para verificar o grau de conformidade de um stio
com os padres de acessibilidade, por exemplo, o WCAG. A forma de realizar uma avaliao de
conformidade similar a de uma avaliao usando o mtodo de reviso de diretrizes (guidelines)
de usabilidade. Ao contrrio da avaliao preliminar, o objetivo deste mtodo encontrar problemas de acessibilidade mais especficos, envolvendo no s a avaliao utilizando ferramentas
automticas, mas tambm a avaliao manual de pginas representativas selecionadas de forma
sistemtica.
Alm desses mtodos, diversos outros estudos sobre mtodos de avaliao de acessibilidade
tm sido efetuados. Brajnik (2006) props um mtodo denominado Percurso baseado em barreiras, com uma abordagem similar ao mtodo de percurso cognitivo para avaliao de interface.
Neste mtodo, o autor sugere que a avaliao seja feita por um especialista, e que a cada elemento
da interface seja verificado se ele corresponde a uma barreira de acessibilidade.
Sloan et al. (2000) tambm props um mtodo para avaliao de acessibilidade envolvendo
procedimentos de inspeo de acessibilidade e de testes com usurio, na forma de um processo
composto de vrias atividades. Melo e Baranauskas (2006c,a) propuseram um mtodo para a
avaliao cooperativa de acessibilidade de interfaces, tambm definindo diversas etapas para o
processo de avaliao.
Em um trabalho realizado pelo autor desta dissertao (Freire et al., 2007c), foi realizado um
estudo com a utilizao de tecnologias assistivas para o apoio educao sobre acessibilidade para
desenvolvedores iniciantes. Neste estudo, verificou-se que o uso das tecnologias assistivas pelos
desenvolvedores se mostrou bastante eficaz para auxili-los a melhor identificar os problemas de
acessibilidade nas avaliaes.
Um outro trabalho importante relacionado a avaliao de acessibilidade o Unified Web Evaluation Methodology (UWEM) (Cluster, 2006b), desenvolvido pelo WAB Cluster 6 . O UWEM
resultado de um trabalho conjunto de vrias instituies europias, e tem como objetivo definir
um mtodo unificado para avaliao de acessibilidade, passando por procedimentos de inspeo,
testes, e realizao de benchmarks e extrao de mtricas.
6
The EU Web Accessibility Benchmarking Cluster, Evaluation and benchmarking of Accessibility http://www.wabcluster.org/
17
As ferramentas de apoio avaliao tambm so instrumentos importantes para auxiliar os desenvolvedores a encontrar problemas de acessibilidade, principalmente os problemas relacionados
marcao. Essas ferramentas provem diversas informaes importantes para desenvolvedores e
mantenedores de stios Web para auxiliar na deteco de problemas e no processo de reparo. De
acordo com Ivory et al. (2003), verifica-se que as ferramentas de apoio avaliao tm obtido um
bom nvel de aceitao pelos desenvolvedores, e tm contribudo nas tarefas de melhorar a acessibilidade e usabilidade de stios na Web. Alm disso, nota-se que essas ferramentas colaboram no
aprendizado sobre o uso de diretrizes para desenvolvedores iniciantes (Ivory, 2003).
De forma geral, as ferramentas possuem funcionalidades para auxiliar os desenvolvedores a
identificar problemas relacionados a pontos de verificao de diretrizes de acessibilidade. As ferramentas indicam o ponto de verificao relacionado e a linha do cdigo-fonte onde o problema
foi encontrado. Algumas ferramentas tambm fornecem essas informaes de maneira visual. Na
Figura 2.5 ilustrado um exemplo de um relatrio gerado pela ferramenta Hera (Benavdez et
al., 2006). Deve-se ressaltar que muitos problemas de acessibilidade no podem ser encontrados
somente por meio de avaliao com ferramentas.
Figura 2.5: Exemplo de relatrio de avaliao de uma pgina Web com a ferramenta Hera
18
No contexto deste trabalho, as ferramentas de avaliao automtica tero papel bastante importante para auxiliar no levantamento de dados sobre o nvel de acessibilidade das pginas produzidas
nos projetos dos participantes do levantamento.
Uma das tarefas compreendidas neste projeto de mestrado envolve a adaptao de uma dessas
ferramentas para a coleta de dados sobre a acessibilidade. Na Tabela 2.1 so apresentadas ferramentas disponveis que efetuam avaliao de acordo com as diretrizes do WCAG (W3C, 1999a),
enumeradas a partir da listagem fornecida pelo WAI Evaluation (W3C, 2003). Tambm so apresentadas algumas das principais caractersticas que sero levadas em conta para a seleo da ferramenta para a realizao do trabalho. Na coluna plataforma, identificado se a ferramenta
executada em um servidor (a maioria via interface Web) ou em programa em plataforma Desktop.
Quanto licena, os softwares com livre acesso ao cdigo fonte foram classificados como Open
source, softwares livremente distribudos, mas sem acesso ao cdigo fonte como Freeware.
Softwares pagos foram classificados como Comercial. Algumas ferramentas que somente disponibilizam uma interface via Web para avaliao, mas no so distribudas foram classificadas
como No distribuda. Somente foram includas ferramentas com estgio de desenvolvimento
considerado estvel e ativo. Ferramentas descontinuadas no foram includas.
Tabela 2.1: Lista de ferramentas de apoio avaliao de acessibilidade
Ferramenta
Fornecedor
Plataforma Linguagem
Licena
A-Checker
ATRC U. Of Toronto
Servidor
Java
Open source
Etre
Servidor
No informado
No distribuda
WebThing Ltd
Servidor
C / C++ / C#
Comercial
HiSoftware
Servidor /
Windows
.NET
Comercial
HiSoftware
Desktop /
Windows
.NET
Comercial
Desktop /
Windows
No informado
Comercial
http://www.commonlook.com
Deque Ramp
Deque Inc
Desktop
No informado
Comercial
Servidor
Java
No distribuda
U. of Illinois at Urbana/Champaign
Servidor
PHP
Open Source
http://fae.cita.uiuc.edu/
Hera
Fundacin Sidar
Servidor
PHP
Open Source
Gareth Slinn
Servidor
Cold Fusion
No distribuda
Servidor /
Desktop
No informado
Comercial
http://checker.atrc.utoronto.ca/
Accessibility Check
http://www.etre.com/tools/accessibilitycheck/
AccessValet
http://valet.webthing.com/access/
AccMonitor
http://www.hisoftware.com/access/monitor.html
AccVerify
http://www.hisoftware.com/access/
http://www.deque.com/
EvalAccess
http://sipt07.si.ehu.es/evalaccess2/index.html
http://www.sidar.org/hera
Hermish
http://www.hermish.com
InFocus Evaluator
http://www.ssbtechnologies.com/
19
Ferramenta
Fornecedor
Plataforma Linguagem
Licena
Lift Machine
UsableNet
Servidor
No informado
Comercial
Ocawa
http://www.ocawa.com
Urbilog
Servidor
No informado
Comercial
Silvinha
Acessibilidade Brasil
Servidor
Java
Comercial
SiteMorse
Servidor
No informado
Comercial
Fundacin CTIC
Desktop /
Servidor
Java
Freeware
Erigami
Servidor
ASP
No distribuda
Servidor /
Desktop
Java / XSLT
Open Source
http://www.usablenet.com/
http://www.dasilva.org.br/
SiteMorse
http://www.sitemorse.com/
TAW Evaluator
http://www.tawdis.net/taw3
Truwex
http://checkwebsite.erigami.com/
WAEX Evaluator
http://www.it.uc3m.es/vlc/waex.html
Vicente
Centeno
Luque-
WAhelper
Brailcom
Servidor
Python
Open Source
WebAIM
Servidor
Java
Open Source
Fujitsu Limited
Desktop
No informado
Freeware
Watchfire
Servidor
No informado
No distribuda
Watchfire
Servidor
No informado
Comercial
http://wahelper.brailcom.org/
WAVE
http://wave.webaim.org/
WebXACT
http://webxact.watchfire.com/
WebXM
http://www.watchfire.com/products/webxm
2.7
Consideraes finais
Neste captulo foram apresentados alguns dos principais conceitos relacionados a acessibilidade na Web. Esses conceitos foram fundamentais para o desenvolvimento do trabalho e para
nortear toda a pesquisa.
O entendimento dos conceitos de tecnologia assistiva foi de grande importncia para a compreenso mais aprofundada sobre os problemas enfrentados por pessoas com deficincia para o
acesso Web. O conhecimento sobre tcnicas para avaliao tambm foi fundamental para ter
bases para o desenvolvimento das atividades de levantamento sobre o status da acessibilidade de
sistemas desenvolvidos pelos participantes da pesquisa realizada.
No prximo captulo, apresentada uma reviso com um levantamento sobre tcnicas para o
apoio ao desenvolvimento de sistemas acessveis em diferentes processos do desenvolvimento de
software.
C APTULO
3
Tcnicas para desenvolvimento de
sistemas Web acessveis
3.1
Consideraes iniciais
A crescente necessidade da observao de critrios de acessibilidade no contexto de desenvolvimento de sistemas, em especial para Web, tem impulsionado a diversos esforos no sentido
de definir mtodos para suporte ao desenvolvimento de aplicaes Web acessveis. Alm disso,
diversas diretrizes tm sido definidas para facilitar o desenvolvimento de interfaces acessveis.
O principal documento referente a guidelines de acessibilidade o WCAG (W3C, 1999a) (Web
Content Accessibility Guidelines) do W3C, como descrito no captulo anterior.
Alm das guidelines, existem diversos mtodos e ferramentas para apoio ao desenvolvimento
de pginas acessveis, desde a fase de implementao at a de avaliao (W3C, 2003) (Law et al.,
2005) (Ivory et al., 2003). Assim como em processos consolidados de design de interfaces, no
contexto de desenvolvimento visando a acessibilidade, a fase de avaliao de extrema importncia para garantir a qualidade e verificar a observncia dos critrios estipulados na especificao do
projeto.
Apesar do grande nmero de tcnicas e mtodos para apoiar o desenvolvimento de sistemas
acessveis, verifica-se que um dos grandes entraves para a disseminao da cultura de acessibilidade na Web est na conscientizao dos desenvolvedores sobre a importncia do tema, e sobre as
conseqncias trazidas pela utilizao de tecnologias que se tornam barreiras para o acesso Web.
A implantao de mtodos e tcnicas para o desenvolvimento de sistemas acessveis demanda
o conhecimento e a anlise das vantagens e desvantagens de cada mtodo. No contexto de pesquisa
21
22
em acessibilidade, tambm verifica-se que diversos trabalhos sobre mtodos e tcnicas tem sido
realizados. Entretanto, ainda no se tem um panorama claro sobre a distribuio das pesquisas nas
diferentes etapas do processo de desenvolvimento de software Web.
O objetivo deste trabalho de mestrado se concentra sobre o estudo sobre a percepo da acessibilidade por desenvolvedores e pessoas envolvidas com o desenvolvimento de sistemas Web.
Desta forma, o entendimento sobre as tcnicas utilizadas no processo de desenvolvimento para
apoiar acessibilidade muito importante para apoiar o desenvolvimento do restante da pesquisa.
A Reviso Sistemtica tem como objetivo produzir uma sntese mais completa de trabalhos da
literatura relacionados a uma questo de pesquisa especfica (Kitchenham, 2004) (Biolchini et al.,
2005), utilizando um processo robusto e bem definido para guiar o procedimento de busca e anlise de trabalhos.
Assim, o objetivo desta etapa do trabalho foi o de efetuar um levantamento e uma classificao das tcnicas e mtodos para Acessibilidade na Web com base no grupo de processos de Engenharia da norma ISO/IEC 12207, por meio do uso de procedimentos de Reviso Sistemtica.
Ao contrrio de revises de literatura feitas de forma no sistemtica, a reviso sistemtica garante um valor cientfico ao trabalho. Neste trabalho, procedimentos de reviso sistemtica foram
utilizados para a conduo do levantamento, e todos os passos envolvidos no seu desenvolvimento
foram documentados, de forma a garantir a validade das concluses tiradas a partir dos dados
analisados.
Este captulo est organizado na seguinte forma: na Seo 3.2 so descritos alguns dos principais conceitos relacionados a Engenharia Web utilizados para a classificao efetuada neste trabalho; na Seo 3.3 descrita a metodologia de Reviso Sistemtica, bem como as partes do mtodo
utilizadas para a reviso de mtodos e tcnicas para Acessibilidade na Web; na Seo 3.4 so apresentados os principais resultados obtidos com o levantamento realizado; finalmente, na Seo 3.5
so discutidas as principais concluses a partir da realizao deste levantamento.
3.2
Engenharia Web
O uso de sistemas Web tem sido cada vez mais comum nos mais diversos contextos. Esses
sistemas servem de apoio para o desenvolvimento de diversas atividades relacionadas a negcios,
governo, educao, e outros domnios.
O dinamismo e a criticidade de muitos sistemas Web torna a qualidade no desenvolvimento
desses sistemas um aspecto crucial. Para entender, controlar e melhorar a qualidade de sistemas
Web necessrio utilizar mtodos modelos e tcnicas de engenharia adequadas (Olsina et al.,
2001).
Acessibilidade tambm um importante requisito de qualidade para sistemas Web. O desenvolvimento de aplicaes acessveis envolve o uso de tcnicas apropriadas para fornecer suporte
para as atividades inerentes ao design e implementao.
24
especificao de sistemas. A Modelagem conceitual neste mtodo envolve o uso de um Modelo estrutural, um Modelo dinmico e um Modelo funcional, e tambm o uso de Modelos navegacionais
e Modelo de apresentao (interface).
A maioria dos mtodos de Engenharia de Web analisados tem como foco principal o design de
contedo. Grande parte deles sugere atividades para a definio da estrutura, navegao, interface
e arquitetura de sistemas.
Aps analisar os mtodos para identificar as principais caractersticas de mtodos de Engenharia Web, o modelo adotado para efetuar a classificao de tcnicas para acessibilidade foi a norma
ISO/IEC 12207 (ISO International Standard Organization, 1998).
A norma ISO/IEC 12207 (ISO International Standard Organization, 1998) esbelece uma
arquitetura em alto nvel para processos de ciclo de vida de software. A arquitetura consiste em
um conjunto de processos e nos relacionamentos entre processos. Cada processo corresponde a
um conjunto de atividades relacionadas.
Na Figura 3.1 so ilustrados os grupos de processo da norma ISO/IEC 12207.
Como a norma definida como um framework para processos (ou um meta-processo), ela
incorpora recursos para a representao de diferentes processos de Engenharia de Software, incluindo mtodos de Engenharia de Web.
Por meio da observao das principais caractersticas dos mtodos de Engenharia de Web citados anteriormente, foram observadas algumas caractersticas particulares dos processs de desenvolvimento Web para o processo de Projeto de Software.
Foram analisados os mtodos: OOHDM (Object Oriented Hypermedia Design Model) (Schwabe
et al., 1996), UWE (UML-Based Software Engineering) (Koch e Kraus, 2002), WebML (Web Modeling Language) (Ceri et al., 2000), WAE (Web Application Extension for UML) (Conallen, 2002)
e OOWS (Object Oriented Web Solutions) (Fons et al., 2003).
Assim, definiu-se neste trabalho que seria utilizada uma classificao das tcnicas para o processo de Projeto de Software com a separao em quatro subcategorias: projeto arquitetural, projeto navegacional, projeto de interface e projeto de contedo.
Na prxima seo, so descritos os principais conceitos relacionados reviso da literatura
realizada.
3.3
Reviso da literatura
O principal objetivo de uma Reviso sistemtica produzir uma sntese completa de trabalhos publicados sobre uma questo de pesquisa especfica (Kitchenham, 2004), (Biolchini et al.,
2005), utilizando um processo robusto e bem definido para guiar o procedimento de busca e anlise de trabalhos.
Em revises no sistemticas, mesmo quando so conduzidas de acordo com regras de boas
prticas, a reviso no dotada de rigor cientfico. O desenvolvimento de uma reviso sistemtica
26
Dentre as principais vantagens de se utilizar uma reviso sistemtica ao invs de uma reviso
informal, pode-se citar:
Busca abrangente e exaustiva;
Critrios de qualificao claros e passveis de reproduo;
Avaliao crtica de acordo com mtodo explcito e prdeterminado.
A metodologia de reviso sistemtica tem sido amplamente utilizada em pesquisas de medicina h bastante tempo, desde o incio do sculo XX. A introduo do uso de reviso sistemtica
no contexto de pesquisa em Engenharia de Software foi efetuada por Kitchenham (Kitchenham,
2004), por meio da adaptao dos mtodos de pesquisa em medicina.
Diversos trabalhos de reviso sistemtica no contexto de Engenharia de Software tem sido realizados. Esses trabalhos tm focado a reviso de caractersticas de diferentes reas, como mtodos
de inspeo de software (Mafra e Travassos, 2005), melhoria de processo (Niazi e Staples, 2006),
estimativa de custo (Kitchenham et al., 2006) e processos de Engenharia de Web (Conte et al.,
2005). A alta qualidade dos resultados obtidos nesses trabalhos demonstra que a utilizao de
reviso sistemtica adequada para pesquisa em engenharia de software baseada na anlise de
evidncias cientficas.
De uma forma geral, o processo de reviso sistemtica pode ser analisado como um processo
de trs etapas, que envolvem os processos que passam da anlise de conceitos para a obteno
de estudos encontrados na literatura, pela anlise dos resultados dos estudos e, finalmente, pela
obteno das concluses a partir desses estudos, como ilustrado na Figura 3.2.
3.3.1
Protocolo da reviso
Um protocolo de reviso define o mtodo que deve ser utilizado para realizar uma reviso
sistemtica. Um protocolo pr-definido necessrio para reduzir possveis vieses de pesquisa
(Kitchenham, 2004).
O protocolo de reviso descrito a seguir foi baseado nas diretrizes indicadas por Kitchenham
(Kitchenham, 2004) e foi utilizado para guiar todo o processo de levantamento. Informaes mais
detalhadas sobre o protocolo e materiais utilizados esto documentadas em relatrio tcnico (Freire
et al., 2007a).
- Objetivo: o principal objetivo desta reviso foi o de identificar trabalhos de pesquisa relacionados
a tcnicas de desenvolvimento Web para apoio a acessibilidade. A motivao para esta pesquisa
indicar um panorama do estado da arte em tcnicas de desenvolvimento Web para acessibilidade.
Alm de identificar pesquisas existentes, este estudo tambm envolveu a classificao das tcnicas
identificadas de acordo com as atividades dos processos de software que eles apiam.
- Questo de pesquisa: Quais tcnicas esto disponveis para oferecer suporte s atividades de
desenvolvimento para construir sistemas Web mais acessveis?
- Mtodo para busca de fontes: as fontes de pesquisa devem ser recuperadas por Web. A busca
manual no foi considerada nesta pesquisa.
- Palavras-chave: Web accessibility, Web universal usability, universal Web design
28
- Lista de fontes: artigos e anais de eventos disponveis em bibliotecas digitais e indexados pela
IEEE Xplore1 , ACM Digital Library2 , Springerlink3 , Science Direct4 , IBM Journals5 and Wiley
Interscience6 .
- Critrios de incluso e excluso: os artigos a ser considerados no processo de reviso devem
estar disponveis na Web em formato eletrnico, ser escritos em ingls e descrever tcnicas para
apoio acessibilidade em qualquer fase do desenvolvimento de sistemas Web. Artigos descrevendo
estudos exploratrios, desenvolvimento de tecnologias assistivas ou de transformao automtica
de pginas no devem ser includos, pois no so relacionados diretamente a tcnicas a serem
aplicadas por desenvolvedores no processo de construo de software.
- Critrios de avaliao de qualidade: os critrios de avaliao de qualidade devem considerar a implementabilidade em ambientes reais de cada tcnica. Propostas em estgio inicial de
desenvolvimento sem nenhuma indicao de implementao devem ser excludas.
O protocolo da reviso foi desenvolvido por um pesquisador e revisado por outros dois participantes da pesquisa, durante a realizao da disciplina de Tpicos em Hipermdia em 2006.
3.3.2
Conduo da reviso
http://ieeexplore.ieee.org
http://portal.acm.org
3
http://www.springerlink.com
4
http://www.sciencedirect.com
5
http://www.research.ibm.com/journal
6
http://interscience.wiley.com
7
estudos a serem analisados com mais cuidado
2
3.4
A questo primria deste levantamento teve como objetivo identificar quais estudos sobre tcnicas de Engenharia Web para acessibilidade esto disponveis na literatura. Alm da identificao
dos estudos existentes, a reviso tambm tem como objetivo efetuar a classificao desses estudos
de acordo com os processos da norma ISO/IEC 12207 (ISO International Standard Organization,
1998) que so apoiados pelas tcnicas.
Durante a extrao de dados, cada estudo foi classificado como tcnica de apoio a um ou mais
processo da norma ISO/IEC 12207. Como apontado na Seo 3.2, as tcnicas classificadas no
processo de Projeto de Software foram divididas em: projeto arquitetural, projeto navegacional,
projeto de interface e projeto de contedo.
Tambm foi registrado se cada tcnica possua uma ferramenta associada ou no. Cerca de
55% dos estudos (19 de 53) apresentou uma ferramenta associada.
Para cada estudo, tambm foi registrado se havia algum tipo de validao experimental reportada. Cerca de 42% dos estudos (22 de 53) possuiam algum tipo de validao experimental
reportada. A maioria dos estudos utilizavam estudos de caso para validar as tcnicas, envolvendo
poucos desenvolvedores. Poucos estudos reportaram experimentos formais e rigorosos.
Shull (Shull et al., 2004) indica que o uso de procedimentos experimentais bastante importante para garantir a confiabilidade de mtodos e tcnicas de Engenharia de Software. O nmero
pequeno de estudos que reportaram o uso de procedimentos experimentais indica a necessidade da
adoo de mtodos mais disciplinados para pesquisa de tcnicas para acessibilidade na Web.
30
A seguir, so descritas as principais concluses obtidas por meio da classificao dos estudos
obtidos no levantamento. A anlise contm uma descrio geral das caractersticas dos estudos
observadas, de acordo com cada processo da norma ISO/IEC 12207. Cada estudo foi classificado
como tcnica de apoio para um ou mais processos. Na Figura 3.3 mostrado o nmero de estudos
que contemplam tcnicas para cada processo.
Figura 3.3: Nmero de publicaes de tcnicas para acessibilidade para processos da ISO/IEC
12207
Engenharia de Requisitos: neste estudo, decidiu-se que as atividades relacionadas manipulao de requisitos seriam classificadas em um conjunto nico. As atividades envolvidas
nos processos de Elicitao de Requisitos, Anlise de Requisitos de Sistema e Anlise de
Requisitos de Software foram agrupadas como atividades de Engenharia de Requisitos.
O principal propsito das atividades de Engenharia de Requisitos de coletar as necessidades
dos usurios e document-las de maneira adequada.
Apenas um estudo foi classificado como uma tcnica para Engenharia de Requisitos. Neste
estudo, desenvolvido por Sloan et. al (Sloan et al., 2006), prope-se que a elicitao de
requisitos de acessibilidade deve envolver a identificao das caractersticas dos usurios,
a documentao dos requisitos de domnio, os requisitos tecnolgicos e os requisitos de
desempenho. Esse estudo tambm apresenta tcnicas para Projeto de Interface e Projeto de
Contedo.
A elicitao de requisitos e a documentao dos requisitos de um sistema uma tarefa muito
importante durante o desenvolvimento de um software. O desenvolvimento de novas tcnicas para apoiar a Engenharia de Requisitos poderia prover mtodos mais disciplinados para
garantir a acessibilidade de sistemas Web. Masuwa-Morgan (Masuwa-Morgan e Burrell,
2004) apontam para a necessidade de utilizar tcnicas baseadas em ontologias para prover
32
34
Muitos processos da norma ISO/IEC 12207 no tiveram nenhum estudo com tcnica relacionada na reviso sistemtica. O desenvolvimento de tcnicas para apoiar esses processos consistem
em potenciais temas de pesquisa em acessibilidade na Web.
Mesmo no grupo de processos de Engenharia, no foram encontradas tcnicas para os processos de Integrao de Software e Instalao de Software.
Seria interessante investigar quais so os impactos da utilizao de software ou de partes de
software de outras organizaes na acessibilidade. Para tanto, novas tcnicas para os grupos de
processos de Aquisio e de Fornecimento poderiam ser consideradas.
No tocante aos processos de Operao, novas tcnicas podem ser desenvolvidas para propor
formas de fornecer suporte utilizao de pginas por usurios com diferentes tipos de habilidade.
Para tanto, necessrio fornecer subsdios adequados para as equipes de suporte.
3.5
Consideraes finais
Neste captulo, foi apresentado um estudo sobre o estado da arte em tcnicas de Engenharia
de Web para acessibilidade. O panorama obtido a partir deste estudo se apresenta como uma
importante contribuio para guiar a implementao de novas tcnicas em organizaes.
Apesar de no ter sido possvel utilizar os critrios de reviso sistemtica para definio da
string de busca, a utilizao dos procedimentos de reviso sistemtica para seleo e avaliao dos
trabalhos encontrados foi muito importante para garantir a qualidade do levantamento e a validade
do estudo.
Alm do panorama do estado da arte obtido, tambm possvel identificar diversos gaps de
pesquisa. O desenvolvimento de trabalhos relacionados a reas onde no foram identificados trabalhos tambm consistem em reas de pesquisas promissoras.
O desenvolvimento de novas tcnicas para acessibilidade na Web no auxilia somente desenvolvedores e organizaes a desenvolver sistemas de software de qualidade, mas tambm auxilia
na promoo do desenvolvimento de uma Web mais inclusiva, de forma a construir uma sociedade
da informao mais acessvel.
Como trabalhos futuros, pretende-se desenvolver trabalhos de reviso sistemtica para identificar o estado da arte em pesquisas sobre interfaces para pessoas com deficincia e pessoas idosas,
e tambm identificar o estado da arte em tcnicas para transformao de interfaces.
36
A investigao de solues para a avaliao de acessibilidade para contextos ainda no explorados tambm ser alvo de pesquisas a serem realizadas.
Finalmente, diante das constataes obtidas da reviso realizada, foi possvel contextualizar os
processos, atividades e tcnicas usualmente mencionadas nas pesquisas que envolvem Engenharia
Web.
A partir desse contexto, tivemos bases para auxiliar na formulao do questionrio que foi veiculado para pessoas envolvidas com projetos de sistemas Web no Brasil, visando obter informaes
relativas considerao da acessibilidade nesses projetos.
Por outro lado, para obter dados objetivos dos produtos Web desenvolvidos por essas pessoas,
foram realizadas medies de acessibilidade. No prximo captulo, so introduzidas as principais
mtricas de acessibilidade adotadas neste trabalho.
C APTULO
4
Mtricas de acessibilidade
4.1
Consideraes iniciais
38
4.2
Mtricas de acessibilidade
39
4.3
Varivel
Significado
WC
NP
NT
O primeiro trabalho publicado sobre uma medida de acessibilidade foi proposto por Sullivan
& Matson (Sullivan e Matson, 2000). Nesta mtrica, foi considerado o conceito de problemas potenciais, de forma a estabelecer um valor referente ao nmero de barreiras encontradas em relao
ao nmero de barreiras potenciais.
No estudo realizado, os autores apontaram o problema de se utilizar nmeros absolutos para
efetuar a comparao. Por exemplo, a avaliao de duas pginas pode fornecer como resultado um
nmero de 10 ocorrncias de problemas relacionados falta de textos alternativos para imagens.
A comparao direta entre as duas pginas fica comprometida se, por exemplo, uma das pginas
tem um total de 10 imagens e a outra um total de 100 imagens. Considerando que a existncia
de uma imagem um problema potencial, a primeira pgina teria um ndice de 100% de imagens
inacessveis, enquanto a segunda teria um ndice de 10%.
A frmula considera o nmero total de problemas encontrados em uma pgina (Bp ) em relao
ao nmero de problemas potenciais (Pp ), de acordo com a frmula a seguir:
Ip =
4.4
Bp
Pp
(4.1)
Gonzlez et al. (2003) propuseram uma mtrica para obter um ndice de acessibilidade. O objetivo do desenvolvimento desta mtrica foi o de apoiar a navegao no sistema KAI (Kit for the
Accessibility to the Internet). No sistema KAI, as pginas so convertidas para uma linguagem
intermediria, denominada BML (Blind Markup Language), de forma a melhorar a navegao por
40
usurios cegos com o sintetizador de voz baseado em BML presente no sistema. Durante o processo de converso da pgina, so extradas informaes referentes acessibilidade de elementos
como imagens, textos, formulrios e outros, que so utilizados posteriormente para a determinao
do ndice de acessibilidade da pgina. O objetivo do sistema que, de posse desse ndice, o usurio
possa optar por navegar ou no pela pgina.
O ndice de acessibilidade proposto por Gonzlez et al. (2003) calculado considerando que
uma pgina acessvel se todos os seus elementos so acessveis. Dado o endereo de uma pgina,
estabelecido o ndice de acessibilidade de cada elemento. Para o clculo do ndice de cada
elemento, so consideradas diretrizes de acessibilidade do WCAG (W3C, 1999a) e outras diretrizes
estipuladas pelos autores. Para cada ponto de verificao, atribudo um ndice percentual de
importncia.
Na definio do percentual de importncia, verifica-se qual o impacto de um problema de
acessibilidade para aquele ponto de verificao. Por exemplo, para o ponto de verificao 1.1
(Prover um equivalente em texto para todo elemento no visual), atribui-se 100% de importncia,
pois tem um impacto grande para todo usurio cego. Para o ponto de verificao 2.2 (Contraste
entre cor de fundo e cor do texto), atribui-se o ndice relativo ao percentual de cegueira do usurio
(1/%cegueira), pois para usurios cegos ele no ter impacto algum.
Aps calcular o ndice de acessibilidade para cada elemento da pgina, o mtodo proposto
define o clculo de um ndice global de acessibilidade para a pgina. A definio do ndice de
acessibilidade efetuada de acordo com o modelo WebQEM (Web Quality Evaluation Method)
(Olsina e Rossi, 2002), passando pela definio dos atributos de qualidade avaliados, avaliao de
cada elemento, avaliao global e concluso da avaliao.
Para efetuar a avaliao global, toma-se o ndice percentual (EP) de cada elemento da pgina
avaliada, definido como a frao das barreiras em relao aos problemas potenciais, e atribui-se
um peso a ele (Wb ), e calcula-se o ndice global (GP) como:
GPp =
Bbp
Wb
P
bp
possivel barreira b pagina p
X
(4.2)
(4.3)
Os autores afirmam que os resultados obtidos por meio de uma validao informal foram bons,
contudo, no apresentada nenhuma validao experimental formal da mtrica proposta. Alm
disso, verifica-se que os autores se concentraram em efetuar uma avaliao voltada somente para a
comunidade de usurios cegos, o que dificulta a utilizao direta da mtrica proposta para outros
contextos.
4.5
41
A definio de uma mtrica para acessibilidade tambm foi alvo de um trabalho realizado por
Parmanto e Zeng (2005). A mtrica definida pelos autores, denominada WAB (Web Accessibility
Barrier) tem como objetivo auxiliar a determinao de um ndice de acessibilidade para a avaliao
automtica de acessibilidade de stios e sistemas Web.
Dentre as motivaes apontadas pelos autores, pode-se apontar a necessidade de proporcionar
uma automatizao da avaliao de grandes quantidades de pginas Web, e de estabelecer ndices
para comparar e acompanhar a evoluo da acessibilidade.
Na mtrica desenvolvida, tambm so considerados os conceitos de problemas potenciais e
de peso como em outras mtricas existentes na literatura. Alm disso, tambm leva em conta
o nmero de pginas em um stio (N P ), e estipula uma atribuio de pesos, correspondente ao
inverso da prioridade definida pelo WCAG (W3C, 1999a)1 . A frmula para clculo da mtrica
WAB conforme a seguir:
PN P P
W ABstio =
p=1
Bbp
possivel barreira b W CAG 1.0 ( Pbp )(Wb )
NP
(4.4)
Os autores apresentam uma validao experimental do mtodo. A validao foi efetuada por
meio da comparao do resultado da avaliao com uma avaliao de referncia. Os autores compararam a avaliao efetuada utilizando o WAB de stios classificados como A, AA e AAA.
Com os resultados, verificou-se que, em mdia, stios com melhor classificao nos nveis estabelecidos pelo WCAG tinham um ndice WAB menor (com menos barreiras).
4.6
No contexto da metodologia para avaliao UWEM (Cluster, 2006b), citada na Seo 2.6, um
dos objetivos definidos era o de definir uma forma de agregar o resultado de testes de acessibilidade.
No UWEM descrito um mtodo para obteno de medidas obtidas a partir de testes de acessibilidade em trs estgios. A mtrica proposta se baseia no clculo da probabilidade de que o
usurio encontre uma barreira em um stio Web, calculada a partir da probabilidade de encontrar
barreiras pontuais em cada uma de suas pginas.
A partir da realizao do primeiro e do segundo estgios, descritos na Figura 4.1, obtida a
probabilidade de encontrar uma barreira de acessibilidade em uma nica pgina.
1
42
Figura 4.1: Primeiro e segundo estgios para o clculo de mtrica de acessibilidade do UWEM
(Cluster, 2006b)
Em seguida, pode-se aplicar o peso referente ao peso da confiana do teste realizado na avaliao, caso ele seja conhecido. Os pesos da confiana se referem probabilidade de acusar um
falso positivo (Cbf p ), ou seja, de apontar a existncia de uma barreira que na realidade no existe,
e probabilidade de no acusar uma barreira que existe, que correspondende a um falso nega-
43
tivo (Cbf n ). Na verso atual do UWEM, no existe nenhuma indicao sobre como especificar
essas probabilidades. Caso no seja possvel utilizar esses pesos, o documento recomenda que eles
sejam definidos como Cbf p = Cbf n = 0, que corresponde ao mesmo que no aplic-los. Caso seja
possvel determinar essas probabilidades, utiliza-se as frmulas descritas descritas na Figura 4.1,
para a etapa aps a aplicao dos pesos de confiana.
No segundo estgio, tambm representado na Figura 4.1, efetuado o clculo da probabilidade
de encontrar barreiras de acessibilidade para cada pgina avaliada, designado pela varivel Fp .
Para o clculo da probabilidade de encontrar barreiras em uma pgina, utilizado o fator (Wb ),
definido no intervalo Wb [0, 1]. Um valor pequeno de Wb indica que a probabilidade de que
baixa a probabilidade de uma barreira b signifique um real problema de acessibilidade pelos
usurios. Ou seja, refere-se ao ndice de impacto da barreira sobre a acessibilidade. Na verso
atual do mtodo, ainda no existem dados experimentais suficientes para a determinao do valor
de Wb para cada barreira de acessibilidade. No documento, determina-se que seja utilizado o valor
Wb = 0.05 b. Espera-se que com o avano do projeto EIAO (European Internet Accessibility
Observatory) (Snaprud et al., 2006) seja possvel determinar valores mais exatos para esses ndices.
O clculo efetuado com base nos prncipios do modelo UCAB (User Centric Accessibility
Barrier Model), considerando que 1) a ocorrncia de barreiras independente e 2) a ocorrncia de
barreiras em uma pgina tem efeito cumulativo, ou seja, cada barreira encontrada tem um efeito
sobre a diminuio da acessibilidade global da pgina.
Aps efetuar o clculo de Fp para cada pgina, efetuado o clculo da probabilidade de encontrar barreiras no stio como um todo, como na frmula seguinte.
NP
1 X
Fpj
Fs =
N P j=1
(4.5)
(4.6)
O valor final encontrado pela mtrica para a acessibilidade do stio corresponde probabilidade
de que um usurio com um determinado tipo de deficincia encontre, ao utilizar o stio, barreiras
que o impeam de completar uma tarefa.
Nos estudos realizados no contexto deste trabalho de mestrado, no foram considerados os
conceitos de confiana de teste para esta mtrica. A seguir, ilustrada a frmula simplificada para
o clculo de Fs ::
Fs =
NP
Y
1 X
Bbp
1
(1
Wb )
N P p=1
P
bp
possivel barreira b barreiras
(4.7)
4.7
A1 (p, u) = 1
(1 Wub )
(4.8)
Os autores propem uma primeira modificao na frmula, de modo a contemplar a representao da ocorrncia de mais de uma falha relacionada a uma mesma barreira. Assim, obtem-se
uma frmula A2 , levando em considerao que o nmero de ocorrncias de uma barreira Bpb :
Y
A2 (p, u) = 1
(1 Wub )Bpb
(4.9)
Nota-se que esta frmula modela barreiras absolutas. Uma barreira absoluta se ela impossibilita que o usurio complete uma tarefa. A severidade de tal barreira Wub = 1. Essa condio
resulta em A2 (p, u) = 1 porque o produto resulta em zero (um dos fatores (1 Wub )Bpb =
(1 1)Bpb = 0). O modelo proposto por Bhler et al. (2006) baseado em uma mudana no
expoente desta frmula, conforme a seguir:
A3 (p, u) = 1
B
B p
Y
( b + pb )
(1 Wub ) Pbp Bp
(4.10)
O fator Cpb , utilizado no expoente do fator multiplicativo o valor que descreve a complexidade
da pgina p em relao barreira b, que definido da seguinte forma:
Cpb =
Bpb Bpb
+
Ppb
Bp
(4.11)
45
Os dados relevantes para o clculo de Cpb so Bbp (nmero de barreiras tipo b na pgina), Ppb
(nmero de barreiras potenciais do tipo b na pgina), e Bp (nmero total de barreiras na pgina).
Cpb deve satisfazer as seguintes condies:
Se nenhuma barreira do tipo b encontrada, no h nenhuma contribuio para a funo de
agregao. (Bpb = 0 Cpb = 0)
Se uma barreira do tipo b encontrada, isso ir diminuir o resultado da funo de agregao.
(Bpb > 0 Cpb > 0)
Essa funo leva em conta a relao das barreiras reais e barreiras em potencial. Alm da
relao de todas as falhas com o nmero de falhas para um tipo de barreira. Essa contribuio
adicional garante que essas barreiras sejam consideradas de acordo com a sua proporo global de
ocorrncia dentro de uma pgina Web.
Bhler et al. (2006) tambm reportam a realizao de um experimento inicial para efetuar a
validao do mtodo. O experimento foi realizado durante um teste com usurios. Participaram do
teste quinze usurios com deficincia, dentre os quais havia um grupo de usurios cegos. Os autores no informam o percentual de usurios cegos e nem quais eram os outros tipos de deficincia
que os demais participantes possuam.
Para efetuar a comparao, foram computadas mtricas com ndices de barreiras de acessibilidade diferentes, e tambm foi computado um ndice avaliado pelos usurios. O objetivo da
avaliao foi de verificar qual das mtricas fornecia uma melhor aproximao para a avaliao dos
usurios. Na comparao, foram computadas as mtricas do modelo de agregao do UWEM 0.5
(Cluster, 2006a), o modelo melhorado A3 e o modelo proposto por Sullivan e Matson (2000).
De forma geral, o mtodo A3 foi o que se aproximou mais dos ndices dos usurios. O mtodo
de Sullivan e Matson (2000), apesar de simples, tambm obteve resultados satisfatrios.
Embora a validao tenha sido feita com um grupo pequeno de usurios, e com poucas pginas,
os resultados preliminares indicam que o mtodo A3 apresenta vantagens em relao aos demais
mtodos.
4.8
A mtrica WAQM (Web Accessibility Quality Metric) (Vigo et al., 2007) considera as diretrizes do WCAG 1.0 classificadas de acordo com os princpios do WCAG 2.0, de que o contedo
deve ser: perceptvel, opervel, inteligvel (understandable) e robusto. Ao contrrio das outras
mtricas apresentadas, esta mtrica tambm considera problemas identificados como warnings na
contagem.
No algoritmo para clculo da mtrica, basicamente os pontos de verificao so divididos em
doze grupos, derivados da combinao das seguintes possveis variaes:
46
W AQM =
T
1X
T j=1
X
x{p,o,u,r}
N Tx X N Txy
NT
N Tx
y{e,w}
Wz Axyz
(4.12)
z{1,2,3}
Para efetuar o clculo do peso de cada ponto de verificao, adotada uma abordagem baseada
em uma aproximao por meio de uma hiprbole. Na Figura 4.2, traduzida e adaptada de Vigo et
al. (2007) apresentada uma representao grfica dessa aproximao. Com essa aproximao,
na regio onde esto concentrados a maioria dos resultados da avaliao, o grfico apresenta uma
distribuio mais discriminativa, espalhando melhor os valores, segundo os autores.
Desta forma, a definio do fator Axyz feita de acordo com a frmula descrita a seguir. As
constantes a e b foram definidos por Vigo et al. (2007) empiricamente como a = 20 e b = 0.3.
(
Axyz =
)( 100
) + 100, Bbxyz
<
( Bbxyz
b
xyz
xyz
a100
a100/b
a( Bbxyz
) + a, caso contrario
xyz
(4.13)
Os autores apresentam testes efetuados com duas ferramentas automticas diferentes para 15
stios Web e feita uma comparao com algumas pr-condies definidas pelos prprios autores.
47
Figura 4.2: Aproximao do clculo da mtrica WAQM por uma hiprbole (Vigo et al., 2007)
Contudo, nenhuma comparao da mtrica em relao a outras, nem comparao das mtricas
obtidas em relao a resultados de testes com usurios so apresentados.
4.9
Consideraes finais
48
C APTULO
5
Hera metrics: mdulo para clculo de
mtricas
5.1
Consideraes iniciais
49
50
As ferramentas consideradas para a anlise foram a Hera1 , A-Checker2 , a Functional Accessibility Evaluator 3 , a WAEX 4 a WAHelper5 e a WAVE6 .
Como primeiro passo, foi feita a instalao de cada uma das ferramentas a serem analisadas.
Apesar de terem sido declaradas como ferramentas de cdigo aberto, as ferramentas WAHelper e
Functional Accessibility Evaluator no disponibilizavam o cdigo para acesso em nenhum local,
impossibilitando sua instalao.
A ferramenta WAEX se apresentou a princpio como uma alternativa bastante interessante,
pelo fato de utilizar transformaes XSLT (W3C, 1999b) para efetuar a avaliao das pginas, o
que destaca a preocupao com o uso de padres Web. Contudo, a utilizao desta tecnologia
limitava a utilizao da ferramenta para a avaliao de pginas que necessariamente estivessem em
formato XHTML (W3C, 2002b), excluindo pginas em HTML 4.0 (W3C, 1999) ou anterior que
no estivessem em conformidade com o padro XHTML.
As ferramentas WAVE e A-Checker tambm foram instaladas e examinadas. As duas ferramentas foram implementadas em linguagem Java. A ferramenta WAVE se mostrou bastante eficaz para
a avaliao. Contudo, na anlise do cdigo verificou-se que a sua API no fornecia uma interface
adequada para obter os problemas de acessibilidade para clculo das mtricas de forma objetiva.
A ferramenta A-Checker se mostrou bastante interessante para uso, pois possui uma implementao bastante modular e oferece recursos para adaptar facilmente o conjunto de diretrizes utilizado
para avaliao. Entretanto, verificou-se que esta ferramenta ainda possui muitos problemas de desempenho, pois exigia muitos recursos de processamento e memria, alm de que constantemente
estava indisponvel.
Finalmente, a ferramenta Hera mostrou-se a ferramenta mais adequada para efetuar as modificaes necessrias para efetuar clculos de mtricas de acessibilidade. A ferramenta implementada em PHP e tambm tem o seu cdigo modular, facilitando o entendimento e a realizao de
trabalhos de manuteno. Apesar de tambm apresentar problemas de desempenho, verificou-se
que normalmente a ferramenta no tinha problemas srios de disponibilidade.
Este captulo est organizado da seguinte forma: na Seo 5.2 so apresentados os estudos realizados sobre a ferramenta Hera 2.0, na Seo 5.3 apresentada a implementao do mdulo para
clculo de mtricas, na Seo 5.4 so apresentados os estudos de caso realizados com avaliao
de acessibilidade baseada em mtricas de stios governamentais brasileiros e, finalmente, na Seo
5.5 so discutidas as consideraes finais deste captulo.
1
Disponvel em http://www.sidar.org/hera
Disponvel em http://checker.atrc.utoronto.ca/
3
Disponvel em http://fae.cita.uiuc.edu/
4
Disponvel em http://www.it.uc3m.es/vlc/waex.html
5
Disponvel em http://wahelper.brailcom.org/
6
Disponvel em http://wave.webaim.org/
2
5.2
51
A partir da escolha da ferramenta Hera para efetuar a implementao do mdulo para clculo
de mtricas, foi feito um estudo sobre o funcionamento da ferramenta. Na pgina da ferramenta
havia pouca documentao disponvel. Somente algumas descries bsicas sobre cada mdulo
eram disponibilizadas.
Desta forma, a maior parte do estudo teve que ser feita a partir do cdigo-fonte, utilizando o
procedimento de engenharia reversa para gerar as devidas descries e modelos da ferramenta.
Parte da ferramenta foi implementada utilizando o paradigma de orientao a objetos, mas
algumas partes foram implementadas utilizando programao estruturada. Assim, parte da descrio da ferramenta aqui reportada ser feita por meio de diagramas de classes e parte com descrio
sobre as funcionalidades e funes disponveis nas bibliotecas.
A ferramenta Hera 2.0 considerada uma ferramenta de avaliao de acessibilidade semiautomtica. Ela apresenta funcionalidades para a realizao de avaliaes preliminares de forma
automtica para um subconjunto de diretrizes e fornece suporte para a realizao de avaliao
manual por especialistas. A ferramenta tambm prov funcionalidades para gerao de relatrios.
Na Figura 5.1, adaptada e traduzida de Benavdez et al. (2006) apresentada a estrutura bsica
da ferramenta. Verifica-se que o fluxo convencional para utilizao em avaliaes consiste em efetuar uma avaliao preliminar automaticamente e, em seguida, efetuar uma inspeo manual. Para
a inspeo manual, a ferramenta disponibiliza diversos auxlios, como ajuda com as diretrizes, visualizao de sumrio dos resultados at o momento, instrues gerais para avaliao, visualizao
grfica da pgina com indicao dos lugares onde ocorreu cada erro, visualizao do cdigo fonte
e insero dos resultados de avaliao. Aps efetuar a avaliao, a ferramenta tambm oferece
suporte para gerao de relatrios em formato HTML, PDF ou EARL (W3C, 2007a).
Na organizao de sua estrutura de arquivos, a ferramenta possui trs grandes grupos: a) arquivos para processamento de interface com o usurio, b) bibliotecas e classes para implementao
das funcionalidades e c) arquivos para tratamentos de localizao para diferentes lnguas.
Nas funcionalidades para tratamento da interface, existem arquivos com a pgina inicial da
busca, avaliao de contraste de cores, visualizao dos resultados, gerao de relatrios e as
folhas de estilo.
Para efetuar a localizao, foram utilizados arquivos com as definies dos termos na interface,
separados em grupos: nomes dos elementos revistos, textos de ajuda, textos da interface em geral,
textos dos manuais para os pontos de verificao, textos para visualizao da pgina com erros,
textos das diretrizes, informaes sobre pontos de verificao, e outros tipos de mensagens.
A ferramenta tambm possui outros mdulos para manipulao das funcionalidades e para
apoio gerao de interface. Contudo, o principal interesse no contexto deste projeto era referente
s funcionalides de parsing e de avaliao de acessibilidade. Desta maneira, nesta dissertao
apresentado somente um modelo das classes que so referentes a essas funcionalidades.
52
Figura 5.1: Estrutura bsica da ferramenta Hera 2.0 (Benavdez et al., 2006)
Na Figura 5.2 so apresentadas as principais caractersticas das classes File, Parse e Resumen.
A classe File contm funes para manipulao dos arquivos avaliados e para o tratamento inicial
do texto, realizando as primeiras etapas do parsing. No classe Parse so feitas as anlises dos
problemas de acessibilidade para cada elemento HTML. A classe Resumen responsvel pelo
tratamento dos dados para a exibio dos relatrios-resumo.
Figura 5.2: Diagrama com as principais classes utilizadas para avaliao na ferramenta Hera 2.0
53
A principal classe utilizada para o clculo das mtricas a classe parse, que contm informaes sobre o nmero de problemas encontrados para cada ponto de verificao. O atributo tot
corresponde a um array indexado pelo nmero de cada ponto de verificao ou pelo nome do elemento HTML. Por exemplo, tot[102] corresponde ao nmero de falhas do ponto de verificao
10.2. O atributo pto tambm um array, e cada elemento indica o resultado do teste de cada elemento, que pode ser mal (teste automtico falhou), bien (teste automtico passou), duda (no pode
ser testado automaticamente) e NA (no aplicvel).
5.3
Aps a realizao dos estudos sobre a ferramenta, foi feito o projeto para a implementao do
mdulo para clculo de acessibilidade a partir da ferramenta Hera 2.0.
Como se tratava de um desenvolvimento bastante pontual, foi feito um projeto simples por meio
de um processo de software do tipo cascata, com uma interao. Foram levantados os principais
requisitos para o mdulo (que no eram atendidos pela verso atual da ferramenta), seguido da
adaptao do diagrama de classes, implementao e teste.
Requisitos
De forma geral, os principais requisitos do mdulo implementado foram: de fornecer auxlio
para o clculo de mtricas de acessibilidade a partir de uma ferramenta de avaliao automtica; e e de prover funcionalidades para a automatizao da avaliao de grandes quantidades
de pginas.
Requisitos Funcionais
RF1. O mdulo deve automatizar o clculo de mtricas de acessibilidade a partir de
avaliaes por reviso de diretrizes do WCAG 1.0 feitas por ferramenta automtica.
RF2. O mdulo deve automatizar o clculo de problemas em potencial para cada ponto
de verificao das diretrizes do WCAG 1.0, para auxiliar o clculo de mtricas por
avaliaes manuais.
RF3. O mdulo deve fornecer meios para obter diferentes mtricas de acessibilidade
a partir da mesma avaliao, e em princpio deve implementar as mtricas: problemas
potenciais, WAB, UWEM, A3 e WAQM.
RF4. O mdulo deve fornecer uma interface para ser utilizada por outros programas
para a automatizao de clculos de mtricas.
RF5. O mdulo deve permitir a alterao dos pesos aplicados a cada barreira de acessibilidade.
RF6. O mdulo deve permitir a totalizao de barreiras por ponto de verificao e totais
por diretrizes.
54
Figura 5.3: Diagrama com as principais classes utilizadas para avaliao na ferramenta Hera 2.0
com o mdulo de clculo de mtricas
Os objetos da classe Metric possuem informaes referentes aos nmeros relevantes para
o clculo de barreiras em uma dada pgina. Levou-se em considerao que cada ponto de
verificao pode ter mais de um caso de teste relacionado. Assim, foram definidos atributos
para armazenar os nmeros para cada caso de teste e os totais para cada ponto de verificao.
A seguir, apresentada uma breve descrio de cada um dos atributos:
url: URL da pgina avaliada;
55
56
Alm dos testes funcionais realizados, foram realizados estudos de caso mais elaborados para
validao do mdulo. Na prxima seo, so apresentados detalhes sobre a realizao dos estudos
de caso.
5.4
Antes de realizar a avaliao dos stios informados pelos participantes do levantamento com
pessoas envolvidas em projetos de desenvolvimento de sistemas Web, foram realizados estudos de
caso visando validar o mdulo para clculo de mtricas de acessibilidade desenvolvido.
Foram realizados dois estudos de caso com avaliaes automticas e um terceiro estudo de
caso com uma avaliao manual feita por especialistas. Neste terceiro estudo de caso, o mdulo foi
utilizado para auxiliar na gerao dos relatrios para calcular as mtricas e identificar os nmeros
de problemas em potencial para cada ponto de verificao.
Neste terceiro estudo (Freire et al., 2007d), foram feitas avaliaes de pginas de trs ferramentas de aprendizado eletrnico: o TIDIA-Ae (Fapesp, 2008), o SAKAI (Fundao Sakai, 2008)
e o Moodle (Moodle, 2008). Esta avaliao foi importante para observar como o uso das mtricas
pode auxiliar na comparao da acessibilidade de diferentes sistemas. O ambiente Moodle foi o
que apresentou os menores ndices de barreiras. Tambm foi interessante observar que as mtricas
A3, UWEM e WAB apresentavam dados bastante concordantes com os resultados obtidos a partir das avaliaes realizadas utilizando leitores de tela para cegos. A mtrica WAQM, entretanto,
apresentou alguns resultados que distoavam dos resultados obtidos pelas outras mtricas.
Os outros dois estudos de caso foram realizados com portais governamentais brasileiros utilizando somente avaliao automtica com a ferramenta Hera 2.0 por meio da reviso de diretrizes.
Esses estudos de caso se aproximam mais do cenrio de utilizao com grandes volumes de dados,
para o qual o mdulo foi projetado.
57
O primeiro estudo de caso, relatado na Subseo 5.4.1 se refere avaliao dos stios dos
governos estaduais brasileiros entre 1996 e 2007. O segundo estudo de caso, relatado na Subseo
5.4.2 se refere avaliao dos stios dos governos municipais no ano de 2007.
Nesses estudos de caso, somente considerados na avaliao somente os pontos de verificao
do WCAG 1.0 que podiam ser avaliados automaticamente. A seguir so enumerados os pontos de
verificao considerados. A lista completa com a descrio das diretrizes e pontos de verificao
est disponvel no Apndice B.
Diretriz 1: pontos de verificao 1.1 e 1.5;
Diretriz 3: pontos de verificao 3.2, 3.3, 3.4 e 3.5;
Diretriz 4: ponto de verificao 4.3;
Diretriz 5: ponto de verificao 5.5;
Diretriz 6: pontos de verificao 6.2, 6.3 e 6.5;
Diretriz 7: pontos de verificao 7.4 e 7.5;
Diretriz 9: pontos de verificao 9.5;
Diretriz 10: pontos de verificao 10.2, 10.4 e 10.5;
Diretriz 11: pontos de verificao 11.1 e 11.2;
Diretriz 12: pontos de verificao 12.1, 12.2, 12.3 e 12.4.
Em todas as avaliaes, tambm foram utilizados os mesmos valores para as constantes utilizadas nas mtricas. Para as mtricas A3 e UWEM, como ainda no esto definidos valores para
os pesos obtidos experimentalmente, foram utilizados valores fixos para os pontos de verificao,
de forma que a soma dos pesos atribudos para todos os pontos de verificao resultassem em um,
considerando os diferentes nveis de prioridade. Para pontos de verificao de prioridade 1, o valor
Wb foi definido como 0,0236, para prioridade 2, como 0,0157 e para prioridade 3, como 0,0079,
de forma que a soma de todos os pesos resultasse em 1.
Na mtrica WAQM, foram utilizados os mesmos valores definidos por Vigo et al. (2007). O
peso Wz = 0, 80 foi definido para pontos de verificao de prioridade 1, Wz = 0, 16 para prioridade 2 e Wz = 0, 04 para prioridade 3.
As mtricas de problemas potenciais (Sullivan e Matson, 2000) e mtrica para usurios cegos
(Gonzlez et al., 2003) no foram consideradas para as avaliaes. Neste trabalho, considerou-se
que essas mtricas foram muito importantes para a definio de conceitos utilizados em mtricas,
mas que no apresentavam diretrizes claras para a definio de pesos mais acurados.
58
5.4.1
O primeiro estudo de caso realizado, referente avaliao dos stios Web dos governos estaduais brasileiros, teve como principal objetivo verificar a adequao do mdulo para clculo de
mtricas para avaliaes em larga escala e para verificar a adequao das mtricas para este tipo
de anlise.
Alm desses objetivos, tambm foi objetivo a verificao da evoluo da acessibilidade desses
stios no perodo entre 1996 e 2007. Em dezembro de 2004, com a promulgao do Decreto/Lei
No. 5.296, estabeleceu-se um prazo de 12 meses para que todos os portais governamentais fossem
adequados para acomodar requisitos de acessibilidade. Assim, tambm foi proposta a verificao
da hiptese de que essa determinao tenha sido realmente cumprida ou no no prazo estipulado.
Para recuperar as verses antigas das pginas, foi utilizada a ferramenta Way Back Machine
(Internet Arquive, 2008) do Projeto Internet Archive. Neste projeto, foram feitas amostragens de
pginas de toda a internet em diferentes dias, desde 1996. Essas pginas foram armazenadas em
um servidor para posterior recuperao.
Na anlise, utilizou-se a primeira ocorrncia vlida do stio de cada governo estadual de cada
ano. Para o ano de 2007, utilizou-se a verso do dia 1 de setembro de 2007, pois at a data da
realizao, as amostras do ano de 2007 no estavam disponveis por meio do Way Back Machine.
Para obter mtricas de acessibilidade mais precisas, alm da avaliao da pgina principal
de cada stio, tambm foi feita a avaliao de todas as pginas que se encontravam no nvel de
hierarquia imediatamente abaixo da pgina principal. Desta forma, foi feita a avaliao de um
total de 1.232 pginas, correspondendo a uma mdia de 45,63 pginas por stio. A ferramenta
HTTrack (Httrack, 2008) foi utilizada para efetuar a varredura dos links nas pginas e para fazer
cpia de todos os arquivos das pginas a serem avaliadas. Esta etapa levou em torno de 10 horas
para completar o processamento.
Aps efetuar a coleta das pginas por meio do crawler, foi efetuada a avaliao com clculo
de mtricas para todas as pginas coletadas a partir das URLs armazenadas em banco de dados
MySQL. O tempo total de processamento em torno de 8 horas. A avaliao de cada pgina levou
em torno de 23 segundos.
Nesta seo apresentado um sumrio com os principais dados obtidos apenas com a mtrica WAB. Os resultados completos com todas as anlises histricas de todas as mtricas esto
disponveis no Apndice D.
A primeira anlise efetuada teve o objetivo de verificar o grau de correlao entre as mtricas,
para analisar a adequao de cada uma delas para as anlises. Na Figura 5.4 apresentado o
grfico de disperso com os coeficientes de correlao de Pearson para as mtricas A3, UWEM,
WAB e WAQM gerado por meio do ambiente estatstico R (R Development Core Team, 2007).
No quadrante da direita, apresentado o grfico de disperso relacionando as anlises dos dados
59
60
tiveram uma diminuio no ndice. Assim, verifica-se que, apesar da determinao do Decreto Lei
No. 5.296 de 2004, muitos stios (37%) pioraram o ndice de acessibilidade ao invs de diminu-lo.
Figura 5.5: Comparao entre os ndices WAB dos stios Web dos governos estaduais entre 2004
e 2006
Com a realizao de um teste t, verificou-se que tambm no possvel afirmar, com nvel de
significncia de 5%, que tenha havido diferenas significativas entre as mdias dos ndices WAB
entre 2004 e 2006 (p-valor = 0,3842).
5.4.2
A realizao dos estudos de caso com os stios das prefeituras municipais do Brasil (Freire et
al., 2008) contou com a utilizao de uma outra ferramenta, denominada EGOVMeter (Bittar et
al., 2005).
A ferramenta EGOVMeter, desenvolvida em um projeto de mestrado no Departamento de Computao da UFSCar (Bittar, 2006) um crawler que faz estatsticas peridicas sobre os stios Web
das prefeituras municipais do Brasil.
O procedimento utilizado para a realizao desse estudo de caso iniciou com a obteno da
lista de todos os stios Web das prefeituras encontrados pela ferramenta EGOVMeter. Em seguida,
essas URLs seriam foram avaliadas utilizando o mdulo Hera metrics, descrito na Subseo 5.3.
61
A execuo da EGOVMeter em setembro de 2007 foi efetuada a partir de uma lista com
5.551 municpios cadastrados a partir de dados obtidos do IBGE. Desses municpios, 1.980 deles (37,67%) tinham um stio na Web.
Tabela 5.1: Stios Web dos governos municipais por regies
Regio
Mun.
Mun.
Percentual
com stios
Web
Sul
1188
466
39.23%
Sudeste
1668
771
46.22%
Centro-oeste 458
148
32.31%
Nordeste
1790
516
28.82%
Norte
447
79
17.67%
Os resultados da Tabela 5.1 mostram que as regies mais desenvolvidas do pas (sul e sudeste)
tm o maior percentual de municpios com stios Web.
Da mesma forma que na avaliao dos stios dos governos estaduais, tambm foi feita a avaliao das pginas em dois nveis da hierarquia da navegao. Desta forma, foi feita a avaliao de
um total de 26.250 pginas, correspondendo a uma mdia de 13,25 pginas por stio. A ferramenta
HTTrack (Httrack, 2008) foi utilizada para efetuar a varredura dos links nas pginas e para fazer
cpia de todos os arquivos das pginas a serem avaliadas. Esta etapa levou em torno de dois dias
para completar o processamento.
Em seguida, foram realizadas as avaliaes por meio do mdulo Hera metrics. Foi feito um
programa para efetuar o clculo das mtricas a partir de cada URL armazenada em um banco de
dados MySQL. A execuo da avaliao sobre as pginas levou em torno de 134 horas (aproximadamente 6 dias). Com esses dados, verifica-se que a execuo da avaliao e do clculo das
mtricas levou em mdia 18 segundos por pgina.
A seguir, so sumarizados os resultados das mdias obtidas para cada uma das cinco regies
geogrficas do Brasil. Na Tabela 5.2 so apresentados os resultados para a mtrica WAB, que no
possui limitante superior. Porm, com os pontos de verificao adotados neste trabalho, o valor
mximo que poderia ser alcanado o de 12,5.
Tabela 5.2: Resultados da avaliao dos stios dos governos municipais com a mtrica WAB
Regio
Mdia Desvio padro
Sul
2.67
1.1
Sudeste
2.78
0.97
Centro-oeste
3.07
0.95
Nordeste
2.83
1.12
Norte
2.71
0.86
Pode-se observar que, na mdia, os stios Web dos municpios brasileiros tm um nvel alto de
barreiras de acessibilidade.
62
Os resultados tambm mostram que no h uma diferena significativa entre as mdias dos
ndices de barreiras das diferentes regies.
5.5
Consideraes finais
Neste captulo, foram apresentadas as principais atividades desenvolvidas e as discusses envolvidas com a construo de um mdulo para apoiar o clculo de mtricas de acessibilidade a
partir de avaliaes automticas baseadas em diretrizes de acessibilidade.
O desenvolvimento do mdulo Hera Metrics foi descrito, desde o trabalho de engenharia reversa da ferramenta Hera 2.0 at os testes realizados com o mdulo.
Esse mdulo de mtricas foi desenvolvido com o intuito de apoiar a realizao do levantamento
sobre a percepo da acessibilidade por pessoas envolvidas em projeto Web. Entretanto, antes
de efetuar o uso do mdulo para o seu fim maior, foram realizados dois estudos de caso com a
avaliao por meio de mtricas de stios Web de governos estaduais e municipais.
A partir da realizao desses estudos de caso, foi possvel obter dados interessantes sobre a
acessibilidade nos stios governamentais brasileiros, bem como apontar a falta do cumprimento
das determinaes da nossa legislao para acessibilidade. Alm disso, esses estudos de caso
tambm foram muito importantes para verificar a eficcia do uso de mtricas para avaliao de
grandes quantidades de dados.
Pelas anlises de correlao dos resultados, verificou-se que as mtricas A3, UWEM e WAB de
forma geral tm comportamentos concordantes, enquanto que a mtrica WAQM apresenta alguns
resultados que discordam das demais. Por meio dessa anlise, optou-se por utilizar a mtrica WAB
para as anlises, pelo fato de ela tambm ser mais simples de entender e por ela utilizar de maneira
mais direta os dados obtidos por meio de avaliaes por diretrizes.
No prximo captulo, so apresentados o procedimento para realizao do levantamento com
pessoas envolvidas em projeto Web e os resultados deste levantamento.
C APTULO
6
Levantamento com pessoas envolvidas
em projetos Web no Brasil
6.1
Consideraes iniciais
63
64
6.2
Pesquisas de levantamento
O conhecimento sobre detalhes importantes das pesquisas do tipo levantamento foi importante
para nortear a metodologia utilizada nesta parte do trabalho.
Segundo Freitas et al. (2000), uma pesquisa tipo levantamento (survey) pode ser descrita como
um mtodo para a obteno de dados ou informaes sobre caractersticas, aes ou opinies de
determinado grupo de pessoas, indicado como representante de uma populao- alvo, por meio de
um instrumento de pesquisa, normalmente por meio de um questionrio.
As pesquisas do tipo levantamento, segundo Pinsonneault e Kraemer (1993) podem ser explanatrias, quando tm o objetivo de testar uma suposio e as relaes causais, exploratrias,
quando tm o objetivo de ter um conhecimento inicial sobre um tpico ou descritivas, quando
buscam identificar caractersticas de uma populao sem uma relao de causa.
Em uma pesquisa do tipo de levantamento, o processo de amostragem possui grande influncia
sobre seus resultados. Esse processo composto pela definio da populao-alvo, pelo contexto
de amostragem, pela unidade de amostragem, pelo mtodo de amostragem, pelo tamanho da amostra e pela seleo da amostra ou pela execuo do processo de amostragem. Esta amostragem pode
ser probabilstica ou no probabilstica (Freitas et al., 2000).
A amostragem probabilstica consiste em garantir que todos os elementos da populao tenham
a mesma chance de serem escolhidos, o que faz com que essa amostra seja representativa. J na
amostragem no probabilstica, estabelecido algum critrio, o que faz com que os resultados no
sejam to generalizveis quanto em uma amostragem probabilstica. Algumas formas de se fazer
amostragem no probabilstica so: amostragem por convenincia, seleo dos mais similares ou
dos mais diferentes, por quotas, bola de neve (os participantes podem indicar novos participantes),
casos crticos ou casos tpicos (Freitas et al., 2000).
Um outro ponto importante durante a conduo de uma pesquisa de levantamento o instrumento de pesquisa utilizado. O questionrio um dos instrumentos mais utilizados para este
tipo de pesquisa. Gil (1991) aponta alguns cuidados a serem tomados durante a elaborao de um
questionrio:
Manter o nmero de perguntas limitado;
Garantir que questes fechadas cubram todas as possibilidades;
Considerar as implicaes do formato das perguntas na tabulao e anlise;
No provocar constrangimento nos respondentes;
As questes devem ter uma nica interpretao;
Considerar a ordem das perguntas, iniciando pelas mais simples at as mais complexas;
6.3
Trabalhos relacionados
Alguns estudos tm se dedicado a investigar o conhecimento de pessoas envolvidas com projetos Web sobre acessibilidade e outras questes envolvidas.
Nesta seo, so apresentados alguns dos principais resultados de quatro levantamentos deste
tipo encontrados na literatura. Dois estudos foram conduzidos por instituies estrangeiras, uma
americana e outra europia. Os outros dois estudos foram realizados por instituies brasileiras,
com principal foco no desenvolvimento de sistemas acessveis por entidades governamentais. Um
dos estudos tambm contou com a realizao de pginas desenvolvidas. Contudo, nenhuma avaliao quantitativa com mtricas foi apresentada.
Tambm verificou-se que os estudos tambm no apresentavam amostragens significativas,
dada a natureza especfica das anlise que se propunham a fazer. Tambm no foram encontradas
nesses estudos anlises estatsticas mais refinadas. A maioria deles se restringia a fazer anlises
descritivas, sem nenhuma inferncia.
Nas subsees seguintes, so descritos os principais detalhes e resultados obtidos nos estudos.
66
6.3.1
O primeiro levantamento reportado foi realizado por Lazar et al. (2004) na Towson University
nos Estados Unidos. O trabalho faz parte de uma srie de estudos realizados sobre acessibilidade
e pesquisas envolvendo usurios com deficincia.
O levantamento foi desenvolvido com questes direcionadas a desenvolvedores e mantenedores
de stios Web sobre seu conhecimento de acessibilidade e sobre sua percepo de quando e porque
os stios devem ou no ser acessveis. Os participantes foram convidados por meio de listas de
e-mails. No foi utilizada amostragem probabilstica.
O questionrio continha 15 perguntas, alm de outras questes para caracterizao da amostra,
referentes ao gnero, localizao, faixa etria, experincia em computao e rea de atuao.
No total, 175 desenvolvedores e webmasters responderam o questionrio, dos quais 58,86%
eram homens e 41,14% eram mulheres. A maioria dos participantes afirmou ser dos Estados
Unidos (45%). Cerca de 49% dos participantes tinha entre 25-35 anos. Quanto experincia
em computao, 68% dos participantes afirmaram ser especialistas. Para a questo sobre a rea
de atuao, 38% dos participantes responderam que atuam na rea de educao, 23% no setor
governamental, 11% no setor corporativo, 6% na rea da sade e 22% em outras reas.
No tocante ao conhecimento dos participantes sobre acessibilidade e conceitos relacionados,
verificou-se que 65,7% dos participantes afirmaram j ter criado um stio Web acessvel alguma
vez; 73,7% indicaram que so familiares a legislao de acessibilidade como o Section 508; 57,7%
afirmaram que seus stios Web no esto sujeitos Section 508; 56% afirmaram que seus stios Web
eram acessveis; 78,9% afirmaram saber da existncia de ferramentas para auxiliar a verificao
da acessibilidade de stios, e 69,1% responderam que j utilizaram uma ferramenta de avaliao
via Web; contudo, somente 21,7% responderam que j haviam utilizado alguma ferramenta de
avaliao que no era baseada na Web; somente 38,9% responderam que j utilizaram a Web
com um leitor de tela; 58,8% responderam que suas organizaes tm planos para melhorar a
acessibilidade de seus stios Web.
Sobre a familiaridade com as recomendaes do W3C para acessibilidade, 64% afirmaram
serem familiares ao WCAG (W3C, 1999a), menos de 1% afirmaram ser familiares ao ATAG (W3C,
2000), cerca de 1% afirmaram ser familiares ao UAAG (W3C, 2002a), e 23% no eram familiares
a nenhum deles.
Quando questionados sobre os principais desafios para tornar stios Web acessveis para usurios cegos, os participantes apontaram como principais a conscientizao dos clientes, o balanceamento entre acessibilidade e design grfico, a falta de tempo, a necessidade de treinamento e a
necessidade de melhores ferramentas para auxiliar o desenvolvimento.
Nas respostas sobre quem o responsvel por manter um stio Web acessvel, 52% dos participantes apontaram o Webmaster (mantenedor da pgina) como responsvel pela acessibilidade;
o analista de sistemas foi apontado por 30,18% dos participantes, o programador por 34,9%, o
6.3.2
Um outro estudo (ENABLED, 2005) realizado com desenvolvedores de sistemas Web foi realizado pelo grupo ENABLED1 , formado por universidades, centros de pesquisa e empresas europias.
O questionrio foi disponibilizado por meio de um formulrio disponibilizado via Web e foi
divulgado para participantes do projeto, e pelo boletim da Fundao Health on the Net 2 . O questionrio ficou disponvel no perodo de 20 de janeiro a 2 de fevereiro de 2005. No total, 269 pessoas
participaram da pesquisa.
O questionrio consistia de 11 perguntas, que envolviam questes sobre o conhecimento dos
participantes sobre acessibilidade, ferramentas utilizadas e sobre necessidade de treinamento.
Cerca de 87% dos participantes eram oriundos de pases europeus ou da Amrica do Norte.
Quanto area de atuao, as respostas com maior nmero de indicaes foram a) desenvolvedor
Web/ webmaster (29%), b) rea no especificada (29%), c) gerncia (21,9%) e d) edio de contedo (7,8%). O valor alto de pessoas que indicaram ser de rea no especificada tambm um
indcio de falhas no planejamento do questionrio.
1
2
Enhanced Network Accessibility for the Blind and Visually Impaired - http://www.enabledweb.org
http://www.hon.ch/
68
Aproximadamente 36% dos participantes afirmam tentar tornar seus stios Web acessveis. Os
principais motivos apontados pelos participantes que responderam de forma negativa pergunta
foram a falta de conhecimento sobre diretrizes de acessibilidade, falta de conhecimento tcnico e
falta de tempo.
Tambm verificou-se que 51% dos participantes tentam se preocupar com a usabilidade dos
seus stios Web. Os participantes que responderam negativamente apontam como principais motivos para no se atender aos princpios de usabilidade a falta de conhecimento tcnico, a falta de
tempo e a falta de conhecimento sobre usabilidade.
Cerca de 63% dos participantes utilizam ferramentas para apoiar o desenvolvimento. Dentre
as ferramentas indicadas, as ferramentas mais mencionadas foram DreamWeaver e FrontPage. As
linguagens mais utilizadas so HTML/CSS, PHP e ASP. Verificou-se que 41% dos participantes
afirmam ter um nvel mdio de habilidade de programao, e 37% declararam ter um nvel alto.
Quanto qualificao, verificou-se que apenas 13% dos participantes receberam algum treinamento. As principais fontes de treinamento apontadas foram a prpria Internet, escola ou universidade e amigos com conhecimento sobre o assunto. Verificou-se tambm que 74% dos participantes
gostariam de receber treinamento.
Os principais tpicos que os participantes gostariam que fossem cobertos em cursos ministrados foram sobre o Web Accessibility Initiative (WAI), do W3C, diretrizes para construir stios
acessveis, usabilidade, e teste de acessibilidade. Verificou-se que os participantes tm grande
interesse em todos os tpicos listados no questionrio (diretrizes de acessibilidade, usabilidade,
apresentao do WAI, relao entre usabilidade e acessibilidade, teste de acessibilidade, e aspectos legais).
Os resultados obtidos na anlise efetuada pelo grupo ENABLED (ENABLED, 2005) mostram
um grupo de desenvolvedores com um perfil diferente daquele mostrado por Lazar et al. (2004).
A porcentagem de desenvolvedores que conhecem acessibilidade menor do que no outro estudo. Verifica-se que h indcios de que existam diferenas entre os tipos de participantes nos dois
estudos.
Sob o ponto de vista metodolgico, tambm verifica-se que o estudo no abordou as questes
de acessibilidade de maneira exaustiva. No foram abordadas questes sobre o conhecimento de
legislao de acessibilidade, e em outras tcnicas de avaliao e projeto de stios Web acessveis.
Da mesma forma como no estudo de Lazar et al. (2004), no foram usadas escalas ordinais para
classificar o nvel de conhecimento dos desenvolvedores sobre os tpicos listados no questionrio.
Tambm observa-se que foram abordadas muitas questes sobre treinamento e necessidades de
treinamento. Isso se deve ao fato de que o objetivo principal do grupo no era de traar um perfil
dos desenvolvedores, mas de obter informaes especficas relevantes para as atividades do projeto.
Dentre as atividades, o grupo ENABLED fornece treinamentos via Web sobre acessibilidade e
outros temas abordados pelo grupo.
6.3.3
Ferreira et al. (2007), em um estudo realizado pela Unirio, conduziram um levantamento com
instituies governamentais brasileiras visando verificar se elas conduzem algum projeto para adequao de seus stios Web a requisitos de acessibilidade. O principal objetivo do levantamento foi
de verificar a adequao dos rgos pblicos s recomendaes do Decreto Lei No. 5.296/2004
e outras questes sobre a acessibilidade. Este estudo tambm contou com a avaliao por estudos de caso com usurios com deficincia visual e avaliao automtica de stios governamentais
(federais, estaduais e municipais) com a ferramenta daSilva (Acessibilidade Brasil, 2007).
Na avaliao automtica foram verificados 351 stios Web da administrao pblica em trs
momentos: novembro de 2005 (um ms antes de encerrar o prazo para adaptao), em maro de
2006 e maro de 2007. No primeiro teste, somente cinco stios estavam totalmente em conformidade com o WCAG e quatro com o e-MAG. No teste realizado em maro de 2006, apenas um
stio estava totalmente em conformidade. No terceiro teste, em maro de 2007, verificou-se que 22
stios estavam em conformidade com o WCAG e 23 com o e-MAG.
Na etapa de levantamento com os responsveis pelos stios, foi enviado um questionrio para
cada uma das organizaes pblicas selecionadas, e 87 delas responderam pesquisa. O questionrio foi dividido em duas partes: uma primeira parte geral, e uma segunda parte que variava de
acordo com a resposta dada pelo participante sobre o estgio de adequao da acessibilidade de
seu stio.
Da primeira parte, verificou-se que 69% dos participantes afirmaram conhecer o Decreto Lei
No. 5.296/2004, 53% afirmaram conhecer sobre o prazo para adaptao dos stios e 42% afirmaram
conhecer o e-MAG.
Da anlise das organizaes que afirmaram j ter adaptado seus stios de acordo com as
diretrizes de acessibilidade (22% do total), verificou-se que 47% delas no exibem o selo da acessibilidade Brasil. Quanto forma de conduo do processo de adaptao, 42% responderam que
foi uma equipe da prpria organizao, 37% por uma equipe terceirizada e 21% afirmaram ter feito
de outras formas. As maiores dificuldades que essas organizaes afirmaram ter encontrado durante esse processo foram: contedo do stio muito grande (47%) e falta de pessoal da organizao
especializado (32%). Cerca de 47% das organizaes afirmou ter realizado avaliaes com usurio
com necessidades especiais. Um total de 21% dos respondentes afirmou ter tido dificuldades para
manter a acessibilidade nas atualizaes, enquanto 21% afirmou no ter tido dificuldades e 58%
no souberam responder.
Das organizaes que afirmaram estar com o processo de adaptao em andamento (31%
dos participantes), observou-se que 64% afirmaram ter uma equipe da organizao nomeada para
realizar as adaptaes, enquanto 18% afirmaram ter uma equipe terceirizada e 18% afirmaram usar
de outros meios. As maiores dificuldades para efetuar as adaptaes de acessibilidade apontadas
pelas organizaes foram: a baixa prioridade da acessibilidade nos projetos (30%), contedo do
70
stio muito grande (30%), falta de pessoal especializado (11%) e a grande quantidade de padres a
ser alterados (11%).
Quanto s organizaes que afirmaram no ter seus stios acessveis (47%), verificou-se que
68% delas no tm previso para iniciar as adaptaes para acessibilidade. Quando perguntadas
sobre o conhecimento sobre o avaliador daSilva, 83% dos respondentes afirmaram no conheclo. As maiores barreiras apontadas para iniciar a adaptao dos stios foram: a baixa prioridade da
acessibilidade nos projetos (24%), falta de pessoal especializado na organizao (22%), contedo
do stio muito grande (10%), e outros motivos, como o desconhecimento do decreto, falta de
conscientizao da gerncia, entre outros.
O levantamento realizado por Ferreira et al. (2007) apresenta resultados bastante interessantes
sobre o panorama da acessibilidade no Brasil. Contudo, o pblico-alvo do estudo se restringiu
a organizaes governamentais. Alm disso, apesar de os autores terem realizado avaliaes dos
stios, no foi feita nenhuma associao entre os resultados do questionrio e das avaliaes.
6.3.4
6.4
Antes de iniciar a conduo do levantamento sobre acessibilidade, foi efetuado um planejamento para a realizao da pesquisa. O principal objetivo do levantamento foi o de verificar o
perfil de pessoas envolvidas em projetos de sistemas Web no Brasil sobre questes de acessibilidade.
De acordo com a classificao discutida na Seo 6.2, esta pesquisa pode se configurar como
uma pesquisa com caractersticas de explanatria e de descritiva. O objetivo da pesquisa de coletar informaes sobre como as pessoas envolvidas em projetos Web compreendem certos conceitos de acessibilidade, e de fazer inferncias sobre a influncia dos fatores analisados, a considerao efetiva da acessibilidade em seus projetos e sobre ndice de barreiras de stios Web produzidos
nos projetos dos participantes.
Instrumento de pesquisa: questionrio
Na elaborao do questionrio, buscou-se incluir questes que englobassem diferentes aspectos
da acessibilidade, envolvendo tanto aspectos tcnicos quanto aspectos organizacionais.
No incio do projeto, tinha-se a inteno de investigar sobre o uso de novas tcnicas encontradas na literatura na prtica por meio deste questionrio. Entretanto, como pde-se verificar no
levantamento de tcnicas para acessibilidade encontradas na literatura, reportado no Captulo 3,
um grande nmero de tcnicas foram propostas muito recentemente, e poucas delas tm relatos de
72
aplicao na prtica. Alm disso, a partir da anlise de outros trabalhos relacionados, verifica-se
que muitas das tcnicas mais simples ainda no so utilizadas na prtica. Desta forma, optou-se
por investigar somente sobre o uso de diretrizes e tcnicas de avaliao mais consolidadas, ao invs
de investigar sobre o uso de tcnicas do estado da arte.
O desenvolvimento do questionrio foi feito em duas etapas. Primeiramente foi desenvolvido
um questionrio preliminar para ser utilizado no estudo piloto, e em seguida foram corrigidos os
problemas apontados pelos participantes do estudo piloto.
A verso final do questionrio est disponvel na ntegra no Apndice F.
O questionrio possuia 17 questes: 6 questes sobre dados demogrficos, 9 questes fechadas
e 2 questes abertas. O conjunto de questes fechadas foi dividido em duas partes: uma parte
com questes gerais sobre acessibilidade e uma outra com questes sobre os motivos porque a
acessibilidade considerada ou no nos projetos em que participam.
Nas questes demogrficas, foram includas questes sobre o estado de residncia, gnero,
faixa etria, rea de atuao, formao acadmica e funo na organizao em que atua.
Nas questes fechadas, foram includas questes sobre o conhecimento das linguagens HTML
e CSS, conhecimento sobre a forma como pessoas com deficincia visual utilizam a Web, conhecimento sobre tecnologias assistivas, conhecimento sobre a legislao brasileira de acessibilidade,
uso de tcnicas para avaliao de acessibilidade, considerao da acessibilidade nos projetos em
que participa, e os motivos para considerar ou no a acessibilidade.
Nas questes abertas, pediu-se que os participantes descrevessem qual a importncia da acessibilidade nos projetos Web de sua organizao e para que dessem sugestes sobre como melhorar
a acessibilidade na Web no contexto brasileiro. Tambm foi pedido que os participantes indicassem, opcionalmente, algumas URLs de stios Web que tivessem participado de alguma etapa do
desenvolvimento.
No final do questionrio, havia uma opo para que os usurios marcassem atestando que os
dados podem ser utilizados para a pesquisa, e tambm informando sobre a confidencialidade dos
mesmos.
Houve uma grande preocupao com o tamanho do questionrio, para que fossem includas
somente questes realmente relevantes.
Aps a concluso da primeira verso do questionrio, foi feito um estudo piloto com dez
participantes, sendo cinco do meio acadmico, trs profissionais da indstria de software e dois
analistas que atuam em rgos pblicos. Das observaes dos respondentes do estudo piloto que o
fizeram na presena do pesquisador, verificou-se que o preenchimento do questionrio levava em
torno de 10 minutos.
Este questionrio foi enviado por e-mail e as respostas no foram consideradas nas anlises
posteriormente. Os participantes do estudo piloto apontaram importantes contribuies para melhorar o entendimento de algumas questes que estavam dbias e apontaram alguns problemas com
74
Os convites para os participantes foram enviados por e-mail, a partir dos dados cadastrados na
base de dados. Contudo, os participantes tambm poderiam enviar o convite para outras pessoas
mais indicadas ou interessadas na pesquisa (amostragem bola de neve).
Conduo do levantamento
Aps efetuar a seleo dos participantes e implementar o sistema para suporte ao preenchimento do questionrio via Web, foram enviados e-mails com o convite para participao para
todos os endereos cadastrados.
O e-mail foi elaborado de forma a explicar do que se tratava a pesquisa e dava instrues sobre
como participar. Os e-mails foram enviados por meio de um sistema utilizando o servidor de email do ICMC/USP e a conta de e-mail do prprio aluno. Os e-mails eram enviados com espaos
de tempo suficientemente grandes para que no fossem considerados spam (e-mails enviados em
massa).
Do total de 4.804 e-mails enviados, estima-se que no foram entregues com sucesso os e-mails
enviados para cerca de 20% dos participantes de empresas, cerca de 65% dos e-mails enviados
para rgos governamentais e 15% dos e-mails enviados para pesquisadores. O grande nmero de
e-mails com problemas para os rgos governamentais se deve utilizao da base de domnios de
prefeituras combinado com o usurio webmaster@. Desta forma, estima-se que em torno de 2.800
e-mails tenham sido enviados com sucesso.
O questionrio ficou disponvel para preenchimento entre 25 de junho de 2007 e 25 de Agosto
de 2007. Tendo em vista que foram obtidas 613 respostas vlidas, verifica-se que a taxa de retorno
foi de aproximadamente 22%, que prxima da taxa de 25%, apontada como usual em pesquisas
deste tipo (Mattar, 1996).
Quando se encerrou o perodo para resposta ao questionrio, foram efetuadas as avaliaes
automticas dos stios indicados pelos participantes com o apoio de mtricas.
Foi utilizado o mdulo Hera metrics para auxiliar no processo de avaliao. Da mesma forma
como nos estudos de caso reportados na Seo 5.4, para cada stio foi avaliada sua pgina inicial
mais as pginas no nvel imediatamente inferior da estrutura navegacional. No total foram avaliados 382 URLs, de um total de 181 participantes que indicaram pelo menos uma URL. O nmero
total de pginas avaliadas foi de 8.059.
Como muitos participantes indicaram mais de uma URL, para efeitos estatsticos era considerada a URL cuja avaliao tivesse resultado o menor ndice de barreiras de acordo com a mtrica
WAB.
Os resultados da avaliao automtica foram enviados para os participantes por e-mail, juntamente com os resultados das anlises descritivas do resultado da pesquisa.
6.5
Resultados do levantamento
Aps a concluso da etapa de coleta de dados, foi obtido um total de 630 questionrios respondidos, dos quais 613 foram considerados vlidos. Apesar de terem sido enviados convites para os
participantes, o questionrio era de acesso irrestrito, para permitir que esses participantes pudessem convidar outras pessoas. Pelo fato de o questionrio ser de acesso irrestrito, muitas respostas
invlidas foram recebidas. Essas respostas se referiam tanto a preenchimento incorreto, quanto
participao de pessoas que no se enquadravam no perfil esperado de participantes.
O nmero de questionrios vlidos considerado bastante representativo, e posiciona esta pesquisa como a mais abrangente em nmero de participantes em comparao com outros trabalhos
semelhantes encontrados na literatura at o momento, reportados na Seo 6.3.
A anlise dos resultados do questionrio foi feita em duas etapas. Primeiramente foi realizada
uma anlise descritiva dos dados, com uma viso individual sobre cada questo do questionrio. Os resultados desta etapa so descritos na Subseo 6.5.1. Na segunda etapa, foi realizada
uma modelagem estatstica dos dados, com o objetivo de fazer inferncias sobre os dados. Os
resultados das inferncias esto descritos na Subseo 6.5.2. A descrio detalhada dos modelos
estatsticos est apresentada no Apndice G. Na Subseo 6.5.3 so apresentadas as discusses
referentes validade do estudo.
6.5.1
Anlise descritiva
Nesta seo, apresentado um sumrio com as principais observaes a partir da anlise dos
dados obtidos por meio dos questionrios. Os resultados da anlise descritiva foram enviados para
todos os participantes do levantamento, e tambm foram disponibilizados via Web no endereo
http://safe.icmc.usp.br/pesquisaacessibilidade.
Dados demogrficos
No levantamento realizado houve representao de todos os estados do Brasil. De forma geral,
apesar da tentativa de distribuir os participantes entre as regies, o maior nmero de participantes era advindo da regio sudeste. Cerca de 41,8% dos participantes eram desta regio, enquanto
21,7% eram do sul, 17,8% do nordeste, 10,3% do centro-oeste e 8,5% do norte, como pode ser observado no grfico da Figura 6.1. De certa forma, a distribuio est em acordo com a distribuio
de especialistas na rea pelo pas.
Referente ao perfil pessoal, verificou-se que a maioria dos participantes eram do gnero masculino (70,15%), com 28,55% de mulheres e 1,31% sem reposta. A faixa etria com o maior nmero
de participantes foi a de 25 a 35 anos, com 41,76% dos participantes, seguida da faixa de 36 a 45
anos, com 26,26%, como pode ser observado no grfico da Figura 6.2.
76
Figura 6.5: Distribuio dos participantes do levantamento de acordo com as funes exercidas
em suas organizaes
O grande nmero de participantes da indstria com cargos de gerncia ou coordenao pode
ser atribudo ao fato de que os e-mails de contato fornecidos nos catlogos geralmente eram de
gerentes.
Anlise das questes
1. Conhecimento sobre as linguagens HTML e folhas de estilo CSS
Foi observado que a maioria dos participantes afirmou possuir conhecimento bsico (23,33%),
intermedirio (30,02%) ou avanado (30,83%) sobre as linguagens de marcao e de estilo mais
populares utilizadas na Web, como pode ser verificado no grfico da Figura 6.6.
2. Conscincia sobre os problemas enfrentados por usurios cegos ao utilizar a
internet
Na anlise da questo 2, verificou-se que poucos participantes afirmaram j terem feito alguma
pgina acessvel para usurios cegos alguma vez. Como pode ser observado no grfico da Figura
78
Figura 6.7: Conhecimento dos problemas enfrentados por cegos ao utilizar a Web
Figura 6.9: Conhecimento sobre o Decreto Lei No. 5.296/2004 e suas implicaes para Web
pelos participantes do levantamento
80
Figura 6.13: Opinio dos participantes sobre a considerao da acessibilidade nos projetos em
que esto envolvidos
82
pode ser verificado no grfico da Figura 6.14, a motivao pessoal foi o motivo com maior nmero
de indicaes. Curiosamente, a exigncia da empresa e exigncia dos clientes tiveram os menores
nmeros de indicaes, com respectivamente 17,21% e 24,59%.
Figura 6.14: Motivos porque acessibilidade considerada nos projetos dos participantes
Dos usurios que apontaram a opo outros, os principais motivos apontados foram a responsabilidade social e a incluso digital e social.
10. Motivos apontados pelos participantes para no considerar acessibilidade nos
projetos
Para os participantes que responderam no na questo 8, foi pedido para que apontassem os
principais motivos porque a acessibilidade no considerada ou considerada somente parcialmente
nos projetos em que participam. Como pode ser verificado no grfico da Figura 6.15, os maiores
motivos apontados pelos participantes foram a falta de exigncia pela empresa ou organizao
(51,33%), a falta de exigncia pelos clientes (49,08%) e falta de treinamento adequado (53,17%).
Dos usurios que apontaram outros motivos, as principais razes enumeradas foram a necessidade de utilizar tecnologias que ainda no fornecem recursos para acessibilidade, nmero reduzido
de pessoal no desenvolvimento, e falta de conscientizao dos nveis de direo e gerncia.
11. Comentrios sobre a importncia da acessibilidade nas organizaes dos participantes
Na questo 11, pediu-se que os participantes apontassem consideraes sobre como a acessibilidade vista em suas organizaes. De forma geral, muitos participantes comentaram que
em suas organizaes a incluso considerado um aspecto muito importante. Outros comentrios
afirmaram que a acessibilidade considerada em algumas esferas, mas que nos nveis de direo e
gerncia ainda um tema com pouca importncia.
84
legislao existente e de promover maior conscientizao, por meio do fornecimento de treinamentos nas empresas e da incluso do tema nos currculos de cursos relacionados.
A seguir, so transcritos alguns dos comentrios fornecidos pelos participantes:
Divulgao, incluso desse tpico em todos os processos de desenvolvimento de software.
Maior divulgao dos padres e da legislao, incentivando assim as empresas a
adoo.
Primeiramente, maior conscientizao da sociedade sobre a importncia do acesso
informao e ao conhecimento. Depois, desenvolver ferramentas ou objetos que
facilitem a sua implementao ficando disposio dos profissionais.
No creio que existam aes para obrigar. Mas a conscientizao e o treinamento
dos desenvolvedores levar a mdio prazo para a considerao da usabilidade.
Ampla divulgao do nmero de consumidores em potencial que deixam de consumir produtos e ou servios por no terem acesso a pginas mal construidas. Ampla
divulgao de que o tempo e dinheiro gasto a mais em um projeto acessvel, testado
e validado na prtica(com usurios reais e no somente concordncia com as especificaes de acessibilidade) muito pequeno se comparado com o retorno que o
investimento pode dar.
Acredito que toda instituio que desenvolve stios deveria fazer testes com os diferentes perfis de usurios que pretendem atingir durante o desenvolvimento de cada
projeto.
Mtricas de acessibilidade das pginas indicadas pelos participantes
Na anlise das URLs indicadas pelos participantes, foi feita a anlise dos stios indicados,
utilizando a mdia das mtricas da avaliao das pginas iniciais e das pginas no nvel imediatamente abaixo na navegao. No total, 181 participantes indicaram pelo menos uma URL. Para
os participantes que indicaram mais de uma URL, foi utilizada a mtrica com o menor ndice de
barreiras.
Na Figura 6.16, pode-se observar um grfico do tipo boxplot com os resultados das anlises
com as mtricas WAB, A3, UWEM e WAQM. Verifica-se que as mtricas A3 e UWEM apresentaram comportamentos bastante semelhantes. Da mesma forma que na anlise efetuada nos estudos
de caso reportados na Seo 5.4, nota-se uma discordncia entre a mtrica WAQM e as demais. A
mtrica WAQM apresenta um nmero maior de pginas com resultados mais favorveis do que as
demais.
De acordo com a mtrica WAB, utilizada na maior parte das anlises, verifica-se que 50% dos
stios tiveram mdia de ndice de barreiras at 2,4. Com as diretrizes consideradas na avaliao,
que podem ser
Figura 6.16: Boxplots com o sumrio dos resultados das avaliaes das pginas dos participantes
do levantamento com as mtricas WAB, A3, UWEM e WAQM
6.5.2
Modelagem estatstica
Na estrutura do questionrio, dois aspectos tinham particular importncia como resultados objetivos em relao acessibilidade: a) a opinio dos participantes sobre a considerao da acessibilidade nos projetos em que participa e b) o resultado das mtricas das avaliaes das URLs dos
stios indicados pelos participantes.
Desta forma, foram elaborados dois modelos estatsticos para realizao de inferncias utilizando tcnicas de regresso linear. No primeiro modelo, analisou-se o conjunto de questes de 1 a
8 mais as questes pessoais e demogrficas e, no segundo, analisou-se todo o conjunto de questes
somado anlise da avaliao dos stios com a mtrica WAB. As inferncias estatsticas foram
efetuadas com o apoio do ambiente estatstico R (R Development Core Team, 2007).
Modelo Logstico - Anlise em relao opinio quanto a considerao da acessibilidade nos
projetos
No primeiro modelo, utilizou-se a varivel da questo 8 (se a acessibilidade considerada nos
projetos em que participa) como varivel resposta. Esta questo admitia respostas Sim, No
ou Parcialmente. As respostas No e Parcialmente foram agrupadas em um mesmo grupo. O
objetivo desta etapa foi de verificar a influncia das variveis estudadas para que a acessibilidade
fosse considerada ou no em projetos de sistemas Web.
Em um modelo logstico, feita uma aproximao de uma funo que modela a probabilidade
de que a varivel resposta resulte em sucesso em funo das demais variveis (Paula, 2004,
2008). Neste tipo de modelo a varivel resposta do tipo binria (0 ou 1). O modelo de regresso
logstica busca obter uma funo linear que modele a probabilidade de que a varivel resposta seja
1, ajustando os coeficientes de cada varivel de acordo com sua influncia sobre a probabilidade
modelada.
86
Desta forma, contexto desta anlise, se uma varivel resulta tem um coeficiente positivo, quer
dizer que de acordo com a amostra existem indcios de que ela contribui com o aumento da probabilidade de sucesso. Ou seja, um valor positivo contribui para que um dado participante que
tenha dado uma resposta considerada favorvel a essa questo tenha maior tendncia a responder
Sim sobre a percepo sobre acessibilidade ser considerada ou no.
No modelo proposto neste trabalho, a varivel da questo 8 foi ajustada de forma que as respostas Sim foram consideradas como sucesso, e atribudas com o valor 1. As respostas No
ou Parcialmente foram definidas como fracasso e atribudas com o valor 0. Neste modelo,
tambm foram excludas algumas observaes que continham valores nulos nas respostas que poderiam prejudicar a anlise no modelo. Assim, o modelo foi ajustado para 581 participantes.
Para otimizar o modelo ajustado, foi realizada a seleo de variveis pelo Mtodo AIC (Akaike
Information Criterion) (Neter et al., 1996). O mtodo de Akaike consiste na otimizao de um modelo, selecionando as variveis mais significativas. Neste caso, utilizou-se o Mtodo AIC com processo backward, ou seja, inicia-se o ajuste com todas as covariveis e retira-se as no-significativas
em cada passo. O resultado final o melhor modelo possvel com o menor nmero de variveis
necessrias.
A partir da execuo do mtodo AIC, as variveis consideradas mais relevantes para o modelo
foram as respostas s questes 1, 2, 3, 5, 6 e 7. Para verificar que variveis foram consideradas
relevantes, foi considerado o nvel de significncia de 10% para os testes estatsticos. A partir das
anlises das variveis includas e de seus coeficientes, surgem diversas discusses sobre a anlise
desses dados, as quais so descritas a seguir:
Perfil: Influncia no significativa de caractersticas geogrficas, pessoais, de formao
e profissionais: as variveis de idade, gnero, localizao geogrfica, formao, rea de
atuao e funo tiveram pouca influncia para o modelo. Isso significa que essas variveis
podem ter pouca influncia sobre a probabilidade de que a acessibilidade seja considerada
em projetos de sistemas Web. Este resultado contraria a hiptese de que, por exemplo, a rea
de atuao poderia ter influncia sobre este fator, devido ao fato de os participantes da rea
governamental serem afetados por leis de acessibilidade.
Pequena influncia do conhecimento sobre linguagens (Questo 1): o conhecimento sobre as linguagens HTML e CSS apresentou um coeficiente relativamente baixo no modelo
(-0,2513), mas foi considerado relevante de acordo com os testes estatsticos (p-valor =
0,00167). Contudo, o fato de este coeficiente ter sido negativo foi um resultado surpreendente. Isso indica que, de acordo com este modelo, o aumento de conhecimento sobre
linguagens tende a contribuir negativamente com a probabilidade de que a acessibilidade
seja considerada nos projetos.
Esta inferncia ressalta validade da impresso que se tem de que o conhecimento tcnico no
suficiente para que as pessoas tenham conscincia sobre a considerao da acessibilidade
e outros fatores humanos no projeto de sistemas computacionais.
88
90
Na Tabela 6.1 apresentado um sumrio com a comparao entre os resultados das inferncias
com os dois modelos estatsticos. A partir da anlise desta tabela, pode-se contrastar os diferentes
impactos das questes investigadas sobre a percepo sobre a considerao da acessibilidade nos
projetos ou no (modelo logstico) e os indcios de pginas com menos barreiras a partir da anlise
com mtricas (modelo contnuo). Foram includas neste sumrio as questes demogrficas e as
questes de 1 a 7, que fizeram parte dos dois modelos. Observa-se que nos dois casos os dados
demogrficos no tiveram impacto significativo e no foram includos nos modelos.
Tabela 6.1: Sumrio com as inferncias obtidas por meio dos modelos
estatsticos
Questo
Coeficiente no
modelo logstico
Coeficiente no
modelo contnuo
Dados demogrficos
No includo
Impacto no significativo
No includo
Impacto no significativo
Conhecimento
sobre
HTML e CSS (Questo
1)
-0,2513
-0,13038
Percepo sobre o
uso da Web por cegos
(Questo 2)
0,3758
No includo
Tecnologias Assistivas
(Questo 3)
Ampliador de
tela: -0,5227,
Navegador
com
voz:
-0,3479
Poucas
tecnologias
includas, conhecimento
sobre tecnologias mais
populares no contribui para o aumento da
percepo
Leitor de tela:
-0,30313,
Mouses
alternativos:
-0,25198
Conhecimento sobre tecnologias mais relacionadas a deficincias contribuem mais para a diminuio do ndice de barreiras
No includo
Impacto no significativo
0,1839
Conhecimento
sobre
diretrizes do WCAG
(Questo 5)
0,2727
-0,04752
Coeficiente no
modelo logstico
Coeficiente no
modelo contnuo
Curso
tcnico: 2,0161,
Curso de Web
design: 0,7274
Treinamento
em empresa:
-0,44268, Sem
treinamento:
0,45296, Palestra: 0,54082
Tcnicas
de
(Questo 7)
Teste
com
usurios idosos: 0,8180 e
Avaliao com
ferramentas:
0,5688
Validao
de CSS: 0,30340
e
Avaliao com
ferramentas:
-0,72759)
6.5.3
teste
Anlise da validade
92
representativo, e que alguns resultados podem ser utilizados para generalizaes de algumas concluses sobre a populao estudada de maneira limitada.
6.6
Consideraes finais
Neste captulo foi apresentado o processo para conduo do levantamento sobre acessibilidade
com pessoas envolvidas com projetos de desenvolvimento de sistemas Web.
Foram apresentados alguns conceitos envolvidos com a realizao de pesquisas do tipo levantamento, importantes para a realizao deste trabalho, e tambm quatro trabalhos relacionados
referentes a outros levantamentos similares. Dois desses levantamentos haviam sido realizados no
exterior, e outros dois no Brasil.
O levantamento realizado foi apresentado desde o seu planejamento, conduo at a anlise
dos resultados. Um total de 613 respostas vlidas foi utilizada no levantamento.
A anlise das estatsticas descritivas e das inferncias efetuadas mostram que h um longo
caminho a ser trilhado para a efetiva incorporao da acessibilidade em projetos de sistemas Web
no Brasil.
O nmero de pessoas que afirmam estar cientes sobre os conceitos, legislao e tcnicas para
acessibilidade ainda bastante pequeno. A necessidade de maior divulgao da legislao e de
diretrizes de acessibilidade, bem como a necessidade de mais treinamento sobre o tema so fatores
muito importantes para a maior disseminao da acessibilidade.
No prximo captulo, so apresentadas as concluses gerais deste trabalho e apontamentos para
trabalhos futuros.
C APTULO
7
Concluses e trabalhos futuros
7.1
Contribuies
94
7.2. LIMITAES
abrangendo desde as primeiras mtricas propostas at mtricas propostas muito recentemente, com
discusses e anlises sobre a aplicabilidade das mtricas.
Alm do estudo aprofundado sobre as mtricas, uma outra contribuio importante do trabalho
foi a proposta e implementao de um mdulo para apoiar os procedimentos de medio de acessibilidade a partir de avaliao automtica com diretrizes. A realizao dos dois estudos de caso
com stios governamentais nas esferas estadual e municipal no Brasil tambm foram importantes
para as anlises quantitativas que demonstram a grande necessidade de melhoria da acessibilidade
das pginas governamentais.
Finalmente, a partir dos resultados alcanados por meio dos estudos e implementaes realizados, foi possvel obter concluses interessantes e abrangentes sobre a acessibilidade no desenvolvimento de sistemas Web no Brasil. A realizao do questionrio com a participao de mais de
600 pessoas de todo o Brasil revelou questes interessantes e apontou diretrizes estratgicas para
a melhoria da acessibilidade no Brasil, a partir da inquietante constatao de que somente 19,9%
dos participantes afirmam considerar acessibilidade em seus projetos, no perodo da veiculao do
questionrio.
Os resultados das anlises descritivas e inferncias estatsticas confirmam diversas premissas,
principalmente de que somente o conhecimento de aspectos tcnicos no suficiente para uma
conscientizao efetiva sobre as necessidades de diferentes tipos de usurios. Tambm verificouse que a insero da acessibilidade de forma efetiva na formao das pessoas envolvidas com
desenvolvimento uma necessidade crucial. Alm disso, as respostas mostram que a legislao de
acessibilidade brasileira ainda menos efetiva do que deveria ser e, portanto, novos mecanismos
de divulgao e de regulamentao devem ser institudos.
A realizao deste trabalho de mestrado tambm foi muito importante para contribuir com a
formao do autor como pesquisador. A utilizao de mtodos cientficos e o aprendizado com
a busca por solues para os problemas encontrados colaboraram muito para o desenvolvimento
de habilidades para o desenvolvimento de pesquisas futuras em nvel de doutorado. Alm disso,
o projeto proporcionou muitas oportunidades para aprofundar o conhecimento sobre conceitos de
Estatstica, de Interao Humano-Computador e de Engenharia de Software.
7.2
Limitaes
95
Na anlise das pginas realizadas por meio do uso de mtricas, uma grande limitao imposta
pelas mtricas encontradas a falta de coeficientes para barreiras definidos por meio de resultados
experimentais. Assim, a maioria dos valores utilizados fornecem dados a partir dos pesos das
barreiras em relao a diretrizes, e no necessariamente sobre a percepo real de usurios.
Alm das limitaes das mtricas, uma outra limitao do trabalho a utilizao de mecanismos de avaliao baseados unicamente em mtodos automticos. Muitos pontos de verificao
necessitam de mtodos de inspeo manuais e testes com usurios. Entretanto, como foi proposta a
realizao de avaliao de um grande volume de pginas, seria invivel utilizar tais mtodos. Desta
forma, as concluses sobre a avaliao se restringem aderncia ou no aos critrios passveis de
avaliao automtica.
Finalmente, o questionrio realizado tambm apresenta limitaes referentes ao processo de
amostragem e forma de preenchimento. Infelizmente no foi possvel utilizar amostragem probabilstica, dada a dificuldade em delimitar a populao. Apesar da tentativa de distribuir os respondentes entre os grupos de pessoas do ambiente acadmico, indstria e governo, a participao
de pessoas da indstria e do governo foi aqum do esperado. Alm disso, o fato de o questionrio ter sido respondido por meio de formulrios Web impede que se certifique a veracidade das
afirmaes fornecidas pelos participantes.
7.3
Trabalhos futuros
A realizao deste trabalho criou diversas perspectivas para a realizao de trabalhos futuros
como continuao desta pesquisa.
Novas estratgias para treinamento de pessoas envolvidas com desenvolvimento de projetos
Web devero ser investigadas, de forma a proporcionar um maior contato com os problemas reais
enfrentados pelos usurios e familiarizao com o uso de tecnologias assistivas em inspees e
testes com usurios.
Devero ser realizados estudos por meio do mtodo de reviso sistemtica com o objetivo
de investigar de maneira mais aprofundada o panorama sobre a acessibilidade a partir da anlise
sistemtica de estudos exploratrios reportados na literatura. A conduo de revises sistemticas
com vistas verificao da efetividade da utilizao de mtodos populares de inspeo tambm se
apresenta como uma perspectiva de pesquisa promissora.
Sero realizados tambm estudos com anlises com diferentes leituras dos dados coletados,
com separao por segmentos e anlise comparativa entre diferentes grupos. Tambm devero
ser analisadas questes ligadas ao relacionamento entre os pontos de vista sobre a percepo de
acessibilidade por participantes que so membros de uma mesma organizao.
Mais estudos sobre a utilizao de mtricas de acessibilidade no processo de desenvolvimento
de sistemas Web devero ser realizadas. Aspectos sobre o impacto da percepo dos usurios sobre
as barreiras e a efetividade do uso de mtricas derivadas da percepo do usurio devero ser alvo
96
7.4
Produo cientfica
97
Referncias Bibliogrficas
A BASCAL , J.; A RRUE , M.; FAJARDO , I.; G ARAY, N.; T OMAS , J. The use of guidelines to automatically verify
web accessibility. Universal Access in the Information Society, v. 3, n. 1, p. 7179, 2004.
Disponvel em: http://dx.doi.org/10.1007/s10209-003-0069-3 (Acessado em Janeiro/2007)
ACESSIBILIDADE B RASIL daSilva. 2007.
Disponvel em: http://www.dasilva.org.br (Acessado em Janeiro/2007)
A HMAD , R.; Z HANG , L.; A ZAM , F. Measuring navigational burden. In: Fourth International Conference on
Proceedings of Software Engineering Research, Management and Applications,, IEEE, 2006, p. 307314.
ATKINSON , M. T.; D HIENSA , J.; M ACHIN , C. H. C. Opening up access to online documents using essentiality
tracks. In: W4A: Proceedings of the 2006 international cross-disciplinary workshop on Web accessibility (W4A),
New York, NY, USA: ACM Press, 2006, p. 613.
AULT, H.; D ELOGE , J.; L APP, R.; M ORGAN , M.; BARNETT, J. Evaluation of long descriptions of statistical
graphics for blind and low vision web users. In: Proceedings of 8th International Conference on Computers
Helping People with Special Needs, Linz, Austria: Springer Berlin / Heidelberg, 2002, p. 517.
BAILEY, J.; B URD , E. Tree-map visualisation for web accessibility. In: Proceedings of 29th Annual International
Computer Software and Applications Conference, 2005. COMPSAC 2005, 2005, p. 275280.
B EIREKDAR , A.; K EITA , M.; N OIRHOMME , M.; R ANDOLET, F.; VANDERDONCKT, J.; M ARIAGE , C. Flexible
reporting for automated usability and accessibility evaluation of web sites. In: Proceedings of 2005 Internacional
Conference on Human-Computer Interaction, Springer Berlin / Heidelberg, 2005, p. 281294.
B ENAVDEZ , C.; F UERTES , J.; G UTIRREZ , E.; M ARTNEZ , L. Semi-Automatic Evaluation of Web Accessibility
with HERA 2.0. In: Proceedings of the 10th International Conference on Computers Helping People with Special
Needs (ICCHP 2006), Springer, 2006, p. 199106.
B ENAVDEZ , C.; F UERTES , J. L.; G UTIRREZ , E.; M ARTNEZ , L. Teaching web accessibility with contramano
and hera. In: Proceedings of 10h Internacional Conference on Computers Helping People With Special Needs,
Springer Berlin / Heidelberg, 2006, p. 341348.
B ERLISS -V INCENT, J. International websites relating to assistive technology & universal design. Disability World,
, n. 2, 2000.
Disponvel em: http://www.disabilityworld.org/ (Acessado em Janeiro/2007)
99
100
REFERNCIAS BIBLIOGRFICAS
B IOLCHINI , J.; M IAN , P.; NATALI , A.; T RAVASSOS , G. Systematic review in software engineering: Relevance and
utility. Relatrio Tcnico RT - ES 679/05, PESC - COPPE/UFRJ, 2005.
Disponvel em: http://cronos.cos.ufrj.br/publicacoes/reltec/es67905.pdf (Acessado em
Fevereiro/2007)
B ITTAR , T. J. Abordagem para diagnstico de problemas em aplicaes de e-gov - um retrato dos municpios
brasileiros. Dissertao de Mestrado, Departamento de Computao (DC), Universidade Federal de So Carlos
(UFSCar), 2006.
B ITTAR , T. J.; S ILVA , J. C. A.; P ENTEADO , R. A. D.; F ILGUEIRAS , L. Short presentation of e-govmeter municipios, a brazilian monitoring system of electronic government (e-gov) municipal web services. In: Proceedings
of X Brazilian Symposium on Multimedia and the Web (WebMedia), ACM Press, 2005.
B OLDYREFF , C.; B URD , E.; D ONKIN , J.; M ARSHALL , S. The case for the use of plain english to increase web
accessibility. In: Proceedings of 3rd International Workshop on Web Site Evolution, IEEE, 2001, p. 4248.
B RAJNIK , G. Comparing accessibility evaluation tools: a method for tool effectiveness. Univers. Access Inf. Soc.,
v. 3, n. 3, p. 252263, 2004a.
B RAJNIK , G. Using automatic tools in accessibility and usability assurance processes. In: Proceedings of 8th
ERCIM Workshop on User Interfaces for All, Viena, Austria: Springer Berlin / Heidelberg, 2004b, p. 219234.
B RAJNIK , G. Web accessibility testing: When the method is the culprit. In: Proceedings of 10th International
Conference on Computers Helping People with Special Needs, Linz, Austria: Springer Berlin / Heidelberg, 2006,
p. 156163.
B HLER , C.; H ECK , H.; P ERLICK , O.; N IETZIO , A.; U LLTVEIT-M OE , N. Interpreting results from large scale
automatic evaluation of web accessibility. In: Computers Helping People with Special Needs, Springer Berlin /
Heidelberg, 2006, p. 184191.
C ENTENO , V. L.; K LOOS , C. D.; G AEDKE , M.; N USSBAUMER , M. Web composition with wcag in mind. In:
W4A 05: Proceedings of the 2005 International Cross-Disciplinary Workshop on Web Accessibility (W4A), New
York, NY, USA: ACM Press, 2005, p. 3845.
C ERI , S.; F RATERNALI , P.; B ONGIO , A. Web Modeling Language (WebML): a modeling language for designing
Web sites. In: Proceedings of the 9th international World Wide Web conference on Computer networks : the international journal of computer and telecommunications netowrking, Amsterdam, The Netherlands, The Netherlands:
North-Holland Publishing Co., 2000, p. 137157.
C HEN , Y.-L.; C HEN , Y.-Y.; S HAO , M. 2005 accessibility diagnosis on the government web sites in taiwan, r.o.c.
In: W4A: Proceedings of the 2006 international cross-disciplinary workshop on Web accessibility (W4A), New
York, NY, USA: ACM Press, 2006, p. 132142.
C HNE , D.; H OL , M. Web site accessibility auditing tool for visually deficient persons ocawa. In: Proceedings
of 8th International Conference on Computers Helping People with Special Needs, Linz, Austria, 2002, p. 27.
C LUSTER , W. W. A. B. Unified Web Evaluation Methodology (UWEM 0.5). 2006a.
Disponvel em: http://www.wabcluster.org/uwem05/ (Acessado em Janeiro/2007)
C LUSTER , W. W. A. B. Unified Web Evaluation Methodology (UWEM 1.0). 2006b.
Disponvel em: http://www.wabcluster.org/uwem/ (Acessado em Janeiro/2007)
REFERNCIAS BIBLIOGRFICAS
101
C ONALLEN , J. Building Web Applications with UML. second ed. Addison-Wesley, 468p p., 2002.
C ONTE , T. U.; M ENDES , M. E.; T RAVASSOS , G. H. Processos de Desenvolvimento para Aplicaes Web: Uma
Reviso Sistemtica. In: Proccedings of XI Brazilian Symposium on Multimedia and Web, Pocos de Caldas:
Brazilian Computer Society, 2005, p. 6375.
C OOK , A. M.; H USSEY, S. M. Assistive technologies: Principles and practice. 2a ed. Mosby - Year Book, Inc.,
523 p., 2001.
C ORREANI , F.; L EPORINI , B.; PATERN , F. Automatic inspection-based support for obtaining usable web sites for
vision-impaired users. Universal Access in the Information Society, v. 5, n. 1, p. 8295, 2005.
C OSTAGLIOTA , G.; F ERRUCCI , F.; F RANCESE , R. Handbook of software engineering and knowledge engineering,
emerging technologies, cp. Web Engineering: Models and Methodologies for Design of Hypermedia Applications
World Scientific Publishing, p. 181199, 2002.
D ESHPANDE , Y.; M URUGESAN , S.; G INIGE , A.; H ANSEN , S.; S CHWABE , D.; G AEDKE , M.; ; W HITE , B. Web
Engineering. Journal of Web Engineering, v. 1, n. 1, p. 317, 2002.
Disponvel em: http://www.rintonpress.com/xjwe1/jwe-1-1/003-017.pdf (Acessado em Janeiro/2007)
D IX , A.; F INLAY, J. E.; A BOWD , G. D.; B EALE , R. Human-computer interaction. 3a ed. Prentice Hall, 832 p.,
2003.
ENABLED Enabled web developer survey. 2005.
Disponvel em: http://www.enabledweb.org/public_results/survey_results/analysis.
html (Acessado em Acesso em fevereiro/2007)
FAPESP TIDIA-Ae - Tecnologia da Informao no Desenvolvimento da Internet Avanada - Aprendizado Eletrnico.
2008.
Disponvel em: http://tidia-ae.incubadora.fapesp.br/portal (Acessado em Janeiro de 2008)
F ENTON , N. E.; P FLEEGER , S. L. Software metrics: A rigorous and practical approach. Boston, MA, USA: PWS
Publishing Co., 1998.
F ERREIRA , S. B. L.; S ANTOS , R. C.; S ILVEIRA , D. S. Panorama da Acessibilidade na Web Brasileira. In: Anais
do XXXI Encontro da ANPAD - EnANPAD, 2007, p. 17p.
F ILEPP, R.; C HALLENGER , J.; ROSU , D. Improving the accessibility of aurally rendered html tables. In: Assets
02: Proceedings of the fifth international ACM conference on Assistive technologies, New York, NY, USA: ACM
Press, 2002, p. 916.
F ONS , J.; P ELECHANO , V.; A LBERT, M.; PASTOR , O. Development of web applications from web enhanced
conceptual schemas. In: Conceptual Modeling - ER 2003, Springer Berlin / Heidelberg, 2003, p. 232245.
F ORTES , R. P. M.; L ARA , S. M. A.; F REIRE , A. P.; PANSANATO , L. T. E. Minicursos do Webmedia 2005, v. 1,
cp. 7- Acessibilidade no Projeto de Aplicaes Web. 1 ed Belo Horizonte-MG: FuMARC Editora, p. 197226,
2005a.
F ORTES , R. P. M.; PANSANATO , L. T. E.; L ARA , S. M. A.; F REIRE , A. P. Minicursos do XVI Simpsio Brasileiro
de Informtica na Educao, v. 1, cp. 2- Universalizao do Acesso a Contedo Educacional em Aplicaes Web.
1 ed Juiz de Fora-MG: Editar Editora Associada, p. 2142, 2005b.
102
REFERNCIAS BIBLIOGRFICAS
F RATERNALI , P.; PAOLINI , P. A conceptual model and a tool environment for developing more scalable, dynamic, and customizable web applications. In: Advances in Database Technology - EDBT98, Springer Berlin /
Heidelberg, 1998, p. 419435.
F REEDOM S CIENTIFIC JAWS. 2006.
Disponvel em: http://www.freedomscientific.com/ (Acessado em Dezembro/2006)
F REIRE , A. P.; B ITTAR , T. J.; F ORTES , R. P. M. An approach based on metrics for monitoring web accessibility in
brazilian municipalities web sites. In: Proceedings of the 23rd Annual ACM Symposium on Applied Computing,
ACM Press, 2008, p. 24202424.
F REIRE , A. P.; F ORTES , R. P. M. Automatic accessibility evaluation of dynamic web pages generated through xslt.
In: W4A 05: Proceedings of the 2005 International Cross-Disciplinary Workshop on Web Accessibility (W4A),
New York, NY, USA: ACM Press, 2005, p. 8184.
F REIRE , A. P.; G OULARTE , R.; F ORTES , R. P. M. Tcnicas para desenvolvimento de aplicaes web acessveis.
Relatrio Tcnico 303, ICMC - University of Sao Paulo, Sao Carlos, SP, 2007a.
F REIRE , A. P.; G OULARTE , R.; M ATTOS F ORTES , R. P. Techniques for developing more accessible web applications: a survey towards a process classification. In: SIGDOC 07: Proceedings of the 25th annual ACM
international conference on Design of communication, New York, NY, USA: ACM, 2007b, p. 162169.
F REIRE , A. P.; M ATTOS F ORTES , R. P.; PAIVA , D. M. B.; T URINE , M. A. S. Using screen readers to reinforce
web accessibility education. SIGCSE Bull., v. 39, n. 3, p. 8286, 2007c.
F REIRE , A. P.; TANAKA , E. H.; L ARA , S. M. A.; ROCHA , H. V.; F ORTES , R. P. M. Comparing accessibility in
web based e-learning environments: a metric based approach. In: Proceedings of the XIII Brazilian Symposium
on Multimedia and the Web (Webmedia), ACM Press, 2007d, p. 4956.
F REITAS , H.; O LIVEIRA , M.; S ACCOL , A. Z.; M OSCAROLA , J.
Administrao da USP, RAUSP, v. 35, n. 3, p. 105112, 2000.
Revista de
F UKUDA , K.; S AITO , S.; TAKAGI , H.; A SAKAWA , C. Proposing new metrics to evaluate web usability for the
blind. In: CHI 05: CHI 05 extended abstracts on Human factors in computing systems, New York, NY, USA:
ACM Press, 2005, p. 13871390.
F UNDAO S AKAI Projeto sakai. 2008.
Disponvel em: http://www.sakaiproject.org (Acessado em Janeiro de 2008)
G ELLENBECK , E. Integrating accessibility into the computer science curriculum. J. Comput. Small Coll., v. 21,
n. 1, p. 267273, 2005.
G IL , A. Como elaborar projetos de pesquisa. Atlas, 1991.
G JSTER , T.; N YTUN , J. P.; P RINZ , A.; S NAPRUD , M.; T VEIT, M. S. Modelling accessibility constraints. In:
Proceedings of 10th International Conference on Computers Helping People with Special Needs, Springer Berlin /
Heidelberg, 2006, p. 4047.
G OETTE , T.; C OLLIER , C.; W HITE , J. D. An exploratory study of the accessibility of state government Web sites.
Universal Access in the Information Society, v. 5, n. 1, p. 4150, 2006.
REFERNCIAS BIBLIOGRFICAS
103
G ONZLEZ , J.; M ACAS , M.; RODRGUEZ , R.; S NCHEZ , F. Accessibility metrics of web pages for blind endusers. In: Proceedings of 2003 International Conference on Web Engineering, Oviedo, Spain: Springer Berlin /
Heidelberg, 2003, p. 374383.
G OVERNO B RASILEIRO Modelo de Acessibilidade de Governo Eletrnico - verso 2.0. 2008.
Disponvel em: http://www.governoeletronico.gov.br/emag/ (Acessado em Janeiro/2008)
H ACKETT, S.; PARMANTO , B.; Z ENG , X. Accessibility of internet websites through time. In: Assets 04: Proceedings of the 6th international ACM SIGACCESS conference on Computers and accessibility, New York, NY, USA:
ACM Press, 2004, p. 3239.
H ERRAMHOF, S.; P ETRIE , H.; S TROBBE , C.; V LACHOGIANNIS , E.; W EIMANN , K.; W EBER , G.; V ELASCO ,
C. A. Test case management tools for accessibility testing. In: Proceedings of 10th International Conference on
Computers Helping People With Disabilities, Linz, Austria: Springer Berlin / Heidelberg, 2006, p. 215222.
H OFFMAN , D.; E. G RIVEL , L. B. Designing software architectures to facilitate accessible web applications. IBM
Systems Journal, v. 44, n. 3, p. 467, 2005.
H ORTON , S. Designing beneath the surface of the web. In: W4A: Proceedings of the 2006 international crossdisciplinary workshop on Web accessibility (W4A), New York, NY, USA: ACM Press, 2006, p. 15.
H TTRACK HTTrack - Web site copier. 2008.
Disponvel em: Disponvelemhttp://www.httrack.com (Acessado em Janeiro de 2008)
H ULL , L. Accessibility: its not just for disabilities any more. Interactions, v. 11, n. 2, p. 3641, 2004.
IBGE Censo demogrfico 2000. 2000.
Disponvel em: http://www.ibge.gov.br/censo/ (Acessado em Janeiro/2007)
IBGE Sntese de indicadores sociais 2004. estudos e pesquisas: Informao demogrfica e socioeconmica. 2005.
Disponvel em: http://www.ibge.gov.br/home/estatistica/populacao/condicaodevida/
indicadoresminimos/sinteseindicsociais2004/default.shtm (Acessado em Fevereiro/2007)
I NTERNET A RQUIVE Way Back Machine. 2008.
Disponvel em: Disponvelemhttp://www.archive.org (Acessado em Janeiro de 2008)
ISO I NTERNATIONAL S TANDARD O RGANIZATION (ISO/IEC 12207) Standard for Information Technology
Software Lifecycle Processes. New York, NY, 85 S., 1998.
I VORY, M.; M ANKOFF , J.; L E , A. Using automated tools to improve web site usage by users with diverse abilities.
IT and Society, v. 1, n. 3, p. 195236, 2003.
I VORY, M. Y. Automated web site evaluation : Researchers and practitioners perspectives. Kluwer Academic
Publishers, 225 p., 2003.
K ING , M.; T HATCHER , J. W.; B RONSTAD , P. M.; E ASTON , R. Managing usability for people with disabilities in
a large web presence. IBM Systems Journal, v. 44, n. 3, p. 519, 2005.
K IRCHNER , M. Benchmark for testing the evaluation tools for web pages accessibility. In: Proceedings of Fifth
IEEE International Workshop on Web Site Evolution - Theme: Architecture, 2003, p. 6673.
104
REFERNCIAS BIBLIOGRFICAS
K ITCHENHAM , B. Procedures for performing systematic reviews. Joint Technical Report Software Engineering
Group, Department of Computer Science Keele University, United King and Empirical Software Engineering,
National ICT Australia Ltd, Australia., 2004.
Disponvel em:
http://www.elsevier.com/inca/publications/misc/inf-systrev.pdf
(Acessado em Janeiro/2007)
K ITCHENHAM , B.; M ENDES , M. E.; T RAVASSOS , G. H. A Systematic Review of Cross-vs. Within-Company Cost
Estimation Studies. In: 10th International Conference on Evaluation and Assessment in Software Engineering,
Staffordshire, 2006, p. 4755.
KOCH , N.; K RAUS , A. The expressive Power of UML-based Web Engineering. In: Proc. of Second International
Workshop on Web-oriented Software Technology (IWWOST02), 2002, p. 105119.
KOUROUPETROGLOU , C.; S ALAMPASIS , M.; M ANITSARIS , A. A semantic-web based framework for developing applications to improve accessibility in the www. In: W4A: Proceedings of the 2006 international crossdisciplinary workshop on Web accessibility (W4A), New York, NY, USA: ACM Press, 2006, p. 98108.
K URNIAWAN , S.; Z APHIRIS , P. Research-derived web design guidelines for older people. In: Assets 05: Proceedings of the 7th international ACM SIGACCESS conference on Computers and accessibility, New York, NY, USA:
ACM Press, 2005, p. 129135.
L AW, C.; JACKO , J.; E DWARDS , P. Programmer-focused website accessibility evaluations. In: Assets 05: Proceedings of the 7th international ACM SIGACCESS conference on Computers and accessibility, New York, NY, USA:
ACM Press, 2005, p. 2027.
L AZAR , J.; D UDLEY-S PONAUGLE , A.; G REENIDGE , K. Improving Web Accessibility: A Study of Webmaster
Perceptions. Computers and Human Behavior, v. 20, n. 2, p. 269288, 2004.
L EPORINI , B.; PATERN , F. Increasing usability when interacting through screen readers. Universal Access in the
Information Society, v. 3, n. 1, p. 5770, 2004.
L EPORINI , B.; PATERN , F.; S CORCIA , A. An environment for defining and handling guidelines for the web. In:
Proceedings of 10th International Conference on Computers Helping People with Special Needs, Linz, Austria:
Springer Berlin / Heidelberg, 2006, p. 176183.
L UCCA , G. A. D.; FASOLINO , A. R.; T RAMONTANA , P. Web site accessibility: identifying and fixing accessibility
problems in client page code. In: Proceedings of Seventh IEEE International Symposium Web Site Evolution,
2005. (WSE 2005), 2005, p. 7178.
M ACAS , M.; G ONZLEZ , J.; S NCHEZ , F. On adaptability of web sites for visually handicapped people. In:
Second International Conference on Adaptive Hypermedia and Adaptive Web-Based Systems: Second International
Conference, Springer Berlin / Heidelberg, 2002, p. 264.
M AFRA , S. N.; T RAVASSOS , G. H. Tecnicas de Leitura de Software: Uma Reviso Sistemtica. In: Proceedings
of XIX Brazilian Symposium on Software Engineering, Uberlandia-Brazil: Brazilian Computer Society, 2005, p.
7287.
M ASUWA -M ORGAN , K. R.; B URRELL , P. Justification of the need for an ontology for accessibility requirements
(Theoretic framework). Interacting with Computers, v. 16, p. 523555, 2004.
M ATTAR , F. Pesquisa de marketing. Atlas, 1996.
REFERNCIAS BIBLIOGRFICAS
105
In: Jornadas de
M ELO , A. M.; BARANAUSKAS , M. C. C. An inclusive approach to cooperative evaluation of web user interfaces.
In: Proceedings of Eigth International Conference on Enterprise Information Systems, Paphos, Cyprus, 2006a, p.
6570.
M ELO , A. M.; BARANAUSKAS , M. C. C. Simpsio sobre Fatores Humanos em Sistemas Computacionais, Simpsio Brasileiro de Sistemas Multimdia e Web e Simpsio Brasileiro de Sistemas Colaborativos, v. 1, cp. Design
inclusivo de sistemas de informao na Web. 1 ed Natal, RN: SBC, p. 167212, 2006b.
M ELO , A. M.; BARANAUSKAS , M. C. C. Uma opo inclusiva avaliao cooperativa de interfaces de usurio.
In: Anais do XXVI Congresso da Sociedade Brasileira de Computao, XXXIII SEMISH, SBC, 2006c, p. 447461.
M IRABELLA , V.; K IMANI , S.; C ATARCI , T. A no-frills approach for accessible web-based learning material. In:
W4A 04: Proceedings of the 2004 international cross-disciplinary workshop on Web accessibility (W4A), New
York, NY, USA: ACM Press, 2004, p. 1927.
M OEHLING , J. L.; S MITH , R. L.; S TEWART, M. D.; S WENSON , J. A. Considering accessibility for visually
impaired users [web site design]. In: Proceedings of IEEE International Professional Communication Conference,
1999. IPCC 99. Communication Jazz: Improvising the New International Communication Culture, 1999, p. 335
343.
M OODLE Moodle - A Free, Open-Source Course Management System for Online Learning. 2008.
Disponvel em: http://www.moodle.org (Acessado em Janeiro de 2008)
NCE-UFRJ Projeto DOSVOX. 2007.
Disponvel em: http://intervox.nce.ufrj.br/dosvox/ (Acessado em Janeiro/2007)
N ETER , J.; K UTNER , M. H.; NACHTSHEIM , C. J.; WASSERMAN , W. Applied linear regression models. 3 ed.
Irwin, Illinois, 720 p., 1996.
N IAZI , M.; S TAPLES , M. Systematic Review of Organizational Motivations for Adopting CMM-based SPI. Relatrio Tcnico PA005957, National ICT Australia Technical Report, 2006.
N IELSEN , J. Designing Web Usability. Peachpit Press, 432 p., 2000.
O LSINA , L.; L AFUENTE , G.; ROSSI , G. Specifying quality characteristics and attributes for websites. In: Web
Engineering : Software Engineering and Web Application Development, Springer Berlin / Heidelberg, 2001, p.
266279.
O LSINA , L.; ROSSI , G. Measuring Web Application Quality with WebQEM. IEEE MultiMedia, v. 9, n. 4, p. 2029,
2002.
Disponvel em: http://dx.doi.org/10.1109/MMUL.2002.1041945 (Acessado em Janeiro/2007)
PADDISON , C.; E NGLEFIELD , P. Applying heuristics to perform a rigorous accessibility inspection in a commercial
context. In: CUU 03: Proceedings of the 2003 conference on Universal usability, New York, NY, USA: ACM
Press, 2003, p. 126133.
PADDISON , C.; E NGLEFIELD , P.
v. 16, p. 507521, 2004.
106
REFERNCIAS BIBLIOGRFICAS
PARMANTO , B.; Z ENG , X. Metric for Web accessibility evaluation. Journal of the American Society for Information
Science and Technology, v. 56, n. 33, p. 13941404, 2005.
PATERN , F. Models for universal usability. In: IHM 2003: Proceedings of the 15th French-speaking conference
on human-computer interaction on 15eme Conference Francophone sur lInteraction Homme-Machine, New York,
NY, USA: ACM Press, 2003, p. 916.
PAULA , G. A. Modelos de regresso com apoio computacional. IME-USP, 253 p., 2004.
Disponvel em: http://www.ime.usp.br/~giapaula/livro.html (Acessado em Janeiro de 2008)
PAULA , G. A. Modelos lineares generalizados. 2008.
Disponvel em: http://www.ime.usp.br/~giapaula/slides3_mlgs_07.pdf (Acessado em Janeiro de 2008)
P ERLMAN , G. Achieving universal usability by designing for change. IEEE Internet Computing, v. 6, n. 2, p. 4655,
2002.
P ETRIE , H.; H AMILTON , F.; K ING , N. Tension? what tension?: website accessibility and visual design. SIGCAPH
Comput. Phys. Handicap., , n. 76, p. 67, 2003.
P ETRIE , H.; H AMILTON , F.; K ING , N.; PAVAN , P. Remote usability evaluations with disabled people. In: CHI
06: Proceedings of the SIGCHI conference on Human Factors in computing systems, New York, NY, USA: ACM
Press, 2006, p. 11331141.
P INSONNEAULT, A.; K RAEMER , K. Survey research methodology in management information systems: an assessment. Journal of Management Information Systems, v. 10, n. 2, p. 75105, 1993.
P LESSERS , P.; C ASTELEYN , S.; Y ESILADA , Y.; T ROYER , O. D.; S TEVENS , R.; H ARPER , S.; G OBLE , C. Accessibility: a web engineering approach. In: WWW 05: Proceedings of the 14th international conference on World
Wide Web, New York, NY, USA: ACM Press, 2005, p. 353362.
P LONE Plone: A user-friendly and powerful open source Content Management System. 2007.
Disponvel em: http://www.plone.org (Acessado em Janeiro/2007)
P RESSMAN , R. Engenharia de Software. 6a ed. McGraw-Hill, 880 p., 2006.
R D EVELOPMENT C ORE T EAM R: A language and environment for statistical computing.
Statistical Computing, Vienna, Austria, ISBN 3-900051-07-0, 2007.
Disponvel em: http://www.R-project.org
R Foundation for
R EGAN , B. Accessibility and design: a failure of the imagination. In: W4A 04: Proceedings of the 2004 international cross-disciplinary workshop on Web accessibility (W4A), New York, NY, USA: ACM Press, 2004, p.
2937.
ROCHA , H. V.; BARANAUSKAS , M. C. C. Design e Avaliao de Interfaces Humano-Computador. EdUnicamp,
2003.
ROSMAITA , B. J. Accessibility first!: a new approach to web design. In: SIGCSE 06: Proceedings of the 37th
SIGCSE technical symposium on Computer science education, New York, NY, USA: ACM Press, 2006, p. 270
274.
REFERNCIAS BIBLIOGRFICAS
107
ROWAN , M.; G REGOR , P.; S LOAN , D.; B OOTH , P. Evaluating web resources for disability access. In: Assets 00:
Proceedings of the fourth international ACM conference on Assistive technologies, New York, NY, USA: ACM
Press, 2000, p. 8084.
S CHWABE , D.; ROSSI , G.; BARBOSA , S. D. J. Systematic hypermedia application design with OOHDM. In:
HYPERTEXT 96: Proceedings of the the seventh ACM conference on Hypertext, New York, NY, USA: ACM
Press, 1996, p. 116128.
S ERPRO Acessibilidade na Web. 2004.
Disponvel em: http://www.serpro.gov.br/acessibilidade (Acessado em Janeiro/2007)
S HULL , F.; M ENDONCA , M. G.; BASILI , V.; C ARVER , J.; M ALDONADO , J. C.; FABBRI , S.; T RAVASSOS , G. H.;
F ERREIRA , M. C. Knowledge-Sharing Issues in Experimental Software Engineering. Empirical Softw. Engg.,
v. 9, n. 1-2, p. 111137, 2004.
S LOAN , D.; G REGOR , P.; ROWAN , M.; B OOTH , P. Accessible accessibility. In: CUU 00: Proceedings on the
2000 conference on Universal Usability, New York, NY, USA: ACM Press, 2000, p. 96101.
S LOAN , D.; H EATH , A.; H AMILTON , F.; K ELLY, B.; P ETRIE , H.; P HIPPS , L. Contextual web accessibility
- maximizing the benefit of accessibility guidelines. In: W4A: Proceedings of the 2006 international crossdisciplinary workshop on Web accessibility (W4A), New York, NY, USA: ACM Press, 2006, p. 121131.
S NAPRUD , M. H.; U LLTVEIT-M OE , N.; P ILLAI , A. B.; O LSEN , M. G. A proposed architecture for large scale
web accessibility assessment. In: Proceedings of 9th International Conference on Computers Helping People with
Special Needs, Springer Berlin / Heidelberg, 2006, p. 234241.
S ULLIVAN , T.; M ATSON , R. Barriers to use: usability and content accessibility on the Webs most popular sites. In:
CUU 00: Proceedings on the 2000 conference on Universal Usability, New York, NY, USA: ACM Press, 2000, p.
139144.
Disponvel em: http://doi.acm.org/10.1145/355460.355549 (Acessado em Fevereiro/2007)
TAKAGI , H.; A SAKAWA , C.; F UKUDA , K.; M AEDA , J. Accessibility designer: visualizing usability for the blind.
In: Assets 04: Proceedings of the 6th international ACM SIGACCESS conference on Computers and accessibility,
New York, NY, USA: ACM Press, 2004, p. 177184.
TANGARIFE , T. M. A acessibilidade nos websites governamentais: um estudo de caso no site da eletrobrs. Dissertao de Mestrado, Departamento de Artes e Design, Pontifcia Universidade Catlica do Rio de Janeiro (PUC-Rio),
2007.
TANGARIFE , T. M.; M ONT ALVO , C. O que os desenvolvedores brasileiros sabem sobre acessibilidade web e
incluso digital? In: Anais do 6o USIHC - 6o Congresso Internacional de Ergonomia e Usabilidade, Design de
Interfaces e Interao Humano- Computador, 2006, p. 6p.
T HATCHER , J.; B OHMAN , P.; B URKS , M.; H ENRY, S. L.; R EGAN , B.; S WIERENGA , S.; U RBAN , M. Constructing
accessible web sites. 1a ed. Glasshaus, 415 p., 2002.
T REWIN , S.; Z IMMERMANN , G.; VANDERHEIDEN , G. Abstract representations as a basis for usable user interfaces.
Interacting with Computers, v. 16, p. 477506, 2004.
U.S. G OVERNMENT Section 508. 2007.
Disponvel em: http://www.section508.gov (Acessado em Janeiro/2007)
108
REFERNCIAS BIBLIOGRFICAS
VANDERDONCKT, J.; B EIREKDAR , A.; N OIRHOMME -F RAITURE , M. Automated evaluation of web usability and
accessibility by guideline review. In: Proceedings of 4th International Conference, Munich, Germany: Springer
Berlin / Heidelberg, 2004, p. 1730.
VANDERHEIDEN , G. Fundamental principles and priority setting for universal usability. In: CUU 00: Proceedings
on the 2000 conference on Universal Usability, New York, NY, USA: ACM Press, 2000, p. 3237.
V IGO , M.; A RRUE , M.; B RAJNIK , G.; L OMUSCIO , R.; A BASCAL , J. Quantitative metrics for measuring web accessibility. In: W4A 07: Proceedings of the 2007 international cross-disciplinary conference on Web accessibility
(W4A), New York, NY, USA: ACM Press, 2007, p. 99107.
W3C HTML 4.01 Specification. 1999.
Disponvel em: http://www.w3.org/TR/html4/ (Acessado em Janeiro/2007)
W3C Web Content Acessibility Guidelines 1.0. 1999a.
Disponvel em: http://www.w3.org/TR/WCAG10/ (Acessado em Fevereiro/2007)
W3C XSL Transformations (XSLT). Disponvel online em http://www.w3c.org/TR/xslt. Acesso em janeiro/2004,
1999b.
W3C Authoring Tool Accessibility Guidelines 1.0. 2000.
Disponvel em: http://www.w3.org/TR/ATAG10/ (Acessado em Fevereiro/2007)
W3C User Agent Accessibility Guidelines 1.0. 2002a.
Disponvel em: http://www.w3.org/TR/UAAG10/ (Acessado em Fevereiro/2007)
W3C XHTML - 1.0 The Extensible HyperText Markup Language (Second Edition). 2002b.
Disponvel em: Disponvelemhttp://www.w3.org/TR/xhtml1/ (Acessado em Janeiro de 2008)
W3C Evaluating web sites for accessibility. Disponvel online em http://www.w3c.org/WAI/eval. Acesso em novembro/2003, 2003.
W3C Earl Schema - Content Evaluation and Report Language (EARL) 1.0 Schema - Editors Draft 23 March 2007.
2007a.
Disponvel em: Disponvelemhttp://www.w3.org/TR/2007/WD-EARL10-Schema-20070323
(Acessado em Janeiro de 2008)
W3C Web Content Acessibility Guidelines 2.0 - Working Draft. 2007b.
Disponvel em: http://www.w3.org/TR/WCAG20/ (Acessado em Dezembro/2007)
Y. TAKATA , Y.; NAKAMURA , T.; S EKI , H. Accessibility verification of www documents by an automatic guideline
verification tool. In: Proceedings of the 37th Annual Hawaii International Conference on System Sciences, IEEE
CS, 2004, p. 10 pp.
Z AJICEK , M. Patterns for encapsulating speech interface design solutions for older adults. In: CUU 03: Proceedings of the 2003 conference on Universal usability, New York, NY, USA: ACM Press, 2003, p. 5460.
Z AJICEK , M. Successful and available: interface design exemplars for older users. Interacting with Computers,
v. 16, p. 411430, 2004.
Z APHIRIS , P.; G HIAWADWALA , M.; M UGHAL , S. Age-centered research-based web design guidelines. In: CHI
05: CHI 05 extended abstracts on Human factors in computing systems, New York, NY, USA: ACM Press, 2005,
p. 18971900.
A PNDICE
A
Glossrio
Termo
Definio
API
ABNT
ATAG
Authoring Tools Accessibility Guidelines (W3C, 2000): conjunto de diretrizes de acessibilidade para ferramentas de autoria
Checkpoint
Coeficiente de correlao
Crawler
Diretriz
Elemento referente a uma recomendao sobre como fazer determinada tarefa (usado como traduo para guideline)
e-MAG
Engenharia Reversa
Guideline
Vide Diretriz
IBGE
ONG
Organizao No Governamental
Ponto de verificao
URL
UUAG
User Agent Accessibility Guidelines: diretrizes para acessibilidade de sistemas para usurios, como navegadores
WCAG
109
110
Termo
Definio
W3C
World Wide Web Consortium: organismo internacional responsvel pela definies de padres para a Web
XML
eXtensible Markup Language: linguagem de marcao poderosa e extensvel, que pode representar inmeros tipos de dados na forma de documentos
estruturados
XSLT
A PNDICE
B
Diretrizes e pontos de verificao do
WCAG 1.0
111
112
Diretriz 2 - No recorrer apenas cor
2.1 Assegurar que todas as informaes veiculadas com cor estejam tambm disponveis sem
cor, por exemplo a partir do contexto ou de marcaes. (Prioridade 1)
2.2 Assegurar que a combinao de cores entre o fundo e o primeiro plano seja suficientemente
contrastante para poder ser vista por pessoas com cromodeficincias, bem como pelas que utilizam
monitores de vdeo monocromticos. (Prioridade 2 para imagens; prioridade 3 para texto)
Diretriz 3 - Utilizar corretamente marcaes e folhas de estilo
3.1 Sempre que existir uma linguagem de marcao apropriada, utilizar marcaes em vez de
imagens para transmitir informaes. (Prioridade 2)
3.2 Criar documentos passveis de validao por gramticas formais, publicadas. (Prioridade
2)
3.3 Utilizar folhas de estilo para controlar a paginao (disposio em pgina) e a apresentao.
(Prioridade 2)
3.4 Utilizar unidades relativas, e no absolutas, nos valores dos atributos da linguagem de
marcao e nos valores das propriedades das folhas de estilo. (Prioridade 2)
3.5 Utilizar elementos de cabealho indicativos da estrutura do documento, de acordo com as
especificaes. (Prioridade 2)
3.6 Marcar corretamente listas e pontos de enumerao em listas. (Prioridade 2)
3.7 Marcar as citaes. No utilizar marcaes de citao para efeitos de formatao, como,
por exemplo, o avano de texto. (Prioridade 2)
Diretriz 4 - Indicar claramente qual o idioma utilizado
4.1 Identificar claramente quaisquer mudanas de idioma no texto de um documento, bem
como nos equivalentes textuais (por ex., legendas). (Prioridade 1)
4.2 Especificar por extenso cada abreviatura ou sigla quando da sua primeira ocorrncia em um
documento. (Prioridade 3)
4.3 Identificar o principal idioma utilizado nos documentos. (Prioridade 3)
Diretriz 5 - Criar tabelas passveis de transformao harmoniosa
5.1 Em tabelas de dados, identificar os cabealhos de linha e de coluna. (Prioridade 1)
5.2 Em tabelas de dados com dois ou mais nveis lgicos de cabealhos de linha ou de coluna,
utilizar marcaes para associar as clulas de dados s clulas de cabealho. (Prioridade 1)
5.3 No utilizar tabelas para efeitos de disposio em pgina, a no ser que a tabela continue a
fazer sentido depois de ser linearizada. Se no for o caso, fornecer um equivalente alternativo (que
pode ser uma verso linearizada). (Prioridade 2)
113
5.4 Se for utilizada uma tabela para efeitos de disposio em pgina, no utilizar qualquer
marcao estrutural para efeitos de formatao visual. (Prioridade 2)
5.5 Fornecer resumos das tabelas. (Prioridade 3)
5.6 Fornecer abreviaturas para os rtulos de cabealho. (Prioridade 3)
Diretriz 6 - Assegurar que as pginas dotadas de novas tecnologias sejam transformadas harmoniosamente
6.1 Organizar os documentos de tal forma que possam ser lidos sem recurso a folhas de estilo.
Por exemplo, se um documento em HTML for reproduzido sem as folhas de estilo que lhe esto
associadas, deve continuar a ser possvel l-lo. (Prioridade 1)
6.2 Assegurar que os equivalentes de contedo dinmico sejam atualizados sempre que esse
contedo mudar. (Prioridade 1)
6.3 Assegurar que todas as pginas possam ser utilizadas mesmo que os programas interpretveis, os applets ou outros objetos programados tenham sido desativados ou no sejam suportados.
Se isso no for possvel, fornecer informaes equivalentes em uma pgina alternativa, acessvel.
(Prioridade 1)
6.4 Em programas interpretveis e applets, assegurar que a resposta a eventos seja independente
do dispositivo de entrada. (Prioridade 2)
6.5 Assegurar a acessibilidade do contedo dinmico ou fornecer apresentao ou pgina alternativas. (Prioridade 2)
Diretriz 7 - Assegurar o controle do usurio sobre as alteraes temporais do contedo
7.1 Evitar concepes que possam provocar intermitncia da tela, at que os agentes do usurio
possibilitem o seu controle. (Prioridade 1)
7.2 Evitar situaes que possam provocar o piscar do contedo das pginas (isto , alterar a
apresentao a intervalos regulares, como ligar e desligar), at que os agentes do usurio possibilitem o controle desse efeito. (Prioridade 2)
7.3 Evitar pginas contendo movimento, at que os agentes do usurio possibilitem a imobilizao do contedo. (Prioridade 2)
7.4 No criar pginas de atualizao automtica peridica, at que os agentes do usurio possibilitem parar essa atualizao. (Prioridade 2)
7.5 No utilizar marcaes para redirecionar as pginas automaticamente, at que os agentes
do usurio possibilitem parar o redirecionamento automtico. Ao invs de utilizar marcaes,
configurar o servidor para que execute os redirecionamentos. (Prioridade 2)
114
Diretriz 8 - Assegurar a acessibilidade direta de interfaces do usurio integradas
8.1 Criar elementos de programao, tais como programas interpretveis e applets, diretamente
acessveis pelas tecnologias de apoio ou com elas compatveis (prioridade 1 se a funcionalidade
for importante e no estiver presente em outro local; prioridade 2, se no for o caso)
Diretriz 9 - Projetar pginas considerando a independncia de dispositivos
9.1 Fornecer mapas de imagem armazenados no cliente ao invs de no servidor, exceto quando
as regies no puderem ser definidas por forma geomtrica disponvel. (Prioridade 1)
9.2 Assegurar que qualquer elemento dotado de interface prpria possa funcionar de modo
independente de dispositivos. (Prioridade 2)
9.3 Em programas interpretveis, especificar respostas a eventos, preferindo-as a rotinas dependentes de dispositivos. (Prioridade 2)
9.4 Criar uma seqncia lgica de tabulao para percorrer links, controles de formulrios e
objetos. (Prioridade 3)
9.5 Fornecer atalhos por teclado que apontem para links importantes (incluindo os contidos
em mapas de imagem armazenados no cliente), controles de formulrios e grupo de controles de
formulrios. (Prioridade 3)
Diretriz 10 - Utilizar solues de transio
10.1 No provocar o aparecimento de janelas de sobreposio ou outras quaisquer, e no fazer
com que o contedo da janela atual seja modificado sem que o usurio seja informado disso, at
que os agentes do usurio tornem possvel a desativao de janelas secundrias. (Prioridade 2)
10.2 Assegurar o correto posicionamento de todos os controles de formulrios que tenham
rtulos implicitamente associados, at que os agentes do usurio venham a suportar associaes
explcitas entre rtulos e controles de formulrios. (Prioridade 2)
10.3 Proporcionar uma alternativa de texto linear (na mesma ou em outra pgina), em relao
a todas as tabelas que apresentem o texto em colunas paralelas e com translineao, at que os
agentes do usurio (incluindo as tecnologias de apoio) reproduzam corretamente texto colocado
lado a lado. (Prioridade 3)
10.4 Incluir caracteres predefinidos de preenchimento nas caixas de edio e nas reas de texto,
at que os agentes do usurio tratem corretamente os controles vazios. (Prioridade 3)
10.5 Inserir, entre links adjacentes, caracteres que no funcionem como link e sejam passveis
de impresso (com um espao de incio e outro de fim), at que os agentes do usurio (incluindo
as tecnologias de apoio) reproduzam clara e distintamente os links adjacentes. (Prioridade 3)
115
116
13.9 Fornecer informaes sobre colees de documentos (isto , documentos compostos por
vrias pginas). (Prioridade 3)
13.10 Fornecer meios para ignorar inseres de arte ASCII com vrias linhas. (Prioridade 3)
Diretriz 14 - Assegurar a clareza e a simplicidade dos documentos
14.1 Utilizar linguagem a mais clara e simples possvel, adequada ao contedo do site. (Prioridade 1)
14.2 Complementar o texto com apresentaes grficas ou sonoras, sempre que facilitarem a
compreenso da pgina. (Prioridade 3)
14.3 Criar um estilo de apresentao coerente e sistemtico, ao longo das diferentes pginas.
(Prioridade 3)
A PNDICE
C
Levantamento sobre tcnicas para
desenvolvimento Web acessvel
Ferramenta
Validao
Abordagem Inclusiva para Acessibilidade na Web: o Modelo Tangram (Sloan et al., 2006)
No informado
Sim
Essentiality Editor
No
Accessibility Designer
Sim
Acessibilidade primeiro: uma nova abordagem para o ensino de Web Design (Rosmaita, 2006)
No informado
No
Sim
Sim
No
Automatic Generation of Semantic Accessibility Annotations from Web Engineering Process (Plessers et al., 2005)
Sim
No
117
118
Avaliao de Acessibilidade com Guidelines (Abascal et al.,
2004)
EvalIris
No
No informado
No
Avaliao de Usabilidade Remota com Pessoas com deficincia (Petrie et al., 2006)
No informado
Sim
Benckmark para teste de ferramentas de avaliao de acessibilidade de pginas web (Kirchner, 2003)
No informado.
Sim
No informado.
Sim
No
Sim
No informado
No
No
No informado
No
No
Design de arquiteturas de software para facilitar o desenvolvimento de aplicaes Web acessveis (Hoffman e E. Grivel,
2005)
No informado
No
No informado
No
Sim
OCAWA
No
BenToWeb Parsifal
No
DESTINE (Design and Evaluation STudio for INtentbased Ergonomic web sites) e GDL Editor
No
Sim
No informado.
Sim
No informado
No
Guidelines para Web Design direcionadas para pessoas isodas derivadas de pesquisas (Kurniawan e Zaphiris, 2005)
(Zaphiris et al., 2005)
No informado
Sim
Sim
No informado
Sim
Sim
No informado.
No
No
No informado.
No
No informado.
Sim
No
Mtricas para Avaliao de Usabilidade na Web para usurios Cegos (Fukuda et al., 2005)
No informado
Sim
No
O uso de modelos para desenvolvimento de aplicaes visando usabilidade universal (Patern, 2003)
No informado
No
No informado
No
No informado.
Sim
No informado
No
No informado
No
HERA 2.0
No
Sim
Um framework baseado em Web Semntica para Desenvolvimento de aplicaes acessveis (Kouroupetroglou et al.,
2006)
SeeBrowser
Sim
Prottipo implementado.
No
No informado
No
LIFT
No
Sim
No
A PNDICE
D
Avaliao dos stios dos governos
estaduais brasileiros entre 1996 e 2007
Na Figura D.1 apresentado um grfico onde ilustrado o nmero de estados com stio Web
por ano entre 1996 e 2007. Pode-se observar que a partir de 2003, todos os estados tinham um stio
web disponibilizado.
Figura D.1: Nmero de estados com stios web por ano entre 1996 e 2007
Nas figuras a seguir so apresentadas as sries histrias das anlises dos stios web dos governos
estaduais entre 1996 e 2007. Na Figura D.2 apresentado o histrico de acordo com a mtrica
121
122
A3; na Figura D.3 apresentado o histrico de acordo com a mtrica UWEM; na Figura D.4
apresentado o histrico de acordo com a mtrica WAB e, finalmente na Figura D.5 apresentado
o histrico de acordo com a mtrica WAQM.
importante ressaltar que as mtricas A3, UWEM e WAB apresentam o ndice de barreiras,
ou seja, quanto maior o ndice, mais barreiras de acessibilidade tm os stios. J a mtrica WAQM
representa uma nota de 0 a 100, onde stios com notas mais altas possuem um ndice mais baixo
de barreiras de acessibilidade.
Figura D.2: Srie histrica da anlise das pginas com a mtrica A3 dos stios dos estados
Figura D.3: Srie histrica da anlise das pginas com a mtrica UWEM dos stios dos estados
124
Figura D.4: Srie histrica da anlise das pginas com a mtrica WAB dos stios dos estados
Figura D.5: Srie histrica da anlise das pginas com a mtrica WAQM dos stios dos estados
A PNDICE
E
Avaliao dos stios das prefeituras
municipais brasileiras
Neste apndice, so apresentadas as tabelas com as mdias dos ndices de acessibilidade com as
mtricas A3, UWEM e WAQM e a listagem com a avaliao por meio da mtrica WAB (Parmanto
e Zeng, 2005) dos municpios brasileiros com stios Web. As avaliaes foram efetuadas de acordo
com o mtodo descrito na Subseo 5.4.2.
Na Tabela E.1 so exibidos os resultados para a mtrica A3, variando entre 0 e 1. Na Tabela
E.2 so apresentados os resultados para a mtrica UWEM, tambm variando entre 0 e 1. Na Tabela
E so apresentados os resultados para a mtrica WAQM, variando entre 0 e 100 e considerando
que valores altos correspondem a pginas mais acessveis, diferentemente das outras mtricas.
Tabela E.1: Resultados da avaliao dos stios dos governos municipais com a mtrica A3
Regio
Mdia Desvio padro
Sul
0.28
0.08
Sudeste
0.29
0.07
Centro-oeste
0.31
0.06
Nordeste
0.29
0.08
Norte
0.28
0.06
Na listagem a seguir, so enumerados os 15 municpios com os menores ndices de barreira
(melhor acessibilidade) e os 15 municpios com os maiores ndices de barreira (pior acessibilidade). Foram eliminados da listagem dos menores ndices municpios com stios em construo,
stios que tinham somente imagens, stios com frames e tabelas para layout.
127
128
Tabela E.2: Resultados da avaliao dos stios dos governos municipais com a mtrica UWEM
Regio
Mdia Desvio padro
Sul
0.25
0.08
Sudeste
0.26
0.07
Centro-oeste
0.28
0.07
Nordeste
0.26
0.08
Norte
0.25
0.07
Tabela E.3: Resultados da avaliao dos stios dos governos municipais com a mtrica WAQM
Regio
Mdia Desvio padro
Sul
77.34
14.09
Sudeste
77.12
10.97
Centro-oeste 74.84
11.01
Nordeste
76.17
13.37
Norte
77.01
12.44
Esta avaliao foi efetuada a partir de uma lista com 5551 municpios, obtida a partir da ferramenta E-GOVMeter (Bittar et al., 2005), dos quais 1980 tinham stios na Web. Desta forma, como
a quantidade de stios avaliados era muito grande, deve-se ressaltar que esta avaliao foi efetuada
utilizando exclusivamente mtodos automticos. Assim, no se pode afirmar que os municpios
com baixos ndices de barreiras realmente tm stios realmente acessveis.
Desta avaliao, s se pode inferir o quanto estes stios ferem ou no barreiras de acessibilidade
que podem ser verificadas automaticamente. Na Tabela E.4 so listadas os 15 municpios cujos
stios obtiveram os menores ndices de WAB.
129
Tabela E.4: Lista dos quinze municpios com menores ndices WAB
Nmero
Cidade
Estado
URL
ndice
WAB
Tubaro
SC
http://www.tubarao.sc.gov.br
0,25
Indaiatuba
SP
http://www.indaiatuba.sp.gov.br/
0,285088
Abati
PR
http://www.abatia.pr.gov.br/
0,461538
Doutor Pedrinho
SC
http://www.doutorpedrinho.sc.gov.br/
0,583333
Laguna
SC
http://www.laguna.sc.gov.br/
0,762319
Viosa
AL
http://www.vicosa.al.gov.br/
0,833333
Pirajuba
MG
http://www.pirajuba.mg.gov.br/
0,833333
Passira
PE
http://www.passira.pe.gov.br/
0,833333
Limeira
SP
http://www.limeira.sp.gov.br/
0,833333
10
Gramado
RS
http://www.gramado.rs.gov.br/
0,833333
11
Alto Paran
PR
http://www.altoparana.pr.gov.br/
0,833333
12
Camanducaia
MG
http://www.camanducaia.mg.gov.br/
0,845833
13
Natal
RN
http://www.natal.rn.gov.br/
0,897023
14
Rio Pardo
RS
http://www.riopardo.rs.gov.br/
0,957071
15
Irati
SC
http://www.irati.sc.gov.br/
1,02778
Na Tabela E.5 apresentada a lista com os 15 municpios com os maiores ndices WAB.
Tabela E.5: Lista dos quinze municpios com maiores ndices WAB
Nmero
Cidade
Estado
URL
ndice
WAB
Ipueiras
CE
http://www.ipueiras.ce.gov.br/
6,1119
Varzea
PB
http://www.varzea.pb.gov.br/
5,80225
Ipojuca
PE
http://www.ipojuca.pe.gov.br/
5,6119
Belmiro Braga
MG
http://www.belmirobraga.mg.gov.br/
5,50696
Joaima
MG
http://www.joaima.mg.gov.br/
5,49638
Machados
PE
http://www.machados.pe.gov.br/
5,45922
Ariranha do Iva
PR
http://www.ariranhadoivai.pr.gov.br/
5,43666
Vargem Grande
MA
http://www.vargemgrande.ma.gov.br/
5,43623
Russas
CE
http://www.russas.ce.gov.br/
5,41434
10
Sabaudia
PR
http://www.sabaudia.pr.gov.br/
5,39729
11
Parnaba
PI
http://www.parnaiba.pi.gov.br/
5,36581
12
Ipiau
MG
http://www.ipiacu.mg.gov.br/
5,35349
13
So Joo da Parana
GO
http://www.saojoaodaparauna.go.gov.br/5,29672
14
Martins
RN
http://www.martins.rn.gov.br/
5,28775
15
Pedranpolis
SP
http://www.pedranopolis.sp.gov.br/
5,27288
A PNDICE
F
Instrumentos utilizados na pesquisa
levantamento
Neste apndice so apresentados os instrumentos utilizados durante a conduo do levantamento com pessoas envolvidas no projeto de sistemas Web. Na Seo F.1 apresentado o questionrio utilizado, e na Seo F.2 apresentado o e-mail enviado com o convite para participao na
pesquisa.
F.1
Questionrio
131
132
F.1. QUESTIONRIO
Identificao: _______________
Nome: _______________
Instituio/Empresa: _______________
E-mail: _______________
Gnero: ( ) Masculino ( ) Feminino
1) Sua idade se inclui em qual das seguintes faixas etrias? (resposta nica)
( ) 18-24 ( ) 25-35 ( ) 36-45 ( ) 46-60 ( ) 60-70 ( ) Mais de 70
2) Qual a sua principal rea de atuao profissional, ou rea de atuao da organizao em que voc atua?
(resposta nica)
( ) rgo/Entidade Governamental ( ) Instituio de ensino/pesquisa
( ) Empresa/profissional da rea de TI ( ) Empresa/profissional da rea de Design
( ) Empresa/profissional de outra rea ( ) Outro: ______
3) Em que local voc reside atualmente?
Cidade: ________
Estado: ____
4) Qual o seu maior nvel de formao? (resposta nica)
( ) Ensino Fundamental incompleto ( ) Ensino Fundamental completo
( ) Ensino Mdio incompleto ( ) Ensino Mdio completo
( ) Curso superior incompleto ( ) Curso superior completo
( ) Especializao ( ) Mestrado
( ) Doutorado
5) Qual a principal funo que voc exerce profissionalmente, seja como trabalhador autnomo ou dentro da
sua organizao? (resposta nica)
( ) Gerente ( ) Coordenador ( ) Analista ( ) Programador ( ) Pesquisador/Docente
( ) Tcnico ( ) Designer ( ) Outro (especifique): _____
Questes
1. Como voc classifica seu conhecimento sobre linguagens de marcao e de estilo para Web (HTML e CSS Cascading style sheets)? (resposta nica)
( ) Nenhum ( ) Bsico ( ) Intermedirio ( ) Avanado ( ) Especialista
2. Voc tem conscincia sobre os problemas envolvidos com a criao de pginas Web que possam ser utilizadas
por pessoas cegas? (resposta nica)
( ) No sabia que era possvel que cegos utilizassem a Web
( ) J ouvi falar sobre a possibilidade de cegos utilizarem a Web, mas no sei como isso possvel
( ) Conheo tecnologias que permitem que cegos utilizem a Web, mas no sei como criar pginas adequadas para
eles
( ) Conheo tecnologias que permitem que cegos utilizem a Web, e j produzi pginas que podem ser utilizadas
por cegos
( ) Conheo tecnologias que permitem que cegos utilizem a Web, e considero as questes de acessibilidade envolvidas em todos os projetos em que atuo
3. Selecione quais das tecnologias assistivas (tecnologias utilizadas por pessoas com deficincia) a seguir voc
conhece ou j utilizou: (mltiplas respostas)
133
134
F.2
E-mail convite
Prezado(a) (participante)
Gostaramos de lhe convidar para participar de uma pesquisa sobre acessibilidade na Web que est sendo realizada
pelo Laboratrio Intermdia da USP (Universidade de So Paulo).
O objetivo da pesquisa de levantar dados sobre acessibilidade no desenvolvimento de pginas e aplicaes Web
no contexto brasileiro.
O questionrio contm 12 questes simples, e leva em mdia de 5 a 10 minutos para ser respondido. Todas as
respostas so confidenciais, e sero utilizadas somente para os fins da pesquisa.
O preenchimento pode ser feito via Web, por meio do link:
http://agua.intermidia.icmc.usp.br/acessibilidade/index.php
Caso voc considere que no a pessoa mais indicada em sua organizao para responder o questionrio, pedimos
por favor que encaminhe este convite para as pessoas mais indicadas.
A participao tambm aberta a outras pessoas envolvidas com desenvolvimento Web e projetos de interface.
Tenha a liberdade de encaminhar este convite para outras pessoas que possam se interessar.
Sua participao ser muito importante para o sucesso desta pesquisa. O questionrio estar disponvel at o dia
20 de agosto de 2007.
Desde j agradecemos muito pela sua colaborao.
A PNDICE
G
Modelos estatsticos do levantamento
Neste apndice, so apresentados os dois modelos estatsticos gerados por meio de tcnicas
de regresso linear, apresentados na Seo 6.5.2. Os coeficientes Estimate correspondem ao valor
atribudo na regresso, referente contribuio de cada varivel para a funo de aproximao. O
valor Std. Error o desvio padro do coeficiente. O z value corresponde ao valor da regio em
que o valor obtido no teste estatstico ficou localizado e, finalmente, o valor Pr(>|z|) corresponde
probabilidade de que a hiptese nula (a varivel em questo no relevante) seja rejeitada.
Call:
glm(formula = q8 ~ q1 + q2 + q3_ampliadordetela + q3_navegadorcomvoz +
q5 + q6_nenhum + q6_cursodewebdesign + q6_disciplinacursotecnico +
q7_testecomusuariosidosos + q7_avaliacaoferramenta,
family = binomial(link = "logit"), data = na.omit(dados))
Deviance Residuals:
Min
1Q
Median
-2.2570 -0.6220 -0.4168
3Q
-0.3045
Max
2.4771
Coefficients:
(Intercept)
q1
q2
q3_ampliadordetela
q3_navegadorcomvoz
q5
q6_nenhum
q6_cursodewebdesign
q6_disciplinacursotecnico
q7_testecomusuariosidosos
q7_avaliacaoferramenta
---
135
136
Signif. codes:
on 580
on 570
degrees of freedom
degrees of freedom
Call:
lm(formula = wab ~ q1 + q3_leitordetela + q3_ampliadordetela +
q3_mousesalternativos + q3_outros + q4 + q5 + q6_nenhum +
q6_palestra + q6_treinamentoempresa + q7_nenhum + q7_validacaocss +
q7_avaliacaoferramenta + q7_outros + q9_fatoreslegais + q9_exigenciaclientes +
q9_reputacao + q9_compatibilidademoveis + q9_webstandards +
q10_legislacaonaoaplica + q10_prejudicalayout, data = na.omit(dados))
Residuals:
Min
1Q Median
-1.4686 -0.4747 -0.0379
3Q
0.4492
Max
1.4063
Coefficients:
Estimate Std. Error t value
(Intercept)
2.62403
0.21097 12.438
q1
-0.13038
0.05717 -2.281
q3_leitordetela
-0.30313
0.11384 -2.663
q3_ampliadordetela
0.18390
0.10827
1.699
q3_mousesalternativos
-0.25198
0.16493 -1.528
q4
0.11736
0.05390
2.177
q5
-0.04752
0.07007 -0.678
q6_nenhum
0.45296
0.14108
3.211
q6_palestra
0.54082
0.15495
3.490
q6_treinamentoempresa
-0.44268
0.22561 -1.962
q7_nenhum
-0.22484
0.14544 -1.546
q7_validacaocss
-0.30340
0.14835 -2.045
q7_avaliacaoferramenta
-0.72579
0.17005 -4.268
q9_fatoreslegais
0.45126
0.19521
2.312
q9_exigenciaclientes
0.48715
0.26472
1.840
q9_reputacao
-0.49653
0.22977 -2.161
q9_compatibilidademoveis -0.37637
0.24057 -1.564
q9_webstandards
0.58297
0.24565
2.373
q10_legislacaonaoaplica
0.37036
0.24508
1.511
q10_prejudicalayout
0.79325
0.30844
2.572
--Signif. codes: 0 ?***? 0.001 ?**? 0.01 ?*? 0.05 ?.?
Pr(>|t|)
< 2e-16
0.023837
0.008514
0.091281
0.128472
0.030872
0.498612
0.001590
0.000618
0.051416
0.124022
0.042422
3.30e-05
0.022027
0.067523
0.032133
0.119607
0.018778
0.132635
0.010994
***
*
**
.
*
**
***
.
*
***
*
.
*
*
*
0.1 ? ? 1