AmCARA - Ambiente e Comunicao Alternativo com Realidade Aumentada: O acesso do deficiente motor severo a softwares e Web

T. R. Garbin1, C. A. Dainese1
1

Centro de Educao Aberta e Distncia (CEAD)

Universidade Federal de Ouro Preto (UFOP) MG Brasil {trgarbin, cdainese}@cead.ufop.br Abstract. This study aimed to propose an alternative communication environment for people with severe physical disabilities that enables the use of assistive communication software and the Web for the study was developed augmented reality environment with marker, keyboard and controller cards that are triggered by simple movements. It was possible to verify through testing that the user with a disability severe motor can use the environment to promote interaction and communication, including their needs and adaptation for use in situations of learning or work, and for access to software and Web. Resumo. Este estudo teve como objetivo propor um ambiente de comunicao alternativa para indivduos com deficincia motora severa que possibilita o uso de softwares de comunicao assistiva e Web. Para a realizao do estudo foi desenvolvido ambiente de realidade aumentada com marcador, teclado e placas de controle que so acionados por movimentos simples. Foi possvel verificar atravs de experimentao que o usurio com deficincia motora severa pode utilizar o ambiente para promover a interao e a comunicao, considerando suas necessidades e adaptao para uso em situaes de aprendizagem ou de trabalho, quanto para acesso a softwares e Web.

1. Introduco
Indivduos com necessidades especiais podem apresentar problemas com relao comunicao. A tecnologia quando aliada ao conhecimento e associada s necessidades especficas dos indivduos pode ser uma ferramenta valiosa, facilitando a intermediao e ajudando a remover barreiras para o processo de descoberta e acesso ao caminho para a construo do conhecimento. Um dos recursos tecnolgicos utilizado para facilitar a comunicao de indivduos com deficincia a tecnologia assistiva. Este suporte pode ser mecnico, eltrico, eletrnico e computacional, e pode ser oferecido atravs de um equipamento ou recurso material/fsico para oferecer a usabilidade aos recursos disponveis. Atravs do uso de ferramentas especficas, tais como perifricos (teclados, mouses e impressoras) por meio de acionadores binrios; anlise e sntese de voz ou acesso por som; sensores para possibilitar a movimentao de cegos; perifricos com sistema Braille; robtica; processo de interao/comunicao atravs de hipermeios e telemtica;

XX Simpsio Brasileiro de Informtica na Educao (2009)

desenvolvimento de softwares gerais e especficos para sistemas aumentativo ou alternativo de comunicao possibilitam ampliar o seu mundo de comunicao com outras pessoas, seu desenvolvimento e autonomia pessoal [Dainese et al 2005][Garbin 2008][Valente 2001]. A comunicao aumentativa e alternativa um recurso que amplia ou substitui a capacidade de indivduos com distrbios de comunicao, como ocorre com a paralisia cerebral. As tecnologias podem oferecer acesso aos sistemas de comunicao aumentativa e alternativa e reduzir as dificuldades ou incapacidades dos indivduos que apresentam deficincia motora grave, auxiliando o desenvolvimento de atividades como acessar um site ou utilizar um software. O objetivo da comunicao aumentativa e alternativa permitir a comunicao de pessoas incapazes de se comunicar por meios naturais como fala, gesto ou escrita. A introduo da tecnologia veio melhorar significativamente a eficcia desses sistemas, mas o seu elevado custo tem constitudo uma barreira para um grande nmero de potenciais utilizadores. A comunicao classificada como suplementar quando o indivduo utiliza outro meio de comunicao para completar ou compensar deficincias que a fala apresenta, sem substitu-la totalmente; e a comunicao se classifica como alternativa quando o indivduo utiliza outro meio de comunicao em vez da fala, devido a impossibilidade de articular ou produzir sons adequadamente [Brasil 2004][Pelosi 2003][ Fehlings et al 2000]. A Realidade Aumentada (RA) aparece como alternativa tecnolgica que pode ser utilizada para o desenvolvimento de ambientes alternativos de comunicao. Uma das grandes possibilidades dos sistemas de realidade aumentada a sua capacidade em apresentar atravs de sons e imagens, idias abstratas e conceitos de difcil representao, principalmente para indivduos que apresentam dificuldades motoras severas que impedem a emisso de sons, a utilizao de teclado, mouse e utilizao da linguagem escrita (manuscrita ou digital) [Dainese et al 2005][Garbin et al 2004]. Portanto, com o uso de recursos especiais possvel o deficiente motor severo utilizar o computador e acessar a internet para comunicar-se e desenvolver atividades acadmicas ou profissionais de forma autnoma. 1.2. Comunicao Suplementar Alternativa Comunicao Suplementar Alternativa (CSA) significa qualquer meio de comunicao que suplemente ou substitua os meios usuais de fala ou escrita. O objetivo da CSA tornar o indivduo com distrbios de comunicao o mais independente e competente possvel em suas situaes comunicativas, podendo ampliar suas oportunidades de interao com outras pessoas, na escola e na comunidade em geral. Sistemas de Comunicao Suplementar ou Alternativa, tambm chamados de Comunicao Aumentativa e Alternativa (AAC Augmentative and Alternative Communication), possibilitam a integrao de smbolos, gestos, recursos, estratgias e tcnicas para auxiliar a comunicao de indivduos que apresentam deficincia e que so impedidos que a comunicao ocorra de forma natural, como dificuldade ou incapacidade para a gesticulao, articulao, emisso de expresses, movimentos gestuais e coordenao motora fina, impedindo a comunicao oral e escrita [Capovilla 2003][Simoni 2003] [Souza 2003][Chan 2001] [Russman 2000] .

XX Simpsio Brasileiro de Informtica na Educao (2009)

A proposta do AmCARA de um ambiente adaptativo, interativo, aberto e flexvel que permite a utilizao de linguagem natural e a interao com o sistema em tempo real, oferecendo a possibilidade do usurio utilizar ambientes sncronos e assncronos [Garbin 2008] . A partir da captura do ambiente externo atravs de cmera, o sistema acionado e responde s aes de comando quando identifica padres dispostos em marcadores ou gestos. O sistema tem um fluxo continuo funcionando como agentes que se modificam a partir de novas aes. Como observado na Figura 1, as aes do usurio so capturadas pela cmera que alimenta o ambiente e devolve ao usurio as informaes, realimentando novamente o usurio com novas situaes. O acesso ao ambiente computacional atravs de aes simples e direta do usurio pode facilitar a interao homem-computador. A evoluo tecnolgica permite que os sistemas computacionais respondam a toques, movimentos gestuais, sons e imagens. Quando do uso de um sistema de realidade aumentada, objetos reais do ambiente contendo elementos planejados (placa com marca de referncia para reconhecimento - marcador) garantem a interao entre usurio e o sistema.

Figura 1. Representao do ambiente. [Garbin 2008]

A interpretao da marca de referncia garante o posicionamento espacial e orientao da placa de controle, a sobreposio de imagem virtual no objeto real, quanto servir como elemento de integrao com outros sistemas de comunicao. Neste caso, a placa de controle utilizada para reconhecimento de aes do usurio atravs de gestos, movimentos da cabea, mo, brao ou perna, acionando outros recursos para outras funcionalidades, como compor frases (Figura 2) e mesmo acesso a Web.

XX Simpsio Brasileiro de Informtica na Educao (2009)

Figura 2. O ambiente AmCARA utilizado para formar frases.

No ambiente AmCARA o usurio seleciona placas, e estas so capturadas pela webcam e transformadas pelo sistema em smbolos, palavras ou figuras utilizadas para compor frases (Figura 2). A seguir sero apresentadas informaes sobre o ambiente.

2. O Ambiente AmCARA
O Ambiente AmCARA Ambiente de Comunicao Alternativo de Realidade Aumentada foi desenvolvido a partir de vrias aplicaes de realidade aumentada associadas softwares de comunicao assistiva para oferecer portadores de deficincia motora severa, como a paralisia cerebral, a possibilidade de utilizar softwares de comunicao alternativa como InVento, Escrevendo com Smbolos e o Boardmaker e realizar atividades assncronas e sncronas utilizando inclusive a Web. O ambiente composto por webcam para captura de imagens externa, softwares para reconhecimento de padro, controle espacial, gerador de imagens virtuais, recursos multimdia, integrao e controle com demais ambientes. Inicialmente, foi desenvolvido para plataformas Windows. A seguir sero apresentadas informaes sobre o Teclado, os Marcador e Placa de controle. 2.1. Teclado Foram desenvolvidos teclados com numerais, letras, palavras e figuras. O tamanho do teclado acompanhou as necessidades dos usurios e as condies necessrias para o ambiente computacional. O posicionamento e fixao do teclado permitem alteraes conforme as necessidades especficas, podendo ser fixado em carteira, mesa, cho ou qualquer plataforma, inclusive de cadeira de rodas ou mesa adaptada. (Figura 3).

Figura 3. Funcionamento do Teclado do AmCARA para utilizao de telas para acionar comandos do software e Web. (colegas/professor).

XX Simpsio Brasileiro de Informtica na Educao (2009)

A escolha da caixa de comando do software realizada quando o usurio faz a seleo do nmero correspondente no teclado indicando o marcador interativo de RA fixo na prancha do AmCARA (Figura 3). O usurio seleciona o marcador atravs do movimento da mo ou p. O marcador selecionado aciona o sistema, ocorrendo a emisso da ao correspondente ao comando. Conforme pode ser verificado na Figura 3, a caixa de palavras quando acionada (escolhida) oferece a opo da Tela 2. Ao selecionar a caixa, as palavras so apresentadas no editor, quanto a imagem correspondente. O usurio pode acionar o caixa Som para ouvir as selees.

Figura 4. Produo de um usurio utilizando o ambiente AmCARA e o Software Escrevendo Com Smbolos, esta mensagem transmitida pela Web para outro usurio (colegas/professor).

Na Figura 4 possvel verificar a produo de um usurio utilizando o ambiente AmCARA e o Software Escrevendo com Smbolos. Para escrever as frases o usurio utilizou o recurso visual apresentado pelo software e associou as imagens aos marcadores interativos com nmeros. Quando o marcador escolhido, apresentado na tela do computador a palavra e o smbolo correspondente. possvel acionar a caixa de som para ouvir os estmulos sonoros correspondentes. Conforme pode ser verificado na Figura 4, o usurio tem a possibilidade de escrever palavras e frases escolhendo marcadores interativos. Com poucos movimentos possvel escrever palavras e frases. Quando o usurio utiliza o teclado do ambiente AmCARA, so selecionadas imagens reais e virtuais e estas so associadas aos recursos do software e de sites da Web, auxiliando no desenvolvimento de atividades e possibilitando a interao. Para a composio do teclado foram utilizados objetos, fotos, imagens, letras, slabas, palavras e frases. O teclado foi associado ao software Comunicar inVento objetivando utilizar o recurso auditivo e de smbolos disponveis para a realizao de atividades curriculares. Para o desenvolvimento das teclas/placas foi realizado estudo dos comportamentos emitidos pelos usurios e, atravs dos movimentos de arrastar e pegar objetos, foi possvel a identificao do tamanho que poderia ser acessvel para utilizar os membros superiores ou inferiores.

XX Simpsio Brasileiro de Informtica na Educao (2009)

2.2. Marcador Marcador um objeto de referncia que contm uma marca (geralmente uma figura) que funciona como cdigo de leitura para identificar padres. a partir do marcador que o AmCARA identifica o posicionamento espacial e orientao deste marcador, e que tipo de ao deve ser executado a partir do reconhecimento e interpretao do significado da marca, executando controle e aes. O marcador foi desenvolvido para possibilitar a relao entre figuras, letras e slabas. Quando o marcador associado a um novo cdigo possvel a realizao de uma nova construo, possibilitando a emisso de uma nova palavra ou frase. No caso do AmCARA, marcadores para comunicao, ajustados sobre a mesa, foram produzidos em cartes compostos por smbolos do software Boardmaker da MayerJohnson, para possibilitar a utilizao do sistema de comunicao PCS (Smbolos de Comunicao Pictrica). O sistema de comunicao PCS utilizado com portadores de dificuldades de comunicao, como o caso do indivduo com paralisia cerebral.

Figura 5. Utilizao do software Boardmaker para o desenvolvimento de marcadores de realidade aumentada utilizando smbolos do sistema PCS.

Para a produo da figura do marcador (Figura 5) foi utilizado o software Boardmaker. O software oferece smbolos organizados por categorias. fcil a utilizao proporcionando agilidade na produo de materiais, no sendo necessrio o trabalho da produo de design grfico. O professor pode compor arquivos conforme as atividades acadmicas. Para selecionar um smbolo foi utilizada a organizao do software por categorias. Os smbolos apresentados foram alterados conforme as caractersticas necessrias para a elaborao dos marcadores de RA. Aps a elaborao dos marcadores, foi realizado o cadastramento no sistema. No sistema PCS os smbolos so muito prximos das situaes reais, assim facilita a identificao e utilizao em diferentes situaes.

XX Simpsio Brasileiro de Informtica na Educao (2009)

2.3. Placas de controle As Placas de controle so marcadores padres acoplados em objetos reais. Quando capturados pela cmera o sistema identifica o padro e associa um som e/ou imagens virtuais correspondentes. Este sistema aciona os softwares e auxilia usurios com muita dificuldade de controle motor. Os objetos reais, os objetos virtuais, os smbolos e imagens podem ser alterados conforme a necessidade. A insero de marcadores permite transferir um objeto virtual de uma placa outra, funcionando como uma p (Figura 6).

Figura 6. P de transporte, utilizada pela professora para auxiliar usurio com paralisia cerebral a desenvolver uma atividade de redao. Marcador para associao de imagem virtual e som [Garbin 2008]

3. AmCARA: Um Ambiente De Acessibilidade Para Web

Acessibilidade o termo usado para descrever problemas de usabilidade encontrados por usurios com necessidades especiais. Assim, tornar a interface acessvel por qualquer pessoa, independente de alguma deficincia fsica, sensorial, cognitiva, condio de trabalho ou barreiras tecnolgicas o objetivo principal do trabalho de acessibilidade [Valente 2001]. Para avaliao do ambiente AmCARA foi realizada avaliao da interface do usurio com o ambiente atravs de experimentos com portadores de paralisia cerebral para testar o teclado, os marcadores e as placas de controle, testando primeiramente a usabilidade dos recursos. A realizao de estudos com portadores de deficincia dificulta a utilizao de procedimentos padronizados, e atravs da literatura possvel verificar a realizao de procedimentos experimentais para a realizao de testes [Baranauskas 2003]. A partir dos testes o ambiente foi recebendo adequaes quanto ao tamanho, formato, espessura, caractersticas dos smbolos e material utilizado na confeco dos acionadores. O ambiente foi desenvolvido para oferecer ao usurio facilidade, agilidade, interatividade [Winckler 2002]. O ambiente AmCARA permite que o usurio com paralisia cerebral realize movimentos simples (sem a utilizao de mouse ou teclado) para interagir com softwares de comunicao alternativa InVento, Escrevendo com Smbolos e o Boardmaker e tenha possibilidade de: fazer operaes de matemtica; desenvolver textos e mensagens eletrnicas; realizar comunicao atravs de ambiente virtual e presencial e navegar em bibliotecas digitais que utilizam a linguagem simblica (Figura 7) e utilizar jogos na Web.

XX Simpsio Brasileiro de Informtica na Educao (2009)

O ambiente do usurio amplificado quando ocorre sobreposio do real com o virtual, e novos elementos so adicionados para representar as informaes e os sentimentos. A interface direta garante que o usurio responda de acordo com seus desejos. O feedback imediato oferece a possibilidade de interao e colaborao. O usurio utiliza com facilidade uma biblioteca de origem externa, pois os smbolos utilizados nas linguagens alternativas so padronizados facilitando a comunicao e o estudo de novos contedos (Figura 7). As bibliotecas dos softwares InVento, Escrevendo com Smbolos e Boardmaker tornar-se aliado ao trabalho em sala de aula, oferecendo subsdios de imagens que podem ser rapidamente associadas frases inteiras, oferecendo agilidade na execuo das atividades. A possibilidade de trabalhar com marcadores fixos em uma prancha, como o caso do teclado do AmCARA, oferece maior rapidez para os usurios acionarem o sistema, mas pode exigir maior tempo de treino quando comparado utilizao de marcadores em placas mveis, como as placas de controle. A acessibilidade a ambientes da Web atravs do ambiente AmCARA permite ao usurio desenvolver atividades como jogos (Figura 7). O tipo de material utilizado para executar as placas e o teclado possibilita rpida adaptao, pois facilmente so adaptadas em cadeiras de rodas, mesas especiais e carteiras e mesas comum. Esta mobilidade oferece maior facilidade na interao entre usurios portadores de necessidades especiais nas situaes do dia a dia.

Figura 7. Utilizao do AmCARA para acionar ambientes da Web.

No AmCARA possvel verificar os requisitos propostos por Kerawalla e colaboradores [Kerwalla 2006] sobre o funcionamento de sistemas de realidade aumentada na educao como sendo: [Garbin et al 2004] Os contedos do ambiente de realidade aumentada devem ser flexveis de modo que possam ser adaptados s necessidades dos usurios. Deve ser possvel adicionar e remover elementos e alterar o comportamento da velocidade quanto envolve animaes; Os sistemas de realidade aumentada devem ser utilizados como material de apoio curricular; Os usurios devem ser capazes de explorar os ambientes de realidade aumentada e modific-los; As necessidades dos usurios devem determinar o desenvolvimento dos projetos dos ambientes.

XX Simpsio Brasileiro de Informtica na Educao (2009)

Considerando que a interao depende dos mecanismos perceptuais, cognitivos e motores, a interface foi planejada de forma a atender objetivos especficos definidos a partir dos critrios, caractersticas dos usurios e requisitos do sistema. Os fatores humanos devem influenciar o projeto dos ambientes computacionais, assim devem ser consideradas as caractersticas dos usurios [Baranauskas 2003][Dainese et al 2005][Garbin et al 2004][Orth 1999]. Nos ambientes de realidade aumentada o usurio torna-se livre para experimentar as sensaes e criar. Uma estratgia para interao em ambientes de realidade aumentada atravs da interface amigvel ao usurio que possibilita a comunicao entre o mundo fsico e o digital, conversao, manipulao e navegao, explorao e pesquisa. Uma das formas da interao homemmquinaambiente atravs da descrio de metforas (representaes ou entidades) que se assemelham forma fsica, mas que possuem comportamentos prprios. As metforas de interface combinam conhecimento familiar a novos conceitos, na busca de orientar e auxiliar o individuo no entendimento do sistema. Contudo, h necessidade do usurio identificar o significado da metfora e sua operacionalizao. Verificamos que a prpria forma de utilizao do ambiente determina novas estratgias construdas. O usurio quando utiliza o ambiente AmCARA tem a possibilidade de realizar uma atividade no computador (ambiente on-line ou off-line) antes impossvel, e o interlocutor tm a possibilidade de identificar o pensamento, as informaes obtidas, as associaes realizadas e realizar a interao. Quando o usurio utiliza o teclado ou marcadores do AmCARA para escreve uma histria ela est apresentando informaes aprendidas e o interlocutor pode interagir e novas construes podem ocorrer. O ambiente pode ser facilmente alterado, oferecendo mobilidade a partir de necessidades. 4. Aplicaes Futuras A utilizao do AmCARA em ambientes de aprendizagem objeto de estudos futuros. Pessoas com deficincia motora severa apresentam dificuldade para utilizar ferramentas de chats e wiki. Assim, atravs de dispositivos externos de fcil adaptao o usurio poder realizar atividades e ter a possibilidade de integrar-se em programas de educao distncia. Conclumos que a interao direta com o ambiente sem a utilizao de perifricos pode facilitar a interao com a mquina e a comunicao. Assim, avaliamos que utilizando uma linguagem de domnio do usurio (gestos/aes | expresses | linguagem), a interao pode ser facilitada. A idia central do AmCARA que a mquina reconhecendo o usurio, e atravs de suas aes, seja possveis novas formas de interao e comunicao. Referncias Baranauskas, M. C. C.; Rocha, H. V. Design e avaliao de interfaces humano computador. Campinas: NIED/UNICAMP, 2003. 242p. Brasil. Secretaria de Educao Especial. Portal de ajudas tcnicas para educao: equipamento e material pedaggico para educao, capacitao e recreao da pessoa com deficincia fsica: recursos para a comunicao alternativa. Braslia, 2004. 52p Capovilla, F.C.; Nunes, L.R.O.P. Sistemas de comunicao alternativa como prteses sensoriais, motoras e cognitivas em paralisia cerebral: Uma abordagem de processamento e informao. In: NUNES, L.R.O.P. Favorecendo o Desenvolvimento da comunicao em

XX Simpsio Brasileiro de Informtica na Educao (2009)

crianas e jovens com necessidades educacionais especiais. Rio de Janeiro: Dunya, 2003. p.49-61. Chan, J.B.; Iacono, T. Gesture and Word production in children with down Syndrome. Aumentative and alternative Comunication, 2001. p. 73-87. Dainese, C.A.; Garbin, T.R.; Kirner, C.; Santin, R. - Aplicaes multimdia com realidade aumentada. In: TEIXEIRA, C.A.C.; BARRRE, E.; ABRO, I.C. Web e Multimdia: desafios e solues. Poos de Caldas: SBC, 2005. p.31-60. Fehlings D, Rang M, Glazier J, Steele C. An evaluation of botulinum-A toxin injections to improve upper extremity function in children with hemiplegic cerebral palsy. J Pediatry 2000;137(3):331-7. Garbin, T.R. Ambientes de comunicao alternativos com base na realidade aumentada para crianas com paralisia cerebral: uma proposta de currculo em ao. 2008, 212f. Tese (Doutorado em Educao: Currculo) PUC-SP, So Paulo. Garbin, T R.; Dainese, C. A.; Kirner, C. Sistema de realidade aumentada para educao de portadores de necessidades especiais. In: KIRNER, C.; TORI, R. Realidade virtual conceitos e tendncias. So Paulo: Editora Mania do Livro, 2004. v. 1, p.277-303. Kerawalla, L.; Luckin, R.; Seljeflot, S.; Woolard, A. Making it real: exploring the potential of augmented reality for teaching primary school science. Virtual reality, London: Springer, p.163-174, 2006. Orth, A. I., Pontes, A. M. Uma Proposta de Interface de Software Orientada Linguagem de Sinais In: Workshop sobre Fatores Humanos em Sistemas Computacionais, 1999, Campinas-www.unicamp.br/~ihc99/Ihc99/AtasIHC99/art31.pdf Pelosi, M. B. A comunicao alternativa e ampliada nas escolas do municpio do Rio de Janeiro. In: NUNES, L.R.O.P. Favorecendo o desenvolvimento da comunicao em crianas e jovens com necessidades educacionais especiais. Rio de Janeiro: Dunya, 2003. p.63-75. Russman BS. Cerebral Palsy. Current treatment options in Neurology. 2000 ;2: 97-107. Simoni, C. A. C; Baranauskas, M. C. C. Pesquisa Qualitativa em Sistemas de Informao, Relatrio Tcnico, IC/Unicamp, Campinas, Brasil, 2003. Souza, V.L.V. Recursos alternativos para o desenvolvimento da comunicao. In Nunes, L.R. Favorecendo o Desenvolvimento da comunicao em crianas e jovens com necessidades educacionais especiais. Rio de Janeiro: Dunya, 2003, p. 217-233. Valente, J.A. Aprendendo para a vida: o uso da informtica na educao especial. In: Valente, J.A. Aprendendo para a vida: os computadores na sala de aula. So Paulo: Cortez Editora, 2001. p. 29-42. Winckler, M. A. ; Pimenta, M. S. . Avaliao de Usabilidade de Sites Web. In: Luciana Porcher nedel. (Org.). Escola de Informtica da SBC SUl (ERI 2002). Porto Alegre: Sociedade Brasileira de Computao (SBC), 2002, v. 1, p. 85-137.

XX Simpsio Brasileiro de Informtica na Educao (2009)