MANIPULAO EM TEMPO REAL DE SINAIS ELETROOCULOGRFICOS
PARA O CONTROLE DE UM TECLADO VIRTUAL
Diogo da Silva Lima, Francielen Souza Borges, Iohanna Aparecida Hissa Okubo Universidade Federal de Uberlndia/ Faculdade de Engenharia Eltrica/Graduao em Engenharia Biomdica, Uberlndia- MG diogo.slima@yahoo.com.br, francielen.borges@gmail.com, iohanna.okubo@gmail.com.br.
Resumo A interface homem mquina (IHC)
baseada em biopotenciais tem atrado cada vez mais a ateno de pesquisadores de todo o mundo ao longo dos anos. Este artigo descreve os procedimentos adotados para o desenvolvimento de um sistema para aquisio e processamento de sinais Eletrooculogrficos (EOG), incluindo estgios de amplificao e filtragem, que so enviados a um computador para servir no controle em tempo real de um teclado virtual. Este projeto pode ajudar a melhorar a qualidade de vida de pessoas com deficincias motoras graves, permitindo sua interao com o meio. Palavras-Chave Eletrooculograma, tempo real, processamento, controle, movimento dos olhos.
REAL TIME MANIPULATION OF
ELECTROOCULOGRAPHY SIGNALS FOR CONTROLING A VIRTUAL KEYBOARD Abstract - The human computer interface (HCI) based on biopotencials has attracted more and more attention of researches all over the world in recent years. The present article describes the procedures that will be adopted to develop a system for acquisition and processing of electrooculography signals (EOG), including stages of amplification and filtering. These signals are sent to a computer to work in the control in real time from a virtual keyboard. This project can help to improve the life quality of physically handicapped with loss motor function, by providing them the ability to communicate with their environment. Keywords Electrooculogram, real time, processing, control, eye movement.
parcial ou integral do controle dos msculos. Em alguns
casos de leses na medula espinhal e tambm de patologias como, por exemplo, a sndrome do encarceramento e a esclerose lateral amiotrfica, as pessoas acabam por perder o domnio sobre os movimentos do corpo, restando apenas o controle dos movimentos oculares [1]. Pensando em melhorar a qualidade de vida destas pessoas busca-se criar um sistema que permita ao usurio interagir com um computador utilizando apenas o movimento de seus olhos. A Eletrooculografia um mtodo que permite captar o movimento dos olhos, pois baseia na existncia de pequenos potenciais eltricos entre a crnea e a retina, tambm conhecidos como sinais eletrooculogrficos, que so proporcionais ao ngulo (ou a posio) dos olhos em relao cabea [2]. Essa relao foi primeiramente observada em 1848, por Emil Du Bois-Reymond. O sinal resultante ento, essencialmente um registro da diferena de tenso eltrica entre a parte da frente e de trs do olho que est correlacionado com o movimento do globo ocular e que obtido por eletrodos colocados na pele perto do olho ao qual ser coletado o referido sinal [3]. Conhecendo-se ento a posio da cabea de um indivduo, esses sinais podem ser utilizados para saber a direo que ela est olhando, sendo que para cada 1 grau do movimento dos olhos tem-se uma variao de aproximadamente 20 V no sinal [2]. O potencial entre a crnea e a retina produzido pela hiperpolarizao e despolarizao das clulas nervosas na retina. O olho humano um dipolo eltrico [4], com o plo negativo ao fundo e o plo positivo na crnea, como ilustrado na Fig. 1.
I.
INTRODUO
Existem milhes de pessoas no mundo que se
encontram incapacitadas tanto devido a danos fsicos, mentais, ou sensoriais. Estes danos podem levar a perda Fig. 1. Esquema do dipolo eltrico para o olho
A amplitude do sinal EOG varia entre 50 a 3,5mV. A
freqncia predominante est na faixa de 0.1 a 35Hz [2]. Este sinal raramente determinstico, pois o potencial
crneo-retinal no fixo, tem comportamento diversificado
dia-a-dia at mesmo para a mesma pessoa em diferentes experimentos [2]. Conseqentemente, v-se necessrio a realizao de constantes calibraes no sistema. Fatores como o movimentar da cabea, das plpebras, do globo ocular, o balanar dos cabos e at mesmo a iluminao ambiente, so capazes de influenciar no sinal captado. Para a captao dos sinais EOG, o sistema aqui descrito constitudo de dois eletrodos para a medio dos movimentos horizontais (posicionados nas extremidades do osso esfenide), dois eletrodos para a medio dos movimentos verticais (posicionados acima e abaixo da linha mdia ocular) e um eletrodo de referncia, normalmente posicionado no osso frontal. A Fig. 2 ilustra o posicionamento desses eletrodos.
amplificao. Para isso utilizado um amplificador de
instrumentao (INA121), o qual consiste em um amplificador diferencial com altssima impedncia de entrada, baixa impedncia de sada, razo de rejeio em modo comum (CMRR) acima de 100dB, baixssimos valores de Offset e de Drift. Aps essa etapa, o sinal passa por uma pr-filtragem, para retirada do nvel DC, passa por um segundo estgio de amplificao e finalmente pela fase da filtragem em si, composta por filtros analgicos para retirada das freqncias indesejadas do sinal.
Fig. 4. Digrama de blocos do condicionamento do sistema
Fig. 2. Posicionamento dos eletrodos para a captao dos sinais
eletrooculogrficos
Com os olhos em descanso, os eletrodos esto
efetivamente com o mesmo potencial e no existe tenso sendo capturada. A Fig. 3. mostra a forma de onda tpica de piscadas duplas consecutivas. Pulsos positivos e negativos so gerados com a rotao do globo ocular para baixo e para cima
Aps a etapa de condicionamento, o sinal passa para a
fase de digitalizao, na qual feita a converso analgicodigital com uma resoluo de 10 bits e a transmisso dos sinais para o computador via USB utilizando um microcontrolador (PIC18F2550). Para a taxa de aquisio adota-se o Teorema de Nyquist, o qual define que a freqncia de amostragem do sinal deve ser de no mnimo, duas vezes o valor da sua maior freqncia. Como as principais freqncias do sinal eletrooculogrfico esto entre 0,1 e 35 Hz, a taxa de aquisio utilizada de 300 Hz. A figura abaixo mostra o diagrama de blocos geral do sistema.
Fig. 3. Forma de onda de uma srie de duas piscadas consecutivas, em que
o eixo x representa o tempo em segundos(s) e o eixo y representa a amplitude em microvolts(V) Fig. 5. Digrama de blocos do sistema.
II.
MATERIAIS E MTODOS
Inicialmente o sinal eletrooculogrfico captado por
sensores de superfcie descartveis do tipo prata / cloreto de prata (Ag/AgCl) e enviado para o sistema de condicionamento (Fig. 4), o qual composto por dois canais diferenciais. Devido baixa amplitude, o sinal coletado em cada canal passar por uma fase de pr-
A alimentao do aparelho feita por baterias, de forma
a torn-lo mais independente e seguro. O recebimento dos sinais no computador feito por um software, desenvolvido especificamente para o projeto, que faz a manipulao computacional desses sinais de forma a gerar comandos. O software foi desenvolvido usando a linguagem de programao C# e a plataforma de 2
desenvolvimento Visual C#. Tambm importante ressaltar
que devido necessidade de a execuo do software ser em tempo real, considerando que h uma grande quantidade de dados envolvidos, utiliza-se a programao concorrente e a teoria de buffer circular. O software possui dois mdulos, um para visualizao dos sinais eletrooculogrficos e outro para o controle do teclado virtual. O primeiro mdulo permite verificar se o aparelho de aquisio est conectado ao computador, habilitar e desabilitar o recebimento de dados, exibir os sinais coletados pelos dois canais em tempo real (Fig. 6), armazenar os dados coletados (salvar), apresentar os dados armazenados anteriormente (abrir), Fig. 7. O segundo mdulo responsvel pela manipulao computacional do sinal, e por gerar cinco diferentes comandos: olhar para cima, olhar para baixo, olhar para esquerda, olhar para direita e piscar. Esse processo feito por meio de limiares, ou seja, quando um determinado nmero de pontos atinge um valor superior ao limiar, um movimento ocular detectado.
constantemente de uma coluna para outra. Quando o
usurio der o comando da piscada, a coluna em que a barra estiver posicionada selecionada e ento outra barra comea a se deslocar por cada uma das linhas, de modo que quando o usurio der outro comando de piscada a letra desejada selecionada. O comando de olhar para a direita corresponde a um espao a ser colocado entre as palavras e o comando de olhar para a esquerda est destinado a apagar o caractere anterior. O comando de olhar para baixo pode ser utilizado para acessar a coluna dos botes, localizada na parte direita da interface. Essa coluna contm um boto de "Alarme" para que o usurio possa chamar algum, um boto de "Salvar", para que ele possa salvar o que foi escrito em um arquivo de texto e um boto "Voltar" para que ele possa voltar tabela das letras e dos nmeros. Olhando novamente para cima, o usurio pode desabilitar o modo de escrita do sistema, no tendo mais de se preocupar constantemente com a movimentao do seu olhar.
Fig. 6. Interface para visualizao dos sinais eletrooculogrficos.
Fig. 9. Programa em funcionamento
III.
Fig. 7. Abertura de arquivo salvo anteriormente.
Os comandos so utilizados para o controle de um
teclado virtual desenvolvido utilizando o Pygame, que consiste em uma biblioteca de jogos multiplataforma utilizada em conjunto com a linguagem de programao Python. O comando de olhar para cima utilizado para habilitar/desabilitar o modo de escrita, ou seja, olhando uma vez para cima, o usurio faz com que uma barra (como pode ser visto na Fig.9.) comece a se deslocar
RESULTADOS
Muitas vezes, h a necessidade de monitorar sinais
biolgicos, internos ao nosso corpo, tais como sinais provenientes do batimento cardaco (ECG), de contraes e distenses musculares (EMG), movimento do globo ocular (EOG) e do pensamento (EEG). O sistema desenvolvido, apesar de um prottipo, uma ferramenta bastante til tanto para fins acadmicos quanto para o auxlio portadores de deficincias motoras graves. O prottipo para o condicionamento e a digitalizao dos sinais EOG foi desenvolvido de forma a minimizar os possveis artefatos que comprometem a qualidade dos sinais. Foram obtidos sinais de qualidade e adequados para o processamento. O mdulo de visualizao dos sinais, alm de essencial para o desenvolvimento do projeto, por permitir (principalmente ao desenvolvedor) o controle e a certificao de que todas as etapas do sistema em geral esto corretas, consiste tambm em uma ferramenta importante para o estudo dos sinais e suas caractersticas, j que estes variam muito de pessoa para pessoa e tambm 3
variam bastante de acordo com a condio ambiente no
momento em que so coletados. O mdulo de processamento do sinal possibilitou o reconhecimento de diferentes movimentos oculares, gerando cinco diferentes comandos. J o teclado virtual permitiu uma interao do paciente com o meio utilizando apenas o movimento dos olhos de forma simples e eficiente. Os objetivos foram alcanados devido a um bom planejamento desde a etapa inicial de elaborao do trabalho at os processos de finalizao, realizando reparos para melhorar cada vez mais nosso projeto. IV.
CONCLUSO
O projeto descrito envolve conhecimentos sobre
diversos assuntos relevantes para um profissional da rea de Engenharia Biomdica. Conceitos sobre biopotenciais, eletrnica analgica e digital, construo de hardwares bem elaborados com tcnicas de minimizao de interferncias, desenvolvimento de softwares com tcnicas de processamento de sinais e tambm de trabalho em equipe so abordados. O presente trabalho mostrou a viabilidade da utilizao do EOG para o controle, em tempo real, de um teclado virtual. O prottipo desenvolvido apresentou resultados satisfatrios e mostrou ser possvel o desenvolvimento de um equipamento para a aquisio de sinais eletrooculogrficos de baixo custo. Os comandos gerados pela manipulao computacional dos sinais EOG podem no futuro, serem utilizados no desenvolvimento de diferentes tipos de controle, tanto em software como em hardware (controle de jogos, controle de uma garra mecnica, de uma cadeira de rodas, etc.). Eles
podem ser aperfeioados servindo como uma ferramenta
importante no auxlio de pessoas com desabilidades motoras. AGRADECIMENTOS Agradecemos aos professores Eduardo Lzaro Martins Naves e Keiji Yamanaka por todo o ensinamento e orientao. Ao Laboratrio de Engenharia Biomdica (BioLAB) e ao Laboratrio de Acionamentos Eltricos (LACE) por nos emprestar diversos materiais que nos auxiliaram no desenvolvimento do projeto. Ao Rubens pela pacincia e boa vontade. Aos colegas de sala pelas experincias compartilhadas. E especialmente a Deus, por tudo. REFERNCIAS BIBLIOGRFICAS [1]. Hari Singh Dhillon, Rajesh Singla, et al. (2009). EOG and EMG Based Virtual Keyboard: A Brain-Computer Interface. Jalandhar (Pb.), India. [2]. Martins, V. R. (2005). Desenvolvimento de uma Placa de Captura de Sinais Biolgicos com Interface com Computador. Departamento de Engenharia Eltrica Vitria, Universidade Federal do Esprito Santo. [3]. Trikha, M., A. Bhandari, et al. (2007). Automatic Electrooculogram Classification for Microcontroller Based Interface Design. USA. [4]. Krueger, T. B. and T. Stieglitz (2007). A Nave and Fast Human Computer Interface Controllable for the Inexperienced - a Performance Study Lyon, France
Projeto e Desenvolvimento de Sistema de Eletromiografia de Superfície e de Jogo de Prótese Virtual Voltados À Reabilitação Muscular e À Adaptação A Próteses Físicas
2010 - Ambiente Computacional para Ensino de Radiologia e Diagnóstico Por Imagem - Sistema Tutor para Treinamento de Residentes e Levantamento de Termos Técnicos