Você está na página 1de 108

Um sistema de rastreamento de olhar tolerante a movimenta¸c˜oes da face

Fl´avio Luiz Coutinho

˜

DISSERTAC¸ AO APRESENTADA

AO

´

´

INSTITUTO DE MATEM ATICA E ESTAT ISTICA

DA

UNIVERSIDADE DE S AO PAULO

PARA

˜

˜ ´

OBTENC¸ AO DO T ITULO DE MESTRE

EM

´

 

ˆ

CI

ENCIAS

Area de Concentra¸c˜ao: Ciˆencia da Computa¸c˜ao

Orientador: Prof. Dr. Carlos Hitoshi Morimoto

S˜ao Paulo, maio de 2006

Um sistema de rastreamento de olhar tolerante a movimenta¸c˜oes da face

Este exemplar corresponde `a reda¸c˜ao final da dis- serta¸c˜ao devidamente corrigida e defendida por Fl´avio Luiz Coutinho e aprovada pela Comiss˜ao Julgadora.

Banca Examinadora :

S˜ao Paulo, 5 de maio de 2006.

Prof. Dr. Carlos Hitoshi Morimoto (orientador) - IME/USP Prof. Dr. Ronaldo Fumio Hashimoto - IME/USP Profa. Dra. Maria Cristina Ferreira de Oliveira - ICMC/USP

Agradecimentos

A Deus, por todos os dias me iluminar.

Ao meu orientador, Carlos Hitoshi Morimoto, pelo apoio, paciˆencia e oportuni- dade de trabalhar neste projeto, al´em do cont´ınuo incentivo, sempre mostrando o melhor caminho a seguir nos momentos dif´ıceis. Agrade¸co tamb´em pela confian¸ca depositada no meu trabalho.

Aos amigos e colegas do IME com os quais pude trocar informa¸c˜oes e experiˆencias,

que participaram dos testes do rastreador de olhar aqui apre-

em especial aqueles` sentado.

Por fim, agrade¸co aos meus pais, Liane e Walter, aos meus irm˜aos Audrey e Walter,

a minha noiva, Monete, e a toda minha fam´ılia pelo apoio, n˜ao s´o durante a

realiza¸c˜ao deste trabalho, mas durante todas as etapas percorridas para chegar at´e aqui.

Resumo

A crescente capacidade do poder computacional e a prolifera¸c˜ao de dispositivos ao nosso redor vem permitindo o desenvolvimento de novas e sofisticadas inter- faces para intera¸c˜ao humano-computador que reagem a` presen¸ca e ao estado de seus usu´arios. Como o olhar tem a capacidade de transmitir muitas informa¸c˜oes sobre o usu´ario, rastreadores de olhar, dispositivos que estimam a dire¸c˜ao para onde uma pessoa olha, tem papel importante no desenvolvimento de tais inter- faces. Entre suas aplica¸c˜oes temos o aux´ılio a pessoas com dificuldades motoras, que podem utilizar um rastreador de olhar como substituto ao mouse, aplica¸c˜oes de diagn´ostico, que estudam evidˆencias do comportamento humano, ou ainda o desenvolvimento de interfaces que utilizem a informa¸c˜ao sobre o olhar como um canal a mais de comunica¸c˜ao com o usu´ario para perceber suas inten¸c˜oes. Muitas t´ecnicas para atingir tal objetivo foram desenvolvidas mas as tradicionais ainda oferecem certas dificuldades de uso para seus usu´arios como a intolerˆancia a movi- mentos de cabe¸ca e a necessidade de calibra¸c˜ao por sess˜ao de uso. Neste trabalho fizemos um levantamento de uma s´erie de t´ecnicas de rastreamento de olhar, indo das mais tradicionais at´e algumas mais recentes que visam melhorar a facilidade de uso destes sistemas. Uma das t´ecnicas mais promissoras utiliza m´ultiplas fon- tes de luz fixadas nos cantos do monitor do computador. Atrav´es da an´alise da posi¸c˜ao dos reflexos gerados por essas fontes de luz sobre a c´ornea, juntamente com a informa¸c˜ao da posi¸c˜ao da pupila, presentes em imagens capturadas do olho,

5

´e poss´ıvel estimar o ponto observado no monitor. Devido `as suas vantagens ela

foi escolhida para estudo mais detalhado e implementa¸c˜ao. Extensos testes uti- lizando simula¸c˜oes foram realizados para avaliar seu desempenho. Foi tamb´em desenvolvida uma extens˜ao dessa t´ecnica, utilizando um modelo mais preciso do olho, visando melhorar sua precis˜ao. Ao final apresentamos nossa implementa¸c˜ao,

baseada nessa extens˜ao da t´ecnica original, que ´e tolerante a movimenta¸c˜ao da face

e mostramos os resultados obtidos em testes realizados com um grupo de usu´arios.

Abstract

Recent advances in computing power and the proliferation of computing devices around us allowed the development of new computer interfaces which can react to the presence and state of its users. Since gaze can transmit a lot of information about the user, gaze trackers, devices that can estimate the direction which a person is looking at, have an important role in the development of such interfaces. Among gaze tracking applications, we have aid for people with limited motor skills, human behavior studies, and the development of interfaces that can take gaze information as an additional communication channel with the user. Lots of techniques have been developed to reach this goal, but they have some problems that make them hard to be widely used. These problems are the need of calibration for each use session and the need to keep the user’s head still. In this work we studied some of the existing gaze tracking techniques, from the more traditional ones to more recent ones. One of the most interesting techniques makes use of multiple light sources fixed at the monitor’s corners. By analyzing the positions of corneal reflections and the pupil present in captured images of the eye, it is possible to estimate the gaze point on the monitor screen. Due to its advantages this technique was chosen for a deeper study and implementation. Lots of experiments using simulated data have been carried out to validate the technique. Using a more accurate model of the eye, an extension for this technique was also developed

7

to increase its precision. Finally, we present our implementation, that allows for large head movement, as well as test results obtained from real users.

Sum´ario

1 Introdu¸c˜ao

 

1

2 T´ecnicas de estima¸c˜ao do olhar

 

7

2.1 Estrutura e modelo do olho

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

8

2.2 T´ecnicas intrusivas

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

12

2.3 T´ecnicas remotas tradicionais

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

14

2.4 T´ecnicas robustas a movimentos de cabe¸ca

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

20

 

2.4.1 Uma cˆamera .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

21

2.4.2 M´ultiplas Cˆameras

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

24

2.4.3 Proje¸c˜ao de padr˜ao de luz

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

28

3 An´alise explorat´oria

 

41

3.1

Reflexos

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

45

3.2 Sem calibra¸c˜ao do α

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

48

3.3 Com calibra¸c˜ao

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

53

3.4 Conclus˜ao

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

57

4 Novo M´etodo

 

61

 

i

 

´

ii

SUM ARIO

5

Implementa¸c˜ao

69

5.1 Hardware

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

69

Software

5.2 .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

73

5.2.1 Desentrela¸camento

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

74

5.2.2 Detec¸c˜ao inicial da pupila

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

74

5.2.3 Procura dos reflexos sobre a c´ornea

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

76

5.2.4 Procura detalhada da pupila

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

79

5.2.5 Estimando a dire¸c˜ao do olhar

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

81

6

Resultados

83

7

Conclus˜ao

91

Cap´ıtulo 1

Introdu¸c˜ao

O avan¸co da tecnologia de computadores tem mudado a maneira como nos relacionamos com essas m´aquinas. Nas ultimas´ d´ecadas vimos a mudan¸ca da era do mainframe (onde muitos usu´arios compartilhavam uma unica´ m´aquina) para a era do computador pessoal onde cada usu´ario possui sua pr´opria m´aquina. Hoje em dia nos vemos cada vez mais rodeados de m´ultiplos dispositivos computacionais. Apesar dessa tendˆencia proporcionar um aumento de produtividade nas atividades das pessoas, tal beneficio tem um custo associado: a exigˆencia de se estar constantemente dispon´ıvel para atender as notifica¸c˜oes emitidas por tais aparelhos que disputam a aten¸c˜ao do usu´ario entre si [Ver03]. Como exemplo podemos citar um cliente de correio eletrˆonico que soa um alarme sempre que chega uma nova mensagem. Embora possa ser util´ para chamar a aten¸c˜ao do usu´ario, ´e bastante prov´avel que o alarme acabe distraindo o usu´ario da sua atividade prejudicando sua produtividade. Entretanto, se fosse poss´ıvel notificar a chegada de novas mensagens apenas nos momentos em que o usu´ario olha para um ´ıcone espec´ıfico da sua area´ de trabalho, evitaria-se essa dispers˜ao da sua aten¸c˜ao. Cientes desse custo, pesquisadores da ´area de Intera¸c˜ao Humano Computador (IHC) est˜ao desenvolvendo novas maneiras para a intera¸c˜ao de dispositivos computacionais com seus

1

2

´

CAP ITULO 1.

˜

INTRODUC¸ AO

usu´arios que visam conservar a aten¸c˜ao destes ao inv´es de distra´ı-los. Para isso ´e preciso

que os novos sistemas tenham a capacidade de obter informa¸c˜oes sobre seus usu´arios por ca-

nais de comunica¸c˜ao adicionais. Essas interfaces sens´ıveis a contexto, onde este ´e definido pela

aten¸c˜ao do usu´ario, s˜ao chamadas interfaces prestativas.

Como nosso corpo e, em especial, a face e os olhos s˜ao eficientes comunicadores da nossa

aten¸c˜ao, t´ecnicas e ferramentas de Vis˜ao Computacional vem sendo bastante exploradas pela

area´ de IHC a fim de criar interfaces que possam reagir de forma mais adequada a` presen¸ca

e ao estado do usu´ario. T´opicos como detec¸c˜ao e rastreamento de faces, reconhecimento de

gestos, e rastreamento do olhar s˜ao alguns temas bastante estudados e aplicados.

Neste trabalho tratamos o problema de rastreamento (ou estima¸c˜ao) do olhar. Sistemas

de rastreamento de olhar permitem estimar a dire¸c˜ao para onde uma pessoa est´a olhando. A

estima¸c˜ao pode ser tanto no espa¸co 3D, determinando a linha de vis˜ao do usu´ario, quanto

no espa¸co 2D. Neste ultimo´ caso determina-se o ponto observado sobre um plano de interesse

(por exemplo a tela do monitor).

As t´ecnicas de rastreamento de olhar existentes podem ser classificadas em dois grupos:

t´ecnicas intrusivas e t´ecnicas n˜ao intrusivas. S˜ao consideradas t´ecnicas intrusivas aquelas que

exigem para seu uso a utiliza¸c˜ao de algum tipo de equipamento em contato f´ısico com o usu´ario

como, por exemplo, capacetes, eletrodos ou lentes de contato especiais. Essas t´ecnicas n˜ao

s˜ao interessantes para aplica¸c˜oes interativas pois requerem um tempo de prepara¸c˜ao elevado

e o uso prolongado desses equipamentos pode se tornar desconfort´avel para o usu´ario. Nas

t´ecnicas n˜ao intrusivas (tamb´em chamadas de t´ecnicas remotas) o uso de tais equipamentos ´e

dispensado e, normalmente, utiliza-se t´ecnicas de vis˜ao computacional para processar imagens

do usu´ario obtidas por meio de cˆameras (a quantidade de cˆameras pode variar conforme a

t´ecnica). As t´ecnicas remotas oferecem maior conforto, permitindo um maior tempo de uso

por parte das pessoas, mesmo que a precis˜ao no rastreamento seja, em geral, menor do que

3

a obtida pelas t´ecnicas intrusivas mais precisas. Tipicamente, essas t´ecnicas procuram, nas imagens, por pontos caracter´ısticos do olho como a pupila, a ´ıris e reflexos gerados por fontes de luz. Em seguida, a partir dos pontos detectados, aplica-se algum algoritmo que converta essas informa¸c˜oes no ponto observado pelo usu´ario. Para fins de usabilidade, as t´ecnicas de rastreamento de olhar podem ainda ser classifi- cadas em: t´ecnicas que exigem calibra¸c˜ao e t´ecnicas que n˜ao exigem calibra¸c˜ao. Apesar das t´ecnicas do primeiro grupo apresentarem bons resultados, a obten¸c˜ao da calibra¸c˜ao pode ser um processo incˆomodo ao usu´ario quando ´e necess´ario ser feita freq¨uentemente. Devido ao fato da fun¸c˜ao de calibra¸c˜ao normalmente estar associada a um posicionamento do usu´ario, a precis˜ao dessas t´ecnicas s˜ao afetadas com a movimenta¸c˜ao da pessoa. Esses problemas, isto ´e, a constante necessidade de recalibrar o sistema e restri¸c˜oes a` movimentos da cabe¸ca, limi- tam a usabilidade dessas t´ecnicas, dificultando a ampla difus˜ao e utiliza¸c˜ao das mesmas para uso cotidiano fora de ambientes controlados e de experiˆencias. As t´ecnicas que n˜ao requerem calibra¸c˜ao correspondem a trabalhos mais recentes. Essas t´ecnicas substituem o processo de calibra¸c˜ao por um processo de medi¸c˜ao de caracter´ısticas do usu´ario que podem ser armaze- nadas, e que, portanto, pode ser realizado apenas uma vez. Por usarem modelos geom´etricos mais avan¸cados, elas tamb´em apresentam maior robustez a movimentos da cabe¸ca, oferecendo uma usabilidade ainda melhor. Andrew T. Duchowski [Duc02], fez um levantamento de aplica¸c˜oes do rastreamento do olhar dividindo-as em dois grupos: aplica¸c˜oes de diagn´ostico e aplica¸c˜oes interativas. As aplica¸c˜oes de diagn´ostico s˜ao aquelas que utilizam dados obtidos pelo rastreador como evidˆencia do comportamento visual e da aten¸c˜ao de um indiv´ıduo. J´a as aplica¸c˜oes interativas usam da- dos obtidos via rastreador para responder ou interagir com o usu´ario conforme o movimento observado do olhar. Exemplos de aplica¸c˜oes de diagn´ostico incluem estudos neurol´ogicos que relacionam da-

4

´

CAP ITULO 1.

˜

INTRODUC¸ AO

dos obtidos pelo rastreamento com a atividade cerebral e estudos psicol´ogicos que analisam

informa¸c˜oes obtidas via rastreador e as cruzam com outras informa¸c˜oes como a atividade reali-

zada. Exemplos de atividades estudadas com o aux´ılio de rastreamento do olhar seriam leitura,

dire¸c˜ao de ve´ıculos, ou mesmo atividades mais espec´ıficas como inspe¸c˜ao visual realizada por

pessoas em f´abricas. Os pontos de fixa¸c˜ao do olhar, o tempo de fixa¸c˜ao, n´umero de fixa¸c˜oes

durante uma atividade e a distribui¸c˜ao espacial entre elas s˜ao alguns parˆametros relevantes

do movimento do olho que um rastreador de olhar ajudaria a obter, da´ı a sua utilidade para

esse tipo de estudo.

No caso das aplica¸c˜oes interativas, o uso mais comum talvez seja a utiliza¸c˜ao dos rastreado-

res como dispositivos apontadores alternativos, auxiliando pessoas portadoras de deficiˆencias

f´ısicas e permitindo o desenvolvimento de aplica¸c˜oes mais naturais e intuitivas. Nem sem-

pre, contudo, o objetivo ´e utilizar rastreadores como substitutos diretos do mouse. O simples

reconhecimento de gestos do olho como piscadas, fixa¸c˜oes e movimenta¸c˜ao (sem fazer o rastre-

amento do ponto observado) pode fornecer informa¸c˜oes para serem aplicadas em uma interface

prestativa [Sel04]. At´e mesmo o simples reconhecimento da presen¸ca de olho pode ser utilizado

para promover a intera¸c˜ao do usu´ario com aplicativos [SVS03]. O trabalho desenvolvido por

Zhai et al. [ZMI99] e estendido por Barcelos [Bar05] s˜ao exemplos onde um rastreador de

olhar ´e aplicado de forma indireta. Atrav´es da combina¸c˜ao do rastreador e da manipula¸c˜ao

do mouse, permite-se fazer sele¸c˜oes finas de forma manual sobre uma regi˜ao de interesse da

tela que por sua vez ´e definida pelo olhar do usu´ario.

Este trabalho foi realizado no Laborat´orio de Tecnologias para Intera¸c˜ao (LaTIn) do Ins-

tituto de Matem´atica e Estat´ıstica da Universidade de S˜ao Paulo, que tem desenvolvido pes-

quisas e tecnologias para IHC que utilizam t´ecnicas de vis˜ao computacional. Como exemplo

de trabalhos desenvolvidos no LaTIn temos: rastreadores de faces [Bar06], interfaces baseadas

em gestos [CMZ05] e rastreadores de olhar baseados na t´ecnica de reflex˜ao sobre a c´ornea

5

[Bar05, MM05], uma t´ecnica tradicional, utilizando por´em um detector e rastreador mais robusto de olhos. Nosso objetivo com este trabalho foi desenvolver um sistema rastreador de olhar que mi- nimizasse os problemas dos rastreadores remotos tradicionais, ou seja, que minimizasse as exigˆencias de calibra¸c˜ao e restri¸c˜oes sobre a movimenta¸c˜ao da cabe¸ca. Tamb´em era desej´avel que o rastreador possu´ısse uma configura¸c˜ao de hardware simples, de f´acil manipula¸c˜ao e que n˜ao utilizasse qualquer equipamento em contato f´ısico com seus usu´arios a fim de prover maior conforto. Para alcan¸car tais objetivos, foi feito um levantamento bibliogr´afico das principais t´ecnicas de rastreamento de olhar existentes a fim de escolher aquela que melhor atendia nossas exigˆencias. Em seguida, foram feitos testes a partir simula¸c˜oes para avaliar o desempenho da t´ecnica escolhida para finalmente implementar o rastreador. Como contribui¸c˜ao deste trabalho temos o desenvolvimento de um rastreador de olhar mais acess´ıvel para pessoas em geral no que diz respeito `a facilidade e praticidade de uso. Nos pr´oximos cap´ıtulos discutimos em maiores detalhes as t´ecnicas estudadas, as imple- menta¸c˜oes realizadas e os resultados experimentais obtidos. O cap´ıtulo 2 apresenta a revis˜ao bibliogr´afica das t´ecnicas de rastreamento de olhar, passando por todos os tipos de t´ecnicas, mas dando maior aten¸c˜ao as` t´ecnicas mais recentes. Descrevemos tamb´em brevemente a es- trutura do olho humano, para melhor entendimento dos princ´ıpios de funcionamento dessas t´ecnicas. Por fim veremos, ainda nesse cap´ıtulo, a t´ecnica escolhida para nossa implementa¸c˜ao do rastreador de forma mais detalhada. Na seq¨uˆencia, no cap´ıtulo 3, detalhamos algumas simula¸c˜oes conduzidas para verificar a efic´acia da t´ecnica escolhida e, a partir dos resultados obtidos, apresentamos uma extens˜ao para ela no cap´ıtulo 4 a fim de contornar limita¸c˜oes encontradas. No cap´ıtulo 5 descrevemos como foi feita a implementa¸c˜ao do rastreador e os resultados obtidos em testes feitos por um grupo de usu´arios s˜ao apresentados no cap´ıtulo 6. Finalmente, o cap´ıtulo 7 apresenta conclus˜oes e caminhos futuros para dar continuidade a

 

´

˜

6

CAP ITULO 1.

INTRODUC¸ AO

nossa pesquisa.

Cap´ıtulo 2

T´ecnicas de estima¸c˜ao do olhar

A estima¸c˜ao (ou rastreamento) de olhar consiste em determinar a dire¸c˜ao para onde uma pessoa est´a olhando. Havendo informa¸c˜oes sobre o ambiente cercando o usu´ario ´e poss´ıvel tamb´em estimar qual o ponto observado. Como j´a discutido, as t´ecnicas de estima¸c˜ao do olhar podem ser classificadas em intrusi- vas e n˜ao intrusivas. As intrusivas s˜ao aquelas que exigem o uso de algum equipamento em contato direto com o usu´ario (como lentes de contato, capacetes e eletrodos), o que n˜ao ´e interessante quando visamos a utiliza¸c˜ao de rastreadores de olhar em aplica¸c˜oes interativas. As t´ecnicas n˜ao intrusivas s˜ao em geral baseadas em vis˜ao computacional e tamb´em s˜ao co- nhecidas como t´ecnicas remotas. Apesar de oferecer maior conforto de uso do que as t´ecnicas intrusivas, as t´ecnicas remotas tradicionais ainda possuem duas limita¸c˜oes que dificultam a sua populariza¸c˜ao, que s˜ao:

a necessidade freq¨uente de calibra¸c˜ao;

a necessidade de restringir a movimenta¸c˜ao da cabe¸ca.

Dessa forma, a elimina¸c˜ao ou pelo menos a minimiza¸c˜ao dessas limita¸c˜oes ´e algo bastante

7

´ ´ ˜ 8 CAP ITULO 2. T ECNICAS DE ESTIMAC¸ AO DO OLHAR Figura
´
´
˜
8
CAP ITULO 2.
T ECNICAS DE ESTIMAC¸ AO DO OLHAR
Figura 2.1: Diagrama da estrutura do olho humano.
desej´avel.

Revis˜oes bibliogr´aficas sobre rastreamento de olhar podem ser encontradas em [YS75],

[GEN95], [Duc03] e [MM05]. Neste cap´ıtulo ser˜ao apresentadas rapidamente algumas das

t´ecnicas tradicionais mais relevantes e daremos maior ˆenfase para t´ecnicas mais recentes que

sugerem novos modelos geom´etricos para permitir maior tolerˆancia a` movimentos de cabe¸ca

e eliminar a necessidade freq¨uente de calibra¸c˜ao. Antes de introduzi-las, vamos descrever

brevemente a anatomia do olho e definir um modelo geom´etrico criado para representar sua

estrutura. O conhecimento sobre a anatomia do olho e seu funcionamento facilitar´a a descri¸c˜ao

do princ´ıpio de funcionamento de cada t´ecnica e permitir´a uma discuss˜ao sobre seu desempenho

e precis˜ao.

2.1 Estrutura e modelo do olho

A figura 2.1 ilustra a estrutura do olho humano. O olho possui uma forma aproximadamente

esf´erica que ´e envolta por um tecido esbranqui¸cado, chamado esclera [WS82]. A esclera cobre

2.1.

ESTRUTURA E MODELO DO OLHO

9

praticamente toda a superf´ıcie do globo ocular com exce¸c˜ao da parte anterior por onde incidem os raios de luz. O orif´ıcio por onde entram esses raios ´e chamado pupila. A musculatura do olho que define a pupila ´e chamada de ´ıris, que consiste na parte colorida do olho e atua como um diafragma que aumenta ou diminui a abertura da pupila, regulando a quantidade de luz no interior do olho. A fronteira da esclera com a ´ıris ´e chamada de limbus. A c´ornea ´e uma membrana transparente que cobre a ´ıris, e possui uma curvatura mais acentuada que o globo ocular em si. Atr´as da ´ıris, localiza-se o cristalino, que ´e uma lente que atua no processo de forma¸c˜ao das imagens sobre o fundo do olho. A regi˜ao entre o cristalino e a c´ornea ´e preenchida por um fluido chamado humor aquoso. O cristalino possui a capacidade de se deformar para ajustar

o foco conforme a distˆancia do objeto sendo observado. O fundo da regi˜ao interna do olho,

onde s˜ao formadas as imagens, ´e chamado de retina. Nela existem 2 tipos de c´elulas foto receptoras chamadas de cones e bastonetes, que captam informa¸c˜oes sobre cor e luminosidade. Sobre a retina existe uma pequena regi˜ao chamada f´ovea, com grande concentra¸c˜ao de cones,

que ´e de especial interesse pois ´e respons´avel pela vis˜ao de detalhes. A regi˜ao interna do olho compreendida entre o cristalino e a retina ´e preenchida pelo humor v´ıtreo. Assim como uma cˆamera, o olho ´e um dispositivo de captura de imagem e seus principais elementos opticos´ s˜ao a c´ornea, a pupila e o cristalino. Como esses elementos n˜ao s˜ao per- feitamente alinhados, o eixo ´optico do olho ´e definido como o eixo aproximado conectando os centros de curvatura de tais elementos. Por´em, o eixo que define a linha de vis˜ao real ´e

o eixo visual, definido pela linha conectando o ponto observado e a f´ovea e que passa pelos

pontos nodais do olho. Tipicamente a diferen¸ca angular entre esses eixos tem um valor m´edio de 5 , em um intervalo que varia de 4-8 [WS82]. Essa diferen¸ca de eixos ´e uma caracter´ıstica importante na estima¸c˜ao do olhar pois computar apenas o eixo ´optico n˜ao significa que a estima¸c˜ao do olhar esteja de acordo com o ponto real observado pelo usu´ario.

10

´

CAP ITULO 2.

´

˜

T ECNICAS DE ESTIMAC¸ AO DO OLHAR

Para testar algoritmos e t´ecnicas de rastreamento de olhar, a utiliza¸c˜ao de modelos que

representem o olho adequadamente se faz necess´ario. O modelo que utilizamos em nosso

trabalho ´e o modelo de olho de Gullstrand [Lon74]. Nesse modelo, o olho ´e representado atrav´es

de superf´ıcies esf´ericas, juntamente com os valores m´edios das dimens˜oes de cada estrutura e

os ´ındices de refra¸c˜ao de cada meio atravessado pela luz. Esses valores s˜ao mostrados na tabela

2.1, que mostra o caminho percorrido pela luz at´e a retina, e a figura 2.2 ilustra esse modelo,

destacando as estruturas mais importantes para o nosso estudo. Morimoto e Mimica [MM05]

tamb´em utilizaram esse modelo para gerar imagens sint´eticas de um olho t´ıpico usando a

t´ecnica de tra¸camento de raios (ray tracing ) para estudar o comportamento de fun¸c˜oes de

calibra¸c˜ao em rastreadores de olhar. Um exemplo de imagem gerada por esse modelo pode

ser vista na figura 2.3.

     

´

 

Posi¸c˜ao (mm)

Raio (mm)

Indice de refra¸c˜ao ap´os a superf´ıcie

C´ornea

0

7.7

1.376

 

0.5

6.8

1.336

Cristalino

3.2

5.33

1.385

 

3.8

2.65

1.406

 

6.6

-2.65

1.385

 

7.2

-5.33

1.336

Retina

24.0

-11.5

 

Tabela 2.1: dimens˜oes e ´ındices de refra¸c˜ao para as estruturas do olho percorridas por um raio de luz da c´ornea at´e a retina, segundo o modelo de Gullstrand.

O modelo de Gullstrand, apesar de simplificado, ilustra claramente que, quando um raio de

luz incide sobre a c´ornea e penetra no olho, ele atravessa 4 camadas at´e incidir sobre a retina.

A

cada transi¸c˜ao de meio material presente nessas camadas parte da luz ´e refletida gerando

as

chamadas imagens de Purkinje [YS75] (veja figura 2.4). A primeira imagem de Purkinje

´e o reflexo mais forte e brilhante gerado sobre a c´ornea, que ´e facilmente detectado por uma

2.1.

ESTRUTURA E MODELO DO OLHO

11

2.1. ESTRUTURA E MODELO DO OLHO 11 Figura 2.2: modelo do olho Gullstrand. cˆamera e ´e

Figura 2.2: modelo do olho Gullstrand.

cˆamera e ´e utilizado por v´arias t´ecnicas para rastreamento do olhar. Os demais reflexos s˜ao

bem mais dif´ıceis de se detectar, exigindo equipamentos especiais.

O uso de fontes de luz ´e tamb´em explorado em t´ecnicas para detec¸c˜ao da pupila. Ebisawa

[Ebi95] e Morimoto et al. [MKAF00, MF00] exploram uma propriedade fisiol´ogica do olho

pela qual a imagem de uma pupila iluminada por uma fonte de luz pr´oxima do eixo ´optico da

cˆamera aparece brilhante (devido `a luz refletida do interior do olho). Por outro lado, quando

a fonte de luz est´a afastada do eixo ´optico da cˆamera, a pupila aparece escura na imagem

(veja figura 2.5). Uma vantagem da utiliza¸c˜ao desta caracter´ıstica do olho ´e que ela ´e bastante

incomum em outros tipos de objetos. Dessa forma, para imagens obtidas sob estas duas

pontos que apresentam grande

E importante notar que existe uma

grande varia¸c˜ao observada nesse efeito da pupila brilhante entre as pessoas [NWKF02], o que

pode prejudicar o desempenho de sistemas de rastreamento baseados nessa caracter´ıstica.

contraste entre as imagens, facilitando sua localiza¸c˜ao.

condi¸c˜oes de ilumina¸c˜ao, as pupilas costumam ser os unicos´

´

12

´

CAP ITULO 2.

´

˜

T ECNICAS DE ESTIMAC¸ AO DO OLHAR

12 ´ CAP ITULO 2. ´ ˜ T ECNICAS DE ESTIMAC¸ AO DO OLHAR Figura 2.3:

Figura 2.3: imagem gerada por tra¸camento de raios a partir do modelo de Gullstrand.

2.2 T´ecnicas intrusivas

Uma dos m´etodos mais tradicionais entre as t´ecnicas intrusivas para detec¸c˜ao e rastreamento

do olhar s˜ao as t´ecnicas baseadas no uso de lentes de contato. Robinson [Rob63] usa uma

pequena bobina embutida na lente de contato que ´e posicionada sobre a c´ornea. Uma pequena

suc¸c˜ao ´e utilizada para manter a lente firme e evitar que ela se desloque devido a movimentos

r´apidos do olho. O usu´ario ´e ent˜ao colocado dentro de um campo eletromagn´etico e, a partir

da amplitude da corrente el´etrica induzida sobre a bobina da lente, ´e poss´ıvel determinar

a dire¸c˜ao do olhar. Apesar de ser um m´etodo altamente intrusivo, sua precis˜ao ´e bastante

alta (menor que 1 ) e sua freq¨uˆencia de captura tamb´em ´e bastante elevada (menos que 1

milisegundo), segundo estudo apresentado por Geest e Frens [GF02].

Outra t´ecnica intrusiva mas de menor custo que a anterior, desenvolvida por Kaufman et

al. [KBS93], utiliza a medida do potencial el´etrico da pele. Atrav´es do posicionamento de

eletrodos ao redor dos olhos ´e poss´ıvel medir pequenas diferen¸cas no potencial el´etrico da pele

´

2.2. T ECNICAS INTRUSIVAS

13

´ 2.2. T ECNICAS INTRUSIVAS 13 Figura 2.4: forma¸c˜ao dos reflexos gerados por uma fonte de

Figura 2.4: forma¸c˜ao dos reflexos gerados por uma fonte de luz.

forma¸c˜ao dos reflexos gerados por uma fonte de luz. Figura 2.5: `a esquerda, imagem da pupila
forma¸c˜ao dos reflexos gerados por uma fonte de luz. Figura 2.5: `a esquerda, imagem da pupila

Figura 2.5: `a esquerda, imagem da pupila brilhante iluminada por uma fonte de luz localizada

no eixo optico´ da cˆamera.

A direita, imagem da pupila escura, iluminada por fonte de luz

afastada do eixo optico´ da cˆamera.

`

14

´

CAP ITULO 2.

´

˜

T ECNICAS DE ESTIMAC¸ AO DO OLHAR

que podem ser mapeadas aos movimentos dos olhos. A precis˜ao deste m´etodo ´e da ordem

de 2 . Esta ´e uma t´ecnica bastante comum para a grava¸c˜ao dos movimentos dos olhos em

aplica¸c˜oes cl´ınicas devido a sua simplicidade. Contudo n˜ao ´e apropriada para utiliza¸c˜ao no

dia a dia pelo desconforto decorrente da utiliza¸c˜ao de eletrodos fixados `a pele.

Ruelen et al. [RMK + 88] utilizam fontes de luz infravermelhas e transistores foto-sens´ıveis

posicionados sobre e abaixo do olho respectivamente. As luzes e os sensores s˜ao montados

em um suporte similar a um ´oculos de modo que o limbus seja sempre iluminado. Os tran-

sistores foto-sens´ıveis transformam a luz refletida pelo olho em uma voltagem. A voltagem

dos transistores localizados na regi˜ao nasal da face ´e comparada `a voltagem dos transistores

localizados na regi˜ao temporal da face e a diferen¸ca computada ´e proporcional aos desvios

dos olhos. Este sistema possui uma alta precis˜ao, em torno de 2’. Contudo, o uso do aparato

tamb´em restringe o conforto para longos per´ıodos de utiliza¸c˜ao.

2.3 T´ecnicas remotas tradicionais

Cornsweet e Crane [CC73] desenvolveram outro m´etodo bastante preciso para rastreamento

do olhar que utiliza a 1 o e a 4 o imagem de Purkinje. O princ´ıpio de funcionamento utilizando

esses dois reflexos ´e o seguinte: quando o olho translada no espa¸co ambos os reflexos se

movimentam juntos, mas quando este rotaciona, os reflexos movem-se independentemente,

modificando a posi¸c˜ao relativa entre eles. Essa modifica¸c˜ao da posi¸c˜ao relativa entre os dois

reflexos ´e utilizada para computar a orienta¸c˜ao do olho. Este m´etodo possui uma alta precis˜ao,

da ordem de 1’.

Baluja e Pomerleau [BP94] utilizam redes neurais para rastrear o olhar. Nesta t´ecnica, o

sistema detecta o olho do usu´ario atrav´es da procura do reflexo especular gerado por uma fonte

de luz fixa. A localiza¸c˜ao do reflexo ´e utilizada tamb´em para delimitar a janela de procura

´

2.3. T ECNICAS REMOTAS TRADICIONAIS

15

do olho no pr´oximo quadro de v´ıdeo a ser processado. Em seguida, uma janela em torno

do reflexo localizado ´e extra´ıda e a imagem resultante ´e utilizada como entrada para uma

rede neural. Para coletar os dados de treinamento da rede neural, o usu´ario deve seguir um

cursor em movimento que se move sobre um caminho definido. Neste processo de treinamento

a imagem do olho ´e extra´ıda e associada com a coordenada (x, y) do cursor observado pelo

usu´ario. Um total de 2000 pontos de treinamento foram coletados e a precis˜ao m´edia obtida

foi de 1.7 .

Stiefelhagen et al. [SYW97] tamb´em utilizaram redes neurais para estimar a dire¸c˜ao do

olhar, mas n˜ao necessitam de fontes de luz para gerar reflexos sobre a c´ornea. Neste trabalho a

detec¸c˜ao da regi˜ao do olho ´e feita detectando-se primeiramente a regi˜ao da imagem correspon-

dente a` face do usu´ario (utilizando um modelo baseado em cores), e em seguida localizando

duas regi˜oes escuras correspondentes `as pupilas. Uma vez detectadas, elas s˜ao rastreadas nos

pr´oximos quadros em janelas de procura em torno da posi¸c˜ao inicial das mesmas. As regi˜oes

em torno das pupilas s˜ao ent˜ao extra´ıdas, equalizadas (para compensar varia¸c˜oes nas condi¸c˜oes

de ilumina¸c˜ao), e utilizadas como entrada para a rede neural. Os resultados obtidos s˜ao simi-

lares aos obtidos em [BP94], ficando em torno de 1.3 a 1.9 . Como a entrada de dados para a

rede neural consiste apenas de informa¸c˜ao local, isto ´e, apenas imagens dos olhos, ´e esperado

que os usu´arios n˜ao fa¸cam grandes movimentos de cabe¸ca.

Kim e Ramakrishna prop˜oem, em [KR99], uma t´ecnica cujo foco ´e determinar a dire¸c˜ao

do olhar permitindo pequenos movimentos da cabe¸ca. Esta t´ecnica utiliza o centro da ´ıris

e um ponto de referˆencia para estimar o olhar atrav´es de um modelo geom´etrico. O ponto

de referˆencia utilizado ´e uma pequena marca posicionada na haste que liga as duas lentes de

um ´oculos. O prop´osito desse ponto de referˆencia ´e obter informa¸c˜ao a respeito da posi¸c˜ao

da face do usu´ario e tomar esse ponto como a origem dos movimentos da ´ıris. Note que

essa marca n˜ao fornece informa¸c˜ao a respeito da orienta¸c˜ao da face, uma vez que ´e apenas

16

´

CAP ITULO 2.

´

˜

T ECNICAS DE ESTIMAC¸ AO DO OLHAR

16 ´ CAP ITULO 2. ´ ˜ T ECNICAS DE ESTIMAC¸ AO DO OLHAR Figura 2.6:

Figura 2.6: Geometria da an´alise para o caso 1D.

uma referˆencia pontual, mas ´e util´ para compensar pequenos movimentos da cabe¸ca. Outras

condi¸c˜oes assumidas s˜ao: que o usu´ario mantenha a cabe¸ca num plano paralelo ao monitor e

que o eixo da cˆamera seja posicionado perpendicularmente ao plano do monitor.

Para entender melhor o modelo geom´etrico, vamos analisar como este funcionaria no caso

1D, isto ´e, s´o levando em conta o rastreamento do olhar na horizontal (ou ao longo de uma

linha qualquer do monitor), como ilustra a figura 2.6. A extens˜ao do m´etodo para o caso 2D

(rastreamento na horizontal e vertical) ´e um passo simples.

Seja p a linha horizontal do monitor considerada. Vamos assumir que essa linha ´e paralela

ao eixo x, e que o eixo y ´e perpendicular a x. Seja d a distˆancia do olho a essa linha, C o

´

2.3. T ECNICAS REMOTAS TRADICIONAIS

17

centro do olho e r o seu raio. Seja P 0 um ponto de referˆencia sobre p. Quando o olho rotaciona

apontando para P 1 , temos um deslocamento ∆ sobre p. Da mesma forma, nessa rota¸c˜ao do

olho, o centro da ´ıris se desloca de I 0 = (ix 0 , iy 0 ) para I 1 = (ix 1 , iy 1 ). Considera-se ainda que

a diferen¸ca de iy 0 e iy 1 para o plano ´e sempre d, isto ´e, assume-se uma proje¸c˜ao ortogr´afica

do centro da ´ıris para o plano da imagem. Assim, I 0 e I 1 est˜ao sempre sobre a reta paralela

ao eixo x, distante d da reta p. Com essas simplifica¸c˜oes, ´e simples calcular o deslocamento

∆ sobre a reta p dada a diferen¸ca dx = ix 1 ix 0 . Para isso basta utilizar a equa¸c˜ao 2.1.

= d + r

r

dx

(2.1)

Utilizando este modelo geom´etrico, tendo-se o deslocamento do centro da ´ıris ao longo do

eixo x, podemos estimar o quanto essa varia¸c˜ao representa no deslocamento real do ponto

observado sobre a linha p usando a equa¸c˜ao 2.1 acrescida de um fator k. Este fator traduz o

deslocamento em pixels do centro da ´ıris para o deslocamento real da ´ıris. Adicionando este

fator k a` equa¸c˜ao 2.1 obtemos a equa¸c˜ao 2.2.

∆ = k d + r dx

r

(2.2)

Para calcular o valor de k ´e necess´ario realizar uma calibra¸c˜ao. A distˆancia d tamb´em pode

ser obtida via calibra¸c˜ao, ou ent˜ao fixada com um valor que deve ser mantido pelo usu´ario.

Para completar o modelo ´e necess´ario ainda considerar a movimenta¸c˜ao da cabe¸ca do usu´ario

ao longo do plano paralelo ao monitor. Esse movimento pode ser compensado no c´alculo de

∆ atrav´es da marca de referˆencia, da seguinte maneira:

∆ = k d + r dx + kd ref

r

(2.3)

Onde d ref ´e o deslocamento do ponto de referˆencia na imagem em rela¸c˜ao ao ponto inicial

18

´

CAP ITULO 2.

´

˜

T ECNICAS DE ESTIMAC¸ AO DO OLHAR

fixado (isto ´e, a posi¸c˜ao da marca de referˆencia quando o usu´ario estava olhando para I 0 ).

Apesar de n˜ao apresentar uma discuss˜ao detalhada sobre a precis˜ao dos resultados obtidos,

este m´etodo se mostrou capaz de estimar corretamente a dire¸c˜ao do olhar em um monitor

dividido em 10×8 regi˜oes.

A t´ecnica mais utilizada pelos rastreadores remotos hoje em dia ´e a t´ecnica baseada na

detec¸c˜ao da pupila e da reflex˜ao sobre a c´ornea. Essa t´ecnica utiliza-se de uma fonte de luz

infravermelha para gerar um reflexo sobre a c´ornea, que deve ser detectado e rastreado. Como

o olho possui uma forma aproximadamente esf´erica, que rotaciona em torno de seu centro, e

a cˆamera e a fonte de luz infravermelha est˜ao fixas, a posi¸c˜ao do reflexo de luz gerado sobre a

c´ornea n˜ao se move com a rota¸c˜ao do olho e assim o reflexo pode ser tomado como um ponto de

referˆencia. Conforme o usu´ario dirige seu olhar a diferentes pontos, a sua pupila se movimenta

e seu centro e o reflexo definem um vetor na imagem que ´e mapeado para as coordenadas

da tela atrav´es de um processo de calibra¸c˜ao. Nesse processo, que define o mapeamento do

vetor na imagem para o ponto de interesse na tela, ´e pedido ao usu´ario que fixe o olhar em

alguns pontos da tela. Em particular, no trabalho de Morimoto et al. [MKAF99], 9 pontos

de calibra¸c˜ao s˜ao utilizados e um polinˆomio de segunda ordem ´e utilizado como fun¸c˜ao de

calibra¸c˜ao. A fun¸c˜ao de calibra¸c˜ao ´e dada pelas equa¸c˜oes abaixo:

sx = a 0 + a 1 x + a 2 y + a 3 xy + a 4 x 2 + a 5 y 2

(2.4)

sy = b 0 + b 1 x + b 2 y + b 3 xy + b 4 x 2 + b 5 y 2

(2.5)

onde (sx, sy) s˜ao as coordenadas do monitor e (x, y) ´e o vetor definido pelo centro da pupila

e o reflexo sobre a c´ornea. Os parˆametros a i e b i s˜ao desconhecidos, mas como temos 9 pontos

de calibra¸c˜ao, ent˜ao temos 2 conjuntos de 9 equa¸c˜oes e 6 inc´ognitas, e estas podem ser obtidas

usando o m´etodo dos m´ınimos quadrados. O uso de polinˆomios de maior ordem mostrou

´

2.3. T ECNICAS REMOTAS TRADICIONAIS

19

melhora na precis˜ao do sistema, mas o ganho n˜ao ´e t˜ao grande, al´em de exigir um n´umero

maior de pontos de calibra¸c˜ao [MM05].

A fim de testar a tolerˆancia desta t´ecnica para pequenos movimentos de cabe¸ca, Morimoto

e Mimica [MM05] realizaram uma s´erie de experimentos utilizando imagens sint´eticas do olho

geradas por tra¸camento de raios. Para este experimento, o centro ´optico da cˆamera foi tomado

como origem do sistema de coordenadas 3D, com seu eixo ´optico apontando para a dire¸c˜ao do

eixo z. P 0 = (0, 27, 60) (unidades em cm) foi tomado como a posi¸c˜ao inicial do olho e para

os cantos superior esquerdo e inferior direito do monitor foram tomados, respectivamente, os

pontos (-18.3, 27.4, 0) e (18.3, 0, 0) (medidas que correspondem aproximadamente a` ´area util´

de um monitor de 19 polegadas). Podemos ver na figura 2.7 essa configura¸c˜ao utilizada no

experimento. Para calibrar o sistema a regi˜ao do monitor foi divida em uma grade de 3×3

posi¸c˜oes e imagens do olho apontando para o centro de cada c´elula foram renderizadas. Para

testar a calibra¸c˜ao, cada c´elula da grade foi por sua vez subdividida em outra grade 3×3 e

imagens do olho apontando para cada centro dessas sub-c´elulas foram geradas e utilizadas

como entrada para o sistema. Para o olho posicionado em P 0 , o erro m´edio (medido como a

distˆancia entre o ponto real apontado pelo olho e o ponto estimado) foi de 0.8 cm, ou 0.8 .

Para testar como a precis˜ao do sistema ´e afetada por movimentos de cabe¸ca, a posi¸c˜ao do

olho foi transladada ao longo dos trˆes eixos. Para cada nova posi¸c˜ao, imagens do olho foram

renderizadas apontando para cada uma das 81 c´elulas da grade. Para o olho transladado 10

cm

no eixo x, na posi¸c˜ao (-10, 27, 60), obteve-se um erro m´edio de 0.99 cm (1.0 ) na estima¸c˜ao

do

olhar. J´a para transla¸c˜ao no eixo y, para o ponto (0, 17, 60), obteve-se um erro m´edio de

2.18 cm (2.1 ). Finalmente para transla¸c˜ao no eixo z, para o ponto (0, 27, 70), o erro m´edio foi

de 4.06 cm (3.3 ). Esses resultados mostram que a calibra¸c˜ao do sistema n˜ao ´e muito afetada

por pequenas transla¸c˜oes no eixo x e pequenas rota¸c˜oes da cabe¸ca para cima e para baixo, que

s˜ao os movimentos mais comuns realizados pelas pessoas. A transla¸c˜ao no eixo y n˜ao ´e algo

20

´

CAP ITULO 2.

´

˜

T ECNICAS DE ESTIMAC¸ AO DO OLHAR

20 ´ CAP ITULO 2. ´ ˜ T ECNICAS DE ESTIMAC¸ AO DO OLHAR Figura 2.7:

Figura 2.7: Configura¸c˜ao utilizada no experimento para avaliar a t´ecnica baseada no rastrea- mento da pupila e da reflex˜ao sobre a c´ornea.

t˜ao comum, contudo um movimento de aproxima¸c˜ao ou afastamento do monitor (transla¸c˜ao

no eixo z) realmente compromete a calibra¸c˜ao e a precis˜ao do sistema.

2.4 T´ecnicas robustas a movimentos de cabe¸ca

Apresentamos at´e agora alguns dos m´etodos tradicionais desenvolvidos para a detec¸c˜ao e

rastreamento do olhar. Come¸camos com alguns m´etodos intrusivos e terminamos com m´etodos

n˜ao intrusivos baseados em vis˜ao computacional. Estes ultimos´ seriam bastante adequados

para o uso no dia a dia das pessoas j´a que n˜ao oferecem o desconforto ao usu´ario de ter

que utilizar equipamentos em contato com seu corpo. Contudo h´a ainda dois pontos que

impedem a populariza¸c˜ao do uso dos rastreadores. S˜ao eles: a necessidade de calibra¸c˜ao (uma

calibra¸c˜ao realizada de forma incorreta pode comprometer a eficiˆencia do rastreador e pessoas

n˜ao acostumadas com este tipo de dispositivos podem ter dificuldade para realiz´a-la) e a

intolerˆancia a movimentos do usu´ario. Mostraremos a seguir algumas t´ecnicas mais recentes

´

2.4. T ECNICAS ROBUSTAS A MOVIMENTOS DE CABEC¸ A

21

cujo objetivo ´e eliminar, ou pelo menos minimizar, essas duas desvantagens.

2.4.1 Uma cˆamera

Morimoto et al. [MAF02a][MAF02b] desenvolveram um m´etodo para estimar o eixo optico´ do

olho atrav´es do c´alculo do centro da c´ornea e do eixo optico´ no espa¸co 3D. Utilizando algumas

medidas do olho, obtidas do modelo de Gullstrand, o m´etodo proposto utiliza apenas uma

cˆamera e duas fontes de luz para calcular o centro da c´ornea e o centro da pupila. As medidas

utilizadas do modelo de Gullstrand s˜ao: o raio da pupila (7.7 mm), o ´ındice de refra¸c˜ao da

c´ornea (1.376) e a distˆancia da pupila ao centro da c´ornea (3.6 mm).

Para calcular o centro da c´ornea, esta foi modelada como um espelho convexo, com centro

de curvatura em C e de raio r.

principal da c´ornea, ent˜ao o v´ertice da c´ornea V e o centro focal F est˜ao sobre esta linha OC

Sendo O o centro ´optico da cˆamera e a linha OC o eixo

e F est´a localizado no ponto m´edio do segmento V C. Considerando a cˆamera calibrada e que

uma fonte de luz est´a numa posi¸c˜ao conhecida L, ent˜ao I ´e a imagem virtual de L localizada

atr´as da c´ornea. A figura 2.8 ilustra como I ´e formada sobre a c´ornea.

A posi¸c˜ao de I pode ser computada pela f´ormula dos espelhos convexos:

1

f

=

2

r =

1

d +

1

d

(2.6)

onde f

vamente, sobre a linha OC. Nessa modelagem da c´ornea como um espelho convexo, em uma

aplica¸c˜ao de rastreamento de olhar, ´e razo´avel assumir que o valor de d ´e muito maior que o

valor de r. Assim I localiza-se no centro focal F . Considere agora que outra fonte de luz ´e

da cˆamera pr´oximo a O. Est´a fonte de luz gera um reflexo sobre

a c´ornea localizado em V . Como a cˆamera ´e calibrada, podemos obter a dire¸c˜ao dos vetores

posicionada no eixo optico´

= r/2, d = |V L |, d = |V I |, sendo L e I a proje¸c˜ao ortogonal de L e I, respecti-

22

´

CAP ITULO 2.

´

˜

T ECNICAS DE ESTIMAC¸ AO DO OLHAR

22 ´ CAP ITULO 2. ´ ˜ T ECNICAS DE ESTIMAC¸ AO DO OLHAR Figura 2.8:

Figura 2.8: forma¸c˜ao do reflexo sobre a c´ornea pelo LED infravermelho.

−−→

OV e OI (mas n˜ao suas magnitudes) e calcular o anguloˆ

−→

θ formado por eles.

Seja O = (0, 0), C = (c x , 0) e L = (l x , l y ). Construindo a equa¸c˜ao da reta LC (que passa

por I) temos:

y l y = (x l x )

l y

c x l x

(2.7)

Como I est´a no ponto m´edio entre V e C as coordenadas de I podem ser escritas como

Substituindo I escrito em fun¸c˜ao de c x e θ na equa¸c˜ao da reta LC

(c x 2 r , tanθ(c x 2 r )).

temos:

[tan θ(c x 2

r

r ) l y ](c x l x ) = l y (c x 2

l x )

(2.8)

Rearranjando a equa¸c˜ao acima temos a seguinte equa¸c˜ao de segundo grau:

´

2.4. T ECNICAS ROBUSTAS A MOVIMENTOS DE CABEC¸ A

23

´ 2.4. T ECNICAS ROBUSTAS A MOVIMENTOS DE CABEC¸ A 23 Figura 2.9: processo de refra¸c˜ao

Figura 2.9: processo de refra¸c˜ao da imagem da pupila.

c x c x ( 2 r + l x ) +

2

r (l x tan θ ) = 0

2

l

y

(2.9)

Resolvendo 2.9 e tomando o menor resultado positivo obtemos c x e, conseq¨uentemente, a

posi¸c˜ao do centro da c´ornea.

Para calcular o eixo optico,´ a c´ornea ´e considerada como uma superf´ıcie esf´erica cˆoncava

separando o ar (´ındice de refra¸c˜ao aproximadamente = 1) do interior do olho (´ındice de refra¸c˜ao

aproximadamente = 1.376). A equa¸c˜ao de refra¸c˜ao para superf´ıcies esf´ericas ´e dada por:

n

d

+ n

d

= n n

r

(2.10)

onde n e n s˜ao, respectivamente, os ´ındices de refra¸c˜ao do interior do olho e do ar, d e d s˜ao

as distˆancias do objeto e sua imagem para o v´ertice da superf´ıcie V , e r ´e o raio de curvatura

da superf´ıcie.

A figura 2.9 ilustra o processo de refra¸c˜ao. Nela podemos ver I, que ´e o centro da imagem

24

´

CAP ITULO 2.

´

˜

T ECNICAS DE ESTIMAC¸ AO DO OLHAR

da pupila formada devido a refra¸c˜ao, e P , que ´e o centro da pupila real. Sabe-se, usando dados

do modelo de Gullstrand, que a pupila fica localizada 4.1 mil´ımetros atr´as da c´ornea (d = 4.1

mil´ımetros) mas, utilizando a equa¸c˜ao 2.10, temos que a imagem da pupila (isto ´e, aquela

observada pela cˆamera) forma-se aproximadamente a 3.5 mil´ımetros da c´ornea. Assume-se

ent˜ao que I (imagem da pupila) est´a sobre em uma esfera localizada 3.5 mil´ımetros adentro

da c´ornea (ou uma esfera localizada no centro da c´ornea de raio 4.2 mil´ımetros). Pela imagem

capturada pela cˆamera pode-se determinar o vetor que aponta na dire¸c˜ao OI, −→ e pela intersec¸c˜ao

desse vetor com essa esfera interna, ´e poss´ıvel calcular a posi¸c˜ao de I no espa¸co. Como P

pertence a` reta CI, isto ´e, aquela que passa pelo centro da c´ornea e pelo centro da imagem

da pupila, ent˜ao o vetor procurado para estimar a dire¸c˜ao do olhar (vetor que liga C a P ) ´e

o mesmo vetor que liga C a I. Como j´a se conhece C e I acabou de ser calculado, tem-se os

dois pontos necess´arios para calcular a dire¸c˜ao do olhar, definida pelo vetor que parte de CI. −→

Imagens sint´eticas geradas por tra¸camento de raios foram utilizadas para testar a t´ecnica

desenvolvida, sob diferentes posi¸c˜oes do olho e da fonte de luz localizada fora do eixo optico´

da cˆamera. O erro m´edio na estima¸c˜ao da dire¸c˜ao do olhar ficou em torno de 3 . Contudo

este m´etodo possui as vantagens de permitir a livre movimenta¸c˜ao do usu´ario, n˜ao exigir

calibra¸c˜ao, al´em de ser computacionalmente eficiente e apropriado para uso em tempo real.

Em compara¸c˜ao a outros m´etodos, apesar de menos preciso, este m´etodo tem a vantagem de

utilizar apenas uma cˆamera, o que torna o processo de configura¸c˜ao e calibra¸c˜ao do sistema

mais simples.

2.4.2 M´ultiplas Cˆameras

A t´ecnica desenvolvida por Wang e Sung [WS02] estima o eixo visual no espa¸co 3D atrav´es de

uma cˆamera, por´em utiliza uma segunda cˆamera auxiliar para estimar a orienta¸c˜ao da face do

usu´ario. Esse sistema auxiliar detecta os cantos do olho e da boca e a orienta¸c˜ao da face no

´

2.4. T ECNICAS ROBUSTAS A MOVIMENTOS DE CABEC¸ A

25

espa¸co 3D. A partir da localiza¸c˜ao inicial dos olhos, a cˆamera respons´avel pelo rastreamento do

olhar ´e direcionada a um dos olhos obtendo imagens detalhadas do mesmo. O olho ´e modelado

como uma esfera de raio R , a ´ıris como um c´ırculo de raio r e a distˆancia do plano da ´ıris ao

centro do olho ´e dado por d. A rela¸c˜ao entre R, r e d ´e dada por:

R 2 = r 2 + d 2

(2.11)

Foi observado pelos autores que a raz˜ao R/r ´e um valor bastante est´avel e por isso ´e

tomado como uma constante. Como r ´e medido via calibra¸c˜ao ´e poss´ıvel calcular tanto R

quanto d usando a rela¸c˜ao acima. A caracter´ıstica detectada utilizada na estima¸c˜ao do olhar

´e a ´ıris. A proje¸c˜ao do contorno da ´ıris no plano da imagem ´e uma elipse. Assim, atrav´es da

excentricidade da elipse, ´e poss´ıvel estimar o plano no espa¸co sobre o qual a ´ıris se localiza,

bem como seu centro. Como essa estima¸c˜ao produz duas solu¸c˜oes poss´ıveis, para escolher o

valor correto ´e utilizado um crit´erio de desempate que consiste em escolher o centro do olho

cujas distˆancias aos seus cantos sejam iguais. Experimentos realizados pelos autores da t´ecnica

apontaram uma precis˜ao de menos de 1 .

Shih et al. [SWL00] e Shih e Liu [SL04] usam m´ultiplas cˆameras e m´ultiplas fontes de luz

para estimar o eixo optico´ do olho. Usando o modelo simplificado do olho de LeGrand (similar

ao modelo de Gullstrand, mas considera a c´ornea e o humor aquoso como um unico´ meio), este

trabalho mostra que, utilizando duas cˆameras calibradas e pelo menos dois pontos de luz com

posi¸c˜oes conhecidas, ´e poss´ıvel calcular o eixo optico´ do olho. A id´eia do m´etodo ´e calcular

primeiramente a posi¸c˜ao do centro da c´ornea no espa¸co 3D e em seguida usar essa informa¸c˜ao,

juntamente com os centros observados das pupilas, para computar o eixo ´optico do olho. O

anguloˆ entre o eixo visual e o eixo ´optico ´e obtido atrav´es de um processo de calibra¸c˜ao por

usu´ario, que s´o necessita ser feito uma vez.

A figura 2.10, ilustra o processo de forma¸c˜ao do reflexo gerado pelo LED infravermelho.

26

´

CAP ITULO 2.

´

˜

T ECNICAS DE ESTIMAC¸ AO DO OLHAR

26 ´ CAP ITULO 2. ´ ˜ T ECNICAS DE ESTIMAC¸ AO DO OLHAR Figura 2.10:

Figura 2.10: forma¸c˜ao do reflexo sobre a c´ornea pelo LED infravermelho [SL04].

Seja O o observador (isto ´e, uma das cˆameras), Q uma fonte de luz e P 0 o ponto correspondente

ao reflexo especular da fonte de luz sobre a c´ornea. Embora P 0 n˜ao seja conhecido, pela

calibra¸c˜ao da cˆamera consegue-se calcular o vetor que parte de O e segue em dire¸c˜ao a P 0 .

Esse vetor, juntamente com o vetor que parte de O e segue em dire¸c˜ao a Q define um plano

que contem P 1 , isto ´e, o centro da c´ornea. Se tivermos mais uma fonte de luz tal que as fontes

de luz e o ponto O n˜ao sejam colineares, definimos outro plano que contem P 1 . A intersec¸c˜ao

dos dois planos definidos define uma reta que cont´em P 1 . Como s˜ao utilizadas duas cˆameras,

tem-se ent˜ao duas retas `as quais P 1 pertence, e a intersec¸c˜ao dessa retas nos d´a o centro da

c´ornea no espa¸co 3D.

que ´e observado

definem um plano (em-

pode ser computado

devido a refra¸c˜ao da c´ornea e do humor aquoso, temos que O, P 1 , e P

Em seguida, dado o centro da pupila P c , o centro virtual da pupila P

c

c

bora n˜ao saibamos a posi¸c˜ao de P , o vetor que parte de O e passa por P

c

c

´

2.4. T ECNICAS ROBUSTAS A MOVIMENTOS DE CABEC¸ A

27

a partir da imagem capturada), e que P c tamb´em est´a contido nesse plano. Assim, o eixo

optico´ que queremos estimar (segmento de reta que parte de P 1 e passa por P c ) tamb´em est´a

contido neste plano. Como temos outra cˆamera, ´e poss´ıvel definir outro plano e a intersec¸c˜ao

deles nos d´a o eixo ´optico que queremos computar. A implementa¸c˜ao realizada, que utiliza 3

fontes de luz infravermelha, ´e capaz de processar 30 quadros por segundo com uma precis˜ao

de menos de 1 . Contudo, apesar das vantagens, o uso de duas cˆameras e a necessidade de

calibra¸c˜ao das mesmas torna a configura¸c˜ao inicial do sistema um pouco complexa.

Beymer e Flickner [BF03] tamb´em desenvolveram um m´etodo para estimar a linha de vis˜ao

no espa¸co 3D usando cˆameras est´ereo. Em particular foram utilizados dois pares de cˆameras.

Um par que proporciona um grande campo de vis˜ao e outro par, com campo de vis˜ao reduzido,

capaz de obter imagens detalhadas do olho. O primeiro par detecta a cabe¸ca do usu´ario e

estima a posi¸c˜ao 3D do seu olho direito, usando essa informa¸c˜ao para direcionar o segundo par

de cˆameras. Um modelo 3D da anatomia do olho ´e utilizado neste trabalho. O modelo inclui

a c´ornea, a pupila e a diferen¸ca angular entre o eixo optico´ e o eixo visual. O rastreamento

basicamente consiste em casar iterativamente a proje¸c˜ao das caracter´ısticas do modelo 3D

com as caracter´ısticas detectadas nas imagens capturadas pelo par de cˆameras com pequeno

campo de vis˜ao. As caracter´ısticas rastreadas s˜ao a borda da pupila e reflexos sobre a c´ornea

de LEDs infravermelhos posicionados nas cˆameras. Para se obter os dados do modelo 3D do

olho ´e feito um processo de calibra¸c˜ao, contudo, este processo ´e realizado uma unica´ vez para

cada usu´ario. Uma precis˜ao de 0.6 foi obtida com esta t´ecnica, mas a configura¸c˜ao inicial do

sistema tamb´em sofre do problema de ser um pouco complexa uma vez que trabalha-se com

dois pares de cˆameras est´ereo.

28

´

CAP ITULO 2.

´

˜

T ECNICAS DE ESTIMAC¸ AO DO OLHAR

2.4.3 Proje¸c˜ao de padr˜ao de luz

Uma t´ecnica bastante recente foi introduzida por Yoo et al. em [YLC02] e posteriormente

refinada por Yoo e Chung em [YC05]. O sistema desenvolvido emprega duas cˆameras, uma com

um campo visual estreito, proporcionando a captura de imagens detalhadas do olho, e outra

com um amplo campo visual, que obt´em imagens da face do usu´ario. As duas cˆameras s˜ao

montadas sobre um suporte motorizado de modo que tanto a face quanto um olho possam ser

rastreados simultaneamente. A cˆamera respons´avel pelo rastreamento do olhar propriamente

dito ´e a que captura imagens detalhadas do olho e, de fato, quanto maior o tamanho do olho

nas imagens obtidas por essa cˆamera melhor a precis˜ao atingida pelo sistema. Contudo, ´e

dif´ıcil rastrear o olho apenas utilizando essa cˆamera pois pequenos movimentos de cabe¸ca s˜ao

suficientes para tirar o olho do campo de vis˜ao. Por isso, a segunda cˆamera ´e utilizada para

rastrear o olho de forma robusta, atrav´es de um sistema auxiliar de rastreamento de faces que

mant´em a primeira cˆamera sempre apontando na dire¸c˜ao do olho pelo acionamento do suporte

motorizado.

Para o rastreamento do olhar, 5 LEDs infravermelhos s˜ao utilizados. Desses LEDs, 4 s˜ao

fixados aos cantos do monitor, produzindo 4 reflexos sobre a c´ornea. O 5 o LED ´e posicionado

da cˆamera com campo visual estreito para explorar o efeito da pupila brilhante.

no eixo optico´

Os LEDs do monitor e da cˆamera s˜ao acionados de forma alternada, controlados pela porta

paralela do computador. Assim, quando os LEDs do monitor est˜ao acesos, o LED da cˆamera

est´a apagado e vice-versa. Como os reflexos sobre a c´ornea s˜ao produzidos pelos LEDs posicio-

nados no monitor, o pol´ıgono formado por esses reflexos pode ser considerado como a reflex˜ao

do monitor sobre a c´ornea. Esses reflexos, juntamente com a posi¸c˜ao observada do centro da

pupila, s˜ao usados para estimar a dire¸c˜ao do olhar mapeando-os do espa¸co da imagem cap-

turada para a tela do monitor. O LED posicionado no eixo optico´ da cˆamera, al´em de gerar

imagens com a pupila brilhante, tamb´em produz uma reflex˜ao sobre a c´ornea quando ativo

¯

´

2.4. T ECNICAS ROBUSTAS A MOVIMENTOS DE CABEC¸ A

29

(veremos a utilidade deste reflexo adiante).

A grande vantagem desta t´ecnica sobre as discutidas at´e agora ´e que ela requer apenas uma

cˆamera (apesar do sistema estudado empregar duas) que n˜ao necessita estar calibrada, n˜ao

requer conhecimento sobre o posicionamento da cˆamera e do monitor no espa¸co, e dispensa

calibra¸c˜ao por parte do usu´ario para cada sess˜ao de uso. Os unicos´ parˆametros que precisam

ser conhecidos s˜ao as dimens˜oes da tela do monitor. Al´em disso, ela permite que o usu´ario

movimente sua cabe¸ca, sem perda significativa de precis˜ao. Testes feitos pelos autores da

t´ecnica obtiveram como resultado m´edio uma precis˜ao de 1.12 cm, o que corresponde a uma

precis˜ao de 1.3 para o usu´ario posicionado a uma distˆancia de 50 cm do monitor. Devido a

esses fatores, essa t´ecnica se mostra bastante promissora para o uso cotidiano de rastreadores

de olhar, tendo sido escolhida como base para a implementa¸c˜ao do nosso rastreador. No

restante deste cap´ıtulo estudamos esta t´ecnica de forma mais detalhada e, no cap´ıtulo a

seguir, realizamos uma an´alise explorat´oria atrav´es de simula¸c˜oes para analisar o desempenho

da mesma.

Geometria do sistema

Sejam L 1 , L 2 , L 3 e L 4 os pontos correspondentes aos 4 cantos da tela do monitor, O a posi¸c˜ao

da c´ornea e P o centro da pupila no espa¸co, ilustrados na figura 2.11 . Considerando o eixo

optico´ e o eixo visual do olho como sendo os mesmos, a intersec¸c˜ao do segmento de reta que

parte de O e segue em dire¸c˜ao a P com o plano do monitor define o ponto sendo observado

que chamaremos de G. Fixando O e apontando o eixo optico´ do olho para todos os pontos da

tela do monitor obtemos um conjunto de posi¸c˜oes de P que cobre visualmente toda a area´ da

tela.

Esse conjunto de posi¸c˜oes para P define uma regi˜ao delimitada sobre a c´ornea que, devido

ao posicionamento t´ıpico da cˆamera, monitor e usu´ario, n˜ao possui uma curvatura muito

30

´

CAP ITULO 2.

´

˜

T ECNICAS DE ESTIMAC¸ AO DO OLHAR

acentuada. Assim, considera-se que essa regi˜ao est´a localizada em um plano virtual tangente

a` superf´ıcie da c´ornea e que, de fato, a regi˜ao delimitada sobre esse plano nada mais ´e do

que uma proje¸c˜ao do quadril´atero da tela do monitor sobre esse plano, sendo O o centro de

proje¸c˜ao. Dessa forma, as proje¸c˜oes de L 1 , L 2 , L 3 e L 4 sobre este plano virtual definem um

quadril´atero de v´ertices V 1 , V 2 , V 3 e V 4 e, al´em disso, o ponto G tamb´em ´e projetado para esse

plano como o ponto V G interno ao quadril´atero V 1 V 2 V 3 V 4 . Uma vez que o plano virtual de

proje¸c˜ao n˜ao existe, os pontos projetados sobre ele s˜ao chamados de proje¸c˜oes virtuais. Como

P pertence `a reta ligando O a V G e a G, a posi¸c˜ao de P est´a relacionada ao ponto G observado.

De fato, se P estivesse localizado na superf´ıcie da c´ornea, P e V G seriam aproximadamente o

mesmo ponto e, para fins de explica¸c˜ao da t´ecnica, vamos considerar esses pontos como sendo

os mesmos.

Quando esses pontos V 1 , V 2 , V 3 , V 4 e P s˜ao capturados pela cˆamera, eles s˜ao novamente

projetados mas, desta vez, para o plano da imagem. Dessa forma temos novos pontos (chama-

remos de U V 1 , U V 2 , U V 3 , U V 4 e U P ) que foram obtidos pela aplica¸c˜ao de duas transforma¸c˜oes

projetivas sobre os pontos L 1 , L 2 , L 3 , L 4 , e G. Uma vez que se considera as proje¸c˜oes virtuais

como pertencentes a um mesmo plano e obtidas por uma transforma¸c˜ao projetiva, ´e poss´ıvel

utilizar uma propriedade invariante do espa¸co projetivo. A t´ecnica proposta por Yoo et al.

[YLC02] [YC05] visa justamente explorar tal invariante para, dados L 1 , L 2 , L 3 e L 4 e U V 1 ,

U V 2 , U V 3 , U V 4 e U P , obter-se o ponto observado sobre a superf´ıcie do monitor.

Calculando as proje¸c˜oes virtuais

Considerando a existˆencia de um plano tangente a` superf´ıcie da c´ornea e o seu centro como o

centro de proje¸c˜ao, sabemos que ´e poss´ıvel estimar o ponto observado pelo usu´ario a partir dos

pontos no plano da imagem correspondentes ao centro da pupila (U P ) e `as proje¸c˜oes virtuais

dos LEDs (U V 1 , U V 2 , U V 3 , U V 4 ). Entretanto, as proje¸c˜oes virtuais dos LEDs consistem em

´

2.4. T ECNICAS ROBUSTAS A MOVIMENTOS DE CABEC¸ A

31

´ 2.4. T ECNICAS ROBUSTAS A MOVIMENTOS DE CABEC¸ A 31 Figura 2.11: proje¸c˜ao dos pontos

Figura 2.11: proje¸c˜ao dos pontos correspondentes aos 4 cantos do monitor sobre o plano virtual tangente a` superf´ıcie da c´ornea e no plano da imagem.

uma informa¸c˜ao que n˜ao se tem dispon´ıvel dada uma imagem do olho. Para resolver esse

problema, as proje¸c˜oes virtuais dos LEDs devem ser computadas. Sejam R 1 , R 2 , R 3 , R 4 e

R C os reflexos gerados sobre a c´ornea pelos 4 LEDs do monitor e pelo LED posicionado no

eixo da cˆamera respectivamente. Como conhecemos as posi¸c˜oes dos reflexos na imagem, que

chamaremos de U R1 , U R2 , U R3 , U R4 e U RC , o que se faz ent˜ao ´e estimar as proje¸c˜oes virtuais

a partir desses pontos.

O c´alculo das proje¸c˜oes virtuais a partir dos reflexos n˜ao ´e simples porque a rela¸c˜ao exis-

tente entre esses pontos ´e um tanto complexa. Felizmente, limitando o espa¸co de movimento

32

´

CAP ITULO 2.

´

˜

T ECNICAS DE ESTIMAC¸ AO DO OLHAR

do usu´ario a uma regi˜ao espec´ıfica ´e poss´ıvel chegar a uma boa aproxima¸c˜ao da rela¸c˜ao exis-

tente entre os reflexos e as proje¸c˜oes virtuais. Tipicamente, segundo os autores da t´ecnica, o

usu´ario est´a sentado a` frente do monitor e olhando diretamente para ele a uma distˆancia de

30-50 cm, e com uma varia¸c˜ao de posi¸c˜ao menor do que 30 cm. Para facilitar a compreens˜ao, o

problema ser´a simplificado para o caso bidimensional (veja figura 2.12). Seja x cam a distˆancia

entre a cˆamera e o centro da c´ornea, R 1 o reflexo gerado sobre a c´ornea pelo LED L 1 , V 1 a

proje¸c˜ao virtual de L 1 sobre o plano tangente `a c´ornea e C o reflexo do LED posicionado no

eixo da cˆamera (que tamb´em ´e a proje¸c˜ao virtual desse LED sobre o plano tangente). Sejam

U R1 , U V 1 e U C as proje¸c˜oes de R 1 , V 1 e C sobre o plano da imagem respectivamente. No plano

da imagem, cuja origem do sistema de coordenada ´e Σ i temos:

U C =

f

tanφ

(2.12)

U R1 = rf cos(θ 1 + φ) fx cam cosφ rsin(θ 1 + φ) x cam sinφ

(2.13)

U V 1 = rf (cosφ tan(θ 1 + θ 2 )sinφ) fx cam cosφ r(sinφ + tan(θ 1 + θ 2 )cosφ) x cam sinφ

onde r ´e o raio da c´ornea, f ´e a distˆancia focal da cˆamera e φ ´e a orienta¸c˜ao da cˆamera

relativa a` c´ornea. θ 1 ´e o ˆangulo entre os pontos C e R 1 , e θ 2 ´e o ˆangulo entre os pontos R 1 e

V 1 . Quando um usu´ario opera o computador, esses dois angulosˆ s˜ao bastante similares porque

a distˆancia entre o monitor e o olho ´e maior que a distˆancia entre a cˆamera e o LED. Dessa

forma, podemos assumir que θ 1 θ 2 . Al´em disso, como a cˆamera respons´avel por capturar as

imagens do olho possui um campo de vis˜ao estreito, φ tem um valor pr´oximo a π/2. Por essas

aproxima¸c˜oes, as equa¸c˜oes 2.12 - 2.14 podem ser simplificadas da seguinte forma:

(2.14)

´

2.4. T ECNICAS ROBUSTAS A MOVIMENTOS DE CABEC¸ A

33

´ 2.4. T ECNICAS ROBUSTAS A MOVIMENTOS DE CABEC¸ A 33 Figura 2.12: rela¸c˜ao entre as

Figura 2.12: rela¸c˜ao entre as proje¸c˜oes virtuais e os reflexos dos LEDs sobre a c´ornea.

U C 0

U R1 rfsinθ 1 rcosθ 1 x cam

U V 1 rf tan2θ 1

r x cam

(2.15)

(2.16)

(2.17)

Essas equa¸c˜oes simplificadas est˜ao em fun¸c˜ao de x cam e θ 1 . Como, para o posicionamento

considerado do usu´ario, θ 1 ´e menor que 10 , ent˜ao a raz˜ao entre U V 1 e U R1 ´e aproximadamente

34

´

CAP ITULO 2.

´

˜

T ECNICAS DE ESTIMAC¸ AO DO OLHAR

2. Assim ´e poss´ıvel obter a seguinte equa¸c˜ao relacionando U V 1 e U R1 : U V 1 = 2U R1 . Contudo,

U C pode estar transladado em rela¸c˜ao ao centro da imagem. Para compensar isso, elimina-

se esse deslocamento pela subtra¸c˜ao de U C de U R1 e U V 1 , como ilustrado na figura 2.13.

Conseq¨uentemente as proje¸c˜oes virtuais podem ser computadas pela seguinte equa¸c˜ao:

U V i = U C + α(U Ri U C )

(2.18)

Onde α ´e uma constante pr´oxima a 2. Este valor pode ser determinado tamb´em por uma

simples calibra¸c˜ao descrita a seguir.

tamb´em por uma simples calibra¸c˜ao descrita a seguir. Figura 2.13: c´alculo das proje¸c˜oes virtuais dos LEDs

Figura 2.13: c´alculo das proje¸c˜oes virtuais dos LEDs a partir dos reflexos sobre a c´ornea.

´

2.4. T ECNICAS ROBUSTAS A MOVIMENTOS DE CABEC¸ A

35

Estimando a dire¸c˜ao do olhar pela raz˜ao cruzada

O ponto observado pelo usu´ario ´e estimado utilizando a raz˜ao cruzada, que ´e uma propriedade

invariante do espa¸co projetivo. Sejam P 1 , P 2 , P 3 e P 4 pontos colineares no espa¸co. A raz˜ao

cruzada entre esses pontos ´e definida pela seguinte equa¸c˜ao:

rc(P 1, P 2, P 3, P 4) = |P |P 1 1 P P 3 2 ||P ||P 2 3 P P 4 4 | |

(2.19)

sendo |P i P j | dado pelo determinante da matriz M , sendo a primeira coluna de M formada

pelas coordenadas de P i e a segunda coluna de M formada pelas coordenadas de P j . A

caracter´ıstica importante dessa raz˜ao ´e que, se a reta que cont´em os quatro pontos sofrer

qualquer transforma¸c˜ao projetiva, a raz˜ao se mant´em invariante [HZ00].

A figura 2.14 ilustra o processo do c´alculo de G utilizando essa raz˜ao. L 1 , L 2 , L 3 e

L 4 correspondem aos LEDs do monitor, G ao ponto observado e E ´e o ponto definido pelo

cruzamento das diagonais do monitor. G x ´e o ponto obtido pelo cruzamento de uma linha

vertical passando por G e a reta L 1 L 2 . J´a G y ´e o ponto obtido pelo cruzamento de uma linha

horizontal passando por G e a reta L 1 L 4 . Os pontos U V 1 , U V 2 , U V 3 e U V 4 s˜ao as proje¸c˜oes

virtuais de L 1 , L 2 , L 3 e L 4 calculadas pelo m´etodo descrito na se¸c˜ao anterior. U P ´e o centro

da pupila e U E ´e o ponto definido pelo encontro das diagonais do quadril´atero U V 1 U V 2 U V 3 U V 4 .

O processo para calcular G ´e dividido em duas partes. Primeiro calcula-se