Você está na página 1de 4

Introduc¸a˜ o ao Processamento de L´ınguas de Sinais

´
Rubia
Denardi
PPGC UFRGS
Porto Alegre - RS, Brasil
rmdenardi@inf.ufrgs.br

Carlos Machado
PPGC UFRGS
Porto Alegre - RS, Brasil
crmoliveira@inf.ufrgs.br

Abstract
Entrada e sa´ıda de informac¸o˜ es em L´ıngua
de Sinais pode ser um valioso recurso para
pessoas surdas. No presente texto damos
uma vis˜ao geral e introdut´oria ao Processamento de L´ınguas de Sinais(PLS),
dando indicac¸o˜ es das origens e evoluc¸a˜ o
da pesquisa nesse campo multidisciplinar
que usa ou desenvolve trabalhos nos campos do Processamento de L´ınguas Naturais, estudos de gestos, Inteligˆencia Artificial, Computac¸a˜ o gr´afica(Vis˜ao computacional, animac¸o˜ es), Lingu´ıstica, Semi´otica
e muitos outros.

1

Introduc¸a˜ o

O Processamento de L´ınguas de Sinais (PLS) est´a
inserido no contexto do Processamento de L´ınguas
Naturais (PLN) e no contexto do estudo de gestos.
Em PLN s˜ao estudados sistemas computacionais
para compreens˜ao e gerac¸a˜ o de l´ınguas naturais
faladas e escritas. No estudo de gestos encontrase uma mir´ıade de esforc¸os e escopos para estudar
os movimentos do corpo, especialmente os usados
para express˜ao e comunicac¸a˜ o.
Diversas pesquisas vˆem sendo desenvolvidas no
intuito de criar sistemas que tornem m´aquinas capazes de comunicar-se atrav´es da linguagem falada. Tais esforc¸os incluem desde o processo de
reconhecimento e interpretac¸a˜ o da linguagem at´e
a s´ıntese de voz.
Este texto, por´em, refere-se ao estudo de
L´ınguas de Sinais utilizadas pelas comunidades
surdas. As l´ınguas por elas utilisadas seguem a
modalidade gestual-visual. Os textos s˜ao escritos
atrav´es de notac¸o˜ es gr´aficas que representam as
partes do corpo envolvidas nos sinais, e a leitura e´

feita atrav´es de gestos, compreendidos pelo surdo,
j´a que sua l´ıngua natural e´ gestual-visual.
Os termos oral-auditivo e gestual-visual denotam a maneira como as l´ınguas s˜ao produzidas e
percebidas. Para as l´ınguas orais utiliza-se o termo
oral-auditivo e para as l´ınguas de sinais, o gestualvisual. Karnopp, em (CAMPOS et al., 1996), cita
que nas l´ınguas de sinais, enquanto o emissor constr´oi uma sentenc¸a a partir desses elementos, o receptor utiliza os olhos ao inv´es dos ouvidos para
entender o que est´a sendo comunicado. Desta
forma, j´a que a informac¸a˜ o ling¨u´ıstica e´ recebida
pelos olhos, os sinais s˜ao constru´ıdos de acordo
com as possibilidades perceptuais do sistema visual humano.
Enquanto na s´ıntese da voz os textos s˜ao transformados em ondas sonoras, no PLS os textos s˜ao
transformados em animac¸o˜ es gesto-visuais.
Para um melhor entendimento ser´a apresentada,
na sec¸a˜ o 2, a estrutura das l´ınguas de sinais e suas
caracter´ısitcas lingu´ısticas. Na sec¸a˜ o 3 s˜ao apresentados algumas ferramentas desenvolvidas, ou
que est˜ao em desenvolvimento, para a aplicac¸a˜ o
em PLS. Essas ferramentas foram desenvolvidas
baseadas no sistema de escrita para l´ıngua de
sinais chamado SignWriting.

2

Estrutura das L´ınguas de Sinais

Foi a partir do ano de 1960 que William
Stokoe, ling¨uista estadunidense, iniciou um estudo sobre L´ınguas de Sinais e constatou que a
mesma satisfazia todos os crit´erios de uma l´ıngua
genu´ına(Stokoe, 1960). Stokoe analisou a estrutura da l´ıngua de forma a entender sua organizac¸a˜ o
e as partes dessa estrutura. Como resultado, ele
observou em relac¸a˜ o a` L´ıngua de Sinais Americana, que os sinais n˜ao eram meras figuras e sim
s´ımbolos abstratos e complexos com uma estru-

a da ordem preferencial das partes do discurso nas frases de cada l´ıngua de sinais. brac¸os. 2004) 3. manual da ASL. A caracterizac˜ao l´exica das l´ınguas de sinais d´a origem aos dicion´arios de l´ınguas de sinais. mas como uma “fam´ılia” de sistemas relacionados (Martin. fazendo com . dependente do significado dentro da palavra.1 Notac¸a˜ o de Stokoe William Stokoe desenvolveu um sitema de escrita de sinais a partir do estudo lingu´ıstico das l´ınguas de sinais. 2004). os sinais s˜ao conjuntos organizados de fonemas. os movimentos das m˜aos e dos dedos. Stokoe representava as partes componentes da ASL usando s´ımbolos. podia demonstrar como estas partes se juntam para dar forma a uma estrutura ling¨u´ıstica idˆentica a` quela da l´ıngua falada. por um grupo de pesquisadores(ouvintes e surdas) como uma ferramenta de pesquisa e sua primeira vers˜ao foi publicamente disponibilizada em 1989. orientac¸o˜ es das m˜aos. 1980). Foi projetado para ser usado em pesquisa de l´ıngu´ıstica computacional e deve ser aplic´avel a qualquer linguagem gestual no mundo (Bentele. 2006) as caracter´ısticas lingu´ısticas das l´ınguas de sinais nos n´ıveis fon´etico. As configurac¸o˜ es das m˜aos. A posic¸a˜ o e s´ımbolos de movimento eram icˆonicos. l´exico e sintagm´atico. que procuram descrever cada sinal individualmente e dar seu significado em termos de express˜oes de uma l´ıngua oral. Figure 1: Exemplos da Notac¸a˜ o de Stokoe 3. Consiste em aproximadamente 200 s´ımbolos cobrindo os parˆametros de formato de m˜ao. Ent˜ao. Costa et al descreve em (Costa et al.2 HamNoSys O HamNoSys foi desenvolvido. A caracterizac¸a˜ o sintagm´atica das l´ınguas de sinais e´ a´ rea ainda a ser muito explorada. nunca foi o uso da comunicac¸a˜ o cotidiana em linguagem gestual. brac¸ais. formato da m˜ao e movimento.tura interna complexa (Battison.3 SignWriting O SignWriting(SW) e´ um sistema de escrita para l´ınguas de sinais que disp˜oem de express˜oes gr´aficas(somando cerca de 25900 s´ımbolos) que descrevem movimentos (manuais. Quanto a` estrutura da l´ıngua. assim como express˜oes faciais(Figura 3)). posic¸a˜ o e movimento conforme Figura 2. Foi o primeiro sistema efetivo de escrita de l´ınguas de sinais (Figura 1). espress˜oes faciais e express˜oes corporais que constituem os sinais de uma l´ıngua de sinais. como por exemplo. Por isso. 2004). esse sistema n˜ao deve ser visto como uma simples notac¸a˜ o. havendo bastante debate sobre quest˜oes. rosto. O n´ıvel fon´etico. a localizac¸a˜ o espacial onde esses movimentos se realizam e os pontos de contatos entre m˜aos e outras partes do corpo caracterizam os fonemas constituintes dos sinais. A notac¸a˜ o original consistiu em 55 s´ımbolos divididos em trˆes grupos: posic¸a˜ o. tronco e pernas que realizam os gestos. nas l´ınguas de sinais. V´arios pesquisadores do mundo todo reforc¸aram o trabalho original de Stokoe e acharam uma nova disciplina de Ling¨uistica de Linguagem Gestual. enquanto o formato da m˜ao foi representado por unidades do sistema n´umerico e alfabeto Figure 2: Exemplos da Notac¸a˜ o HamNoSys (of German Sign Language and of the Deaf. se caracterizam pela articulac¸a˜ o das m˜aos. configurac¸a˜ o de m˜ao. Os s´ımbolos foram escritos numa ordem estrita. 3 Notac¸o˜ es para L´ınguas de Sinais Os textos em l´ıngua de sinais s˜ao produzidos a partir de notac¸o˜ es gr´aficas que representam as partes do corpo envolvidas nos sinais.. ao contr´ario do SignWriting. fonol´ogico. O prop´osito do HamNoSys. 3. as l´ınguas de sinais possuem caracter´ısticas pr´oprias que tamb´em constituem os sistemas(n´ıveis) lingu´ısticos observados nas orais.

0.1 SigML A notac¸a˜ o SigML(Elliott et al.. troca e armazenamento de textos do SW.. SigML e´ uma abreviac¸a˜ o para ”Signing Gesture Markup Language”. Uma referˆencia que exemplifica essa evoluc¸a˜ o pode ser encontrada em (Roald. de modo est´atico. conforme o exemplo abaixo.0"> <category>01</category> <group>04</group> <symbnum>001</symbnum> <variation>01</variation> <fill>01</fill> <rotation>02</rotation> </symb> <symb x="86" y="80" x-flop="0" color="0. Figure 3: Exemplos de s´ımbolos do SignWriting 3. Figure 5: Sinal ”atenc¸a˜ o” em LIBRAS 1 <signbox> <symb x="48" y="31" x-flop="0" color="0.0"> <category>01</category> <group>04</group> <symbnum>001</symbnum> <variation>01</variation> <fill>01</fill> <rotation>02</rotation> </symb> <symb x="42" y="59" x-flop="0" color="0.2 SWML O SWML e´ um padr˜ao XML desenvolvido para suportar o processamento.4. por isso. que se refere ao sinal ”atenc¸a˜ o” (Figura 5). preenchimento e formato. 2002) e (Glauert et al.4. Depois surgiram as notac¸o˜ es computacionais tratando imagens e posteriormente notac¸o˜ es estruturadas que permitem o registro de informac¸o˜ es detalhadas sobre os sinais ou gestos. variac¸a˜ o. SigML suporta tanto os aspectos de representac¸a˜ o dos sinais(gestural SigML) como de representac¸a˜ o das animac¸o˜ es dos avatares desenvolvidos no projeto(signing SigML) A principal aplicac¸a˜ o do SigML e´ ainda nos produtos derivados dos projetos ViSiCAST e eSIGN. 2004) <sigml> <hamgestural_sign gloss="DGS_going-to"> <sign_manual both_hands="true"> <handconfig handshape="finger2" thumbpos="out"/> <handconfig extfidir="uo"/> <handconfig palmor="l"/> <par_motion> <directedmotion direction="o" curve="u"/> <tgt_motion> <changeposture/> <handconfig extfidir="do"/> </tgt_motion> </par_motion> </sign_manual> </hamgestural_sign> </sigml> 3.. assim como sua posic¸a˜ o. apresenta a categoria e grupo a qual pertence cada s´ımbolo. Os textos escritos em SW s˜ao salvos em arquivos de sinais e podem ser convertidos em textos atrav´es do conversor SW/SWML. 2006). Abaixo um exemplo do sinal ”going-to” (”fahre nach”) em L´ıngua Alem˜a de Sinais e a representac¸a˜ o em SigML.0. Figure 4: Exemplo do sinal ”going-to” em DGS (Elliott et al.0"> <category>03</category> <group>02</group> <symbnum>004</symbnum> <variation>01</variation> <fill>01</fill> <rotation>01</rotation> </symb> <symb x="25" y="82" x-flop="0" color="0.. por sua vez.0. representar qualquer l´ıngua de sinais (Sutton.que o sistema possa.0"> <category>02</category> <group>03</group> <symbnum>002</symbnum> <variation>01</variation> <fill>02</fill> <rotation>02</rotation> </symb> <symb x="65" y="61" x-flop="0" color="0.0. 2001) e´ uma Notac¸a˜ o XML desenvolvida para suportar a definic¸a˜ o de sequˆencias em L´ınguas de Sinais. 2004). Foi desenvolvido dentro do aˆ mbito dos projetos ViSiCAST e eSIGN(Glauert.4 Representac¸o˜ es Computacionais para as Notac¸o˜ es As notac¸o˜ es descritas acima foram desenvolvidas por linguistas e foram concebidas para registro em papel.0"> <category>02</category> <group>03</group> <symbnum>002</symbnum> <variation>01</variation> <fill>01</fill> <rotation>02</rotation> </symb> y-flop="0" y-flop="1" y-flop="0" y-flop="1" y-flop="0" . 3. 2004) e baseada no sistema HamNoSys(Prillwitz and et al. 1987).0. rotac¸a˜ o. Um texto SWML.

A.signwriting markup language. Kennaway. An introduction.org. pedag´ogicas de comunicac¸a˜ o com pessoas surdas) e lingu´ısticas(pesquisa em lingu´ıstica computacional nos campos da semˆantica ou pragm´atica). Elliott. Freitas. In III CONGRESO IBEROAMERICANO DE CO´ ALTERNATIVA Y AUMENTATIVA. Sigml de?nition.U.W. Dispon´ıvel em: http: //www. Elliott. 2004. 1996. Sign writing. AISB-2004: Symposium on Language. R Costa. R. 2002. 1987. 2006). Virtual human signing as expressive an. Institute of German Sign Language and Communication of the Deaf. Martin. 2006. Um convite ao processamento de l´ınguas de sinais. 4th International Conference on Language Resources and Evaluation. and B-J Theobald. 2004. Antˆonio Carlos da Rocha COSTA. Dispon´ıvel ´ em: http://www.R. Sistema de representac¸a˜ o interna e externa das l´ınguas de sinais. Dr. Esperamos que hajam bastantes avanc¸os nas quest˜oes t´ecnicas(Interac¸o˜ es com IA. Signs Have Parts: A Simple Idea. 2006. 2005.html. May. P. Sign Language and the Deaf Community. Acessado em jun. psicol´ogicas. and Richard Kennaway. Stumpf. Lisboa.. Acessado em marc¸o. Acessado em marc¸o. of Buffalo. Dispon´ıvel em: http://www. Ultimo acesso em jun.R. Lisboa. O fato de ainda estarmos em processo de maturac¸a˜ o das notac¸o˜ es computacionais que representam os sinais(seja SWML. 2004. Dispon´ıvel em:http://gmc. Desde ent˜ao ele passou a ser considerado e utilizado em diversas iniciativas de desenvolvimento de programas para processamento de textos e dicion´arios de l´ınguas de sinais. 4th International Conference on Language Resources and Evaluation. M´arcia de Borba CAMPOS. Making dictionaries of techinical signs.signwriting. In Oliver Streiter and Antˆonio Carlos da Rocha Costa. J. R. R.0 . and Marianne STUMPF. Prillwitz and et al. J. Swml . About the stokoe system. Sign language structure: An outline of the visual communication systems of the american deaf.R.signwriting.example. J. Acessado em marc¸o. Parsons. Ralph Elliott. C da R Costa. Workshop on the Representation and Processing of Sign Languages. Hamnosys 3. J. problemas e futuro do PLS Os pr´oximos anos reservam muitos desafios para o PLS. – E. J.philos. . M. An overview of the sigml notation and sigmlsigning software system. Dimuro.W. pages 35–51. Susanne Bentele. Ingvild Roald. 2006. Dispon´ıvel em: http:// swml. 2006. and K. References Robbin Battison. HamNoSys. 2004. B. 2004. 2005.sign-lang. 1980. Kennaway.imation. Chile. In International Conference on Assistive Technology ICAT 2002. sociais(considerac¸a˜ o de quest˜oes antropol´ogicas. editors. Dispon´ıvel em: http://www.tche. In Oliver Streiter and Antˆonio Carlos da Rocha Costa. S. Working document. Vis˜ao Computacional.R.br.J.org/ forums/linguistics/ling006.org/forums/ linguistics/ling007. John Glauert. SigML ou outro menos conhecido hoje) ou a escasses de corpora significativos de L´ıngua de Sinais(em qualquer pa´ıs) talvez sejam ind´ıcios dessa defasagem.R. t´ecnicas e algoritmos para tratar a complexidade de problemas de PLS). Buffalo. William Stokoe. C. Valerie Sutton. May. A. uni-hamburg. MUNICACION Vi˜na del Mar.</signbox> O formato SWML teve sua definic¸a˜ o preliminar estabelecida em 2002 (Costa. 4 Conclus˜ao: Desafios.pdf. Visicast: Sign language using virtual humans. Vince Jennings. 2005. 2001. editors. and G. In Proceedings. Workshop on the Representation and Processing of Sign Languages. About the hamnosys system. Glauert.W. Hamburg:Zentrum f¨ur Deutsche Geb¨ardensprache. MD: National Association of the Deaf. A escassez de corpora dificulta a aplicac¸a˜ o de resultados de PLN estat´ıstico para PLS ou mesmo o avanc¸o de PLS estat´ıstico.E. Acessado em jun. dentre outras. 2006.de/Projekte/HamNoSys/ HamNoSysErklaerungen/englisch/ 02ExampleTiring. LREC 2004.ucpel.tche. 1960. Hamburg Notation System for Sign Languages. J.html.br/TIL2004/til-2004. 2006. J. Glauert. 2004.html. NY: Univ.signwriting. Apesar do fato da comunidade de PLS se encontrar num est´agio bastante defasado da PLN uma vez que ainda se desenvolvem as t´ecnicas e algumas teorias estruturantes para o pleno desenvolvimento da a´ rea. ucpel. LREC 2004. ViSiCAST Project. Glauert.U. Speech and Gesture for Expressive Characters.