Jogos de Fala

no Apoio à Aquisição da
Linguagem
pelo
Deficiente Auditivo
Sérgio Sodré Pacheco
Faculdades Integradas de Jacarepaguá

02/01/21
O Estímulo Inicial

14
02/01/21
O Problema Inicial

Estímulo à Emissão
em
Crianças Surdas Muito Jovens

12
02/01/21
Abordagens para Solução

• Ignorar Comunicação Alternativa

• Utilizar Aluno Facilitador
 Estimular a Emissão com Atividade Lúdica

15
02/01/21
Conceitos da Proposta

• Precisamos estimular o uso da fala

• Criança gosta de brincar
• Jogos de computador requerem interação
• O microfone é um dispositivo de entrada
• Joystick, mouse e teclado são indesejáveis
16
02/01/21
A Proposta
Jogos que usam a fala como única fonte de
comandos

17
02/01/21
As Tecnologias

 Agentes (Microsoft)
 Processamento da Fala (IBM)
 Tecnologia de Construção de "Adventures"
 Mundos Virtuais 3D (VRML)

12
02/01/21
Jogos de Fala

12
02/01/21
FÀLA: Uma Ferramenta de
Autoria para Jogos de Fala
Modo de Criação
 Criação de Personagens
Criação dos Cenários com os Objetos e seus Atributos
Criação das Situações (Menus Falados)
Criação das Seqüências de Roteiro
 Criação Regras de Comportamento
 Criação das Bibliotecas de Sons, Cenários e Objetos
Modo Simulação
Aluno interagindo com o jogo propriamente dito
12
02/01/21
Exemplos de Instruções em uma
Seqüência de Roteiro
FALAR: "Olá, como vai?"
FALAR: "Ah Ah Ah", "Gargalhada.wav"
FAZER: Acenar
MOVER: 100,100, 2000
PENSAR: "Como se faz isso?"
APARECER ANIMANDO
ESCONDER
ATRIBUTO: Fome NÃO
ROTEIRO: RoteiroComemorar
MENU: MenuEscolhendoBrinquedo 12
02/01/21
Exemplos de Instruções em uma
Seqüência de Roteiro (Cont.)
* Este comentário pode guardar o nome do Roteiro
OBJETO: Bola MOVER: 100,100, 2000
OBJETO: Porta ATRIBUTO: Estado Aberta
OBJETO: Televisão ATRIBUTO: Canal Desenho
PERSONAGEM: Papagaio MOVER: 100,100, 2000
PERSONAGEM: Papagaio FAZER: Acenar
PERSONAGEM: Papagaio FALAR: "Olá, como vai?"
PERSONAGEM: Papagaio ROTEIRO: RoteiroComemorar
12
02/01/21
Exemplo de Menu Falado
* Este comentário pode guardar o nome do Menu
RoteiroPegaBola = Pega a bola
RoteiroAbrePorta = Abre a porta
RoteiroTocaSino = Toca o sino
RoteiroOpções = O que eu falo?

12
02/01/21
Editores para os Jogos de Fala

 Editor de Personagens
 Editor de Cenários
 Editor de Menus Falados
 Editor de Roteiros usando Assistente
 Editor de Regras de Comportamento
12
02/01/21
Melhorias Previstas para o FÀLA
 Flexibilização do Reconhecimento
 Gramática para Comandos Falados
 Suporte a Eventos (Situações) disparados pelo Profissional
com o Mouse
 Suporte a IPA (Alfabeto Fonético Internacional)
 Mundo Virtual 3D (VRML)
 Simulação de Organismo em Personagens
 Objetos com comportamento pré-definido

12
Sons Selecionados para Avaliação do Desenvolvimento da
Compreensão
02/01/21
Apoio para Aplicação do Método
 Roteiro de Aplicação do Método Perdoncini
apoiado na Ferramenta
 Biblioteca Estruturada de Jogos Prontos
 Orientações para Personalizar Jogos Prontos
 Diretrizes para Criar Novos Jogos
 Seleção de Jogos por uma Matriz da Metodologia
 ...
12
02/01/21
O Projeto FALA

Laboratório de Apoio
à
Aquisição da Fala

12
02/01/21
Equipe Multidisciplinar
• Psicologia
• Pedagogia
• Fonoaudiologia
• Engenharia de Software
• Computação Gráfica
• Inteligência Artificial
19
02/01/21
 Fim

02/01/21
Inteligência Artificial

=>

02/01/21
Neurônio Biológico

02/01/21