ChatterDris Um Chatterbot que expressa emoes

Abstract. This paper presents a chatterbot, bundled with an intelligent tutoring systems (ITS) developed by our research group. The STI has had two three-dimensionally personified pedagogical agents and able to express emotions. This article presents the addition of the ability to talk to agents in natural language and the ability of these agents to demonstrate in their faces, emotions such as sadness, happiness, surprise, indignation, Expectation, Attention and Doubt added quality to the teaching-learning process, promoting closer between the students and pedagogical agents providing an environment similar to an emotionally classroom attendance. Resumo. Este trabalho apresenta um chatterbot, agregado a um Sistema Tutor Inteligente (STI) desenvolvido por um grupo de pesquisa. Este STI j dispunha de dois agentes pedaggicos personificados tridimensionalmente e capazes de expressar emoes como Tristeza, Alegria, Surpresa, Indignao, Expectativa, Ateno e Dvida nas suas feies. Este artigo apresenta a adio da capacidade de conversao em linguagem natural a um dos agentes, a validao do prottipo demonstrou a contribuio ao processo de ensino-aprendizagem, promovendo aproximao entre os estudantes e o agente pedaggico proporcionando um ambiente emocionalmente semelhante a uma sala de aula presencial.

1. Introduo
Este artigo apresenta a adio da capacidade de conversao a um agente

pedaggico existente num Sistema Tutor Inteligente (STI) do projeto de pesquisa de um grupo de professores do departamento de Informtica de uma Universidade, proposto por [Frozza et al. 2007]. O mecanismo inserido no ambiente um rob de conversao, que interage com os usurios do sistema por meio de linguagem natural escrita. A idia principal do chatterbot implementado incrementar as possibilidades de interao com o agente pedaggico DRIS. O agente DRIS [FROZZA 2009] um agente pedaggico que demonstra emoes em resposta s possveis interaes do estudante com o ambiente. O objetivo principal desta pesquisa tornar a interao do estudante com os agentes, similar interao que este teria com um professor que estivesse online, facilitando sua aprendizagem. Os resultados obtidos na etapa de validao da Chatterdris foram animadores. Foram obtidos resultados positivos, atravs dos dados coletados das interaes dos usurios voluntrios da pesquisa no perodo de validao do projeto. O projeto obteve uma taxa razovel de casamento de patterns, encontrando correspondncias em sua base de dados para inmeros dos estmulos causados pelas interaes durante a experincia de uso dos usurios voluntrios da pesquisa. O projeto tambm obteve, de acordo com o questionrio preparado, um alto nvel de satisfao quanto qualidade do prottipo de mecanismo de interao em linguagem natural inserido no ambiente educacional proposto. Este artigo est dividido em 6 sees, aps a introduo a segunda seo apresenta os conceitos sobre chatterbots, softwares reativos capazes de interao em

linguagem natural. A terceira apresenta o agente pedaggico Dris com emoes, o quarto apresenta o desenvolvimento do chatterbot inserido no ambiente STI, tecnologias utilizadas e trechos de interaes. A quinta seo aborda as mtricas utilizadas na validao da implementao e os resultados obtidos a partir dos dados coletados. A ltima seo composta pelas concluses.

2. Chatterbots
O termo chatterbot foi criado por Michel Mauldin em 1994 para descrever os programas de computadores que simulam a conversao humana, numa conferncia de inteligncia artificial (The Twelfth National Conference on Artificial Intelligence) realizada em Seattle, Wahshington. O termo uma juno de bot que uma abreviao de robot, que em ingls significa rob com a palavra chatter, que em ingls significa a pessoa que conversa e o resultado a palavra chatterbot, que significa o rob que conversa [AAAI 1994]. Um chatterbot um programa que procura simular uma conversao, com o objetivo de levar o interlocutor a pensar que est falando com outro ser humano [LEONHARDT 2003a]. Entre os diversos projetos de chatterbots, o projeto AliceBot demonstrou ser um dos mais promissores. O projeto teve incio em 1995 com Dr. Richard S. Wallace, formando hoje uma comunidade de software livre. A tecnologia de AliceBot deu origem a A.L.I.C.E., que um software que tenta simular um ser humano em uma conversao. O software usado para criar o projeto cdigo-livre e disponibilizado gratuitamente em sua pgina institucional, alicebot.org [A.L.I.C.E 2010]. O software A.L.I.C.E (Artificial Linguistic Internet Computer Entity) foi ganhador em trs ocasies (nos anos de 2000, 2001 e 2004) do prmio medalha de bronze no concurso Loebner Prize. Este o concurso mais importante na rea [LOEBNER 2011]. A principal contribuio do projeto AliceBot foi a formalizao de um padro para armazenamento de unidades de conhecimento, que juntas formam a base de conhecimento do software. O padro baseado na tecnologia de AliceBot, utilizado por A.L.I.C.E., para armazenamento de informaes, chamado AIML. Quando inseridos em ambientes de EAD, os chatterbots tendem a trazer maior flexibilidade, pois podem atender aos usurios e alunos com disponibilidades de horrios e ritmos de aprendizagem diferentes, pois este trabalha 24 horas, sete dias por semana [PRIMO 2000]. Alm disso, permitem maior liberdade de expresso, pois o usurio do sistema pode acabar fazendo perguntas que no fariam ao professor em sala de aula [SGANDERLA 2003]. Outro aspecto importante a ser considerado, a interatividade que ocorre de forma natural, entre o aluno e o sistema, o que pode melhorar o processo ensino-aprendizagem, conforme [SGANDERLA 2003] Por outro lado, Primo (2000) destaca um dos pontos negativos dos programas de simulao de conversas: Os programas desse tipo no podem ter desempenho melhor, pois se resumem reatividade, desconsiderando o contedo semntico das palavras. Isto , no possuem verdadeira compreenso do que est sendo discutido. Alm disso, uma das capacidades humanas de difcil representao e simulao o entendimento. O problema que a comunicao humana no se resume a uma relao inexorvel entre inputs e outputs. As representaes da cognio precisam levar em conta o throughput, ou seja, o que ocorre entre o input e output. [PRIMO 2000]

3. Emoes no agente Dris

A Dris [SANTOS 2001] um agente pedaggico inserido em um ambiente educacional (Sistema Tutor Inteligente STI) e a sua principal funo obter informaes sobre as caractersticas (perfil) do estudante e, a partir da interao do mesmo no ambiente, adequar este perfil a fim de orientar e acompanhar o estudante na realizao das atividades, facilitando o processo de aprendizagem. Atualmente, este agente, conta com uma representao em 3D e expressa emoes [FROZZA, 2009]. Durante o processo de interao do estudante com o STI, as emoes que podem ser representadas pelo agente Dris so: Alegria: em momentos que o usurio acerta os exerccios; acessa o sistema; segue a sequncia das pginas. Tristeza: quando o usurio errar os exerccios. Expectativa: nos questionamentos do agente para o estudante. Indignao: no momento que o sistema ficar muito tempo ocioso. Surpresa: quando o agente companheiro aparece, se o estudante desabilitar o agente. Ateno: quando o estudante estiver realizando os exerccios. Dvida: se o estudante pular de pgina; quando o agente interferir com uma pergunta. Segundo [Johnson 1998], agentes inteligentes animados possuem duas vantagens nos ambientes educacionais: aumentam a capacidade de comunicao entre os usurios e o computador e atraem a sua ateno, motivando-os com o uso de gestos, por exemplo.

4. Implementao do projeto ChatterDris

A ChatterDris foi desenvolvida a partir do agente pedaggico existente, Dris [FROZZA, 2009], com a finalidade de fazer com que este agente se comunique usando linguagem natural escrita. O que antes era feito atravs de caixa de dilogos com perguntas j prontas e que o aluno deveria responder escolhendo as opes disponveis, com esta ideia, o aluno, podem interagir com o agente escrevendo as suas perguntas e recebendo como resposta informaes escritas em forma de dilogo. Alm disso, salienta-se que o ChatterDris, tambm possui o mdulo de expresso de emoes, j definido. Para a implementao do projeto, foi selecionado a ferramenta ProgramD que um processador de linguagem natural para utilizao em chatterbots, escrito em Java. O ProgramD utiliza como base de conhecimento arquivos do tipo AIML. O ProgramD foi escolhido por ser compatvel com a tecnologia utilizada no ambiente onde a Dris j existia. A tecnologia do AIML utilizada por vrios projetos e programas estilo chatterbots, como BonoBot [SGANDERLA 2003], Luka [NETO 2003], Elektra [LEONHARDT 2003a], Maera [LEONHARDT 2003b], TuxBOT [TEIXEIRA 2005],

Esteban [FERREIRA; UCHA 2006], Nicole [INOUE; VINCIGUERRA 2009], CyberPotty [ALENCAR; NETTO 2010] e Denise [LINDROTH 1200]. Um arquivo AIML um conjunto de categorias, sendo que, cada categoria deve possuir pelo menos um elemento pattern e um elemento template que, respectivamente, significam a entrada do usurio e a resposta dada pelo chatterbot.. Um dos exemplos mais simples que pode ser explanado a categoria a seguir, onde o elemento pattern est com o dado oi. Caso o usurio entrar com a palavra oi o chatterbot responder o contedo do elemento template, no caso: Oi! Tudo bem?.
<category> <pattern>OI</pattern> <template>Oi! Tudo bem?</template> </category>

Tomando como base o exemplo dado, possvel demonstrar o uso da recursividade entre as categorias. Na Tabela 1 vamos estender o arquivo hipottico de saudaes, pois nem sempre o usurio entrar com a saudao oi no sistema.
Tabela 1: Exemplo AIML
<category> <pattern>OI</pattern> <template>Oi! Tudo bem?</template> </category> <category> <pattern>OL</pattern> <template><srai>OI</srai></template> </category> <category> <pattern>OI BELEZA</pattern> <template><srai>OI</srai></template> </category> <category> <pattern>OI COMO VAI</pattern> <template><srai>OI</srai></template> </category>

Neste exemplo, qualquer uma das saudaes: ol, oi beleza e oi como vai chamam a resposta da categoria oi. Se a entrada do usurio for qualquer uma presente nestas categorias, a resposta do bot sempre ser a mesma. A Tabela 2 mostra algumas interaes do ChatterDris, levando-se em considerao, a expresso das emoes alm da conversao com o aluno. A interao da ChatterDris com o aluno, ocorre a partir de perguntas numa caixa de texto que aparece imediatamente abaixo da mesma. O dilogo da ChatterDris com o aluno, evolui a medida que, o mesmo sente necessidade de questionar sobre o contedo que est sendo estudado, tentando entender melhor o contedo, facilitando seu processo de aprendizagem.

Tabela 2: Exemplos de Interao Chatterbot e usurio

Figura 8: Dris com o mecanismo Chatterbot implementado

Figura 9: Dris demonstrando alegria ao usurio

Figura 10: Dris demonstrando ateno ao usurio

Figura 21: Dris demonstrando expectativa ao usurio

5. O processo de validao da ChatterDris

Para validar o mecanismo de conversao inserido no agente pedaggico Dris, agora o ChatterDris, que est inserido no ambiente de aprendizagem, foi disponibilizado um prottipo do mesmo, fornecendo uma espcie de teste de usurio final, aos voluntrios da pesquisa (alunas formandas do curso de Pedagogia). A finalidade desta validao foi avaliar os dados coletados atravs das interaes com os alunos, a fim de obter subsdios para as mtricas de validaes propostas. As mtricas para a avaliao do ChatterDris, foram baseadas no trabalho de [SHAWAR 2007], que aborda o uso de mtricas diferentes das utilizadas no Concurso Loebner, que avaliam o chatterbot no contexto do jogo da imitao. Para esse projeto, preferiu-se adotar mtricas que avaliassem a satisfao dos usurios do sistema em um contexto educacional assim como feito no projeto do FAQChat [SHAWAR 2007]. Porm, como nas regras de Loebner Prize foi adotado um tempo limite de interao, fixado em 25 minutos, procurando padronizar o tempo de exposio ao mecanismo, que o tempo utilizado no Leobner Prize. Foram adotadas quatro mtricas de avaliao para a ChatterDris: 1. Eficincia do dilogo. 2. Qualidade do dilogo. 3. Satisfao dos usurios com base em um questionrio especialmente preparado para a avaliao.

4. Avaliao em forma de um pedido informal para comentrios. A partir disso, nas subsees a seguir so detalhadas estas mtricas, relacionando com os resultados da validao. 5.1. Eficincia do Dilogo Esta mtrica ilustra a quantidade de perguntas respondidas aos usurios do sistema. No leva em considerao se as respostas dadas pelo chatterbot so ou no coerentes com as perguntas feitas pelos usurios. Conforme a Tabela 3, a partir dos dados coletados, percebeu-se que a taxa de respostas, coerentes ou no, manteve-se acima de 57%, chegando a uma eficincia de mais de 92%. A mdia de respostas dadas para os usurios ficou em 73,57%, o que significa que o programa chatterbot, respondeu aos estmulos causados pelos usurios em praticamente 3/4 das interaes.
Tabela 3. Dados relacionados ao tipo de correspondncia Usurios Atmica Usurio1 Usurio2 Usurio3 Usurio4 Usurio5 Usurio6 Usurio7 Usurio8 Usurio9 Usurio10 TOTAL 10 1 3 3 7 10 8 2 5 5 54 Tipo de Correspondncia Reduo Simblica Sem Correspondncia 7 8 4 3 1 2 7 5 5 4 8 6 4 1 5 1 3 6 5 1 49 37 Taxa de Correspondncia 68% 62,50% 66,67% 66,67% 75% 75% 92,31% 87,50% 57,14% 90,91% 73,57%

5.2. Qualidade do Dilogo A fim de medir e avaliar a qualidade de cada resposta, as respostas foram categorizadas de acordo com uma mtrica humana de razoabilidade. As respostas da ChatterDris aos estmulos efetuados pelos usurios foram, armazenadas e posteriormente classificadas, por um profissional da rea de lnguas, de acordo com os trs tipos: razovel; estranha, mas compreensvel; sem sentido ou absurda. As perguntas e as respostas resultantes das interaes dos voluntrios da pesquisa foram disponibilizadas a um professor de lngua portuguesa, que assinalou cada resposta de acordo com as classes previstas na mtrica. O nmero de frequncia de cada tipo de respostas foi estimado e, os resultados so apresentados na tabela 4, que contm o nmero de respostas encontradas nos dilogos dos voluntrios da pesquisa para cada uma das categorias propostas.

Tabela 4. Dados relativos qualidade do dilogo Voluntrio Razovel Usurio1 Usurio2 Usurio3 Usurio4 Usurio5 Usurio6 Usurio7 Usurio8 Usurio9 Usurio10 TOTAL 11 2 3 4 6 5 4 4 2 3 44 Tipo de Razoabilidade Estranha, mas compreensvel Sem sentido ou absurda 4 3 1 6 5 7 1 3 3 2 35 10 3 2 5 4 4 8 1 9 6 59 Mdia de Respostas Razoveis 44% 25% 50% 26,67% 40% 21,74% 30,77% 50% 14,29% 27,27% 31,88%

Para o nosso avaliador as respostas do tipo Sem sentido e ou absurda somadas s respostas do tipo Estranha, mas compreensveis foram mais frequentes que as respostas categorizadas como Razovel. Apesar dos chatterbots darem respostas razoveis em todos os dilogos, houve casos onde a frequncia deste tipo de resposta no chegou a 15%. Esse resultado significa que num cenrio onde o aluno tenha feito 20 perguntas ao chatterbot, ele respondeu de maneira razovel em menos de 3 interaes apenas. Em contrapartida, tambm foram observados alguns bons resultados considerando os mecanismos de interao em linguagem natural que chegaram a um ndice de 50% de respostas consideradas razoveis pelo nosso profissional de lnguas. 5.3. Satisfao do usurio com base nos questionrios As perguntas formuladas para a fase de avaliao da satisfao do usurio foram baseadas nos trabalhos de [PESSOA 2008] e [BATISTA 2004]. Foi mensurado o nvel de satisfao dos voluntrios da pesquisa com relao ChatterDris atravs do questionrio por eles preenchido aps a etapa de testes do sistema. A escala aqui 1 para pouco satisfeito e 5 para muito satisfeito.
Tabela 5. Dados relacionados satisfao dos usurios Pergunta 1 Avaliao1 Avaliao2 Avaliao3 Avaliao4 Avaliao5 Avaliao6 Avaliao7 Avaliao8 Avaliao9 Avaliao10 TOTAL MDIA 4 5 5 4 4 5 4 5 5 4 45 4,5 Pergunta 2 4 4 4 5 4 5 4 5 5 4 44 4,4 Pergunta 3 5 3 2 3 3 5 4 5 5 4 39 3,9 Pergunta 4 5 5 4 5 4 5 4 5 5 4 46 4,6 Pergunta 5 5 4 3 4 4 5 4 5 5 4 43 4,5 Mdia 4,6 4,2 3,6 4,2 3,8 5 4 5 5 4 43,4 4,34

Na Tabela 5, possvel perceber que, o mecanismo de interao a partir de linguagem natural, chatterbot, ficou acima da mdia (3 pontos) alcanando uma mdia geral de 4,34 pontos, na escala proposta de 1 a 5 pontos. De maneira geral, todos os voluntrios da pesquisa consideraram suas experincias com um nvel de satisfao mdio ou maior para todos os pontos abordados no questionrio. A menor nota atribuda foi observada na pergunta 3, que obteve qualificao de grau 2 pelo voluntrio da pesquisa Usurio 3. A partir destes dados, foi possvel perceber que, o prottipo foi avaliado positivamente pelos usurios voluntrios da pesquisa nas questes preparadas para a validao qualitativa da ChatterDris. 5.4. Satisfao do usurio com base nas observaes informais A mtrica de avaliao atravs de um pedido informal para comentrios, no trouxe contribuies significativas, pois no foi uma questo obrigatria a ser respondida pelos voluntrios. Considerando a avaliao geral do ChatterDris, ainda foi possvel identificar que houve boa sincronizao entre o dilogo mantido com os usurios e as emoes que este expressou. No entanto, o ponto em que o prottipo ChatterDris apresentou maiores dificuldades foi relacionada com a qualidade de suas respostas aos estmulos dos usurios voluntrios da pesquisa que, por vezes, no foram coerentes com a pergunta ou no foram razoveis com o tema da pergunta ou assunto discutido.

5. Concluses
O principal objetivo deste trabalho foi agregar mais um mecanismo que possa colaborar positivamente no processo de ensino-aprendizagem. Auxiliando o aluno em sua jornada focada no aprendizado, procurando agregar uma ferramenta moderna, interessante e com grande potencialidade para o seu auxlio. Alm disso, foi possvel contribuir de forma significativa para o grupo de pesquisa Sistemas Computacionais de Apoio Educao agregando novas funcionalidades ao agente pedaggico que est inserido no ambiente educacional. Os resultados alcanados com o projeto demonstram que os prprios usurios que foram voluntrios na utilizao do ChatterDris, consideram importante a presena de um mecanismo para tratamento e interao em linguagem natural e notou-se que, de um modo geral, todos os voluntrios avaliaram positivamente o agente.

Referncias
AAAI. Association for the Advancement of Artificial Intelligence. In: TheTwelfth National Conference on Artificial Intelligence. Disponvel em: <http://www.aaai.org/Conferences/AAAI/aaai94.php>. Outubro de 2010. A.L.I.C.E. Artificial Intelligence Foundation. Apresenta a documentao de apoio para a criao de projetos baseados na tecnologia ALICE. Disponvel em: <http://www.alicebot.org/documentation/>. Setembro de 2010. ALENCAR, M. A dos S.; NETTO, J. F. de M. CyberPoty: Um Chatterbot 3D para Interao com Usurios de um Portal de Educao a Distncia. Departamento de Cincia da

Computao Universidade Federal do Amazonas (UFAM) e Escola de Educao a Distncia do CETAM (CETAM EAD) Centro de Educao Tecnolgica do Amazonas (CETAM), 2010. BATISTA, Slvia C. F. et. al. Avaliar Preciso: o caso de softwares educacionais para Matemtica no Ensino Mdio .In: I WORKCOMP-SUL, Florianpolis SC, 2004. DICIONRIO PRIBERAM DA LNGUA PORTUGUESA. Dicionrio On-line Priberam da Lngua Portuguesa. Disponvel em: <http://www.priberam.pt/dlpo/> Acesso em: 25 de out. de 2010. FERREIRA, L. P.; UCHA, J. Q. Desenvolvimento de um chatbot para auxiliar o ensino de Espanhol como Lngua Estrangeira. Revista Bazar: Software e Conhecimento Livres, Maro de 2006. N 1, 21-32. FROZZA, et al. Dris 3D: Agente Pedaggico baseado em Emoes. In: XX SBIE Simpsio Brasileiro de Informtica na Educao de 2009. INOUE, P. N.; VINCIGUERRA D. Chatterbot para Auxiliar no Aprendizado de uma Linguagem de Programao. Faculdade Anhanguera de Indaiatuba. Anurio da Produo Cientfica Discente Vol. XII, N. 13, Ano 2009. KNZEL, Michael F.. Desenvolvimento de um Agente Companheiro para um Ambiente Virtual de Aprendizagem. Curso de Cincia da Computao. Universidade de Santa Cruz do Sul (UNISC), 2010. LEONHARDT, Michelle D. et. al. ELEKTRA: Um Chatterbot para Uso em Ambiente Educacional. Novas Tecnologias na Educao CINTED-UFRGS, 2003a. LEONHARDT, Michelle D. et. al. MEARA: Um Chatterbot Temtico para Uso em Ambiente Educacional. XIV Simpsio Brasileiro de Informtica na Educao NCE - IM / UFRJ 2003b. NETO, Angelo F. et al. Chatterbot em AIML para o Curso de Cincia da Computao. Curso de Cincia da Computao Centro de Cincias Tecnolgicas da Terra e do Mar. Universidade do Vale do Itaja (UNIVALI), Itaja, 2003. PESSOA, Gerisval Alves. Avaliao de Satisfao do Cliente. Faculdade Atenas Maranhense FAMA, 2008. Disponvel em: <http://pt.scribd.com/doc/6140826/Avaliacao-da-Satisfacaodos-Clientes> Junho de 2011. PRIMO, Alex F. T. et. al. O uso de chatterbots na educao a distncia LEC/UFRGS Projeto: Rede Telemtica para Formao de Educadores MEC/OEA. Porto Alegre, 2000. SHAWAR, B. A., ATWELL, E. Different measurements metrics to evaluate a chatbot system. In: Bridging the Gap: Academic and Industrial Research in Dialog Technologies Workshop Proceedings. NAACL-HLT, Rochester, NY, abril de 2007. SGANDERLA, Rachele B. et. al. BonoBOT: Um Chatterbot para Interao com Usurios em um Sistema Tutor Inteligente. In: XIV Simpsio Brasileiro de Informtica na Educao NCE - IM/UFRJ 2003. TEIXEIRA, Srgio et. al. Chatterbots em ambientes de aprendizagem uma proposta para a construo de bases de conhecimento. In: XI Workshop de Informtica na Escola - WIE 2005. WALLACE, Richard S. AIML Overview. Disponvel em: <http://www.pandorabots.com/pandora/pics/wallaceaimltutorial.html>. Setembro de 2010.