Você está na página 1de 32

Universidade Federal de Minas Gerais Instituto de Cincias Exatas Departamento de Cincia da Computao

RAQUEL LARA DOS SANTOS

MONOGRAFIA DE PROJETO ORIENTADO EM COMPUTAO II

MTODOS DE AVALIAO DE SISTEMAS INTERATIVOS BASEADOS EM ENGENHARIA SEMITICA

Belo Horizonte  MG 2008/2o semestre

Universidade Federal de Minas Gerais Instituto de Cincias Exatas Departamento de Cincia da Computao

MTODOS DE AVALIAO DE SISTEMAS INTERATIVOS BASEADOS EM ENGENHARIA SEMITICA


por RAQUEL LARA DOS SANTOS Monograa de Projeto Orientado em Computao II

Apresentado como requisito da disciplina de Pro jeto Orientado em Computao II do Curso de Bacharelado em Cincia da Computao da UFMG

Prof. Dr. Raquel Oliveira Prates Orientadora

Belo Horizonte  MG 2008/2o semestre

A Deus, aos professores, aos colegas de curso e aos meus familiares, dedico este trabalho.

Agradecimentos
Agradeo a Deus por ser um Pai Providente. Agradeo aos meus pais, pelo amor incondicional. A professora Raquel Prates por ser mestre, amiga e orientadora. E nalmente aos colegas de curso pela convivncia e trocas de experincias.

ii

Sumrio

Lista de Figuras. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Lista de Tabelas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vi Lista de Siglas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vii Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viii Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ix 1 INTRODUO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10


1.1 1.2 Viso geral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 Objetivo, justicativa e motivao . . . . . . . . . . . . . . . . . . . . . . . . . 11

2 REFERENCIAL TERICO. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.1 2.2 2.3 Engenharia semitica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 MAC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 Manas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3 METODOLOGIA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.1 3.2 3.3 3.3.1 3.3.2 Tipo de Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 Etapas anteriores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 Procedimentos metodolgicos . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 Etapa Manas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 Etapa MAC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

iii

4 RESULTADOS E DISCUSSO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
4.1 4.1.1 4.1.2 4.2 Resultados Manas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 Problemas encontrados com a Manas . . . . . . . . . . . . . . . . . . . . . . 23 Apreciao da Manas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 Resultados MAC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

5 CONCLUSES E TRABALHOS FUTUROS . . . . . . . . . . . . . . . . . . . . . . . . . 29 Referncias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

iv

Lista de Figuras

Figura 1

Interao entre usurio e sistema

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

Figura 2

Metamensagem: comunicao projetista-usurio

. . . . . . . . . . . . . . . . . . . . . . 14

Figura 3

Tipo de pesquisa (adaptado de Jung, 2004).

. . . . . . . . . . . . . . . . . . . . . . . . . . 17

Lista de Tabelas

Tabela 1

Classicao de etiquetas em relao ao tipo de falhas

. . . . . . . . . . . . . . . . 15

Tabela 2

As falas levantadas no sistema Orkut

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

Tabela 3

Modelagem da fala de criar uma comunidade

. . . . . . . . . . . . . . . . . . . . . . . . . 20

vi

Lista de Siglas
MAC EngSem IHC MIS MoLIC Mtodo de Avaliao de Comunicabilidade Engenharia Semitica Interao Humano-Computador Mtodo de Inspeo Semitica Modeling Language for Interaction as Conversation

vii

Resumo
O presente trabalho tem como objetivo avaliar a aplicao do mtodo de avaliao do Mtodo de Avaliao de Comunicabilidade (MAC) e da ferramenta Manas em diferentes contextos dos originalmente previstos. Esta avaliao relevante uma vez que os mtodos so baseados na teoria da Engenharia Semitica (EngSem), e ainda apresentam algumas questes sobre sua aplicao em aberto.Para tanto, foi realizado um estudo da EngSem, dos mtodos de avaliao e dos modelos para projetos baseados nessa teoria. Para o MAC foi proposta uma nova abordagem que investiga se depois de executados os testes com usurios, esses conseguem fazer a etapa de etiquetagem, etapa originalmente feita pelo avaliador, identicando os problemas de rupturas de comunicao na interface do sistema. J para a Manas, proposta para apoiar projetos de sistemas colaborativos, foi proposta uma apreciao dos seus potenciais e limites no contexto de avaliao se sistemas colaborativos.

Palavras-chave: Engenharia Semitica, comunicabilidade, etiquetagem, Manas, Mtodos de Avaliao de Comunicabilidade, sistemas colaborativos.

viii

Abstract
The main goal of this work is to assess aspects of the evaluation method MAC (Mtodo de Avaliao de Comunicabilidade) and the model Manas, based on Semiotic Engineering Theory. To that end, a study was conducted of Semiotic Engineering, of evaluation methods and models for projects based on that theory. For MAC was proposed an investigation to assess whether users could tag themselves (in retrospective) the communicative breakdowns that took place during user-system interaction. For Manas was proposed an assessment of its potential and limits as an evaluation tool of collaborative systems. Semiotic Engineering, Manas, evaluation methods of communications, collaborative systems.

Keywords:

ix

10

INTRODUO

1.1 Viso geral


A Teoria da Engenharia Semitica uma teoria explicativa de Interao HumanoComputador

(IHC) que permite entender os fenmenos envolvidos no

design

, uso e avali-

ao de um sistema interativo(1, 2). Para tanto, dene o conceito de comunicabilidade, que a capacidade do projetista de uma interface transmitir aos usurios, atravs do sistema, a utilidade do sistema, a quem ele se destina, quais as vantagens de utiliz-lo, o seu funcionamento e quais as possibilidades de interao com ele. Outro conceito de relevncia para este trabalho o de interao, dado pelo (3), que consiste em um processo de comunicao entre usurio e sistema. O usurio entra em contato com a interface do sistema para disparar aes desejadas e recebe os resultados destas aes, que ele interpreta para em seguida denir sua prxima ao. A gura 1 esquematiza esse conceito:

Figura 1: Interao entre usurio e sistema

11

Assim, podemos perceber que, se o sistema no transmite com ecincia e eccia as decises do projetista o usurio pode vivenciar uma ruptura na comunicao que diculta ou at mesmo impossibilita o uso do sistema. Esclarece-se ento, a importncia de se avaliar a qualidade de uso de um sistema dada pela sua comunicabilidade. O
dade Mtodo de Inspeo Semitica

(MIS) e

Mtodo de Avaliao de Comunicabili-

(MAC) (4) so dois mtodos para avaliar a comunicabilidade de uma interface. O

MIS envolve uma inspeo feita por um especialista que percorre a interface em busca de potenciais rupturas de comunicao, j o MAC envolve a observao de usurios por um especialista em um ambiente controlado. Alm dos mtodos de avaliao propostos, acredita-se que alguns modelos fundamentados na EngSem propostos para o projeto de sistemas tambm podem ser utilizados para avaliao. Este o caso do Manas (5), um modelo que permite aos projetistas modelar a comunicao entre usurios de sistemas colaborativos, e com base nesta modelagem apresenta uma anlise de potenciais impactos sociais que podem ocorrer. E, tambm a
Modeling Language for Interaction as Conversation

(MoLIC)(6) que representa a intera-

o de usurio-computador atravs de conjuntos de possveis conversas dos usurios com o sistema para atingir seus objetivos.

1.2 Objetivo, justicativa e motivao


Este trabalho prope um projeto para avaliar alguns aspectos do mtodo MAC e da ferramenta de modelagem Manas, ambos baseados na EngSem. No caso do MAC, investigar se depois de executados os testes com os usurios, esses mesmos conseguem identicar os problemas de rupturas de comunicao na interface do sistema. Em outras palavras, se os usurios conseguem executar o primeiro passo da anlise do seu prprio teste - a etiquetagem. E, no caso da Manas, o objetivo fazer uma apreciao dos seus potenciais e limites como ferramenta de avaliao de sistemas colaborativos. A escolha de investigar o MAC justica-se pelo fato de que na etapa de etiquetagem, o avaliador pe palavras na boca do usurio. Assim, seria interessante vericar se o prprio usurio seria capaz de identicar (a posteriori) o problema. Isso evitaria ambigidades na etiquetagem. Alm de potencialmente ser melhor explorada a vantagem de envolver usurios na avaliao. Observou-se tambm que a Manas retorna para projetistas pontos potencialmente problemticos durante a fase de projeto de interfaces de sistemas colaborativos, sendo as-

12

sim ele poderia ser aplicado para permitir a avaliao destes sistemas. Neste caso, a principal motivao o fato da Manas dar um retorno sobre o impacto social - o que um ponto fundamental para sistemas colaborativos (7). Atualmente isto s possvel de se identicar atravs da observao do sistema em contextos reais ou entrevistas. Outra motivao foi a escassez de mtodos que fossem desenhados para avaliar ambientes colaborativos como: Orkut (8), GoogleGroups (9), GoogleDocs (10) e YahooGroups (11)) que so muito populares entre os usurios da Internet.

13

REFERENCIAL TERICO

2.1 Engenharia semitica


A Engenharia Semitica (1, 2) caracteriza a interao usurio-sistema como um fenmeno da comunicao, no qual o projetista envia mensagens ao usurio a cerca de como ele deve interagir com o sistema projetado atravs da prpria interface. Um conceito importante na EngSem o de artefato intelectual que o produto resultante da interpretao de um projetista sobre um problema e sua soluo. Um artefato intelectual tem as seguintes caractersticas:

Codica uma interpretao de uma situao; Codica um conjunto de solues para essa determinada situao; Caracteriza a codicao como um sistema de smbolos que possa ser interpretado
por regras semnticas, ou seja, uma codicao lingustica;

Possibilita o entendimento do usurio acerca dessa codicao e como ela pode ser
utilizada para explorar as solues disponibilizadas nesse artefato. Sendo assim, um sistema interativo um artefato intelectual e tem as particularidades de ser descrito em uma linguagem articial processada por um computador, ter uma linguagem de interface nica pela qual o usurio interage e ser um artefato de meta-comunicao. Meta-comunicao porque a mensagem contida na interface refere-se a prpria comunicao da viso do projetista sobre a interpretao sobre quem o usurio, o que ele quer ou precisa fazer, de que formas prefere faz-lo e por qu. A gura 2 ilustra essa comunicao projetista-usurio. A interface representa o projetista (P) na interao usurio-sistema, e considerada preposto da sua comunicao com o usurio (U).

14

Figura 2: Metamensagem: comunicao projetista-usurio A EngSem tambm oferece aos projetistas ferramentas epistmicas, ou seja, ferramentas que possibilitam o levantamento de questes, reexo sobre as diferentes solues e possveis problemas que podem ocorrer durante a interao do usurio com a interface.

2.2 MAC
O MAC (1, 2, 4) um mtodo baseado na EngSem que envolve usurios na avaliao. O usurio executa tarefas em um ambiente controlado e depois um avaliador identica os problemas de comunicabilidade baseado na interao desse usurio durante a execuo do teste. Essa etapa de anlise dos dados coletados divida em trs fases: 1.

Etiquetagem:

O avaliador grava toda a interao do usurio com a interface e

depois analisa o vdeo em busca de rupturas de comunicao que correspondam a pontos na interface em que o usurio no entendeu a meta-mensagem feita pelo projetista da interface. As rupturas so classicadas em uma de treze possveis expresses da linguagem natural. Na tabela 1 temos todas as etiquetas do MAC categorizadas pelo tipo de falha que representam. 2.

Interpretao da etiquetagem:

Classicao dos tipos de falhas encontradas na

interface avaliada, freqncia e contexto em que ocorreram as expresses na fase da etiquetagem e por m identicao dos problemas da meta-comunicao.

15

Tipo de Falha Aspecto Semitico Caracterstica Especca


Completas Parciais

Semiose interrompida temporariamente

Usurio percebe Usurio no percebe Usurio entende soluo proposta Usurio no entende soluo proposta No encontra expresso apropriada para sua inteno No percebe/entende expresso preposto No consegue formular sua inteno "Dito" no contexto errado Expresso utilizada errada Vrios passos da comunicao no chegaram ao resultado desejado. Atravs de metacomunicao implcita Atravs de metacom. explcita Atravs de repetidos testes de hipteses sobre signif. da comunicao

Desisto. Para mim est bom. . . No, obrigado. Vai de outro jeito. Cad? U o que houve? E agora? Onde estou? Epa! Assim no d.

Expresso

Temporrias

Usurio percebe ato comunicativo no foi bem sucedido

O que isso? Socorro! Por que no funciona?

Usurio tenta esclarecer ato comunicativo

Tabela 1: Classicao de etiquetas em relao ao tipo de falhas

3.

Gerao do perl semitico:

Reconstruo da meta-comunicao percebida pelo

usurio contrastando com a pretendida pelo projetista.

2.3 Manas
O modelo Manas proposto em (5) uma ferramenta epistmica de apoio ao design de sistemas colaborativos. Fornece aos projetistas
feedbacks

qualitativos a cerca dos

possveis efeitos sociais que os usurios podem enfrentar ao utilizar um sistema para se comunicar com outros usurios. Dessa forma, a Manas leva o designer a reetir sobre potenciais efeitos sociais do seu modelo, alterando-o para evitar aqueles que sejam indesejveis. Para tanto o Manas oferece os seguintes componentes:

16

1. linguagem de design: Composta de unidades e estruturas descritivas do projeto usurio-sistema-usurio para a elaborao das falas que o sistema permite enunciar. Composta de uma parte lxica, sinttica e samntica dessas falas. 2. interpretador: Capaz de receber um projeto feito na linguagem de design e gerar a partir dele um entre usurios. 3. base de conhecimento: Contm a lgica de design, juntamente com os feedbacks dos projetistas que so convidados a reetir sobre o impacto das suas decises sobre a interface. Sendo assim podem registrar a sua lgica de design raticando ou justicando as suas propostas de solues.
feedback

qualitativo os possveis impactos sociais na comunicao

17

METODOLOGIA

3.1 Tipo de Pesquisa


Conforme (12) tem-se que a presente pesquisa de natureza bsica, com objetivos de carter exploratrio, utilizando procedimentos de testes com usurios e avaliadores, conforme ilustra a gura 3.

Figura 3: Tipo de pesquisa (adaptado de Jung, 2004). Trata-se de pesquisa bsica por envolver avaliao dos mtodos baseados na teoria, e cujos resultados podem oferecer indicadores tanto sobre os prprios mtodos, quanto teoria. exploratria porque a aplicabilidade dos mtodos esto sendo avaliadas atravs de estudos de caso. O conhecimento sobre os resultados dos testes correlacionado teoria da EngSem e seus mtodos de avaliao de interfaces de fundamental importncia para a evoluo da EngSem, visando qualidade e a inovao. O trabalho tem objetivos de

18

carter exploratrio por ter buscado, a partir dos testes realizados, desenvolver a teoria da Engenharia Semitica explorando seu uso na avaliao de interfaces interativas.

3.2 Etapas anteriores


Conforme foi apresentado no Projeto orientado em computao I, j foram cumpridas as seguintes etapas: 1. Estudo de material obtido na literatura sobre EngSem, MAC, MIS, MoLIC e Manas (1, 4, 5). 2. Preparao dos artefatos para o teste com o MAC. 3. Levantamento das falas do Orkut. 4. Incio da modelagem dessas falas com a linguagem de modelagem da Manas. A seguir as etapas contempladas no Projeto orientado em computao II para a realizao desse trabalho.

3.3 Procedimentos metodolgicos


O trabalho foi realizado em duas etapas, sendo a primeira referente a ferramenta de modelagem Manas e a outra referente ao MAC.
3.3.1 Etapa Manas

Foi nalizada a modelagem das falas 1 do sistema Orkut. Todas as 14 falas foram modeladas e tiveram seus da autora desse trabalho. O primeiro passo para a modelagem utilizando a linguagem da Manas estabelecer os interlocutores, isto os falantes e ouvintes das falas. Sendo o falante a classe de usurios que enuncia a fala e o ouvinte a classe de usurios que ouvem essa fala. Denidos os interlocutores, os avaliadores continuaram o processo de re-engenharia do Orkut descrevendo as falas atravs dos sub-elementos comunicativos da fala:
1A
fala um ato individual de comunicao, feita pelo interlocutor que a enuncia.

feedbacks

contextualizados e analisados. Essa etapa foi feita

com a ajuda de outros dois avaliadores iniciantes que cursavam a disciplina de IHC, alm

19

falante:

representa o interlocutor que enuncia a fala. o objetivo principal que esse falante pretende alcanar com essa fala.

propsito: tpico:

trata do assunto da fala e o contedo o seu contedo propriamente dito. so os interlocutores a quem a fala dirigida. os interlocutores a quem a fala no est dirigida.

ouvintes endereados:

ouvintes no-endereados:

Cada sub-elemento comunicativo especicado atravs dos seguintes atributos:

representao explcita: escopo:

tem o valor sim se o sub-elemento representado atravs

de um signo na interface, e no, caso contrrio.

trata dos possveis valores que o sub-elemento pode assumir. indica se o preposto ou o prprio usurio dene o valor

determinador do valor:
representado no escopo.

valor obrigatrio:
obrigatria.

se a especicao do valor do sub-elemento comunicativo

valor padro:

se existe um valor padro sugerido pelo sistema. o nvel de processamento que o sistema realiza sobre

nvel de processamento:

o valor do sub-elemento comunicativo. Pode ser bsico, quando o sistema apenas exibe o contedo, intermedirio, quando o sistema permite aos usurios recuperar, ltrar a informao pelo seu contedo, ou inferencial quando o sistema desencadeia raciocnios, processos e aes. A modelagem focou a parte de comunidades, recados e mensagens do sistema. A tabela 2 apresenta todas as falas modeladas. Na tabela 3, temos um exemplo de como feita a modelagem de uma fala com a linguagem da Manas. A partir da modelagem, a Manas fornece ao projetista um interpretador capaz de gerar um feedback qualitativo sobre os possveis impactos sociais da comunicao entre usurios no sistema. Aps esse passo, foi realizada uma contextualizao de cada feedback dado pela Manas e assim foram levantados os problemas encontrados com a aplicao da Manas como mtodo de avaliao. Na seo Resultados e discusso sero apresentados os principais problemas encontrados no Orkut e no mtodo utilizado nessa avaliao.

20

Funcionalidade
Recado Mensagem Comunidade

Enviar recado Responder recado Enviar mensagem Responder mensagem Encaminhar mensagem Criar comunidade Convidar amigo para entrar na comunidade Pedido para entrar em uma comunidade Criar tpico Responder tpico Criar enquete Votar em enquete Postar comentrio em enquete Criar evento

Fala

Tabela 2: As falas levantadas no sistema Orkut

Repres. Explcita Escopo Deter. do Valor Valor Obrigatrio Valor Padro Nvel de Process.

Falante Propsito Tpico Contedo Ouv. End. Ouv. No End.


sim Usurio preposto na na inferen. sim diretivo preposto na na bsico sim Assunto usurio sim no bsico sim Primeira mensagem usurio sim no bsico sim Membros ou Pblico preposto na na inferen. -

Tabela 3: Modelagem da fala de criar uma comunidade


3.3.2 Etapa MAC

Depois do material pronto e revisado, foi feita uma seleo de voluntrios para a execuo dos testes que foram realizados no estdio de gravaes localizado na sala 3006 do prdio do ICEx. Cada teste contou com a participao de 2 avaliadores, alm da autora desse trabalho, um aluno do mestrado que j tinha experincia na realizao de testes com usurios. O primeiro teste piloto foi realizado com um voluntrio do curso de engenharia de produo. Nesse teste, observou-se que as tarefas estavam muito longas e com uma ambiguidade na descrio em uma dessas. Esse teste foi descartado e o material foi

21

novamente alterado de forma a atender a disponibilidade de tempo dos voluntrios. Outro teste piloto foi realizado e dessa vez no houve problemas e o material para execuo do teste foi considerado pronto. Aps o material ter sido nalizado, foram realizados outros trs testes com voluntrios do curso de Cincia da Informao e dois do curso de Cincia da Computao. Todos os usurios nunca haviam participado de um teste, sabiam ler bem em ingls e no tinham conhecimento sobre IHC ou EngSem. O sistema utilizado no teste foi o StudentLife (13) um sistema de agenda voltada especicamente para alunos universitrios que permite organizar atividades escolares registrando disciplinas e horrios, provas e listas de cada disciplina e criando lembretes para aquelas que no se pode esquecer. A execuo dos testes seguiu o seguinte ANTES DO USURIO CHEGAR 1. preparar as tarefas no StudentLife 2. Preparar o SnagIt para gravar as interaes do usurio 3. ligar microfone QUANDO O USURIO CHEGA 4. receber bem o usurio agradecendo a presena 5. explicar o objetivo do teste, ressaltando que so o software e o mtodo os alvos do teste 6. desligar os celulares (participante e avaliadores) 7. requisitar assinatura no termo de consentimento INICIA TESTE 8. iniciar a gravao do snagIt 9. depois de cada tarefa parar o vdeo e salvar colocando o nmero da tarefa no nome do arquivo FIM DO TESTE 10. ligar as cmeras para capturar udio e vdeo
script

22

11. entrevista ps teste INICIA ETIQUETAGEM 12. explicar o que ruptura 13. repassar o vdeo da interao com o usurio e marcar os bales 14. para cada balo pedir ao usurio uma frase explicativa do problema 15. fazer o treinamento da etiquetagem 16. perguntar se teve alguma dvida 17. passar exemplos de vdeos das etiquetas 18. voltar nos bales considerados problemas e marcar a etiqueta dita pelo usurio FIM DA ETIQUETAGEM 19. entrevista ps etiquetagem 20. agradecimento pela participao Aps os teste, foi realizada a etiquetagem dos vdeos da interao dos usurios pela avaliadora autora desse projeto. Os resultados obtidos com a fase de etiquetagem pode ser visto na seo Resultados e discusso. Para a fase de anlise, seguinte a etiquetagem, o avaliador focou em contrastar a etiquetagem feita por ele com a do usurio e levantou os problemas identicados pelo usurio, os no identicados e os apontados como problemas e que no era. Tambm foi realizado um levantamento das etiquetas assinaladas correta e incorretamente.

23

RESULTADOS E DISCUSSO

4.1 Resultados Manas


4.1.1 Problemas encontrados com a Manas

Os problemas de impacto social encontrados com a avaliao feita com a Manas fazem parte de duas categorias: privacidade e ecincia da comunicao. Apresenta-se as falas que apresentaram os principais problemas levantados a partir da anlise e reexo dos
feedbacks

dados pela Manas. Esses resultados tambm foram publicados pelos avaliadores

no artigo (14) PRIVACIDADE 1.

Fala: enviar ou responder recado

feedback

atenta para o fato de que os

ouvintes no-endereados da fala de enviar ou responder recado no so determinados pelo falante, o que o impede de falar privativamente com o ouvinte endereado (destinatrio do recado). O sistema determina os ouvintes no-endereados (outros usurios que podero visualizar o recado) a partir de uma congurao feita pelo prprio ouvinte endereado, que pode ser: os prprios amigos ou todos usurios (pblico). Como no tm como saber os ouvintes no-endereados dos recados, os usurios devem recorrer a outras formas de comunicao do Orkut caso desejem falar privativamente (e.g. mensagens do Orkut). Pode ser que os ouvintes no-endereados constituem parte da distino entre recados e mensagens. No entanto, esta distino no ca clara e pode ser um problema no caso de o falante acreditar que o recado privativo (e.g. se algum apagou todos seus recados e ele presume que eles no podem ser visualizados por outros). Deste modo, outras pessoas poderiam ter acesso a uma comunicao que seria somente para o ouvinte, o que poderia gerar uma situao desagradvel (e.g. o falante expressa uma opinio sobre outra pessoa ou fala sobre uma situao pessoal 2.

Fala: Criar uma comunidade O Orkut no permite que uma comunidade seja

24

totalmente privada. Por totalmente privada entende-se que o acesso a ela seja restrito aos usurios escolhidos pelo criador da comunidade. Quando se cria uma comunidade no sistema, a mesma ser obrigatoriamente listada em uma categoria, cando visvel a todos os usurios do sistema. Isto ocorre, porque no Orkut os ouvintes so determinados pelo preposto e representam todos os usurios do sistema. Essa caracterstica pode trazer constrangimento para o criador de uma comunidade e seus membros, caso a mesma seja destinada a minorias sociais ou mesmo voltada troca de informaes sobre assuntos de natureza delicada e constrangedora para seus membros. Esse problema seria minimizado se o Orkut permitisse que o acesso a toda informao sobre uma comunidade fosse determinado pelo criador da comunidade e no pelo sistema. 3.

Fala: Criar um tpico em uma comunidade

Ao criar um tpico em uma

comunidade, o falante no consegue estabelecer quem poder ler o contedo do mesmo. Esta congurao feita pelo dono da comunidade ao cri-la ou congurla. Logo, de posse desta informao, o preposto que dene os ouvintes desta fala. Sendo assim, o usurio no consegue falar privativamente com membros da comunidade. As mensagens permitem que se fale privativamente com seus amigos. Porm podem existir membros de uma comunidade em que o usurio participa que no so seus amigos. Neste caso, o usurio no tem como falar privativamente com este membro. Se o membro for classicado como "amigo" ter acesso a muitas outras informaes, o que talvez no fosse desejvel. EFICINCIA DA COMUNICAO 4.

Fala: enviar ou responder recado

Quando um usurio recebe um recado, a

nica maneira de ele saber do que se trata lendo seu contedo. Isso pode dicultar a associao rpida de um recado a um determinado assunto, o que diminuiria a ecincia do processo de comunicao. Imagine que um usurio receba vrios recados por dia, de amigos, familiares ou outros usurios de sua rede, o assunto do recado poderia ajudar ao usurio identicar os recados com maior prioridade no momento da leitura. Quando um recado respondido, o tpico referente ao recado de resposta o prprio recado sendo respondido, o que no representado explicitamente no sistema. Assim, se o usurio envia e recebe um grande nmero de recados ou passa um longo intervalo de tempo sem veric-los poderia ter diculdades em se lembrar dos recados que enviou, ou para quem ou quando os enviou. Desta forma, a no representao do tpico do recado pode acarretar a inecincia da interao entre

25

usurios simplesmente porque eles no conseguiram dar continuidade a uma comunicao atravs de recados. 5.

Fala: enviar ou responder recado O Orkut no oferece mecanismos de recuperao de informao dos recados. Estes mecanismos podem ser teis para o usurio, principalmente quando o volume de recados for grande e o usurio quiser encontrar um recado especco.

6.

Fala: enviar mensagem Todas as mensagens recebidas por um usurio so enviadas para a pasta Caixa de entrada. O nvel de processamento sobre o falante, tpico e contedo bsico, pois no possvel recuperar, ltrar ou organizar as mensagens dados os valores destes sub-elementos. O feedback da Manas indica que mecanismos de ordenao e recuperao de informao podem aumentar a ecincia do processo de comunicao. A falta desses mecanismos no envio de mensagens pode ser considerada uma decincia do Orkut, pois o volume de mensagens pode ser alto caso a funcionalidade seja utilizada com freqncia pelo usurio. Sendo assim, para ler uma mensagem de maior interesse, o usurio pode perder muito tempo navegando em pginas at encontr-la. Este mesmo problema foi apontado para as falas de responder e encaminhar mensagem.

7.

Fala: convidar amigos para uma comunidade

Um usurio no tem como

organizar ou recuperar os convites para entrar em comunidades recebidos por ele. comum, no Orkut, um usurio ter amigos os quais no conhece muito bem ou no conhece, ento, possvel que ele receba convites feitos por pessoas que tambm no o conheam. Logo ele pode considerar esses convites irrelevantes. E nos casos onde ele conhea a pessoa, possvel que, baseado nesse conhecimento (a pessoa tem o hbito de convidar para comunidades inteis, de contedo inapropriado ou com ns mercadolgicos, por exemplo), ele no queira participar das comunidades para a qual esse amigo o convida.

4.1.2

Apreciao da Manas

Observa-se que a avaliao feita com a Manas conseguiu apontar problemas relevantes de impacto social. Isso trouxe um resultado interessante: a Manas pode ser utilizada em sistemas colaborativos, como o Orkut, para ser um mtodo de avaliao. Os seus indicadores levam o avaliador a reetir sobre as decises de design do projetista que trazem um impacto de uso para os usurios.

26

Contudo, percebeu-se que o custo da modelagem muito alto. No fcil para avaliadores iniciantes aprenderem todos os conceitos da linguagem de modelagem Manas e aplicar em um sistema to complexo como o Orkut. Essa avaliao teve seu tempo previsto de avaliao estendido, justamente pelo atraso na modelagem. Desprendeu-se um tempo para estudar a linguagem, levantar as falas e modela-ls. Vale ressaltar que era a primeira vez que os avaliadores utilizavam o modelo, e que no tinham a seu dispor uma ferramenta que apoiasse a modelagem. Mas em compensao, depois que a modelagem foi interpretada pala Manas, foi muito mais tranquilo avaliar os seus
feedbacks

. O sistema j

tinha sido bastante explorado facilitando a contextualizao dos indicadores. Outra coisa interessante que a Manas no apenas aponta os problemas, mas os explica e identica problemas sociais sem depender da interao com usurios. O trabalho gerou no apenas indicadores sobre aspectos do Orkut que podem gerar problemas de impacto social, mas tambm sobre a prpria Manas. So eles:

Existe um problema no Orkut que ocorre na fala de responder recado. O usurio


no pode, por exemplo, classicar os recados de forma a identicar aquele recado que resposta de um outro. Essa fala ento no possui um nvel de processamento intermedirio. No entanto, o usurio pode executar a ao de apagar um recado de resposta, o que pela denio da Manas um nvel de processamento inferencial. Para a Manas, o valor inferencial incorpora os valores bsico e intermedirio o que impossibilitou a modelagem correta dessa fala e consequentemente a no indicao desse problema de ecincia na comunicao. Este caso, aponta para a necessidade de se investigar se o conjunto de valores denidos para o atributo nvel de processamento precisa ser revisto.

A Manas no aceita ter valor obrigatrio igual a

no

e valor padro igual a sim.

Logo, no se pode representar, na fala de encaminhar mensagem, que uma mensagem encaminhada tem um valor padro, mas o usurio pode alter-lo de forma a no ser um valor obrigatrio.

A Manas no possibilita tratar operadores lgicos como


do sub-elemento
falante

ou

e e. No caso do escopo

da fala de criar nova enquete na comunidade, no se pode

distinguir a relao dos vrios valores atribudos a ele: proprietrio da comunidade, moderador da comunidade e membro da comunidade. No caso da modelagem realizada, optou-se por repetir a modelagem da fala contemplando cada um desses valores em separado para contornar esse problema. Porm na interface isso se torna uma unio, e o modelo no tem uma forma de indicar isso.

27

4.2 Resultados MAC


A avaliao realizada com os trs voluntrios (os dois testes pilotos foram descartados dos resultados) mostrou que eles tiveram um excelente desempenho na identicao de problemas de comunicabilidade. Identicaram em mdia 80% dos problemas, sendo que os problemas no identicados eram menos relevantes por ter um carter exploratrio, j que era a primeira vez que todos eles utilizavam o sistema. Ocorreu menos de 10% de indicaes de problemas que no eram problemas. Durante a etiquetagem, os voluntrios acertaram a maioria das etiquetas. Em mdia apontaram 70% delas de forma correta. Os erros na fase de etiquetagem foram todos a cerca de diculdade de desassociar o signicado que a etiqueta traz como expresso natural com o signicado que ela tem no conceito do MAC. Um exemplo disso, foi a troca de etiquetas
Cad?

com

O que isso?

Por que no funciona?

com

U, o que houve?

mesmo elas tendo sintomas de uso bem distintos. Durante a fase de etiquetagem feita pelo avaliador, todas as interaes analisadas tiveram casos de ambiguidade para a etiquetagem dos problemas levantados. Um caso ocorreu quando o usurio clicou em uma caixa de seleo na interface e logo cancelou a ao. Nesse exemplo, caberia tanto a etiqueta percebeu-se que se tratava da etiqueta corretamente. Nessa avaliao, o treinamento durava cerca de 15 minutos e os usurios j partiam para a etiquetagem dos seus problemas. O custo de treinamento no foi muito alto, mas a fase de etiquetagem acrescentou muito tempo na durao dos testes. Mesmo assim, na entrevista feita com todos os participantes no nal do teste, eles colocaram como vantagem o prprio usurio realizar a etapa de etiquetagem e que fariam isso para reportar ao projetista do sistema os problemas encontrados. Esses resultados obtidos, apontam para a possibilidade da etapa de etiquetagem ser feita pelos prprios usurios. Alguns contextos de interesse para isso seriam na avaliao de sistemas que possuem um domnio muito especco, desconhecido pelos avaliadores. Nesse caso, o levantamento dos problemas pelos usurios auxiliariam os avaliadores na identicao dos problemas especcos do domnio. Uma outra aplicao seria no caso dos usurios do sistema estarem sicamente distantes dos avaliadores. O custo do deslocamento dos avaliadores seria substitudo
Cad? Epa!

como a

Cad?

. No entanto, anali-

sando as informaes que o prprio participante deu para a identicao desse problema, e que o usurio classicou o problema

28

pelo envio dos lmes de interao etiquetados pelos prprios usurios aos avaliadores que poderiam dar prosseguimento a avaliao, apesar da distncia. As anotaes e observao durante o teste so muito importantes para a denio da etiqueta (em muitas situaes). Neste caso, poderia-se fazer uma avaliao a distncia, onde o usurio faria a etiquetagem.

29

CONCLUSES E TRABALHOS FUTUROS

Nesse trabalho, investigou-se se os prprios usurios conseguiriam identicar e etiquetar as rupturas de comunicao durante a execuo do MAC e apreciou-se uso da ferramenta de modelagem Manas como um mtodo de avaliao de sistemas. Para a Manas conclui-se que essa ferramenta um mtodo interessante para avaliao porque traz a inovao de focar em sistemas colaborativos e tratar de problemas de impacto social que os outros mtodos, at ento conhecidos, no tem. Mesmo assim foram expostos desaos para a utilizao desse mtodo. Por exemplo, o custo de se aprender os conceitos e aplicao da linguagem de modelagem. Como os resultados mostraram, a etiquetagem feita pelos usurios traz mais informao para a avaliao dos sistemas. Isso auxilia na retirada de ambiguidade e levantamento de problemas da interface. No caso de sistemas de domnio muito restrito desconhecido pelos avaliadores, essa seria uma ajuda na identicao de problemas ligados ao domnio. Outra aplicao discutida foi a possibilidade de aplicar o MAC em testes em que usurios e avaliadores esto distantes geogracamente. Como trabalhos futuros, entende-se que seja necessrio fazer mais testes com o MAC para solidicar os resultados obtidos. E dando continuidade aos mtodos da EngSem, fazer uma apreciao semelhante a feita com a Manas utilizando o MIS para averiguar sua capacidade de avaliar sistemas colaborativos e levantamento de problemas de impacto social.

30

Referncias
1 PRATES, R. O.; BARBOSA, S. D. J. Introduo teoria e prtica da interao humano computador fundamentada na engenharia semitica. Jornada de Atualizao em Informtica da Sociedade Brasileira de Computao. SBC 2007, 2007. In: T.Kowaltowski e K. K. Breitman(Org.). 2 SOUZA, C. S. de. The Semiotic Engineering of Human-Computer Segunda edio. Cambridge, MA: The MIT Press, 2005. 3 PREECE, J. et al. Addison-Wesley, 1994.
Human-Computer Interaction Interaction

. Segunda edio. England:

4 PRATES, R. O.; SOUZA, C. S. de; BARBOSA, S. D. J. A method for evaluating the communicability of user interfaces. Interactions, p. 7(1):3138, 2000. 5 BARBOSA, C. M.
Uma Ferramenta Epistmica de Apoio ao Projeto da Comunicao em Sistemas Colaborativos

. Tese (Doutorado)  Departamento de Informtica. PUC-Rio, Rio de Janeiro, RJ, 2006. Tese de doutorado. 6 SILVA, B. S.
MoLiC Segunda Edio: Reviso de uma Linguagem para Modelagem da Interao Humano Computador

. Tese (Doutorado)  Departamento de Informtica. PUC-Rio, Rio de Janeiro, RJ, 2005. Dissertao de mestrado. 7 GRUDIN, J. Groupware and social dynamics: eight challenges for developer. Communications of the ACM, 1994. 8 GOOGLE. Orkut disponvel em:. http://www.orkut.com, [ltima visita em: nov/2008]. 9 GOOGLE. Google groups disponvel em:. em: nov/2008]. 10 GOOGLE. Google docs disponvel em:. nov/2008]. 11 YAHOO. Yahoo groups disponvel em:. em: nov/2008]. 12 JUNG, C. F.
tecnologias, produtos e processos http://www.googlegroups.com

, [ltima visita

http://docs.google.com

, [ltima visita em: , [ltima visita

http://www.yahoogroups.com

Metodologia para pesquisa e desenvolvimento:

aplicada a novas

Brasil Editora, 2004.

. Primeira edio. Rio de Janeiro/RJ: Axcel Books do

13 SOFTWARE, L. T. Student life 3.0 disponvel em:. http://www.tesorosoft.com/studentlife.htm, [ltima visita em: nov/2008]. 14 MOURA F. J. R.;DOS SANTOS, R. L. V. C. S. R. F. R. O. Avaliao da comunicabilidade e possveis impactos sociais do orkut. VIII Simpsio sobre Fatores Humanos em Sistemas Computacionais, IHC 2008., 2008.