EPOCA 2009 Jair C Leite

ERBASE 2010 ERBASE 2010

Avaliao de IHC: objetivos
Jair C Leite
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Decises de design afetam usabilidade
Design: diferentes
solues possveis
Design: diferentes
solues possveis
Interao: mtricas de
desempenho
Interao: mtricas de
desempenho
Aspectos
cognitivos e
emocionais
Conhecimento
dos usurios e de
suas necessidade
IHC
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Design e Avaliao de IHC
Design: diferentes
solues possveis
Design: diferentes
solues possveis
Interao: mtricas de
desempenho
Interao: mtricas de
desempenho
Aspectos
cognitivos e
emocionais
Conhecimento
dos usurios e de
suas necessidade
IHC
Mtodos e tcnicas de
avaliao
-Coleta de dados
-Anlise de problemas
- Solues e re-design
Mtodos e tcnicas de
avaliao
-Coleta de dados
-Anlise de problemas
- Solues e re-design
Avaliador
Designer
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Avaliao de IHC
Por que avaliar?
Objetivo
O que avaliar?
Escopo
Quando avaliar?
Avaliao Formativa e somativa
Onde avaliar?
Experimentos em laboratrio ou estudos de campo
Quem participa da avaliao?
Participantes: avaliadores e avaliados
Como avaliar?
Mtodos, tcnicas e ferramentas
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Objetivo por que avaliar?
A avaliao de IHC pode ser realizada com
diferentes objetivos em mente:
Verificar se o designer entendeu as necessidades dos
usurios
Avaliar solues alternativas de design
Verificar se a implementao est correta e se segue o
design
Verificar se o sistema melhora a forma dos usurios
trabalharem
Verificar se o sistema acessvel a todos os tipos de
usurio
Verificar o cumprimento de normas e diretrizes
Oferecer dados sobre desempenho dos usurios
Obter opinies dos usurios sobre o sistema
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Escopo o que avaliar?
Na avaliao de IHC estamos verificando como certos aspectos
do sistema afetam certos aspectos no usurio
O foco da avaliao pode variar de acordo com os objetivos.
Aspectos do sistema
Funcionalidade
O sistema faz as tarefas que os usurios precisam?
Interatividade
O dilogo est adequado aos usurios?
Comunicabilidade
A mensagem do designer transmitida com sucesso para os
usurios?
Aspectos no usurio
Desempenho, aprendizado, memorizao, planejamento,
satisfao
Acessibilidade
Os aspectos do sistema esto adequados s capacidades e
limitaes de todos os usurios
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Quando avaliar?
Formativa
Oferece informaes que podem ser utilizadas nas decises de
design
realizada em tempo de projeto, com rascunhos ou prottipos
Nmero pequeno de pessoas participam, podem ser potenciais
usurios
Visa indicar problemas, apontando solues que devem ser
corrigidas antes do design ser finalizado
Somativa
Verifica se o sistema pronto est cumprindo com os seus objetivos
de forma eficaz e eficiente
Tipicamente quantitativa, utilizando resposta numricas.
feito um diagnstico de erros de design existentes.
Nem sempre so identificadas as causas dos erros.
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Onde avaliar?
Laboratrio
Laboratrio de usabilidade oferecem situaes controladas
para avaliao e testes
Mais utilizado com as tcnicas:
Testes de Usabilidade
Avaliaes formativas
Usurios voluntrios
Pesquisas de campo
Em locais onde o usurio tipicamente utiliza o sistema
Mais utilizado com as tcnicas:
Questionrios e observaes
Avaliaes somativas
Usurios reais
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Exemplo de laboratrio de usabilidade
avaliadores
Usurio
Gravadores e cmeras
Sistema avaliado Vidro espelhado
Foto: Laboratrio da Siemens Siemens AG 2001
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Participantes Quem avaliar?
Usurios reais
Pessoas que iro usar o sistema
Amostras
Uma parcela representativa dos usurios pode participar da
avaliao
Devem ter o mesmo perfil idade, escolaridade, cultura,
conhecimento do domno, etc.
Interesse na participao
Voluntariamente
Indicao superior
Contratado participao remunerada
Nmero
Nmero de participantes varia de acordo com a tcnica utilizada
tica
Considerar a resoluo do CNS 196/96 tica na Pesquisa
envolvendo Humanos
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Como coletar dados?
Tipos de dados
Qualitativos
Opinies expressas diretamente pelos usurios
Expresses e gestos durante o uso
Quantitativos
Nmero de erros
Tempo de utilizao
Escala de opinies (muito insatisfeito, pouco... muito satisfeito)
Forma de coleta
Automtica
Monitoramento da interface de usurio
Filmagem e gravaes
Manual
Anotaes
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Avaliao de IHC:
mtodos e tcnicas
Jair C Leite
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Mtodos e tcnicas de avaliao de
IHC
Mtodos so processos completos de
avaliao, incluindo planejamento
preparao, realizao, coleta e anlise de
resultados.
Tcnicas so forma de realizar as atividades
especficas de mtodo de avaliao
Tcnicas de coleta de dados, Tcnicas de
realizao de testes.
Surgiram ao longo de evoluo de IHC
Tm diferentes propsitos
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Exemplos de mtodos e tcnicas
Tcnicas analticas
Avaliao heurstica
Percurso cognitivo
Tcnicas de pesquisa de opinio
Entrevista
Questionrios
Tcnicas experimentais
Estudos de campo
Testes controlados
Mtodos de avaliao de comunicao designer-usurio
Mtodo de avaliao de comunicabilidade
Mtodo de inspeo semitica
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Classificao quanto ao foco
Sistema: tcnicas analticas
Realizado por especialistas e sem participao dos usurios
Percurso Cognitivo
Avaliao Heurstica
Avaliao baseada em revises
Usurio: tcnicas de pesquisas de opinio
Realizado com os usurios
Entrevistas
Questionrios
Os dados obtidos podem ser qualitativos ou quantitativos
Interao: tcnicas experimentais
Realizado com usurios utilizando o sistema
Testes controlados em laboratrio
Estudos de campo observao de situaes reais
Os dados obtidos podem ser qualitativos ou quantitativos
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Tcnicas de avaliao: foco no sistema
Design: diferentes
solues possveis
Design: diferentes
solues possveis
Interao: mtricas de
desempenho
Interao: mtricas de
desempenho
Aspectos
cognitivos e
emocionais
Conhecimento
dos usurios e de
suas necessidade
IHC
Tcnicas analticas:
-Verifica conformidade
com normas, diretrizes,
etc.
Tcnicas analticas:
-Verifica conformidade
com normas, diretrizes,
etc.
Avaliador
Designer
Verificar
conformidade
do sistema
Verificar
conformidade
do sistema
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Tcnicas de avaliao: foco na interao
Design: diferentes
solues possveis
Design: diferentes
solues possveis
Interao: mtricas de
desempenho
Interao: mtricas de
desempenho
Aspectos
cognitivos e
emocionais
Conhecimento
dos usurios e de
suas necessidade
IHC
Tcnicas experimentais
- Testes
- Observaes
Tcnicas experimentais
- Testes
- Observaes
Avaliador
Designer
Medir desempenho
do usurio:
- produtividade
- nmero de erros
Medir desempenho
do usurio:
- produtividade
- nmero de erros
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Tcnicas de avaliao: foco no usurio
Design: diferentes
solues possveis
Design: diferentes
solues possveis
Interao: mtricas de
desempenho
Interao: mtricas de
desempenho
Aspectos
cognitivos e
emocionais
Conhecimento
dos usurios e de
suas necessidade
IHC
Tcnicas experimentais
e pesquisa de opinio
-Testes
-Observaes
-Questionrios
-Entrevistas
Tcnicas experimentais
e pesquisa de opinio
-Testes
-Observaes
-Questionrios
-Entrevistas
Avaliador
Designer
Avaliar aspectos
cognitivos e
emocionais:
Avaliar aspectos
cognitivos e
emocionais:
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Avaliao Heurstica
Mtodo analtico que visa identificar
problemas usabilidade considerando
heursticas (diretrizes)
Vrios especialistas em usabilidade devem
verificar se a interface est em conformidade
com as heursticas
mais utilizada em tempo de design como
avaliao formativa.
Pode ser feita usando storyboards, prottipos
ou sistemas pilotos.
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Percurso cognitivo (cognitive
walkthrough)
Metdo analtico que avalia tarefas
especficas do usurio
O foco principal a avaliao da facilidade
de aprendizado atravs da explorao
A idia descrever a seqncia de aes
que o usurio deve desempenhar para
realizar uma tarefa...
...e explorar as dificuldades que o usurio
efetivamente teriam para realiz-las.
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Tcnicas de pesquisa de opinio
Objetivo
Obter a opinio do usurio sobre a experincia de
uso
So tcnicas que oferecem dados subjetivos
Tcnicas
Entrevistas
Conversa mais direta e pessoal com o usurio
Questionrios
Permite obter a opinio de uma forma indireta e em
maior quantidade
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Entrevistas
Avalia o sentimento do usurio em relao
sua experincia
Pode complementar testes com explicaes
sobre o desempenho que o usurio teve
Requer planejamento e um roteiro
Perguntas podem variar de acordo com o
andamento da entrevista
Consome bastante tempo
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Questionrios
mais impessoal, deixa o usurio mais livre
para responder
Questes precisam ser definidas com
antecedncia
Pode se aplicado a um nmero grande de
usurios
Utilizados tambm para obter dados sobre
perfil dos usurios
Baixos custos de aplicao
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Estilos de questionrios
Abertos
Usurios podem responder livremente por escrito
Escalares
As respostas so dadas em uma escala de valores
Exemplo:
Pergunta: fcil recuperar-se de um erro cometido?
Resposta: No concordo 1( ) 2( ) 3( ) 4( ) 5( ) Concordo
Mltiplas escolhas
Exemplo:
De qual forma voc mas frequentemente solicita ajuda?
1( ) Uso o Help 2( ) Uso a ajuda contextual 3( ) Pergunto a um colega 4( )
Consulto o manual 5( ) Outra forma
Ranking
Exemplo:
D uma nota de para o estilo que voc prefere para copiar um documento de uma
pasta para outra (0-nunca uso; 1-raramente uso 3-uso eventualmente; 3-uso
frequentemente; 4-nico estilo que uso;)
Seleo de menu ( )
Linha de comando ( )
Teclas de atalho ( )
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Estudos de campo
Objetivos
Coletar dados da experincia de uso sem
interferncia do avaliador
Utilizadas em teste de campo (situaes reais de
uso)
As aes do usurio no so controladas pelo
avaliador
Tcnicas
Estudos etnogrficos (tcnica da antropologia)
Filmagens da experincia de uso
Questionrios e entrevistas complementares
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Avaliao de IHC:
testes
Jair C Leite
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Testes com usurio em laboratrio
Requisitos
Escolha de quem vai participar como usurio
Preparao do ambiente e equipamentos
Planejamento, execuo e anlise
Permite ao avaliador controlar o processo de
interao
Adequado para avaliao formativa e
somativa
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Testes - procedimento
Fase preparatria
Nesta fase deve-se definir objetivos, identificar
variveis, indicadores e mtricas, selecionar
participantes e elaborar o material
Fase de execuo dos testes
Colocar em funcionamento tudo o que foi
preparado, deixar o usurio avaliado preparado e
tranqilo, realizar as tarefas previstas e coletar os
dados
Anlise dos dados coletados
Organizar e classificar os dados coletados,
elaborar resumos e concluses
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Testes Fase preparatria
Determinar o objetivo da avaliao
Identificar variveis independentes e
dependentes
Selecionar tarefas relacionadas s variveis
Definir indicadores e mtricas
Selecionar participantes
Elaborar material para o teste
Executar de um teste piloto
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Testes definir objetivos exemplos
Avaliar desempenho dos usurios (interatividade)
Tempo para realizar tarefas completas sem erros
Nmero de erros cometidos em cada tarefa
Comparar desempenho em diferentes solues de design
Avaliar comunicao designer-usurio (comunicabilidade)
Avaliar compreenso dos usurios em relao s mensagens,
cones, smbolos, vocabulrio
Avaliar aprendizado e memorizao
Tempo para aprender uma tarefa por explorao
Tempo para aprender uma tarefa com auxlio de um instrutor
Medir por quanto tempo os usurios memorizam uma tarefa
aprendida anteriormente
Avaliar necessidades x funes (funcionalidade)
Verificar conformidade da aplicao com necessidades de usurios
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Variveis independentes e dependentes
Designer
Usurio
Sistema Computacional
Design: diferentes
solues possveis
Design: diferentes
solues possveis
Interao: mtricas de
desempenho
Interao: mtricas de
desempenho
Aspectos
cognitivos e
emocionais
Conhecimento
dos usurios e de
suas necessidade
Princpios,
diretrizes
e normas.
Princpios,
diretrizes
e normas.
Os aspectos no sistema so
variveis independentes:
-Funes da aplicao
-Organizao dos menus
-Seqncia do dilogo
-Layout das telas
-Cores e tamanho dos fontes
-Etc.
Os aspectos no sistema so
variveis independentes:
-Funes da aplicao
-Organizao dos menus
-Seqncia do dilogo
-Layout das telas
-Cores e tamanho dos fontes
-Etc.
Os aspectos no usurio so
variveis dependentes:
-Desempenho nas tarefas
-Esforo para planejar aes
-Dificuldades de aprendizado
-Dificuldades de memorizao
-Cansao fsico e mental
-Etc.
Os aspectos no usurio so
variveis dependentes:
-Desempenho nas tarefas
-Esforo para planejar aes
-Dificuldades de aprendizado
-Dificuldades de memorizao
-Cansao fsico e mental
-Etc.
Hipteses
Hipteses
influenciam
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Identificar variveis e hipteses
Variveis independentes aspectos no sistema
Exemplos:
Organizao dos menus,
Seqncia dos dilogos
Cores e tamanhos dos fontes
Variveis dependentes aspectos no usurio
Exemplos:
Desempenho do usurio em uma ou mais tarefas,
Nmero de erros em uma ou mais tarefas,
Compreenso das mensagens veiculadas
Estabelecer relaes entre as variveis - hipteses
Exemplos:
Taxas de erros aumentam com tamanhos de fontes menores
Desempenho diminui com um nmero alto de menus em cascata
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Selecionar tarefas e identificar
indicadores
Nem sempre possvel testar todas as
tarefas do sistema com todos os usurios
A escolha das tarefas deve estar relacionada
com o objetivo do teste
Se o objetivo medir desempenho, as
tarefas mais freqentes devem ser
escolhidas
Se o objetivo medir memorizao, tarefas
menos freqentes com usurios ocasionais
devem ser escolhidas
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Selecionar participantes
Perfil e papel dos usurios
O perfil diz respeito s caractersticas dos usurios: conhecimento
do domnio, experincia com computadores, escolaridade, etc.
O papel diz respeito funo que ele exerce numa organizao ou
no sistema
Usurios com diferentes perfis e papeis devem participar dos
testes
Nmero de participantes
Quando o perfil e o papel so nicos ou semelhantes, um teste
com 5 usurios descobrem 85% dos problemas
Para diferentes grupos de perfis e papeis, 3 usurios por grupo
suficiente.
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Elaborar material para os testes
Material escrito para o usurio
Questionrio para descrio do perfil e papel dos usurio
Explicao sobre o processo e roteiro para a realizao
Formulrio de consentimento do usurio
Descrio das tarefas a serem realizadas
Roteiro de entrevista e questionrios ps-testes
Material para coleta de dados
O avaliador deve ter um formulrio onde anotar os dados do
diferentes indicadores que est sendo medidos durante o teste
Cmeras e gravadores para documentar os testes
Software de rastreamento da interface de usurio (logging)
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Execuo do teste
Verificar disponibilidade do material e qualidade do ambiente do
laboratrio
Tranqilizar o usurio a interface que est sendo avaliada
Explicar o roteiro do teste
Observar e anotar tudo
Pedir para o usurio pensar em voz alta, descrevendo dvidas,
metas, planejamento, emoes
Diferentes usurio podem realizar a mesma tarefa para
comparaes
Os usurios podem realizar a mesma tarefa mais de uma vez
no mesmo dia e em diferentes dias
Ao final dos testes pode-se realizar entrevistas ou aplicar
questionrios para obter mais informaes
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Tcnicas de observao em testes
Objetivos
Realizar medio durante a experincia de uso
Tcnicas
Gravaes de pensar em voz alta (think-aloud)
Filmagens da experincia de uso
Monitoramento da interface de usurio (computer logging)
Rastreamento do olhar (eyestracking)
Monitoramento fisiolgico batimentos cardacos,
glndulas, atividade muscular, atividade cerebral
EPOCA 2009 Jair C Leite
ERBASE 2010
Monitoramento da interface de usurio
Tecnologias
Webcam
Apenas filmam o que
ocorre, pode filmar a tela e
o usurio
No existe registro (log) de
atividades
A gravao pode ser feita
em outra mquina
Pode filmar No afetam o
desempenho
Software de monitoramento
Registram todas as
ocorrncias e indicam o
instante no qual elas
ocorreram
Pode afetar o desempenho
da aplicao sendo testada
Exemplos: Lotus
Screemcam, TechSmith
Camtasia
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Eyetracking - exemplos
Fonte: http://www.useit.com/alertbox/banner-blindness.html Copyright 2007 by Jakob Nielsen. ISSN 1548-5552
Estudos sobre os pontos em pginas Web para os quais os usurios mais
olham. A cor vermelha indica as reas mais olhadas e as azuis as menos
olhadas. As reas com bordas verdes indicam anncios. O estudo mostra
que muitos usurios no olham anncios (cegueira para anncios).
Estudos sobre os pontos em pginas Web para os quais os usurios mais
olham. A cor vermelha indica as reas mais olhadas e as azuis as menos
olhadas. As reas com bordas verdes indicam anncios. O estudo mostra
que muitos usurios no olham anncios (cegueira para anncios).
EPOCA 2009 Jair C Leite
ERBASE 2010 ERBASE 2010
Anlise dos dados coletados
Os dados podem vir de diversas fontes e estarem em diferentes
formas
Os dados devem ser etiquetados de acordo com:
O indicador que esta sendo medido (varivel)
A tarefa na qual ele foi medido
O perfil e papel do usurio
Anlise
Comparar dados de uma mesma tarefa realizada vrias vezes pelo
mesmo usurio
Comparar dados de uma mesma tarefa realizada por diferentes
usurios
Comparar diferentes tarefas de um mesmo usurio ou usurios de
um grupo (perfil e/ou papel)
Dados quantitativos
Calcular mdias, desvio padro, piores e melhores casos
Dados qualitativos
Interpretao e resumos