Efeito de Hawthorne em estudos de usabilidade: mito ou

realidade?

Nos anos 20 foi realizada uma experiência na fábrica

Hawthorne Works tendo em vista melhorar a produtividade
dos trabalhadores alterando os níveis de luminosidade do
local de trabalho.

Os resultados obtidos foram surpreendentes porque

independentemente das condições de trabalho os
trabalhadores produziram sempre mais do que era usual. A
conclusão a que o investigador Mayo chegou foi que:

A melhoria do desempenho dos trabalhadores deveu-se ao

facto destes se sentirem lisonjeados e motivados pela
atenção que lhes foi dedicada durante o estudo.

Ou seja, o facto de estarem a participar numa experiência

motivou-os a produzir mais. Esta conclusão ficou conhecida
como o efeito de Hawthorne. A generalização desta
conclusão tem efeitos profundos pois põe em causa os
resultados obtidos em qualquer experiência envolvendo
seres humanos que saibam que estão a ser estudados,
como é o caso dos testes de usabilidade.

Crítica ao efeito de Hawthorne

O artigo Usability Studies and the Hawthorne Effect de

Macefield debate os fundamentos desta célebre conclusão
que embora persista como uma lei, tem vindo a ser
criticada por diversos autores ao longo do tempo. Por
exemplo, Parsons em 1974 defendeu que o aumento de
produtividade se deveu aos trabalhadores terem recebido
feedback acerca do seu trabalho diariamente, o que não
acontecia antes e lhes permitiu ir aprendendo a melhorar.

Embora exista a possibilidade da ocorrência do efeito de

Hawthorne num teste de usabilidade, Macefield defende
que este raramente será aplicável porque:
  Os testes de Hawthorne foram realizados ao longo do
tempo com a participação dos mesmos trabalhadores.
Os testes de usabilidade são normalmente
executados apenas uma vez com cada pessoa;
 Os trabalhadores de Hawthorne eram especialistas
que executavam exactamente as mesmas tarefas há
anos. Os testes de usabilidade destinam-se
normalmente a testar sistemas novos e por isso as
pessoas não podem ser especialistas na sua
utilização;
 O estudo de Hawthorne media apenas as peças
executadas por hora. Os testes de usabilidade
avaliam um sistema segundo a sua eficácia
(capacidade de execução das tarefas), eficiência
(rapidez na execução das tarefas) e satisfação
(resposta às expectativas dos utilizadores);
 Os trabalhadores de Hawthorne tinham trabalhos
monótonos e a participação numa experiência foi uma
novidade (Efeito de Hawthorne). Os participantes em
estudos de usabilidade são muitas vezes recrutados
quase compulsivamente (estudantes) ou pagos para
participarem;
 Os trabalhadores de Hawthorne poderam ter pensado
que ao terem bons resultados no estudo poderiam vir
a ser recompensados na empresa. Uma das regras
principais de um estudo de usabilidade é desde início
avisar as pessoas de que é o sistema que está a ser
avaliado e não elas.

Uma das maneiras de precaver a ocorrência do efeito de

Hawthorne é usando um conjunto de controlo. Reunem-se
dois grupos de utilizadores. O primeiro usa uma versão
antiga do sistema e o segundo uma versão alterada.
Mesmo que ocorra o efeito de Hawthorne, este afectará os
dois grupos de igual modo e como tal as diferenças
encontradas nos resultados serão exclusivamente devidas
às diferenças entre as duas versões do sistema em teste.

Discussão

Os utilizadores da web são muito impacientes. Toleram

cerca de 2 segundos até que uma página carregue, em
média analisam a página de entrada de um sítio web em 30
segundos e caso esta lhes desperta interesse gastam 4
minutos nas restantes páginas.

A popularidade dos motores busca fez com que os

utilizadores varram muito depressa o conteúdo de uma
página antes de decidirem realizar uma nova pesquisa em
busca da resposta ao seu problema. Os utilizadores
quando não encontram o que pretendem numa
determinada página partem rapidamente à procura de
outra.

Num teste de usabilidade fornece-se um conjunto de

tarefas a executar pelos utilizadores sobre um determinado
sítio web e analiza-se como os utilizadores se comportam.

A questão que surge é que normalmente todas as tarefas

são possíveis de realizar e os utilizadores irão impor mais
esforço para tentarem realizá-las do fariam normalmente se
estivessem sozinhos em casa ou no trabalho, onde
provavelmente desistiriam após alguns segundos e
tentariam outro site.

Na minha opinião os testes de usabilidade devem conter

algumas tarefas impossíveis e os utilizadores deverão estar
cientes da sua existência. O facto dos utilizadores saberem
que existem tarefas impossíveis mas não saberem quais
são, nem quantas são, simula o nível de incerteza que têm
normalmente quando usam a web que faz com que
desistam após algumas tentativas falhadas.
No entanto, esta aproximação raramente é utilizada na
prática ou sequer recomendada.

Alternativamente, no artigo Task-Selection Bias: A Case for

User-Defined Tasks, o autor defende que as tarefas a
serem executadas deverão ser definidas pelos utilizadores,
por forma a reflectir as necessidades reais dos utilizadores
face ao sistema. Um dos problemas desta abordagem é
que será difícil para os utilizadores definirem tarefas a
executar sobre um sítio web novo que não conhecem.

Por outro lado, se dermos o sítio web a conhecer a um

grupo de utilizadores e pedirmos para que definam as
tarefas a executar por outros utilizadores, muito
provavelmente iremos continuar a ter apenas tarefas
possíveis.