270

6 Mtodos e tcnicas de pesquisa

Segundo LUDKE e ANDR (1986), para realizar uma pesquisa preciso promover um
confronto entre o dados, as evidncias, as informaes coletadas sobre determinado assunto
e o conhecimento terico acumulado a respeito dele. Trata-se de construir uma poro do
saber. Esse conhecimento no s fruto da curiosidade, da inquietao, da inteligncia e da
atividade investigativa do pesquisador, mas tambm da continuao do que foi elaborado e
sistematizado pelos que j trabalharam o assunto anteriormente .
A primeira fase do processo de elaborao de uma pesquisa consiste na determinao do seu
tema.

6.1 O tema da pesquisa

Para GOLDENBERG (1997), qualquer assunto da atualidade poderia ser objeto de uma
pesquisa cientfica. O pesquisador experiente saberia descobrir assuntos aparentemente
banais e os transformaria em pesquisas fecundas. Mas, para isso, seria preciso ter muita
experincia e enxergar o que os outros no conseguem ver.
A escolha do tema deve basear-se em critrios de relevncia (importncia cientfica e
contribuio para o enriquecimento das informaes disponveis), de exeqibilidade (ou
seja, acesso bibliografia e disponibilidade de tempo) e de oportunidade
(contemporaneidade da pesquisa), - alm da adaptabilidade do autor, que j deve ter os
conhecimentos prvios sobre o assunto e sobre a rea de trabalho proposta (ANDRADE,
1997).
Deve-se levar em considerao a especializao profissional, e eleger um assunto para ser
abordado em profundidade, o que est estreitamente relacionado especificidade.

271

LAKATOS e MARCONI (1991) alertam-nos para o fato de que o tema da dissertao deve
ser especializado. No sendo possvel a um indivduo dominar a totalidade, seria necessrio
selecionar o que pode ser tratado com profundidade. Entre as vantagens da especializao,
enumerar-se-iam: a posssibilidade de investigar em profundidade uma parte da cincia,
chegando-se a dedues concretas; a facilidade de encontrar o mtodo adequado; e a
viabilidade da consulta a monografias e artigos.
AZEVEDO (1999) nos ensina que o tema deve ser relevante cientfica e socialmente,
situado dentro de um quadro metodolgico ao alcance do pesquisador e com reas novas a
explorar.
Alm disso, importante que a relevncia do tema dirija-se a trs beneficirios: a sociedade,
a cincia e a escola (SANTOS, 1999).
Concordando com as colocaes de SANTOS (1999) e de AZEVEDO (1999),
explicitaremos o tema desta pesquisa da seguinte forma:
"Interao Homem-Computador e o Desenho de Pginas de Comunicao Institucional na
World Wide Web (Internet)"

6. 2 Linha de pesquisa

Antes de escrever um projeto, o pesquisador deve decidir qual corrente epistemolgica o

orientar e estudar - dentro do quadro escolhido - as aproximaes ao fenmeno. Isto
significa revisar o conhecimento acumulado at o momento. Deve-se realizar uma
interpretao do fenmeno - histrica ou atualizada - analisando suas diversas perspectivas,
mediante referncia ao que j se escreveu. A partir da que o pesquisador formular o
problema, as hipteses, e dir quais sero as suas contribuies, tericas e prticas
(RICHARDSON, 1999).

272

Definiremos o marco terico (ou quadro referencial) deste trabalho como sendo a
Ergonomia e Usabilidade de Produtos, Programas e Informao, com nfase na sublinha
de pesquisa Ergonomia e Usabilidade da Interao Homem-Computador.

6.3 O problema

EINSTEIN costumava dizer que a formulao de um problema mais importante que a sua
soluo. Para ACKOFF (1974), o sucesso estaria em encontrar a soluo certa para o
problema certo. Falharamos, muitas vezes, por tentar resolver o problema errado - mais do
que por obter uma soluo errada para o problema certo. As questes atuais, em todo o
mundo, se relacionariam muito mais com os problemas que deixamos de abordar do que
com os problemas que no conseguimos resolver.
O problema uma questo no resolvida, algo para o qual vai-se buscar uma resposta,
atravs de pesquisa. Pode estar referido a alguma lacuna epistemolgica ou metodolgica
percebida, a alguma dvida quanto sustentao de uma afirmao geralmente aceita,
necessidade de pr prova uma suposio, a interesses prticos ou vontade de
compreender e explicar uma situao do cotidiano (VERGARA, 1997).
A definio do problema parte decisiva do planejamento de uma pesquisa, pois nos obriga
a uma profunda reflexo. Do empenho na formulao do problema resulta o bom
planejamento que facilitar a elaborao do trabalho (ANDRADE, 1997).
Segundo BARROS e LEHFELD (1986), a escolha do problema de pesquisa nunca se d
aleatoriamente, ela sempre influenciada por fatores internos correspondentes ao prprio
investigador (curiosidade, imaginao, experincia, filosofia) e por fatores externos, a
realidade circundante ou a instituio a que o pesquisador se filia.
Para RUDIO (1978), formular o problema consiste em dizer, de maneira explcita, clara,
compreensvel e operacional, qual a dificuldade com a qual nos defrontamos e que
pretendemos resolver, limitando o seu campo e apresentando suas caractersticas. Desta

273

forma, o objetivo da formulao do problema torn-lo individualizado, especfico e

inconfundvel.
Concordando com RUDIO, definiremos o problema desta pesquisa:
"Assim como grande parte dos Web sites de corporaes, o portal Internet do Senac
Nacional fracassa sob o ponto de vista da Interao Humano-Computador (HCI). Os
usurios finais do referido sistema hipertextual no conseguem acessar todas as informaes
disponibilizadas ou desistem da navegao. Esta situao pode gerar prejuzos imagem da
instituio e provocar a perda de clientes na World Wide Web, configurando-se em um
problema de navegabilidade e usabilidade de interfaces.

6.4 A hiptese

Para RUDIO (1978), hiptese uma suposio que se faz na tentativa de explicar o que se
desconhece. Esta suposio tem por caracterstica o fato de ser provisria, devendo,
portanto, ser testada para a verificao de sua validade. Trata-se de antecipar um
conhecimento na expectativa de que possa ser comprovado.
Hiptese uma proposio que pode ser colocada prova para determinar sua validade.
Neste sentido, hiptese uma suposta resposta ao problema a ser investigado. A origem das
hipteses poderia estar na observao assistemtica dos fatos, nos resultados de outras
pesquisas, nas teorias existentes, ou na simples intuio (GIL, 1991).
O papel fundamental das hipteses na pesquisa sugerir explicaes para os fatos. Podem
ser verdadeiras ou falsas, mas, sempre que bem elaboradas, conduzem verificao
emprica - que o propsito da pesquisa cientfica. Entretanto, para GIL, o modelo de
explicao causal no adequado s cincias sociais, em virtude do grande nmero e da
complexidade das variveis que interferem na produo desses fenmenos.

274

Por essa razo, os filsofos da cincia propem modelos menos rgidos para a construo de
hipteses. De modo geral, as hipteses elaboradas nas cincias sociais no so
rigorosamente causais, apenas indicam a existncia de algum tipo de relao entre variveis.
Entretanto, LAKATOS e MARCONI (1991) nos alertam que a hiptese de trabalho - usada
nos estudos de carter exploratrio ou descritivo, onde dispensvel sua explicitao formal
- necessria para que a pesquisa apresente resultados teis, ou seja, atinja nveis de
interpretao mais altos.
Concordando com RUDIO (1978) e com LAKATOS e MARCONI (1991), explicitamos
nossa hiptese de trabalho desta forma:
"A primeira pgina (home page) do portal Senac no est orientada para os seus usurios
reais (pblico externo): no apresenta chamadas, nem destaques, com links eficientes e
adequados para os navegantes da Web. A primeira pgina no d suporte totalmente eficaz
s expectativas, aos objetivos informacionais especficos e nem s tarefas dos usurios - o
que pode estimular a desistncia da navegao."

6.5 Objeto da pesquisa

RUIZ (1996) estabeleceu uma diferenciao entre objeto material e objeto formal. Para o
autor, no o objeto material o que caracteriza uma cincia: na verdade, o mesmo objeto
material pode ser atingido por diferentes modos de conhecer. O objeto homem, por
exemplo, pode ser atingido pela poesia, pela Filosofia, pela religio, e tambm pelas
cincias, como a Psicologia, a Biologia e a Sociologia. O que caracterizaria a cincia seu
objeto formal - isto , a maneira peculiar, o aspecto, ou o ngulo sob o qual atinge seu objeto
material.
Entretanto, para VERA (1989), o objeto de uma pesquisa o problema.
Discordando de VERA, e concordando com o enunciado proposto por RUIZ, define-se o
objeto desta pesquisa como:

275

"A navegabilidade e a usabilidade do site de comunicao e marketing institucional do

Senac Nacional na World Wide Web (Internet)."

6.6 Tipo de pesquisa

Pesquisas exploratrias - pesquisas exploratrias tm como principal finalidade desenvolver,

esclarecer e modificar conceitos, com vistas formulao de problemas ou hipteses
pesquisveis. Apresentam menor rigidez no planejamento.
Este tipo de pesquisa realizado especialmente quando o tema escolhido pouco explorado
e torna-se difciI sobre ele formuIar hipteses precisas e operacionalizveis. O produto final
deste processo um problema mais esclarecido, passvel de investigao mediante
procedimentos sistematizados (GIL, 1991).
Pesquisas descritivas - as pesquisas deste tipo tm como objetivo a descrio das
caractersticas de determinada populao ou fenmeno, ou o estabelecimento de relaes
entre variveis. Uma de suas caractersticas mais significativas est na utilizao de tcnicas
padronizadas de coleta de dados.
Dentre as pesquisas descritivas salientam-se as que tm por objetivo estudar as
caractersticas de um grupo: sua distribuio por idade, sexo, procedncia, nvel de
escolaridade, opinies, atitudes, crenas, etc.
As pesquisas descritivas so, juntamente com as exploratrias, as que habitualmente
realizam os pesquisadores sociais preocupados com a atuao prtica. So tambm as mais
solicitadas por organizaes como instituies educacionais, empresas comerciais, partidos
polticos, etc (GIL, 1991).
Pesquisas explicativas - so pesquisas que tm como preocupao identificar fatores que
determinam a ocorrncia de fenmenos.
As pesquisas explicativas, nas cincias naturais, valem-se do mtodo experimental. Nas
cincias sociais, recorre-se a outros mtodos, sobretudo ao observacional. Entretanto, nem

276

sempre se torna possvel a realizao de pesquisas rigidamente explicativas em cincias

sociais (GIL, 1991).
Segundo MORAES e MONT'ALVO (1998), os tipos de pesquisa aplicveis em
Ergonomia so:
Pesquisa descritiva - pesquisa de opinio ou pesquisa de atitude, pesquisa de motivao,
estudo de caso, anlise do trabalho, e pesquisas documentais. Aqui, o pesquisador procura
conhecer e interpretar a realidade. Interessa-se em descobrir e observar fenmenos - procura
descrev-los, classific-los e interpret-los.
Os dados obtidos - qualitativos ou quantitativos - devem ser analisados e interpretados.
Pesquisa experimental - o pesquisador manipula deliberadamente algum aspecto da
realidade - dentro de condies predefinidas. Pretende-se dizer de que modo, ou por que
causas, o fenmeno se produz. A pesquisa experimental verifica a relao de causalidade
entre variveis. A inferncia diretamente feita sobre a realidade (MORAES e
MONT'ALVO, 1998).
Concordando com GIL (1991), e adotando como referncia o quadro terico proposto por
MORAES e MONT'ALVO (1998), definimos a nossa pesquisa como sendo de tipo
descritivo.

6.7 Mtodos e tcnicas

Segundo GALLIANO (1986), todas as acepes da palavra mtodo registradas nos

dicionrios esto ligadas origem grega methodos - que significa caminho para chegar a
um fim.
GOLDENBERG (1997) define o mtodo como a observao sistemtica dos fenmenos da
realidade atravs de uma sucesso de passos, orientados por conhecimentos tericos,
buscando explicar a causa desses fenmenos, suas correlaes e aspectos no-revelados.

277

A caracterstica essencial do mtodo cientfico a investigao organizada, o controle

rigoroso das observaes e a utilizao de conhecimentos tericos.
BARROS e LEHFELD (1986) nos mostram a importncia da observao como
procedimento investigativo. A observao deve ser exata, completa, sucessiva e metdica, e
sobretudo imparcial. Pode ser:
- Observao assistemtica (ou no estruturada): sem controle anteriormente elaborado e
sem instrumental apropriado.
- Observao sistemtica (ou planejada): requer um planejamento prvio para seu
desenvolvimento. estruturada e realizada em condies controladas, com objetivos e
propsitos previamente definidos.
De acordo com LAKATOS e MARCONI (1991), o mtodo de abordagem caracterizar-se-ia
por uma abordagem ampla, em nvel de abstrao elevado, dos fenmenos da natureza e da
sociedade. Englobaria:
- Mtodo indutivo: que caminha para planos mais abrangentes, indo das constataes
particulares s leis e teorias gerais, em conexo ascendente.
- Mtodo dedutivo: parte das leis e teorias e prediz a ocorrncia de fenmenos particulares,
em conexo descendente.
- Mtodo hipottico-dedutivo: inicia-se pela percepo de uma lacuna nos conhecimentos,
formula-se uma hiptese e, pelo processo dedutivo, testa a predio da ocorrncia de
fenmenos.
- Mtodo dialtico: penetra o mundo dos fenmenos atravs de sua ao recproca, da
contradio inerente ao fenmeno e da mudana dialtica que ocorre na natureza e na
sociedade.

LAKATOS e MARCONI (1991) apresentam-nos ainda as seguintes tcnicas, que compem

a observao direta extensiva:

278

- Questionrio: uma srie de perguntas que devem ser respondidas por escrito, sem a
presena do pesquisador.
- Formulrio: um roteiro de perguntas enunciadas pelo entrevistador e preenchidas por ele
com as respostas do pesquisado.
- Medidas de opinio e de atitudes: um instrumento de padronizao que visa a assegurar a
equivalncia de diferentes opinies e atitudes, com a finalidade de compar-las.
- Testes: so instrumentos utilizados com a finalidade de obter dados que permitam medir o
rendimento, a freqncia, a capacidade ou o comportamento de indivduos, de forma
quantitativa.
- Sociometria: uma tcnica quantitativa que procura explicar as relaes pessoais entre
indivduos de um grupo.
- Anlise de contedo: tcnica que permite a descrio sistemtica, objetiva e quantitativa do
contedo da comunicao.
- Histria da vida: tenta obter dados relativos experincia pessoal de algum que tenha
significado importante para o conhecimento do objeto de estudo.
- Pesquisa de mercado: visa obteno de informaes sobre o mercado, para ajudar o
processo decisivo nas empresas.

Segundo LAKATOS e MARCONI (1999), tanto mtodos quanto tcnicas de pesquisa

devem adequar-se ao problema a ser estudado, s hipteses levantadas, ao tipo de
informantes com que se vai entrar em contato. Dependero do objeto da pesquisa, dos
recursos financeiros, da equipe humana e de outros elementos da investigao.
A descrio, segundo LOPES (1997), faz a ponte entre a fase de observao dos dados e a
fase de interpretao. Por isso, combina tcnicas e mtodos de anlise. A descrio implica
em:
- tratamento estatstico, ou seja, fazer tabulaes para encontrar concentraes, freqncias e
tendncias na documentao coletada;

279

- assegurar o domnio sobre a massa de dados coletados, identificando e selecionando fatos

de significao para o tratamento analtico; e
- conseguir um conhecimento prvio das possibilidades da documentao, em relao aos
objetivos da investigao.
RICHARDSON (1999) desenvolve crticas ao emprego de mtodos quantitativos na
pesquisa social. O autor afirma que as cincias naturais vem o mundo fsico como um
objeto a ser controlado tecnologicamente pelo ser humano. Esse modelo no pode ser
utilizado nas cincias sociais, pois no se pode considerar as pessoas como objetos
manipulveis, nem a organizao da sociedade como um problema de engenharia a ser
solucionado pelos cientistas. Entretanto, adverte: no so os mtodos quantitativos em si
que produzem injustias sociais, mas o uso que se faz desses mtodos.
Com referncia pesquisa qualitativa, RICHARDSON (1999) informa que esta tem
aumentado sua credibilidade nas cincias sociais. "Essa legitimidade, porm, foi comprada
ao preo de incorporar critrios positivistas de validade e generalizao."
Tomando como base os conceitos formulados acima, especialmente por LAKATOS e
MARCONI (1991), definiremos nosso mtodo de abordagem como mtodo hipotticodedutivo, e utilizaremos as tcnicas do questionrio e da anlise de contedo, conforme
explicado a seguir.

6.7.1 Anlise de contedo

Anlise de contedo uma tcnica de pesquisa para a descrio objetiva, sistemtica, e

quantitativa do contedo evidente da comunicao (LAKATOS & MARCONI, 1999).
Envolver a anlise das mensagens espontneas enviadas pelos visitantes do portal Senac
Nacional, sob a forma de e-mails, visando identificar grupos e subgrupos de usurios finais
do referido site, assim como suas necessidades, estratgias de navegao, background,
dificuldades, constrangimentos, queixas e/ou sugestes.

280

De acordo com BARDIN (1977), apelar para instrumentos de investigao laboriosa de

documentos seria situar-se ao lado daqueles que pretendem dizer no iluso da
transparncia, tentando afastar os perigos da compreenso espontnea.
Trata-se de recusar a evidncia do saber subjetivo, destruindo a intuio em proveito do
construdo. Significaria rejeitar a sociologia ingnua que acredita que pode apreender
intuitivamente as significaes dos protagonistas sociais, mas que atinge somente a projeo
da sua prpria subjetividade (BARDIN, 1977).
Para isso seria preciso dizer no leitura simples do real (sempre sedutora) e forjar
conceitos operatrios, aceitar o carter provisrio de hipteses, definir planos de
investigao. Tcnicas de ruptura afiguram-se tanto mais teis para o especialista quanto
mais ele tenha a impresso de familiaridade face ao seu objeto de anlise (BARDIN,1977).

6.7.2 Questionrio online

Esta tcnica envolveu o planejamento, a elaborao e a aplicao de questionrio online,

aplicado atravs de pgina na World Wide Web, para identificar grupos de usurios finais do
portal Senac, assim como suas necessidades, suas opinies sobre a interface etc. Muitas
pessoas preferem preencher um questionrio apresentado na tela do que impresso, afirma
SCHNEIDERMAN (1998). Na pesquisa da Interao Humano-Computador (HCI), usurios
de interfaces podem ser questionados sobre suas impresses a respeito de aspectos
subjetivos, como objetos ou aes relacionadas s tarefas, entre outros explica esse autor,
no qual nos inspiramos para adaptao do modelo de questionrio empregado.

Para MUCCHIELLI (1979), questionrios podem ser de dois tipos: (1) questionrio de autoaplicao, onde o sujeito fica s diante do questionrio para respond-lo (este se aproxima
do tipo online aqui aplicado); e (2) questionrio por pesquisadores, onde o pesquisador faz
perguntas e ele mesmo anota respostas.
Questionrios no deveriam ser considerados simples listas de perguntas, mas quaisquer
meios de procura de respostas (como escolha de figuras, escalas de atitudes etc.). A resposta

281

idealmente procurada seria a que exprime, direta ou indiretamente - atravs da subjetividade

do indivduo -, o fenmeno social a ser compreendido.
Para MUCCHIELLI (1979), a realidade social tem vida prpria, irredutvel vida dos
indivduos. O problema estaria em captar a vida coletiva atravs da observao de
indivduos. De acordo com o autor, a apreenso da realidade psicossocial seria delicada; por
isso, instrumentos para captao devem ser regulados com cuidado e cincia.
Observa-se tambm que, alm do baixo custo e da rapidez, a pesquisa via Web teria outras
vantagens: diante do computador, as pessoas no se sentem inibidas e tendem a ser mais
verdadeiras. A receptividade aumenta pelo fato do entrevistado responder s perguntas no
local e no momento de sua preferncia", explica Adriana Dias, diretora de pesquisas online
do Diga-me, portal do Instituto de Pesquisas Econmicas e Sociais (SOUZA, 2000).

6.8 O roteiro de realizao desta pesquisa

NORMAN (1990) nos disse que computadores e interfaces deveriam ser invisveis para o
usurio e deveriam ser subservientes tarefa que as pessoas desejam executar. A questo
hoje est colocada em termos de como se deve desenhar interfaces?. Mas a pergunta
correta uma outra bastante diferente: que ferramentas devemos fornecer aos usurios para
que eles completem as suas tarefas?.
Afinal, para que servem os computadores? pergunta ele. Servem para facilitar a vida
dos usurios e este deve ser o ponto de partida. Regras de construo de interfaces podem
ser importantes, mas so secundrias em relao ao objetivo de auxiliar os usurios. O
adequado Design de interfaces comea com a pergunta sobre quais so as necessidades dos
usurios e sobre o que o programa a ser desenvolvido pode fazer por eles.
Da, a necessidade de conhecer quem so os usurios finais dos artefatos interativos, o que
desejam e que tarefas pretendem realizar utilizando sistemas, alm de como avaliam as
interfaces existentes. Estas so as razes principais das pesquisas na rea da Ergonomia e de
Usabilidade da Interao Humano-Computador (HCI). Em nosso caso especfico,

282

empregamos as tcnicas de anlise de contedo (para mensagens espontneas enviadas por

internautas ao portal investigado) e do questionrio online (atravs de formulrio implantado
em pgina da Web) - cujos roteiros, objetivos, mtodos e memoriais de produo e de
aplicao esto descritos a seguir.

6.8.1 Anlise das mensagens espontneas dos internautas

Conhecer quem so os usurios finais a etapa essencial do processo de Design de

interfaces: o mais importante na Internet que cada servio precisa ser baseado na anlise
dos objetivos dos seus usurios especficos, assim como nas suas necessidades explicam
os pesquisadores da Ergonomia da Interao Humano-Computador (HCI).
Pesquisas qualitativas costumam ser multimetodolgicas: usam uma grande variedade de
procedimentos e instrumentos para coletar dados. Pode-se dizer que a observao
(participante ou no), a entrevista em profundidade e a anlise de documentos so as mais
utilizadas - embora possam ser complementadas tambm por outras tcnicas -, explicam
ALVES-MAZZOTH e GEWANDSNAJDER (1998).
A anlise de contedo especialmente adequada para resolver problemas de pesquisa
atravs do exame de atributos de mensagens. O que determina o enfoque metodolgico de
uma pesquisa seria a lgica que orienta o processo de investigao. Esta lgica seria
determinada pelos pressupostos tericos que caracterizam o seu paradigma. O paradigma
adotado para esta pesquisa tem como base a Ergonomia da Interao Humano-Computador e
visa ao ciclo do Design centrado no usurio (User Centered Design).
As opes desta pesquisa foram feitas a partir dos objetivos traados o que ajudou a
definir a natureza do trabalho e indicou o material a coletar. Para conhecer melhor a
audincia real do portal Senac, foram colecionadas mensagens estruturadas e noestruturadas, recebidas pelo site estudado, contendo manifestaes espontneas - demandas,
intenes, perguntas e sugestes - de usurios finais situados em quase todas as partes do
Pas.

283

As mensagens dos navegantes da Internet recebidas pelo portal Senac mostram tambm
queixas, necessidades ou dificuldades de uso, enfrentadas por usurios de diferentes nveis
sociais e educacionais, assim como de diferentes graus de experincia no trato com
computadores e com a tecnologia da informao, de todo o Brasil e at do exterior.
Geralmente, a informao procurada pelos usurios finais da interface Web est disponvel
na rede, mas no encontrada por todos eles. Em outros casos, as interfaces no
correspondem s expectativas do internauta. Alguns exemplos a seguir so evidncias disto:
a primeira vez que acesso o site do Senac e gostaria de obter informaes sobre todas as
escolas de culinria do Senac no Brasil, seus endereos e e-mails. Joo Alfredo - Assis, SP.
Eu gostaria de obter informaes sobre o curso de Web Design que vocs oferecem.
Maringela.
Solicito informao sobre cursos de espanhol. Moro em Ribeiro Preto. Gostaria de saber
quando vai comear nova turma, prazo do curso, valor, dias da semana e horrio das aulas.
Observao: no conheo nada da lngua. Aguardo um retorno. rico.
Tenho uma escola de computao em Serra Talhada, interior de Pernambuco. Gostaria de
saber quando e onde haver, mais perto da minha cidade, um curso para profissionais na
parte tcnica de manuteno e configurao de computadores. Fico agradecido recebendo
informaes. Pode ser tanto em meu estado, como nos estados vizinhos. Incio de Souza.
Como adquirir os livros do Senac? Gostaria de adquirir os livros relacionados a
enfermagem. Maria Lusa.
Solicito, por gentileza, o nome do Presidente e do respectivo Superintendente do Senac,
com telefone e endereos para contato. Sou do Ministrio do Desenvolvimento, Indstria e
Comrcio Exterior e esta informao ser de grande valia para futuras correspondncias.
Desde j agradeo. Ktia Lusa.
Caro sr(a). Sou engenheiro da Mercedes-Benz e vejo a necessidade de uso de programao
HTML e Java para divulgao de informaes em nossa intranet. Como h mais pessoas
interessadas em aprofundar conhecimentos na criao de sites e em redes (...) gostaria de

284

saber se h possibilidade de haver cursos aqui dentro da empresa, em So Bernardo do

Campo. Obrigado. Jos Henrique.
Bom dia. Gostaria de saber como acessar o Boletim Tcnico do Senac online. Pesquisando
o site de vocs, encontrei um link para o Boletim, mas ele no respondeu. Vocs poderiam
me ajudar? Obrigado. Edmilson.
Boa tarde! Em primeiro lugar, quero parabeniz-los pela home page. Sou uma estudante do
ensino mdio e estou fazendo uma pesquisa sobre alimentao alternativa. O programa que
o Senac Nacional disponibiliza na pgina muito me interessou, a tal ponto que eu entrei em
contato, ontem, para saber se eu podia copiar as receitas para minha pesquisa. E me
informaram que isso possvel. Porm, no consigo copi-las pois ao clicar na receita, como
se fosse selecion-la, o programa informa que no possvel. O que devo fazer? Juliana.

Na maior parte dos casos, as informaes solicitadas pelos internautas esto presentes na
rede mundial, nas pginas do prprio Senac Nacional ou nas pginas de seus departamentos
estaduais - que podem ser acessadas clicando-se nos links estaduais correspondentes a partir
do portal Senac. Em um nmero menor de ocorrncias, as informaes solicitadas no esto
presentes ou as interfaces no correspondem s expectativas ou s necessidades dos
visitantes do ciberespao, ainda que eles enviem alguns elogios. De um modo geral, tem-se a
sensao de que a navegao eficaz no ocorre com a freqncia nem com a facilidade que
seriam desejadas, conforme j foi detalhado no Captulo 2 desta dissertao. Questiona-se
tambm qual seria o nvel de experincia (expertise) dos usurios tpicos desse site em
relao ao uso da Internet e da tecnologia da informao: estariam as interfaces adequadas
ao pblico que acessa normalmente o portal em busca de informaes e de contato com a
instituio? Ou teriam as interfaces sido configuradas para outros pblicos, diferentes
daqueles que predominantemente visitam o site? So perguntas relacionadas a problemas de
usabilidade e navegabilidade do portal, cujas respostas a anlise de contedo aqui
comentada pode nos ajudar a encontrar e a compreender melhor.
Os documentos apresentados (e-mails dos navegantes da Internet) - fontes de anlise de
contedo - podem ser usados em situaes de pesquisa em usabilidade de interfaces onde h
necessidade de empregar tcnica que no produza alteraes no ambiente pesquisado.

285

Documentos teriam ainda outra vantagem: so fontes no reativas; retratam a situao em

seu estado natural - no havendo alterao na perspectiva ou no comportamento dos
indivduos que os produziram. A anlise de contedo, neste caso, garantiria que a pesquisa
no se desloca de seu contexto de produo social, cultural, poltico e histrico.
Segundo COUTO (2001), o uso de documentos tambm seria apropriado como fonte
suplementar de dados, quando h necessidade de reforar ou validar resultados obtidos
atravs de outras tcnicas de coleta de dados. No presente caso, visa-se compar-los com
informaes advindas da aplicao de questionrios online, assim como com dados
fornecidos por softwares de medio de acessos e de arquivos de logs publicados no
servidor Web, cuja interpretao considerada difcil.
Segundo jornais, existiriam crticas e dvidas quanto ao mtodo empregado na medio do
acesso aos grandes portais, um servio que geralmente realizado por empresas de auditoria
a partir dos computadores servidores dos prprios sites. Os sistemas no conseguem
impedir prticas que inflam artificialmente a audincia, como o refresh, que conta um
novo acesso quando a pgina recarregada. A audincia de portais tambm pode ser medida
por amostragem, atravs de softwares instalados no computador dos usurios. A crtica,
nesse caso, abrangncia da amostra e ao sistema que no consegue captar movimentos
que no estejam ligados aos grandes portais (RODRIGUES e ROSA, 2001).
O programa utilizado pelo portal Senac com essa finalidade o software norte-americano
WebTrends, o mesmo utilizado pelo Instituto Verificador de Circulao - IVC (APS crticas
IVC muda programa de medio, 2001). A verso profissional do programa evitaria que os
nmeros relativos aos diversos frames, refreshs automticos e mensagens de chats sejam
adicionados ao total de page views (pginas visualizadas pelo usurio), inflando
artificialmente a audincia dos sites (BORGES, 2001). No entanto, pesquisadores de Design
de interfaces j abordaram algumas limitaes de programas de interpretao dos arquivos
de log dos servidores Web em paper que foi rapidamente comentado no Captulo 2 desta
dissertao.
Segundo o paper (artigo) de HOCHHEISER e SHNEIDERMAN (1998), os logs de
atividade gravados num computador servidor da Web fornecem um rico conjunto de
informaes, que rastream a utilizao do site. Essas informaes so teis para os

286

provedores de contedo, que visam a compreender o padro de visitas do usurio, no Design

de sites eficientes envolvendo comunidades online, servios do governo, bibliotecas digitais
ou comrcio eletrnico. A monitorao do acesso tem se tornado comum: existem,
atualmente, mais de 50 aplicativos comerciais ou freeware para anlises do arquivo de log
dos computadores servidores. Infelizmente, esses produtos tendem a mostrar grficos
estatsticos apenas de parte dos dados existentes, de tal modo que obscurecem a
compreenso dos padres de utilizao e de outras informaes importantes
(HOCHHEISER e SHNEIDERMAN, 1998).
Segundo SPOOL (2001), em mensagem enviada lista CHI-WEB da Association for
Computing Machinery / ACM, extrair informaes sobre usabilidade de arquivos log de
servidores WWW problemtico, considerando-se as ferramentas existentes. Entre outros
problemas envolvidos, destacam-se a ausncia de dados crticos e o fato de que as intenes
do usurio so inferidas e no observadas. Nesse caso, como se poderia saber quantos
usurios foram bem sucedidos em seus objetivos e quantos fracassaram? Sem conhecer os
objetivos dos usurios, seria muito difcil distingir se um comportamento registrado no log
bem sucedido ou no, diz o pesquisador.
Ressalte-se que, embora o foco desta pesquisa no seja discutir a validade ou no dos dados
ou grficos gerados pelos softwares de interpretao dos logs de servidores, como o
WebTrends (ver figura 6.1, a seguir), usado no portal do Senac, utilizaremos algumas
informaes quantitativas geradas por este software, visando simples comparao com
resultados da nossa anlise qualitativa. Destaque-se que uma pesquisa aprofundada
abordando a validade desse tipo de software poder ser desenvolvida, no futuro, para a
investigao de aspectos de Ergonomia da Interao Humano-Computador (HCI). Os
programas da WebTrends (ou outros de anlise de logs) no configuram, entretanto, o foco
da presente dissertao.

287

FIGURA 6.1 Tela do software WebTrends, instalado no servidor do Senac, na ISMnet

(2001).

A adoo do enfoque qualitativo no rejeita algumas formas de quantificao, desde que

adequadas ao objeto de pesquisa e necessrias apresentao dos dados do trabalho. Na
anlise de contedo de cunho quantitativo, as inferncias so feitas a partir da freqncia
com que certas caractersticas do fenmeno ocorrem, explica COUTO (2001).
Uma controvrsia existente refere-se discusso entre os que defendem a anlise de
contedo como tcnica quantitativa e os que a querem como qualitativa. Para os primeiros, a
anlise de contedo s deveria estudar a freqncia das caractersticas presentes na
mensagem, com extrema rigorosidade. Para os que defendem a anlise de tipo qualitativo,
tambm deveramos analisar as caractersticas ausentes da mensagem (RICHARDSON,
1999). Atualmente, segundo o autor, pela influncia de pesquisadores franceses, os mtodos
quantitativos passaram a ser menos rgidos e mais eficazes, introduzindo-se assim aspectos
qualitativos na aplicao dos mtodos quantitativos.
A anlise de contedo seria, portanto, um conjunto de tcnicas de anlise das comunicaes
visando obter, atravs de procedimentos sistemticos e objetivos, de descrio do contedo
das mensagens, indicadores (quantitativos ou no) que permitam inferir conhecimentos

288

relativos s condies de produo e recepo dessas mensagens. Observa-se que toda

comunicao que implica em transferncia de significados de um emissor a um receptor
pode ser objeto da anlise de contedo: tudo o que dito ou escrito seria suscetvel de ser
submetido a essa anlise, como os e-mails aqui estudados.
Segundo RICHARDSON (1999), a anlise de contedo , particularmente, utilizada para
estudar material de tipo qualitativo (aos quais no se podem aplicar tcnicas aritmticas).
Desse modo, deve-se fazer uma primeira leitura para organizar as idias includas para,
posteriormente, analisar elementos e regras que as determinam. Pela sua natureza cientfica,
a anlise de contedo deve ser eficaz, rigorosa e precisa. Trata-se de compreender melhor
um discurso, de extrair os momentos mais importantes. Deve basear-se em teorias relevantes
que sirvam de marco de explicao para as descobertas do pesquisador. A nossa anlise de
contedo se baseia no marco referencial das necessidades da pesquisa em Ergonomia da
Interao Humano-Computador (HCI), abordando desafios atuais colocados aos designeres
de interfaces, no tocante navegabilidade e usabilidade dos sistemas interativos que criam
na Internet e sua eficcia, quanto recuperao, pelos usurios, das informaes
disponibilizadas. Observe-se ainda que, em considerao ao grande volume e diversidade
de formas com que se apresenta a comunicao entre pessoas, o campo de aplicao da
anlise de contedo estaria limitado apenas pela imaginao.
Segundo RICHARDSON (1999), a forma de trabalho de um pesquisador deve ser
transmissvel, ou seja, deve ser exposta de maneira tal que possa ser repetida por outros
pesquisadores. Esse foi um dos aspectos particularmente valorizados nesta pesquisa, visando
a sua compreenso, exeqibilidade e viabilidade econmica, para os designeres que atuam
no mercado de trabalho real, vivenciando situaes do cotidiano, ao desenhar interfaces
Web.

A fase de pr-anlise

A fase de pr-anlise englobou a leitura superficial dos documentos e a sua triagem.

Consistiu em leitura visando ao contato inicial com o material, para conhecer sua estrutura
narrativa e obter as primeiras orientaes e impresses em relao s mensagens dos

289

documentos. Essa pr-leitura foi realizada durante o ano 2000, quando da realizao do
curso de mestrado na PUC-Rio e consistiu tambm na coleta e na impresso sistemtica, em
suporte papel, de todas as mensagens espontneas - estruturadas ou no-estruturadas enviadas ao portal Senac e ao webmaster pelos usurios da Internet.
Em uma segunda etapa dessa fase, durante a escolha dos documentos, o investigador visou
recolher amostras das ocorrncias suscetveis de oferecer informaes necessrias para esta
pesquisa. Foram selecionadas apenas mensagens relativas aos meses de setembro, outubro e
novembro de 2000, realizando-se um recorte com base na linha do tempo. Eliminaram-se emails que no foram enviados para o portal Senac ou para o webmaster, invalidando-se para efeito desta pesquisa - ocorrncias com contedos representativos de publicidade,
propaganda, correntes, pirmides, listas de discusso, sugestes de pauta, assessoria de
imprensa, spam (envios no solicitados a um grande nmero de destinatrios), trashmail (lixo), envios com anexos de vrus e mensagens direcionadas a indivduos especficos.
Levaram-se em considerao, apenas, mensagens de navegantes da Internet endereadas ao
portal Senac ou ao webmaster e invalidou-se o restante.
Observe-se que ainda no havia um acesso corporativo Internet, na ocasio da pesquisa, e,
alm do prprio webmaster (que tinha a tarefa de configurar o Design do portal na Web),
poucos eram os funcionrios que utilizavam a rede - via acesso discado, o nico tipo de
acesso disponvel - no Senac Nacional.
Isso ocorria porque ainda no havia efetiva utilizao da Internet como ferramenta
corporativa de produo ou de gesto, sendo ela basicamente um instrumento de
comunicao institucional com o pblico externo mesmo assim, de modo bastante restrito.
Tal situao perdurou at meados de 2001 (quanto ao acesso Web) e, pelo menos at
dezembro de 2001, a administrao evitou dar contas de e-mail a funcionrios comuns.
O recorte da amostragem das mensagens privilegiou os meses mencionados, devido ao fato
de coincidirem com a aplicao do questionrio online (cujo mtodo de aplicao est
comentado mais adiante). Os meses de julho e dezembro foram preteridos, para efeito desta
investigao, pois referem-se a meses de frias acadmicas ou de festividades de fim de ano
- a partir de novembro, foi detectada uma sensvel queda na navegao de internautas
visitando o Web site, o que poderia ter gerado tendenciamentos, nesse ms.

290

A partir da pr-anlise das mensagens espontaneamente enviadas pelos navegantes tanto

em formulrios como em e-mails simples , dimensionaram-se os tipos de pesquisa e
definiram-se quais os dados a serem extrados da amostra, assim como determinaram-se as
principais categorias para uma investigao. As pesquisas planejadas e executadas visaram a
determinao de um perfil geral dos usurios finais do site e o mapeamento de seus
objetivos expressos, a partir de mensagens que possivelmente no refletiram o vis dos
temas propostos ou de perguntas realizadas pelo pesquisador - ou seja, com o mnimo
possvel de alteraes produzidas no ambiente e em suas condies originais de produo.

O processo de categorizao

Segundo BARDIN (1977), a categorizao um processo de tipo estruturalista, que

comporta duas etapas: (1) o inventrio: isolar os elementos; e (2) a classificao: repartir os
elementos e procurar ou impor uma certa organizao s mensagens. A anlise de contedo
assenta implicitamente na crena de que a categorizao no introduz desvios no material
(...), mas que d a conhecer ndices invisveis, ao nvel dos dados brutos. Isto talvez seja
abusar da confiana que se pode ter no bom funcionamento deste delicado instrumento.
A categorizao pode empregar dois processos inversos: (1) fornecido o sistema de
categorias e repartem-se da melhor maneira possvel os elementos, medida em que vo
sendo encontrados. Esse procedimento aplicvel no caso da organizao do material
decorrer diretamente dos funcionamentos tericos hipotticos; e (2) o sistema de categorias
no fornecido e resulta da classificao analgica e progressiva dos elementos.
O processo de categorizao aplicado nesta pesquisa foi o primeiro, pois o investigador
conhecia de antemo ou supunha conhecer - a partir de uma leitura prvia no sistemtica
dos e-mails, caracterstica de seu trabalho enquanto webmaster e designer do site quais as
categorias e as dimenses sobre as quais buscaria quantificao de freqncias.
Um exemplo de categorizao previamente definida foi o sistema de classificao de reas
de educao profissional do Senac (exemplo: Turismo e Hotelaria [Hospitalidade], Imagem
Pessoal, Informtica, Design, Gesto, Artes, Idiomas, etc), estas encontradas nos referenciais

291

educacionais da instituio, publicados na Internet. necessrio ressaltar que ajustes foram

operacionalizados a partir de dvidas aparecidas durante toda a anlise. Esses ajustes no
comprometeram, entretanto, a estrutura bsica e essencial da categorizao adotada, como
foi o caso das mencionadas reas profissionais s quais foram adicionadas as categorias
outras e no-identificada/todas. No caso, foram includas na categoria outras
mensagens que solicitavam informaes sobre cursos de veterinria, cutelaria ou programas
de iniciao profissional do menor, por exemplo. Na categoria no-identificada/todas,
entraram as mensagens em que o remetente esqueceu-se de mencionar o curso ou a rea
sobre a qual procurava especificamente informaes, quando foi impossvel para o
pesquisador identificar o curso de interesse do internauta ou quando ele buscava
informaes sobre todos os cursos existentes.
Um outro momento da fase de categorizao foi a definio das categorias da pesquisa de
remetentes, que teve de ser realizada duas vezes, para o primeiro ms analisado (setembro de
2000). Ocorreu que o sistema de categorias previamente proposto mostrou-se
demasiadamente limitado ou estreito, resultando no crescimento excessivo das categorias
genricas, como outros e no identificado. Neste exemplo, foi preciso repetir a pesquisa
de remetentes, com um esforo extra de interpretao, procurando-se desvendar categorias
escondidas ou insuspeitadas. Nesse caso, o processo de categorizao aproximou-se mais da
classificao analgica progressiva de elementos tal como foi mencionada por BARDIN
(1977). No processo de definio, criou-se tambm as categorias de bibliotecrios e de
funcionrios pblicos (no-bibliotecrios) com o objetivo de dar mais nfase primeira,
que foi considerada um grupo importante de usurios.
A tcnica de anlise de contedo mais antiga e mais utilizada a anlise por categorias.
Mas, segundo RICHARDSON (1999), a categorizao no seria etapa obrigatria na anlise
de contedo, embora ela facilite a anlise das informaes.
As categorias devem apresentar as seguintes caractersticas, segundo o autor:
Exaustividade - cada categoria estabelecida deve permitir a incluso de todos os elementos
levantados relativos a um determinado tema. Por exemplo, a categoria criada de busca de
informaes sobre cursos permitiu a incluso de cursos de todas as reas de educao
profissional existentes oferecidas pelo Senac.

292

Exclusividade - nenhum elemento pode ser classificado em mais de uma categoria. Por
exemplo, se uma demanda de usurio for classificada como busca de informaes sobre
cursos da rea de sade, ela no ser classificada como busca de informaes sobre idiomas
ou sobre telecomunicaes. Na ltima pesquisa realizada, a de questes acadmicas, abriu-se
uma exceo a esta regra: gerou-se, assim, um grfico de barras, em vez de um grfico tipo
torta (ou pizza), em que cada mensagem de usurio podia gerar mais de uma freqncia
quantitativa de itens de pesquisa, conforme sua(s) demanda(s) especficas.
Concretitude - termos abstratos so complexos, tero diversos significados. Assim, a
classificao corre o risco de mudar de pesquisador a pesquisador. importante ter
categorias concretas que permitam fcil classificao dos elementos. Notou-se alguma
dificuldade na classificao de propostas de parcerias, pois este um termo abrangente
que pode englobar vrios tipos de prticas gerenciais. Um exemplo de parceria aplicado
Web poderia ser o estabelecimento de links recprocos entre sites de instituies
educacionais.
Homogeneidade - categorias devem basear-se em um mesmo princpio de classificao.
No possvel analisar o contedo quando as categorias se fundamentam em mais de um
princpio classificatrio. Por exemplo, se o princpio classificatrio for a origem geogrfica,
no deve-se levar em considerao os domnios da Internet, pois sabe-se que estes no
implicam necessariamente em identificaes geogrficas de Web sites, exceto em casos
especficos, como subdomnios do governo ou do prprio Senac.
Objetividade e fidelidade - os vieses devidos subjetividade dos codificadores, a diferena
da interpretao, no se produzem quando as categorias so adequadas e bem definidas. O
pesquisador deve definir claramente variveis e indicadores que determinam a classificao
dos elementos em determinadas categorias. Por exemplo, as variveis das reas de educao
profissional do Senac j estavam minuciosamente definidas nos referenciais educacionais da
instituio, publicadas na Internet, resultando em menor nmero de dvidas de
interpretao. Uma das dvidas suscitadas seria a classificao do curso de e-commerce poderia tanto ser categorizado como comrcio ou como informtica; nesse caso,
escolheu-se a primeira alternativa. Um outro exemplo seria o curso de pintura em objetos de
cermica, que acabou sendo classificado na categoria de artes e no de Design, segundo
as diretrizes consideradas.

293

Geralmente, a anlise de contedo pode visar a um tratamento quantitativo que no exclui a

interpretao qualitativa. Os procedimentos para esse tipo de tratamento so numerosos,
incluindo ou no mtodos estatsticos. O tratamento quantitativo mais utilizado a
freqncia de cada elemento, ou seja, a quantidade de vezes que aparecem elementos em
determinado documento.
O leitor, no entanto, deve lembrar que a estatstica est a servio do homem, e no o
homem a servio da estatstica ressalta RICHARDSON (1998). Em ltima instncia,
para o autor: a melhor anlise so as boas idias.

A anlise de contedo propriamente dita

Para a realizao da etapa seguinte, a anlise documental propriamente dita, visando a

identificao das categorias acompanhada de quantificao de freqncias, recorreu-se
ajuda de duas profissionais com formao universitria em Economia e em Administrao
de Empresas, respectivamente, e com experincia prvia em pesquisas na rea de marketing.
O objetivo do auxlio dessas profissionais durante a anlise foi principalmente evitar um
possvel tendenciamento (bias) causado pelo pesquisador, que funcionrio do Senac.
Alm disso, houve tambm o auxlio na operacionalizao da extensiva pesquisa
documental, visto que o tamanho da amostra de documentos impressos coletados para
anlise de contedo foi extremamente considervel: perfazia um total de mais de quinhentas
mensagens, para os trs meses abordados.
Visou-se, assim, a conhecer caractersticas de remetentes de mensagens espontneas
considerando-se aspectos relativos a sexo, origem geogrfica, domnios Internet do
provedor, categorias de remetentes, temas das mensagens, temas de maior interesse na busca
de informaes, produtos de interesse para compras e tipos de informaes acadmicas
solicitadas ao portal. Estas foram as oito dimenses pesquisadas, cujos resultados sero
apresentados mais adiante, nos grficos do prximo captulo. Os referidos e-mails no
ofereciam outras informaes de interesse para a pesquisa da Ergonomia da Interao
Humano-Computador (HCI), alm das acima mencionadas, no tocante ao estudo de caso em

294

questo por isso, este recorte temtico foi realizado, tal como descrito. Informaes
relativas a produtos, preos, praas, promoes, distribuio e vendas completadas no
foram consideradas, por se tratar de pesquisa especfica de marketing. Dados adicionais em
HCI foram buscados adiante, atravs de mtodos e tcnicas complementares, como o
questionrio online, cujo memorial de aplicao ser apresentado adiante, neste captulo.
Diante do grande nmero das mensagens analisadas - o que fez desta pesquisa uma tarefa
extremamente trabalhosa e extensiva -, a preocupao foi que ela pudesse ser bem
compreendida e repetida por outros pesquisadores e/ou profissionais, no caso de o mesmo
mtodo ser aplicado a outros sites de empresas na Internet, por escritrios ou prestadores de
servios de Design, no contexto de sua atuao voltada para o mercado.
Considerou-se aqui tambm a possibilidade de uma utilizao freqente ou permanente do
mtodo de pesquisa descrito, por designeres que visam implementar tcnicas de atuao
relacionadas ao Design Centrado no Usurio, em suas prticas profissionais cotidianas agregando novos servios e valores ao portfolio tradicional oferecido aos clientes.
importante ressaltar que esta pesquisa se enquadra num contexto em que, segundo
TEIXEIRA FILHO (2001), a Internet alterou a rotina dos profissionais e motivou o
surgimento de novas ocupaes. As novas profisses representam mais oportunidades de
trabalho para pessoas com formaes tradicionais, como Design, programao visual,
jornalismo, editorao, publicidade e a prpria informtica, entre outras. A posio de Web
designer est entre as que surgiram recentemente (...) O projeto [de Web Design] parte do
tipo de pblico para definir o tipo de linguagem e a abordagem do usurio coloca
TEIXEIRA FILHO (2001).
Atualmente, no ambiente de alta competitividade dos negcios, investimentos de empresas
em Web sites no seriam mais opcionais: hoje preciso que se garanta o seu retorno e este
o principal desafio que devem encarar diferentes tipos de profissionais da Web. O
comprometimento das empresas com a usabilidade das interfaces traz enormes benefcios,
em termos de produtividade, produtos competitivos, menores custos de suporte e processos
de desenvolvimento eficientes. Sabe-se que este processo no termina simplesmente com a
instalao das interfaces; muito pelo contrrio, a que comea: a coleta de feedbacks do
usurio vai determinar qual ser o desenvolvimento posterior do projeto, assim como seu

295

planejamento, justificativas de custos e estruturas organizacionais. necessrio certificar-se

de que a organizao comunica sua mensagem efetivamente, assim como de que os usurios
obtm o que procuram, facilmente.
A anlise de contedo das mensagens espontneas dos usurios enquadra-se nesse contexto
e - apesar de exigir investimentos, principalmente de tempo - pode representar uma eficiente
forma de levantamento de intenes, objetivos e desejos dos navegantes da Web,
particularmente para os sites que tm como misso a prestao de servios ao pblico, a
criao de comunidades online ou o comrcio eletrnico atividades que devem se manter
permanentemente focalizadas no cliente (o usurio final).
O investimento na anlise de contedo seguramente trar retorno aos sites, ao tornar
explcitas as necessidades do cliente real da Internet que nas empresas extremamente
burocratizadas e centralizadoras podem se tornar apenas suposies, cuja lembrana ousa-se
invocar (ou no) dependendo de cclicos e temveis humores corporativos.
Segundo o Web designer norte-americano David SIEGEL (1999), a maioria das empresas
no possui a cultura necessria para dar apoio a um site vivo. Esta lacuna poderia ser
preenchida atravs da aplicao de tcnicas de pesquisa que aproximassem as empresas dos
seus clientes, assim como os Web sites dos seus usurios finais.
Tal orientao poderia evitar que disputas interdepartamentais de poder ou de prestgio,
assim como mitos, crenas, atitudes e estruturas organizacionais - como nos foi relatado por
ROSENFELD e MORVILLE (1998), MAYHEW e BIAS (1994) e SHNEIDERMAN
(1998), citados em captulo anterior desta dissertao - orientassem o redesenho de sites
corporativos, s vezes com grande desperdcio de tempo e de recursos financeiros para
empresas e instituies em geral.
Destaca-se que, na atual conjuntura econmica, a gesto criteriosa de investimentos na
Internet e na tecnologia da informao torna-se estrategicamente importante no somente
para as empresas privadas, como tambm para as organizaes pblicas e nogovernamentais, sem fins lucrativos.
Note-se que - apesar de extensiva, criteriosa, sistemtica e, por vezes, exaustiva - a anlise
de contedo no fundo um processo simples: segundo BARDIN (1977), a categorizao

296

cotidiana em nossa vida: os jogos de programas de rdio baseiam-se inteiramente na

capacidade de se produzir com rapidez numerosos elementos desta ou daquela categoria. (...)
Desde a escola primria, as crianas aprendem a recortar, classificar e ordenar, atravs de
exerccios simples. Por isso, a categorizao tem como objetivo fornecer - por condensao
- uma representao simplificada dos dados brutos.
Um outro objetivo importante desta anlise de mensagens seria coletar informaes que
podem auxiliar no planejamento de futuros testes de usabilidade uma tcnica fundamental
do projeto de interfaces centradas no usurio. Um dos requisitos essenciais a esses testes
seria garantir que seus participantes desempenhem as mesmas tarefas que os usurios finais
dos produtos desempenham ao utiliz-los, na prtica. No planejamento dos testes de
usabilidade, ser necessrio decidir quais tarefas sero includas, assim como quais os
recursos disponveis e a ordem e a prioridade das tarefas, explicam DUMAS e REDISH
(1994). Por isso, seria importante pensar a respeito dos diversos perfis de usurios finais e
suas caractersticas, assim como sua importncia relativa, alm de cenrios de utilizao.
Aliado ao questionrio online, a anlise das mensagens espontneas dos internautas da Web
o mtodo til para coletar dados, visando a identificao do perfil da audincia e ao
planejamento de futuros testes de usabilidade. Esses aspectos sero tratados adiante, no
captulo que discorre sobre os desdobramentos desta pesquisa e sobre suas contribuies ao
processo de Design e Ergonomia da Interao Humano-Computador (HCI).
Ressalta-se tambm que, nas pesquisas qualitativas, a generalizao dos resultados obtidos
uma questo polmica. Segundo ALVES-MAZZOTH e GEWANDSNAJDER (1998), a
possibilidade de aplicao dos resultados a um outro contexto depender das semelhanas
entre eles e a deciso sobre essa possibilidade caber a quem pretende aplic-los em um
contexto diverso daquele no qual os dados foram gerados. A responsabilidade do
pesquisador seria oferecer a seu leitor uma descrio densa do contexto estudado, bem como
das caractersticas de seus sujeitos, para permitir que a deciso de aplicar ou no os
resultados a um novo contexto possa ser bem fundamentada.
Destaca-se ainda que, se anteriormente as cincias se pautavam em um modelo quantitativo
de pesquisa - em que a veracidade de um estudo era verificado pela quantidade de
ocorrncias verificadas -, hoje, muitos pesquisadores questionam a representatividade e o

297

carter de objetividade de que a pesquisa quantitativa se revestia. preciso encarar o fato

de que, mesmo nas pesquisas quantitativas, a subjetividade do pesquisador est presente
(GOLDENBERG, 1997).
Os grficos resultantes da tabulao dos dados obtidos com esta anlise de contedo sero
apresentados no prximo captulo desta dissertao.

6.8.2 Criao e aplicao do questionrio online

Uma das tcnicas de pesquisa ergonmica aplicveis aos sites da World Wide Web o
questionrio online. Esse mtodo particularmente recomendvel devido ao baixo custo e
tambm devido grande participao dos usurios, que cooperam quando convidados pela
via virtual -, o que faz do questionrio online um sucesso e um evento gratificante. A tcnica
simples, podendo ser aplicada por qualquer pessoa com conhecimentos elementares de
programao HTML e de produo para Internet.
O questionrio online visa a identificar os grupos e subgrupos de usurios finais dos Web
sites, assim como suas necessidades, percepes, estratgias de navegao, graus de
experincia com tecnologias, background, dificuldades, constrangimentos, queixas ou
sugestes.
Uma das maiores vantagens do questionrio na pesquisa em HCI, alm do custo e da
rapidez, que ele nos d o feedback sob o ponto de vista do usurio, afirma
KIRAKOWSKI (2001).
RICHARDSON (1999) explica-nos que questionrios cumprem pelo menos duas funes:
descrever caractersticas e medir variveis de grupos sociais. Entre as vantagens de se
aplicar questionrios est a possibilidade de se obter informaes de grande nmero de
pessoas em tempo curto e abranger rea geogrfica ampla. A tcnica apresenta
uniformidade, devido ao vocabulrio, ordem das perguntas e s instrues iguais para os
entrevistados. O questionrio poder ser annimo para que as pessoas sintam-se com maior
liberdade de expressar suas opinies.

298

Entre os problemas do questionrio, RICHARDSON (1999) afirma ser comum no se obter

100% de respostas - o que produz vieses na amostra. Por outro lado, nem sempre possvel
ter certeza de que a informao proporcionada pelos entrevistados corresponde realidade
de suas opinies, seus interesses, suas caractersticas, sua situao econmica etc. Outra
questo a imposio da problemtica: colocar o entrevistado frente a uma estruturao
dos problemas que no a sua. Alm disso, em muitos casos, perguntas fechadas ou prformuladas canalizam as escolhas pelo fato de se referirem a problemticas cuja relevncia
no igual para todos os indivduos.
Para RICHARDSON (1999), no existem normas claras para adequao de questionrios a
clientelas especficas. responsabilidade do pesquisador determinar o tamanho, a natureza e
o contedo do questionrio, de acordo com o problema pesquisado e respeitar o entrevistado
como ser humano. Recomenda-se que o questionrio no ultrapasse uma hora de durao e
que inclua diferentes aspectos de um problema.
Questionrios so tcnicas de pesquisa que iniciam um processo de descoberta na mente do
entrevistado. Ao responder ao questionrio, o participante comea a focalizar um
determinado problema e o faz segundo um modo determinado de abord-lo. Quando o
respondente do questionrio precisa reagir a perguntas fechadas e muito focalizadas, o
chamado bias (tendenciamento) pode se tornar um problema. Em perguntas abertas, o
tendenciamento tambm existe, embora esteja disfarado.
De acordo com KIRAKOWSKI (2001), do Human Factors Research Group (HFRG), as
vantagens de empregar questionrios na engenharia de usabilidade seriam: (i) questionrios
nos oferecem feedbacks sob o ponto de vista dos usurios; (ii) questionrios medem
parmetros relativos a um grande nmero de sujeitos, independentemente de sistemas; (iii)
sua aplicao rpida e tem boa relao custo-benefcio.
Entre as desvantagens, pode-se citar que: (i) o feedback diz respeito aos fatos como so
percebidos: isto quer dizer que algumas questes (como freqncia de erros e medies de
tempos) no so confiveis quando respondidas atravs de questionrios; (ii) se for
projetado para um nmero amplo de situaes, ele no poder gerar respostas detalhadas
sobre um sistema especfico. Entretanto, esta desvantagem poderia ser compensada por um
redesenho; (iii) reunir dados quantitativos sobre a opinio e a atitude do usurio um bom

299

comeo, mas no conta toda a histria. Seria importante agregar dados subjetivos (como o
esforo mental, o desempenho e a efetividade): isso significa observar os usurios e
conversar com eles. H um certo consenso, na rea de HCI, de que perguntar s pessoas qual
a sua opinio sobre determinada interface nunca ser um substituto para a observao
direta das pessoas utilizando a interface.
Outro problema o suposto desenvolvimento de respostas socialmente desejveis. Isso
significa, em outras palavras, que os entrevistados podem estar mentindo. Existem relatos de
que seria comum usurios terem dificuldades ao trabalhar com uma interface mas, ao
preencher um questionrio de opinio, atribuirem a ela uma boa avaliao. O problema pode
ser gerenciado com a aplicao das chamadas lie scales (escalas da mentira). Esse aspecto
constitui um tpico com complexidade especfica. Segundo KIRAKOWSKI (2001), as lie
scales no costumam ser utilizadas nas pesquisas da Ergonomia da Interao HumanoComputador (HCI).
As pesquisas online evitam custos relacionados impresso, distribuio e coleta de
formulrios em papel. Muitas pessoas preferem preencher um questionrio apresentado na
tela, do que sob a forma impressa. "Entretanto, pode ocorrer um tendenciamento (bias)
gerado pela amostra auto-selecionada", explica-nos SCHNEIDERMAN (1998).
Questionrios baseados na World Wide Web foram abordados tambm por PERLMAN
(2001), que nos apresenta alguns padres de formulrios utilizados, assim como scripts de
programao para facilitar o seu envio pela rede, no formato de e-mail. Um pesquisador
pode utilizar os padres sugeridos ou adapt-los a suas necessidades especficas.
No modelo de SHNEIDERMAN (1998), utilizado como inspirao para aplicao desta
pesquisa acadmica, usurios so questionados em suas impresses subjetivas sobre
aspectos especficos das interfaces, objetos e aes relacionados s tarefas, metforas da
interface, Design ou sintaxe dos inputs. Outros objetivos so determinar o background social
e educacional do usurio, assim como sua experincia prvia com a tecnologia da
informao.
Criamos para o portal Senac um questionrio de avaliao de usabilidade de interfaces Web
baseado no modelo proposto por SHNEIDERMAN (1998). Houve o cuidado de modific-lo

300

e adapt-lo s condies especficas desta investigao. O questionrio foi criado em

HyperText Markup Language (HTML) e apresentado aos visitantes do site, durante um
perodo de tempo. Os convites, solicitando a participao dos visitantes, foram enviados por
e-mail e tambm atravs da resposta automtica do site.

A fase de pr-testes do questionrio online

A fase de pr-teste de questionrios refere-se aplicao prvia a um grupo que apresenta

caractersticas da populao includa na pesquisa; tem por objetivo revisar e direcionar
aspectos da investigao, conforme explica-nos RICHARDSON (1999). A fase de pr-testes
do questionrio online consumiu perto de dois meses de trabalho. Depois da produo do
formulrio online com o programa DreamWeaver - para criao de cdigo HTML e
diagramao -, foram aplicados pr-testes para definio de ajustes e alteraes a serem
feitos, a partir da observao de problemas do prottipo. O formulrio preenchido podia ser
postado pelo internauta, com o clicar de um boto, de volta caixa postal do webmaster,
com auxlio de um script CGI (um programa instalado no computador do provedor de
acesso, vinculado ao cdigo HTML).
O primeiro pr-teste foi realizado com seis funcionrios do setor de marketing e
comunicao do Senac. Aps modificaes necessrias, o segundo e o terceiro pr-testes
contaram com a participao de seis internautas (pblico externo). Uma das alteraes
realizadas durante a fase de pr-teste foi o ajuste em perguntas que pareciam redundantes,
reportadas pelos participantes. Por exemplo: duas perguntas seguidas pesquisavam o tempo
e a facilidade de download dos arquivos do portal Senac e pareciam ser repeties. Um
pequeno ajuste na formulao do texto diminuiu esta sensao, j que uma se referia ao
tempo de conexo com a rede mundial durante o download de arquivos (relacionado
largura de banda) e outra facilidade do usurio aprender a realizar a operao de download,
utilizando as explicaes do portal investigado (relacionada a problemas de natureza
cognitiva). Outro ajuste realizado durante o pr-teste foi a definio de opes de respostas
por faixas etrias, j que observamos que participantes do sexo feminino evitavam informar
suas idades e deixavam o campo em branco.

301

O formulrio no colocava imposies de programao (scripts) que forassem o usurio a

preencher todos os campos, deixando-o livre para saltar perguntas que no se sentisse
vontade para responder. Levou-se em considerao que esse tipo de constrangimento, obtido
atravs de recursos de programao, poderia criar dificuldades ao usurio no preenchimento
do questionrio (que era extenso), e contribuir para uma eventual reduo do nmero de
respostas enviadas.

A aplicao final do questionrio

Em agosto de 2000, a verso final (quarta verso) do questionrio estava pronta na Web e, a
partir do dia 28 do mesmo ms, usurios do site comearam a receber convites do
webmaster para participar da pesquisa, respondendo ao questionrio de avaliao de
usabilidade de interfaces. Deixava-se claro que o que estava sendo avaliado era o site e no
o prprio usurio.
Os convites, via e-mail, foram enviados para usurios que j haviam entrado em contato
com o site anteriormente. Daquela data, at o dia 6 de outubro de 2000, foram enviados um
total de 1.591 convites a usurios para que respondessem ao questionrio online, optando-se
pelo envio de pequeno nmero de convites dirios. O convite para participar da pesquisa
tambm integrava o texto da resposta automtica do site. A partir de outubro de 2000,
convites passaram a ser feitos exclusivamente atravs do mecanismo de resposta automtica.
Segundo RICHARDSON (1999), a aplicao por correio permite incluir grande nmero de
pessoas de pontos geogrficos diferentes. Mas apresenta certas desvantagens, tais como a
baixa taxa de devoluo e o vis nas respostas, pois geralmente os formulrios so
devolvidos pelas pessoas mais interessadas em colaborar.
Logo que os primeiros convites foram enviados, as respostas comearam a chegar,
demonstrando o entusiasmo na participao dos usurios. Ao todo, chegaram 155 (cento e
cinqenta e cinco) formulrios considerados vlidos. Foram considerados sem efeito e
anulados formulrios que, embora postados pelo internauta, no continham o preenchimento
completo dos campos de dados demogrficos e de background (parte introdutria) e no

302

continham respostas a perguntas relativas hiptese pesquisada (perguntas sobre a home

page).
Questionrios podem ser classificados em trs categorias: de perguntas fechadas; de
perguntas abertas; e que combinam ambos os tipos (RICHARDSON, 1999). O questionrio
online aplicado enquadrou-se nesta ltima categoria. As perguntas eram tanto estruturadas
(fechadas) como no-estruturadas (abertas); estas ltimas apresentaram reas para que o
visitante pudesse redigir suas consideraes e comentrios livremente (ver figura 6.2). O
questionrio utilizado consistiu de nove partes, alm de uma introduo para obteno do
perfil geral do visitante.
Junto a cada questo proposta ao internauta, foi apresentada uma escala de oposio
semntica, com valores de 1 at 5. As escalas do questionrio original de SHNEIDERMAN
(1998) variam at dez, o que foi considerado complexo e modificado. Outras adaptaes
foram realizadas, como a eliminao ou a substituio de questes que no eram aplicveis
especificamente ao estudo, com alteraes efetuadas no modelo inicial.

303

FIGURA 6.2 - Questionrio online, inspirado no modelo proposto por SHNEIDERMAN

(1998).

O objetivo foi coletar dados suficientes sobre as necessidades e opinies dos usurios,
assim como a qualidade de suas interaes com o referido sistema. Os temas
investigados no questionrio foram: o look and feel do site, os problemas da pgina de
abertura, links, a estrutura do site, a navegao, o Design visual, imagens, multimdias,
plug-ins, tempo de downloads, a resposta automtica, usabilidade de formulrios,
legibilidade, sala de chat, tipo de acesso rede, navegadores (browsers), assim como
informaes educacionais, demogrficas e de experincia prvia com a Internet.
(AGNER, 2001).

O feedback dos usurios sobre o questionrio

Os usurios do portal Senac entrevistados via Web tiveram oportunidade de se manifestar,

livremente, com comentrios por escrito sobre o mtodo aplicado, atravs de pergunta aberta
ao final. Grande parte demonstrou aprovao quanto iniciativa, mas alguns criticaram
diretamente a usabilidade do mtodo, avaliando o questionrio como longo, exaustivo,
repetitivo ou muito detalhado. Essas reclamaes dos usurios esto reunidas nos anexos
desta dissertao.
Para KIRAKOWSKI (2001), reclamaes sobre a aplicao de questionrios so normais e
freqentes; muitos entrevistados se consideram especialistas em questionrios. provvel

304

que as pessoas que reclamam tenham outras coisas que desejariam dizer, talvez sobre outros
assuntos.
Considerando o feedback resultante da aplicao do questionrio online, principalmente
quanto s reclamaes sobre o seu longo tamanho e a sua dificuldade, tendemos a acreditar
que o modelo proposto por SHNEIDERMAN (1998) um bom instrumento para se obter
dados de usabilidade. Entretanto, ele deve ser desenhado e aplicado de forma mais compacta
e resumida, para se adaptar melhor ao estilo cognitivo dos internautas do Brasil (AGNER e
MORAES, 2001). Lembra-se que, no que se refere aos tipos e s categorias de usurios, as
diferenas culturais e geogrficas devem ser sempre consideradas - explica-nos a IBM
(2001).
No h como afirmar que o tamanho ou o detalhamento do questionrio geraram grandes
tendenciamentos na amostra - com seleo de usurios mais experientes -, ou que esses
usurios experientes tenham enviado respostas socialmente desejveis. Entretanto, isto
uma possibilidade real. Essas conjecturas so possveis (quando se trata de questionrios),
embora no especificamente comprovveis neste caso. O debate aprofundado sobre essas
questes provavelmente demandaria o planejamento de novas pesquisas na rea de
Ergonomia e Interao Humano-Computador (HCI).
Cabe sublinhar que a aplicao do questionrio online, durante a realizao desta
investigao, consistiu em uma experincia de grande sucesso - onde foi possvel
constatar o entusiasmo da participao de nmero expressivo de usurios da Internet
brasileira - incluindo representantes de todas as regies do Brasil - que se dispuseram a
contribuir e a auxiliar esta pesquisa acadmica com aquilo que viam, percebiam, sentiam,
pensavam ou sabiam sobre a interface avaliada.

6.9 Observaes finais deste captulo

Para finalizar este captulo, importa lembrar ainda que - como atividades humanas e sociais pesquisas trazem consigo, inevitavelmente, a carga de valores, de preferncias, de interesses
e de princpios que orientaram o pesquisador. Assim, sua viso de mundo, seus pontos de

305

partida e seus fundamentos para a compreenso e explicao do mundo influenciam a

abordagem.
Pesquisas no se realizam (nem esta tampouco se realizou) em uma estratosfera, acima de
atividades comuns e correntes do ser humano e sofrem injunes tpicas dessas atividades.
Por isso, concordamos com LUDKE e ANDR (1986), quando os autores dizem que
necessrio desmistificar o conceito que encara a pesquisa como um privilgio de seres
dotados de poderes especiais.

No prximo captulo, apresentaremos os resultados desta pesquisa: grficos com os dados

obtidos, trabalhados no programa Microsoft Excel para cada aspecto da pesquisa realizada, e
a sua discusso e interpretao luz do quadro terico da Ergonomia e Usabilidade da
Interao Humano-Computador (HCI).

306

Referncias deste captulo

ACKOFF, Russell Lincoln. Redesigning the future: a system approach to societal problems. New
York: J. Wiley, 1974.

AGNER, Luiz; MORAES, Anamaria. Ergonomics and web design: a brazilian case study. In:
Advances in Occupational Ergonomics and Safety. Annual Conference of the International
Society for Occupational Ergonomics and Safety / ISOES, 15, 2001, Washington. BITTNER JR,
Alvah; CHAMPNEY, Paul; MORRISEY, Stephen (ed.). Amsterdam. 2001: IOS Press, 2001. p.32.

________. Pesquisa ergonmica para o sucesso do Web Design. In I ERGODESIGN - I

Congresso Internacional de Ergonomia e Usabilidade de Interfaces Humano-Tecnologia. Pontifcia
Universidade Catlica do Rio de Janeiro/ PUC-Rio, Rio de Janeiro: Anais, 7 e 8 jun. 2001.

ALVES-MAZZOTTI, Judith; GEWANDSZNAJDER, Fernando. O mtodo nas cincias sociais;

pesquisa quantitativa e qualitativa. So Paulo: Editora Pioneira, 1998. 107p.

ANDRADE, Maria Margarida de. Como preparar trabalhos para cursos de ps-graduao. So
Paulo: Atlas, 1997.

APS crticas, IVC muda programa de medio. Jornal Valor Econmico, So Paulo: 26 jul. 2001.
Caderno Empresas. P.B4.

AZEVEDO, Israel Belo de. O prazer da produo cientfica. 7. ed. Piracicaba: UNIMEP, 1999.
208p.

BARDIN, Laurence. Anlise de contedo. Lisboa: Ed. 70, 1977. 230 p.

BARROS, Aidil J. da Silveira; LEHFELD, Neide A. de Souza. Fundamentos de metodologia

cientfica, um guia bsico para a iniciao cientfica. 2. ed. amp. So Paulo: Makron Books do
Brasil, 1986.

307

BORGES, Valerya. IVC apresenta um novo sistema de auditoria de audincia na Web. Jornal Meio
& Mensagem. So Paulo: ano XXIII. n.969, 30 jul. 2001.

DUMAS, Joseph; REDISH, Janice C. A practical guide to usability testing. Norwood, NJ: Ablex
Publishing Corporation, 1994.

GALLIANO, A. Guilherme. O mtodo cientfico: teoria e prtica. So Paulo: Harbra, 1986.

GIL, Antonio Carlos. Mtodos e tcnicas de pesquisa social. 3. ed. So Paulo: Atlas, 1991. 207 p.

GOLDENBERG, Mirian. A arte de pesquisar: como fazer pesquisa qualitativa em cincias sociais.
Rio de Janeiro: Record, 1997.

HOCHHEISER, Harry; SHNEIDERMAN, Ben. Understanding patterns of user visits to Web

sites: interactive starfield visualizations of WWW log data. University of Maryland Technical Reports.
Disponvel em: <http://www. cs.umd.edu/Library/TRs/> Acesso em: 4 jun. 2001.

IBM Easy to use: user expectations. Disponvel em: <http://www.ibm.com/easy/>. Acesso em: 29
jan. 2001.

KIRAKOWSKI, Jurek. Questionnaires in usability engineering; a list of frequently asked

questions. Human Factors Research Group/ HFRG. Disponvel em: <http:/ /www.ucc.ie/
hfrg/resources/ qfaq1.html>. Acesso em: 15 abr. 2001.

LAKATOS, Eva Maria; MARCONI, Marina de Andrade. Fundamentos de metodologia cientfica.

So Paulo: Atlas, 1991. 270 p.

______. Metodologia do trabalho cientfico. So Paulo: Atlas, 1991.

LOPES, Maria Immacolata Vassalo. Pesquisa em comunicao. So Paulo: Loyola, 1997.

308

LDKE, Menga; ANDR, Marli E.D.A. Pesquisa em educao: abordagens qualitativas. So

Paulo: EPU, 1986.

MARCONI, Marina de Andrade; LAKATOS, Eva Maria. Tcnicas de pesquisa. 4. ed. So Paulo:
Atlas, 1999.

MORAES, Anamaria; MONTALVO, Cludia. Ergonomia: conceitos e aplicaes. Rio de Janeiro: 2

AB, 1998. 119 p.

NORMAN, Donald A. Why Interfaces Dont Work. In The art of human-computer interface
design. 1990. LAUREL, Brenda, editor. Addison-Wesley Publishing & Apple Computer Inc. 534p.

PERLMAN, Gary. Web-Based User Interface Evaluation with Questionnaires. Association of

Computing Machinery/ ACM. Disponvel em: <http:/ /www.acm.org/ ~perlman/question.html>.
Acesso em: 17 abr. 2001.

RODRIGUES, Lino; ROSA, Joo Luiz. Medio da Internet no pas est na berlinda. Jornal Valor
Econmico, So Paulo, 20 jul. 2001. Caderno Empresas, P.B6.

RICHARDSON, Robert Jarry et al. Pesquisa social: mtodos e tcnicas. 3. ed. So Paulo: Atlas,
334 p.

RUIZ, Joo lvaro. Metodologia cientfica: guia para eficincia nos estudos. 4. ed. So Paulo:
Atlas, 1996.

SALOMON, Dlcio Vieira. Como fazer uma monografia. 9. ed. rev. So Paulo: Martins Fontes,
1999.

SANTOS, Antnio Raimundo dos. Metodologia cientfica: a construo do conhecimento. Rio de

Janeiro: DP & A, 1999.

309

SIEGEL, David. Who are you? Disponvel em: <http://www.siegelvision.com/> Acesso em: 15 abr.
2001.

SHNEIDERMAN, Ben. Designing the user interface; strategies for effective human-computer
interactive. 3. ed. Chicago: Addison Wesley; Nova York: Longman, 1998, 639 p.

SOUZA, Ana Paula. Diga-me via Internet: site oferece pesquisas de campo online. Meio &
Mensagem, So Paulo, ano 22, u. 920, p. 36, ago. 2000.

SPOOL, Jared M. Extracting site usability information from server log file. CHI-WEB.
Discussion list. List maintaned by Association of Computing Machinery (ACM). Disponvel em <CHIWEB @ ACM.ORG>. Acesso em 3 dez. 2001.

TEIXEIRA FILHO, Jayme. Comrcio Eletrnico; Coleo Senac Rio: Oportunidades Profissionais.
Rio de Janeiro: Editora Senac Rio, 2001. 112p.

VERA, Armando Asti. Metodologia da pesquisa cientfica. So Paulo: Globo, 1989.

VERGARA, Sylvia Constant. Projetos e relatrios de pesquisa em administrao. So Paulo:

Atlas, 1997.