Ppginf Dissertação - 011-2007

KÁTIA ADRIANA ALVES LEITE
AVALIAÇÃO DE USABILIDADE NOS

SISTEMAS COMPUTACIONAIS DOS SERVIÇOS
DE TELEMEDICINA DO BHTELESSAÚDE
Dissertação apresentada ao Programa de

Pós-Graduação em Informática da Pontifı́cia
Universidade Católica de Minas Gerais como
requisito parcial para a obtenção do grau de
Mestre em Informática.
Belo Horizonte
Novembro 2007
ii
iii
Resumo
O BHtelessaúde é um projeto de telessaúde voltado para cuidados primários e us-

ados por profissionais das áreas da medicina, enfermagem e odontologia das Unidades
Básicas de Saúde (UBS) da cidade de Belo Horizonte , Minas Gerais. Apesar da grande
importância e variedade de serviços disponı́veis do projeto, eles não são freqüentemente
usados nas UBS´s. A literatura revisada mostra que problemas de usabilidade nas
aplicações da Telemedicina interferem em seu uso e aceitação. Assim, este estudo tem
como objetivo avaliar a usabilidade dos sistemas computacionais usados nos serviços
da Telemedicina no BHTelessaúde, conhecendo o perfil, as opiniões e os problemas
enfrentados pelos usuários durante a ianteração com estes sistemas. A organização
e direção da avaliação foi auxiliada pelo framework DECIDE, onde foram definidos
os métodos de avaliação e a condução prática do trabalho. A avaliação prditiva foi
realizada através da técnica do Percurso Cognitivo e o estudo de campo por meio da
combinação das técnicas de avaliação: entrevistas individuais, observação, grupo focal
e questionário de definição do perfil e satisfação do usuário. Durante a análise dos
dados foram encontrados problemas com relação à introdução da tecnologia, proble-
mas técnicos e de usabilidade. Os resultados estão agrupados por técnica utilizada e
apontam opiniões e a satisfação dos usuários com relação aos sistemas.
iv
Abstract
The BHTelessaúde is a telehealth project focusing on primary care and used by pro-
fessionals from areas like medicine, nursing and dentistry from the Basic Health Units
(BHU) of Belo Horizonte city, Minas Gerais. Despite the great importance and variety
of services available from the project, they are not often used by the health units. The
revised literature shows that usability problems in the Telemedicine applications di-
rectly interfere in its use and acceptance. Thus, this study aims to evaluate the usability
of computer systems used in the Telemedicine services of the BHTelessaúde, knowing
the profile, the views and the problems faced by users during the interaction with these
systems. The organization and direction of the evaluation is assisted by the DECIDE
framework, that is responsible by the definition of the evaluation methods and the
practical guidance of the work. A predictive evaluation is realized through techniques
of Walkthrough Cognitive and field study by combining evaluation techniques, such as:
individual interviews, observation, focal group and questionnaires for the definition of
the user profile and satisfaction. During the analysis of the data problems were found
with respect to the introduction of technology, technical problems and usability. The
results are grouped by techniques and point the user’s reviews and satisfaction related
to the systems.
v
Agradecimentos
Agradeço à Deus por todo o carinho e cuidado, por toda a força e coragem, por não
desistir de mim e por me mostrar que “Tudo posso, Naquele que me fortalece! ”
Ao Santo Inácio de Loyola e ao papa João Paulo II, pela intercessão junto à Jesus
Cristo durante minhas diversas dificuldades.
Ao amor da minha vida, Wagner, pela presença amiga, por estudar comigo, por
todo carinho, amor e por sempre me motivar e mostrar que sou capaz!
À minha mãe e minha irmãzinha, Bel, pelo incentivo, apoio, amizade, orações, por
acreditar em mim e ter demonstrado o quanto me amam.
Ao grande amigo, pai, irmão... Padre Jacaúna, grande incentivador de meus estudos
e a presença da minha famı́lia durante o tempo em que fiquei longe de casa.
À minha orientadora professora Ana Maria Cardoso, que direcionou com sabedoria
meus trabalhos, me motivou e abriu novos caminhos.
À professora Raquel de Oliveira Prates que, com muita presteza, me forneceu in-
formações e conselhos que foram motivadores e essenciais para a realização deste tra-
balho; e à professora Lucila Ishitani por toda contribuição.
À Giovana, por toda informação e suporte.
À Secretaria Municipal de Saúde de Belo Horizonte, especialmente aos gestores do
BHTelessaúde, à Janaı́na e usuários que contribuı́ram com suas informações.
Ao reitor da Unimontes, prof. Paulo César Gonçalves de Almeida, pelo apoio e
confiança; aos professores Reinaldo Teixeira, Wilson Atair Ramos, Tânia Marta Maia
Fialho, Mário Melo e servidores da Diretoria de Desenvolvimento de Recursos Humanos
e da Pró-Reitoria de Pesquisa da Unimontes.
À Fundação de Amparo à Pesquisa do Estado de Minas Gerais - FAPEMIG, pelo
apoio financeiro.
E a todos que foram a presença e a voz de Deus para que eu não desistisse em meio
às grandes dificuldades!
vi
Sumário
Lista de Figuras xiii
Lista de Tabelas xiv
Lista de Sı́mbolos e Abreviaturas xv
1 Introdução 1
1.1 Usabilidade e Sistemas de Telemedicina . . . . . . . . . . . . . . . . . . 2
1.2 Motivação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 Objetivo do Trabalho . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.4 Abordagem Adotada e Organização do Texto . . . . . . . . . . . . . . 7
2 Revisão de Literatura 8
2.1 Interfaces Computacionais e a Interação Humano Computador (IHC) . 8
2.2 Usabilidade de Sistemas Computacionais . . . . . . . . . . . . . . . . . 10
2.3 Avaliação de Interfaces Computacionais . . . . . . . . . . . . . . . . . . 15
2.4 Métodos de Avaliação de Usabilidade . . . . . . . . . . . . . . . . . . . 16
2.4.1 Métodos Analı́ticos . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4.1.1 Avaliação Heurı́stica . . . . . . . . . . . . . . . . . . . 19
2.4.1.2 Percurso Cognitivo . . . . . . . . . . . . . . . . . . . . 21
2.4.2 Métodos Empı́ricos . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.4.2.1 Testes em Laboratório . . . . . . . . . . . . . . . . . . 23
2.4.2.2 Estudo de Campo . . . . . . . . . . . . . . . . . . . . 25
3 Telemedicina e o BHTelessaúde 32
3.1 Telemedicina . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.1.1 Evolução Histórica da Telemedicina . . . . . . . . . . . . . . . . 33
3.1.2 Aplicações da Telemedicina . . . . . . . . . . . . . . . . . . . . 35
3.1.3 Teleconsultoria . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.2 BHTelessaúde . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.2.1 Descrição dos serviços oferecidos pelo BHTelessaúde . . . . . . . 39
3.2.2 Infra-estrutura Tecnológica . . . . . . . . . . . . . . . . . . . . . 41
vii
Sumário viii
4 Metodologia 43
4.1 Definição do Método de Avaliação de Usabilidade (UEM) . . . . . . . . 44
4.2 Definições práticas da Avaliação Preditiva . . . . . . . . . . . . . . . . 46
4.2.1 Fase Preparatória . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.2.2 Etapa de Análise . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.3 Definições Práticas do Estudo de Campo . . . . . . . . . . . . . . . . . 64
4.3.1 Entrevista em grupo (Grupo focal) . . . . . . . . . . . . . . . . 66
4.3.2 Entrevistas Individuais . . . . . . . . . . . . . . . . . . . . . . . 67
4.3.3 Observação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.3.4 Questionários . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
5 Resultados e Discussões 73
5.1 Resultados decorrentes do Percurso Cognitivo . . . . . . . . . . . . . . 73
5.2 Resultados decorrentes do Grupo Focal . . . . . . . . . . . . . . . . . . 74
5.2.1 Problemas relacionados à introdução de tecnologia . . . . . . . . 75
5.2.2 Problemas Técnicos . . . . . . . . . . . . . . . . . . . . . . . . . 75
5.2.3 Problemas de Usabilidade do Sistema . . . . . . . . . . . . . . . 75
5.3 Resultados decorrentes das entrevistas individuais . . . . . . . . . . . . 76
5.3.1 Análise dos Usuários . . . . . . . . . . . . . . . . . . . . . . . . 76
5.3.2 Resultados decorrentes da Análise das Entrevistas . . . . . . . . 80
5.3.2.1 Introdução Tecnológica . . . . . . . . . . . . . . . . . . 80
5.3.2.2 Usabilidade do Sistema . . . . . . . . . . . . . . . . . 84
5.3.2.3 Problemas Técnicos (uso do equipamento) . . . . . . . 85
5.4 Resultados decorrentes da Observação . . . . . . . . . . . . . . . . . . 87
5.4.1 Introdução Tecnológica . . . . . . . . . . . . . . . . . . . . . . . 87
5.4.2 Usabilidade do Sistema . . . . . . . . . . . . . . . . . . . . . . . 87
5.4.3 Problemas Técnicos (uso de equipamento) . . . . . . . . . . . . 87
5.5 Resultados decorrentes do Questionário de Satisfação do Usuário . . . . 88
5.5.1 Análise da Categoria:Telas . . . . . . . . . . . . . . . . . . . . . 90
5.5.2 Análise da Categoria Terminologia e Informação do Sistema . . 92
5.5.3 Análise da Categoria Aprendizagem e utilização do Sistema . . 94
5.5.4 Análise da Categoria Multimı́dia e Teleconferência . . . . . . . . 96
5.5.5 Nı́vel Geral de Satisfação com o sistema . . . . . . . . . . . . . 99
5.5.6 Média Geral dos Ítens Avaliados por Categoria . . . . . . . . . 100
6 Considerações Finais e Trabalhos Futuros 103
A Termo de Consentimento 107
B Roteiro do Grupo Focal 108
C Questionários 110
Sumário ix
Referências Bibliográficas 117

Lista de Figuras
1.1 Resultados do uso de Teleconsultorias on-line nas UBS em Belo Horizonte. 5
2.1 Processo de Interação Humano-Computador . . . . . . . . . . . . . . . 9

2.2 Atributos da aceitabilidade de um sistema computacional . . . . . . . . 11
2.3 Ciclo de Vida Estrela para desenvolvimento de IHC . . . . . . . . . . . 16
3.1 Distritos Sanitários onde já foram implantados o BHTelessaúde. . . . . 39

3.2 Teleconsultoria on-line. . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.3 Estrutura fı́sica da rede de comunicação do BHTelessaúde. . . . . . . . 41
4.1 Fluxo de Tarefas para Solicitação de Teleconsultorias off-line . . . . . 47

4.2 Menu Casos Clı́nicos. . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.3 Interface do Gerenciamento de Casos Clı́nicos pronta para receber um
novo cadastro. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.4 Interface para Pesquisar Casos Clı́nicos cadastrados. . . . . . . . . . . 50
4.5 Interface para Pesquisar Casos Clı́nicos após encontrado o registro de-
sejado. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.6 Interface de Gerenciamento de Casos Clı́nicos exibindo dados cadastra-
dos e pronta para receber solicitação. . . . . . . . . . . . . . . . . . . 52
4.7 Interface de visualização das Teleconsultas off-line já solicitadas para o
caso clı́nico. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.8 Interface do formulário de cadastro de solicitação de Teleconsultas off-
line. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.9 Interface do formulário de Solicitação de Teleconsultas off-line com da-
dos preenchidos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.10 Interface de confirmação do envio da solicitação de Teleconsultas off-line. 56
4.11 Interface de pesquisa de Prontuários cadastrados. . . . . . . . . . . . . 57
4.12 Interface de Gerenciamento de Casos Clı́nicos após recebimento de dados
de um novo caso clı́nico. . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.13 Interface de confirmação do Cadastro do Caso Clı́nico. . . . . . . . . . 59
4.14 Interface do Menu principal do Sistema Gestão de Teleconsultorias. . . 60
4.15 Interface do formulário do Cadastro de Prontuário preenchido. . . . . 61
4.16 Interface do formulário do Cadastro de Prontuário preenchido. . . . . 62
Lista de Figuras xi
4.17 Interface da Pesquisa de Prontuário com mensagem de detecção de

cadastro semelhante ao digitado pelo usuário. . . . . . . . . . . . . . . 63
4.18 Procedimentos do MEDS . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.1 Caracterização dos usuários quanto à idade . . . . . . . . . . . . . . . 76

5.2 Experiência do domı́nio (medicina) . . . . . . . . . . . . . . . . . . . . 77
5.3 Quantidade de uso das principais funções do BHTelessaúde pelos usuários
entrevistados. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5.4 Aplicativos utilizados pelos usuários entrevistados. . . . . . . . . . . . 78
5.5 Utilização de serviços disponı́veis na Internet pelos usuários entrevista-
dos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
5.6 Definição do Perfil dos usuários. . . . . . . . . . . . . . . . . . . . . . 80
5.7 Comparação das notas dadas entre novatos e experientes no uso de com-
putadores para os ı́tens da categoria Tela. . . . . . . . . . . . . . . . . 91
5.8 Comparação das notas dadas entre novatos e experientes no Uso do
Sistema para os ı́tens da categoria Tela. . . . . . . . . . . . . . . . . . 91
5.9 Comparação das notas dadas entre novatos e experientes no domı́nio da
aplicação para os ı́tens da categoria Tela. . . . . . . . . . . . . . . . . 92
5.10 Comparação das notas dadas entre novatos e experientes no uso de com-
putadores para os ı́tens da categoria Terminologia e Informação do Sis-
tema. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.11 Comparação das notas dadas entre novatos e experientes no uso do Sis-
tema para os ı́tens da categoria Terminologia e Informação do Sistema.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.12 Comparação das notas dadas entre novatos e experientes no Domı́nio
da Aplicação para os ı́tens da categoria Terminologia e Informação do
Sistema. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
5.13 Comparação das notas dadas entre novatos e experientes no Uso de
Computadores para os ı́tens da categoria Aprendizagem e Utilização do
Sistema. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.14 Comparação das notas dadas entre novatos e experientes no Uso do Sis-
tema para os ı́tens da categoria Aprendizagem e Utilização do Sistema.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.15 Comparação das notas dadas entre novatos e experientes no Domı́nio
da Aplicação para os ı́tens da categoria Aprendizagem e Utilização do
Sistema. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
5.16 Comparação das notas dadas entre novatos e experientes no Uso de
Computadores para os ı́tens da categoria Multimı́dia e Teleconferência. 97
5.17 Comparação das notas dadas entre novatos e experientes no Uso do
Sistema para os ı́tens da categoria Multimı́dia e Teleconferência. . . . 98
5.18 Comparação das notas dadas entre novatos e experientes no Domı́nio da
Aplicação para os ı́tens da categoria Multimı́dia e Teleconferência. . . 99
5.19 Comparação das notas dadas entre novatos e experientes com relação ao
nı́vel de satisfação com o sistema. . . . . . . . . . . . . . . . . . . . . 100
Lista de Figuras xii
5.20 Média geral dos ı́tens avaliados da categoria Tela. . . . . . . . . . . . . 100

5.21 Média geral dos ı́tens avaliados da categoria Terminologia e Informação
do Sistema. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
5.22 Média geral dos ı́tens avaliados da categoria Aprendizagem e Utilização
do Sistema. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
5.23 Média geral dos ı́tens avaliados da categoria Multimı́dia e Videocon-
ferência. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
Lista de Tabelas
1.1 Distribuição de Centros de Saúde por Distrito Sanitário . . . . . . . . . 4
2.1 Evolução da área de IHC . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.2 Conceitos que descrevem diferentes aspectos da usabilidade . . . . . . . 14
2.3 Comparação entre técnicas de coleta de dados utilizadas na observação 26
4.1 Lista de Checagem do framework DECIDE . . . . . . . . . . . . . . . 44

4.2 Explorando questões especı́ficas (E)xplore . . . . . . . . . . . . . . . . 44
4.3 Paradigmas e técnicas escolhidas para a avaliação da interface . . . . . 45
4.4 Resumo de definição prática do Estudo de Campo. . . . . . . . . . . . 64
4.5 Classificação dos usuários do BHTelessaúde. . . . . . . . . . . . . . . . 65
4.6 Médicos-Usuários por UBS da Região Centro-Sul. . . . . . . . . . . . . 66
4.7 Tarefas a serem avaliadas no Estudo de Campo. . . . . . . . . . . . . 66
4.8 Quantidade de Usuários Entrevistados por UBS da Região Centro-Sul
de Belo Horizonte. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.9 Locais e usuários observados. . . . . . . . . . . . . . . . . . . . . . . . 71
5.1 Comparação das notas dos ı́tens da Categoria Tela por perfis de usuário. 88
5.2 Comparação das notas dos ı́tens da Categoria Terminologia por perfis
de usuário. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
5.3 Comparação das notas dos ı́tens da Categoria de Aprendizagem e Uti-
lização do Sistema por perfis de usuário. . . . . . . . . . . . . . . . . . 89
5.4 Comparação das notas dos ı́tens da Categoria Multimı́dia e Telecon-
ferência por perfis de usuário. . . . . . . . . . . . . . . . . . . . . . . . 90
5.5 Comparação das notas do nı́vel de satisfação com o sistema por perfis
de usuário. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
Lista de Sı́mbolos e Abreviaturas
ACM Association Computing Machinery

ANA American Nurses’ Association
ATA American Telemedicine Association

CEM Centro de Especialidades Médicas
CENAPAD Centro Nacional de Pesquisa de Alto Desempenho

DECIDE Determine, Explore, Choose, Identify, Decide, Evaluate
FAFICH Faculdade de Filosofia e Ciências Humanas

HC Hospital das Clı́nicas
IHC Interação Humano-Computador
ISDN Integrated Service Digital Network
LCC Laboratório de Computação Cientı́fica

MEDS Método de Explicitação do Discurso Subjacente
NASA National Aeronautics and Space Administration
NGI Next Generation Internet
OSM Organização Mundial de Saúde
PBH Prefeitura de Belo Horizonte

PSF Programa de Saúde da Famı́lia
PUC Pontifı́cia Universidade Católica de Minas Gerais
QUIS Questionaire for User Interaction Satisfaction

REMAV Rede Metropolitana de Alta Velocidade
Lista de Tabelas xv
RMI Rede Municipal de Informática
RNP Rede Nacional de Ensino e Pesquisa

RUTE Rede Universitária de Telessaúde
SIGCHI Special Interest Group in Computer-Human Interaction
SMSA Secretaria Municipal de Saúde
SUMI Software Usability Measurement Invetory

TIC´s Tecnologias de Informação e Comunicação
UBS Unidades Básicas de Saúde
UFMG Universidade Federal de Minas Gerais

UME Usability Evaluation Methods
UML Unified Modeling Language

Capı́tulo 1
Introdução
Nesta dissertação, é abordado o tema da avaliação de usabilidade de sistemas de Tele-

medicina com base em métodos de avaliação preditiva e de estudo de campo.
A Telemedicina vem sendo praticada há várias décadas, tendo inı́cio com o ad-
vento das telecomunicações. No entanto, faz somente alguns anos que o interesse pela
Telemedicina cresceu de forma significativa, demonstrado pelo crescente número de
publicações na área [Lopes et al., 2005].
A Telemedicina tem um importante papel social. Um de seus maiores propósitos é
atender situações onde barreiras fı́sicas dificultam e, às vezes, até impedem o contato
entre pacientes e profissionais de saúde. Por este motivo, uma das aplicações potenciais
da Telemedicina está em áreas de difı́cil acesso como meios rurais, centros de detenção
e reabilitação, e em áreas urbanas, seja como aplicação de educação continuada para
profissionais de saúde, ou para soluções de problemas assistenciais ([Nacci et al., 2001];
[Martinez et al., 2004]; [Santos et al., 2006]; [Eha, 2007]; [Tel, 2007]; [HCN, 2007]).
Além das necessidades sociais, o crescente avanço das tecnologias de sistemas de
informação, telecomunicação, robótica e multimı́dia tem ajudado no progresso e dis-
seminação dos sistemas de Telemedicina em geral. Dentre estes avanços podemos
destacar:
• O advento das tecnologias de sistemas de telecomunicação, que fornece meios de

comunicação de alta qualidade e velocidade;
• O crescente desenvolvimento da robótica e multimı́dia que provê manipuladores

precisos e meios muito mais agradáveis de comunicação e interação homem-
máquina. Como por exemplo, os sistemas de videoconferências e sistemas de
interface háptica com feedback visual e de sensação de força para o usuário; e,
1.1 Usabilidade e Sistemas de Telemedicina 2
• O surpreendente avanço da informática em geral, tanto no que diz respeito ao

hardware (cada vez mais potente e mais barato) quanto ao desenvolvimento de
softwares (cada vez mais sofisticados e eficientes).
Entretanto, apesar de se ter esse grande avanço tecnológico, ainda há uma grande
resistência por parte dos profissionais de saúde no uso de sistemas de Telemedicina
[Gaggioli, 2005]. Avaliar os fatores responsáveis por esta resistência não é uma tarefa
fácil e, nestes casos, a primeira questão que surge está diretamente relacionada à usa-
bilidade do sistema implantado.
1.1 Usabilidade e Sistemas de Telemedicina

A usabilidade analisa questões relacionadas à facilidade de aprendizado e uso das fun-
cionalidades de um sistema. Ela é definida pela norma ISO 9241 como “a capacidade
que apresenta um sistema interativo de ser operado, de maneira eficaz, eficiente e
agradável, em um determinado contexto de operação, para a realização das tarefas de
seus usuários” [Cybis, 1995].
Segundo Nielsen [Nielsen, 1993], a usabilidade é uma das caracterı́sticas que definem
a aceitabilidade de um sistema computacional e a sua ausência pode comprometer a
utilização desse sistema. Usabilidade também pode ser definida como uma combinação
de critérios como, facilidade de aprendizagem, facilidade de uso, eficiência, minimização
de erros e satisfação subjetiva [Nielsen, 1993]. Uma simples deficiência em um desses
critérios pode causar grandes barreiras para que o usuário utilize um determinado
sistema.
Por exemplo, quando os usuários de um novo sistema estão sempre muito ocupa-
dos para treinamento formal, leituras de manuais, ou são tı́midos em perguntar como
funciona, um critério essencial de usabilidade é a facilidade de aprendizagem. Além do
mais, os usuários preferem aprender a usar um sistema à medida que necessitam dele,
enquanto trabalham em suas tarefas cotidianas, por exploração [Lewis et al., 1990,
Lewis and Wharton, 1997]. Os fatores citados fazem com que a falta desse atributo
em um sistema seja decisiva para que os usuários não o utilizem.
O usuário vê a interface como o próprio sistema. Para ele é a interface que deter-
mina a qualidade do sistema e não os seus algoritmos, arquitetura e modelo de dados
[Prates and Barbosa, 2003]. Por este motivo, os usuários possuem grande dificuldade
em aceitar um sistema quando este não possui uma interface que seja fácil e agradável
1.1 Usabilidade e Sistemas de Telemedicina 3
de usar e que garanta a eficiência do uso. Deste modo, a falta de usabilidade de um

produto pode ser a causa de seu fracasso.
Este problema não é diferente nos sistemas computacionais utilizados na Teleme-
dicina onde a interface de uso é, em muitos casos, o grande obstáculo à sua adoção
e expansão. Apesar das aplicações em Telemedicina terem proliferado, sua difusão
e aceitação ainda permanecem baixas por parte de seus usuários, sejam eles profis-
sionais de saúde ou pacientes. Estudos mostram que um dos principais fatores que
contribui para isto é a dificuldade que os usuários têm em utilizar a tecnologia implan-
tada nos projetos da área ([Tanriverdi and Iacono, 1999]; [Kaufmann et al., 2003b];
[Kaufmann et al., 2003a]; [Gaggioli, 2005]; [Ackerman et al., 2002]; [Allen et al., 2006];
[Johnson, 2003]).
O problema de difusão da Telemedicina por motivos de desconhecimento técnico
pode ser percebido através do trabalho realizado por [Gaggioli, 2005], que examinou,
através de um questionário, as atitudes de 2950 médicos italianos em relação ao uso
de sistemas de Telemedicina em geral. A pesquisa demonstrou grande resistência dos
médicos na utilização dessa tecnologia. E apontou como uma das causas dessa re-
sistência a falta de conhecimento sobre o assunto e a dificuldade no aprendizado e
utilização desses sistemas, que necessitam de maior usabilidade.
Problemas semelhantes também foram detectados por [Kaufmann et al., 2003b] em
seu estudo e avaliação de usabilidade com sistemas de telemedicina utilizados por pa-
cientes com diabetes em suas próprias casas. O teste de usabilidade foi realizado com 25
pacientes. A avaliação revelou aspectos da interface do sistema que foram mal projeta-
dos e impediam o melhor desempenho de algumas tarefas. Revelou também que, fatores
relacionados aos usuários, como habilidades psicomotoras e cognitivas constituem uma
barreira para o uso produtivo do sistema.
Problemas de insegurança na utilização de sistemas de Telemedicina não só ameaçam
a introdução dessa tecnologia como podem também impedir diagnósticos adequados
[Johnson, 2003]. Quando os operadores estão incertos sobre o que seus sistemas estão
de fato fazendo, eles freqüentemente recorrem a estratégias. Essas estratégias podem
ameaçar a segurança dos pacientes em muitas aplicações de saúde. Um exemplo disso é
quando clı́nicos reiniciam freqüentemente o sistema para que este volte para um estado
reconhecido. Esse procedimento pode gerar problemas se os dados clı́nicos são perdidos
no momento em que o dispositivo é reiniciado.
A criação de um bom projeto de interface para os sistemas de Telemedicina pode
ser considerada duplamente importante. Isto porque, normalmente, o projeto requer
1.2 Motivação 4
duas interfaces, uma para o paciente ou provedor remoto e outra para o consultor
[Ackerman et al., 2002]. Porém, os projetos de Telemedicina ainda têm seus desenhos
mais centrados na própria tecnologia do que nas necessidades concretas da população e
dos profissionais de saúde [Martinez, 2000]. Isso faz com que as tecnologias, geralmente
empregadas nesses projetos, sejam de difı́cil uso e nem sempre suportem as necessidades
de seus usuários.
1.2 Motivação
Em Belo Horizonte, os serviços de Telemedicina têm sido implantados através do pro-
jeto BHTelessaúde. O BHTelessaúde é uma rede dirigida para o suporte assistencial
e a educação permanente dos profissionais da saúde pertencentes às Unidades Básicas
de Saúde (UBS) do municı́pio. O seu modelo se baseia em teleconferências e telecon-
sultorias.
A teleconsultoria médica é um serviço utilizado para discussão de casos clı́nicos e
obtenção de uma segunda opinião médica. Ele é usado pelos profissionais das Unidades
Básicas de Saúde (UBS) e especialistas do Hospital das Clı́nicas (HC) da Universidade
Federal de Minas Gerais e do Centro de Especialidades Médicas (CEM). Os profissionais
das UBS agendam discussão de casos e compartilham imagens e informações contidas
no prontuário eletrônico do paciente através de um software especı́fico, em tempo real.
Distrito No de Centros de No de Centros de

Sanitário Saúde Existentes Saúde Interligados
Barreiro 20 20
Centro-Sul 12 11
Leste 14 14
Nordeste 20 18
Noroeste 19 5
Norte 17 16
Oeste 15 15
Pampulha 08 08
Venda Nova 16 14
TOTAL 141 121
Tabela 1.1: Distribuição de Centros de Saúde por Distrito Sanitário (Secretaria Mu-
nicipal de Saúde de Belo Horizonte - abril/2007).
1.2 Motivação 5
A sua implantação teve inı́cio no ano de 2004, no Distrito Sanitário da região Oeste
de Belo Horizonte, em 14 UBS. Em abril de 2007 já se encontra implantado em 121
UBS, como mostra a Tabela 1.1.
Apesar da expansão e do tempo de implantação do projeto, o número de telecon-
sultorias realizadas ainda é muito pequeno. No perı́odo de abril/2004 a junho/2006,
foram feitas apenas 127 teleconsultorias, uma média de 4,7 teleconsultas/mês. Assim
como na literatura revisada, a freqüência de utilização dos serviços de Telemedicina no
projeto BHTelessaúde ainda é baixa.
No caso do projeto BHTelessaúde, que é focado na atenção primária, profissionais
da área da saúde das Unidades Básicas de Saúde (UBS) de Belo Horizonte, além de
receberem capacitação permanente através de teleconferências, discutem casos clı́nicos
e obtêm segunda opinião por meio de serviços de teleconsultoria. Os serviços de
Telemedicina interferem diretamente no custo do cuidado ofertado. De acordo com
[Santos et al., 2006] a implantação desse serviço proporcionou uma redução significa-
tiva de tempo e despesas com locomoção de pacientes, diminuindo as demandas para
assistências secundárias e terciárias. A Figura 1.1 nos mostra que dentre todos os
casos discutidos nas teleconsultorias on-line a grande maioria permaneceu nas UBS,
sem a necessidade de serem encaminhadas a outros nı́veis, como acontecia antes da
implantação do sistema.
Figura 1.1: Resultados do uso de Teleconsultorias on-line nas UBS em Belo Hori-
zonte).Adaptado de [Santos et al., 2006].
1.3 Objetivo do Trabalho 6
Conhecer o que os usuários querem e os problemas enfrentados por eles durante

a interação com o sistema, ajudam a reduzir as barreiras e resistências ao uso do
sistema. Neste contexto, torna-se indispensável a avaliação da interface dos sistemas
computacionais utilizados no BHTelessaúde.
1.3 Objetivo do Trabalho

Diante das questões apresentadas, este trabalho tem como objetivo geral avaliar a
usabilidade dos sistemas computacionais utilizados nos serviços de Telemedicina do
projeto BHTelessaúde. Os objetivos especı́ficos são:
• Conhecer o projeto de telessaúde implantado nas Unidades Básicas de Saúde de

Belo Horizonte - BHTelessaúde;
• Conhecer e entender o funcionamento dos sistemas computacionais utilizados nos

serviços de Telemedicina do BHTelessaúde;
• Conhecer as rotinas e processos de trabalho dos serviços de Telemedicina nas

UBS;
• Definir o perfil dos usuários do BHTelessaúde;
• Verificar o efeito das interfaces junto aos usuários;
• Identificar problemas especı́ficos dos sistemas durante o seu uso;
• Identificar dificuldades enfrentadas pelos usuários durante o uso do sistema;
O presente trabalho faz parte de um estudo mais abrangente, financiado com re-
cursos da FAPEMIG e conduzidos por pesquisadores da PUC Minas, cujo tı́tulo é
“Avaliação da Usabilidade das TIC’s e uso da informação nos serviços de telessaúde: a
experiência de Belo Horizonte”1 . Seu objetivo é avaliar a implantação e implementação
do serviço de Telessaúde nas dimensões da usabilidade dos recursos tecnológicos e do
uso da informação com vista à satisfação do usuário e fomento do aprendizado indivi-
dual e coletivo.
1
Relatório ainda não publicado e entregue à Fapemig em maio de 2007.
1.4 Abordagem Adotada e Organização do Texto 7
1.4 Abordagem Adotada e Organização do Texto

Para fundamentar o trabalho foi realizada uma revisão bibliográfica sobre Interação
Humano Computador (IHC), onde se buscou entender seus conceitos e métodos de
avaliação. Este estudo se encontra descrito no Capı́tulo 2.
Também houve a necessidade de uma revisão bibliográfica sobre o tema Telemedi-
cina, visando compreender seu contexto e aplicações, que se encontra no Capı́tulo 3,
juntamente com a exposição do projeto BHTelessaúde.
Para melhor direcionar o processo de avaliação foi utilizado o framework DECIDE,
proposto por [Preece et al., 2002]. Ele nos auxiliou na identificação dos métodos mais
apropriados para o trabalho e como tratar as questões práticas e éticas do planejamento,
condução, análise e apresentação do resultado. A sua utilização e a descrição dos
métodos e técnicas usados na avaliação estão no Capı́tulo 4.
No Capı́tulo 5 exibimos os resultados obtidos com base na análise dos dados cole-
tados e resultados e discussões gerais de nosso trabalho. Finalmente, no Capı́tulo 6,
apresentamos as conclusões e indicações para trabalhos futuros.
Capı́tulo 2
Revisão de Literatura
2.1 Interfaces Computacionais e a Interação Hu-

mano Computador (IHC)
A noção de interface com usuário, conhecida como Interface Homem-Máquina, se
tornou objeto de interesse de pesquisa a partir dos anos 70, com a revolução tec-
nológica. Neste perı́odo o maior desafio era criar computadores que fossem acessı́veis e
utilizáveis por usuários que não fossem especialistas [Preece et al., 2002]. Motivo pelo
qual fez crescer o interesse por estudos referentes aos aspectos do processamento da
informação humana durante o design de sistemas computacionais pela Psicologia.
No inı́cio dos anos 80, Moran definiu formalmente o termo interface como sendo “o
componente de um sistema computacional com a qual uma pessoa entra em contato -
fı́sico, perceptiva ou conceitualmente” (citado por [Prates and Barbosa, 2003]). Assim,
a interface pode ser entendida como um sistema de comunicação que é utilizado no
processo de comunicação entre o usuário e sistema. A este processo dá-se o nome de
Interação. Nele o usuário realiza ações sobre a interface do sistema e interpreta as
respostas transmitidas por ela (Figura 2.1).
2.1 Interfaces Computacionais e a Interação Humano Computador (IHC) 9
Figura 2.1: Processo de Interação Humano-Computador (adaptado de

[Prates and Barbosa, 2007]).
Em meados dos anos 80 as preocupações com as capacidades e limitações hu-

manas durante a interação entre o usuário e o sistema, fizeram surgir o termo In-
teração Humano-Computador (IHC). Este termo foi adotado como tentativa de des-
crever esta nova área de estudo. Sua definição formal é feita pelo Special Interest
Group in Computer-Human Interaction - SIGCHI-ACM [SIG, 1992]: “IHC é a disci-
plina preocupada com o design, avaliação e implementação de sistemas computacionais
interativos para o uso humano e com o estudo dos principais fenômenos envolvidos nesta
interação”.
Décadas Caracterı́sticas
50 Interface no nı́vel de hardware para engenheiros. Reunia vários painéis
com chaves e mostradores que controlavam conjunto de registros internos.
60-70 Interface no nı́vel de programação. Linguagem de programação Cobol,
Fortran.
70-90 Interface no nı́vel de terminais - linguagem de comando
80 Interface no nı́vel de interação de diálogo - GUIs, multimı́dia
90 Interface na configuração do trabalho - sistemas trabalhados em rede,
groupware
2000 Interface torna-se empregnada - tecnologia Bluetooth, dispositivos
móveis, telas interativas, tecnologia embutida, etc.
Tabela 2.1: Evolução da área de IHC (adaptado de [Preece et al., 2002]).

2.2 Usabilidade de Sistemas Computacionais 10
Preece et al. [Preece et al., 2002] resumem a evolução da área de IHC, caracteri-
zando cada década desde os anos 50, como mostra a Tabela 2.1:
O objetivo da área de IHC é a “produção de sistemas utilizáveis, seguros e fun-
cionais” ([Rocha and Baranauskas, 2003], p.17). Para que esses objetivos sejam al-
cançados é necessário o envolvimento e a contribuição de diversas áreas de conhec-
imento. Dentre as principais destacamos ([Preece et al., 2002, Preece et al., 2005];
[SIG, 1992]; [Shneiderman, 1998]):
• Ciência da Computação: fornece métodos para a incorporação de IHC nos sis-

temas e a construção de ferramentas que auxiliam a criação de softwares como:
linguagens de programação, sistemas de gerenciamento de interfaces de usuários,
ferramentas de testes, etc.;
• Psicologia: aplicação de teorias dos processos cognitivos e análise empı́rica do

comportamento do usuário de computadores;
• Fatores Humanos ou Ergonomia: cria design de ferramentas e artefatos para

diferentes ambientes, adequando-os às capacidades e necessidades dos usuários;
• Filosofia, sociologia e antropologia: buscam entender a comunicação entre usuários,

tecnologia, trabalho e ambiente, o que acontece antes e depois da interação;
• Engenharia: ciência aplicada e direcionada à construção e testes empı́ricos de

modelos;
• Design: projeto gráfico de telas de sistemas computacionais.
Portanto, a IHC é uma área de estudo interdisciplinar e envolve todos os aspectos

relacionados com a interação entre usuários e sistemas.
2.2 Usabilidade de Sistemas Computacionais

A qualidade de uso de um sistema computacional está relacionada “com a capacidade
e a facilidade de os usuários atingirem suas metas com eficiência e satisfação”
([Prates and Barbosa, 2003], p.3). A usabilidade é o conceito de qualidade de uso
mais encontrado na literatura revisada. Segundo [Rosenbaum, 1989], ela se traduz
na facilidade com que as pessoas em um grupo definido podem aprender e usar um
produto. Ela é determinada pelas caracterı́sticas e as relações entre as tarefas, os

usuários e o produto.
A Norma ISO 9241 a define “como a capacidade que apresenta um sistema interativo
de ser operado, de maneira eficaz, eficiente e agradável, em um determinado contexto
de operação, para a realização das tarefas” ([ISO9241-11, ]).
Para Nielsen [Nielsen, 1993], a usabilidade é um dos componentes da aceitabilidade
geral de um sistema que é, basicamente, a questão do sistema ser suficientemente bom
para satisfazer todas as necessidades e requisitos dos usuários. Aceitabilidade geral é
uma combinação da aceitabilidade social e prática de um sistema, conforme mostra a
Figura 2.2.
Figura 2.2: Atributos da aceitabilidade de um sistema computacional (adaptado de

[Nielsen, 1993]).
A Usabilidade, ainda de acordo com [Nielsen, 1993], pode ser definida como uma
combinação de algumas caracterı́sticas, denominados atributos de usabilidade. Esses
atributos abordam basicamente dois aspectos: a tarefa e as caracterı́sticas individuais
dos usuários. São eles:
• Facilidade de aprendizado (Learnability): o sistema tem que ser fácil de apren-

der de forma que o usuário possa rapidamente começar a interagir. Leva-se em
consideração que o usuário não aprende uma interface antes de começar a usá-la.
• Eficiência (Efficiency): uma vez aprendido o uso da interface, o usuário tem que
possuir um elevado nı́vel de produtividade em sua utilização.
• Facilidade de relembrar (Memorability): tendo uma vez usada a interface, ao

voltar após algum tempo a reusá-la não deve haver necessidade de novo apren-
dizado.
• Erros1 (Errors): a taxa de erros do sistema deve ser a mı́nima possı́vel e, caso
ocorra, estes devem ser de fácil recuperação, sem haver perda de trabalho.
• Satisfação subjetiva (Satisfaction): o sistema deve ser agradável de forma que o

usuário fique satisfeito ao usá-lo.
Outros fatores que apóiam o conceito de usabilidade descritos por [Dix et al., 2004]
e [Preece et al., 2005], são:
• Utilidade: se refere ao quanto um sistema oferece no conjunto de funcionalidades

necessárias para os usuários realizarem suas tarefas da maneira que desejam.
• Segurança no uso: implica no grau de proteção de um sistema contra condições

desfavoráveis ou até mesmo perigosas para os usuários. Trata de como evitar
essas condições e permitir que o usuário se recupere de erro sem conseqüências
sérias para seu trabalho ou para sua saúde.
• Flexibilidade: se refere à variedade de caminhos que o sistema dá ao usuário para

que ele possa atingir seu objetivo.
• Robusteza: nı́vel de suporte fornecido ao usuário.
Outra forma de conceituar a Usabilidade se dá em termos de princı́pios de design

que, segundo [Preece et al., 2005] “trata-se de abstrações generalizáveis, destinadas a
orientar os designers a pensar sobre aspectos diferentes de seus designs”. Um dos
princı́pios mais usados e disseminados é o affordance.
O conceito de affordance foi criado em 1979, pelo psicólogo J. Gibson em sua
teoria sobre a percepção humana e foi aplicada ao design por Donald Norman em 1988
(HCIRN, http://www.hcirn.com/atoz/atozq/ques.php, [Norman, 1999]). Norman a
propôs como princı́pio de design ao observar as frustrações que as pessoas experimentam
ao interagir com objetos no dia-a-dia [Rocha and Baranauskas, 2003]. Affordance se
1
Erro é definido como sendo a ação que não leva ao resultado esperado.
refere às propriedades reais do objeto que são percebidas e determinam como este objeto
pode ser usado, de maneira óbvia, sem a necessidade de rótulos. Para [Norman, 1999]
existem dois tipos de affordance: a real, disponı́vel nos objetos reais onde são óbvias e
não precisam ser aprendidas; e a percebida, que são as convenções aprendidas, usadas
nas interfaces de usuário que estão na tela.
Outros princı́pios de design empregados por Norman, e que estão totalmente in-
terligados são ([Shneiderman, 1998]; [Rocha and Baranauskas, 2003]; [Norman, 1999];
[Preece et al., 2002, Preece et al., 2005]):
• Visibilidade: deixar visı́veis as coisas necessárias que indicam quais as partes do

objeto que podem ser operadas e como.
• Bom modelo conceitual: possibilitar que o usuário consiga prever o efeito das
suas ações junto ao objeto.
• Mapeamento: indicar o relacionamento entre os controles e seus movimentos e os

resultados no mundo. Para se ter um bom design, as ações possı́veis no objeto
devem ser visı́veis e seus controles devem explorar o mapeamento natural.
• Feedback : retornar ao usuário informações sobre suas ações junto ao objeto, ou

seja, os resultados obtidos com a interação.
• Restrição: limitar as possı́veis ações a serem desempenhadas em um momento.

Estas limitações podem ser fı́sicas, lógicas ou culturais. São fı́sicas, quando res-
tritas pelo formato do objeto; lógicas, quando dependem do entendimento sobre
o funcionamento das coisas no mundo; e, culturais, quando são as convenções
aprendidas por um grupo. Este princı́pio ajuda o usuário a selecionar opções
incorretas, diminuindo a possibilidade de erros.
• Consistência: usar seqüências de ações e elementos semelhantes para realização

de tarefas e situações similares.
Para descrever as orientações nos aspectos da usabilidade, vários autores propõem

diferentes termos, como: heurı́sticas, regras, princı́pios de usabilidade, diretrizes (guide-
lines). A Tabela 2.2 descreve a utilização dos principais termos como descritos por
[Preece et al., 2005].
Conceito Também conhecido como: Utilização

Metas de - Estabelece critérios de usabilidade
Usabilidade para avaliar a aceitabilidade de um
sistema
Princı́pios de Heurı́stica, quando usado na Lembretes do que fornecer e evitar
design prática. durante o projeto de interfaces
Princı́pios de Heurı́stica, quando usado na Verificar a aceitabilidade das inter-
usabilidade prática faces durante a avaliação
Regras - Determina se uma interface adere a
regra especı́fica, quanto está sendo
projetada e avaliada
Diretrizes Termo genérico que referencia -
todas as formas de orientação
Tabela 2.2: Conceitos que descrevem diferentes aspectos da usabilidade (adaptado de

[Preece et al., 2005]).
Segundo Preece ([Preece et al., 2005]) “os princı́pios de design são utilizados para
informar um design, enquanto os princı́pios de usabilidade são utilizados especialmente
como base para avaliação”. Esses princı́pios quando aplicados a um problema são
chamados de heurı́sticas. Eles serão descritos na Seção 2.4.1.1.
Quando operacionalizados de forma mais especı́ficas, os princı́pios são denominados
regras ([Preece et al., 2005]). Como exemplo, temos as Regras de Ouro para Projeto de
Interfaces (Eight Golden Rules of Interface Design), criadas por [Shneiderman, 1998],
que são:
1. Esforço por manter a consistência (usando mesma seqüência de ações em situações

semelhantes, padronizando terminologias, cores, layout, fontes);
2. Utilização de atalhos para usuários freqüentes;
3. Prover feedback informativo;
4. Fornecer diálogos que indiquem término da ação (agrupando as seqüências das

ações em grupo com inı́cio, meio e fim);
5. Prever erros e tratá-los de forma simples;

2.3 Avaliação de Interfaces Computacionais 15
6. Permitir a reversão de ações de forma fácil;
7. Permitir que o usuário experiente se sinta no controle do sistema, e
8. Reduzir a carga de memorização do usuário.
2.3 Avaliação de Interfaces Computacionais

Seguir recomendações (guidelines) para garantir uma boa qualidade de uso de um
sistema não é suficiente. Por melhor que seja o projeto da interface é necessário
certificar-se se a mesma corresponde ao esperado. Deste modo, a avaliação de in-
terfaces se faz necessária para medir a qualidade de uso de sistemas, a fim de evi-
tar problemas como: necessidade de treinamento excessivo, desmotivação para a ex-
ploração da interface, confusão do usuário durante a interação, indução a erros, in-
satisfação, diminuição da produtividade, e o baixo retorno do investimento previsto
([Dix et al., 2004], [Preece et al., 2005], [Prates and Barbosa, 2003]).
Segundo [Dix et al., 2004], a avaliação de interfaces possui três metas principais:
1. Avaliar a funcionalidade do sistema: verificar se o sistema está de acordo com

os requisitos do usuário, permitindo que ele efetue a tarefa pretendida de forma
fácil e eficiente.
2. Avaliar o efeito da interface junto ao usuário: verificar a usabilidade do sis-

tema, considerando os aspectos da facilidade de aprendizagem, facilidade de uso,
eficiência e produtividade, utilidade, segurança no uso e satisfação dos usuários
([Nielsen, 1993]; [Preece et al., 2005]); e,
3. Identificar problemas especı́ficos do projeto de interface: verificar aspectos do

design os quais, quando usados no contexto desejado, causam resultados inespe-
rados ou confusão entre os usuários. Isto está relacionado tanto com a funcional-
idade quanto com a usabilidade do projeto de interface (dependendo da causa do
problema).
A avaliação não pode ser vista apenas como uma etapa no processo de desenvolvi-
mento da interface. Ela deve ocorrer durante todo o ciclo de desenvolvimento, em um
processo iterativo, conforme mostra a Figura 2.3. Seus resultados devem ser utilizados
para a melhoria gradativa da interface ([Hartson and Hix, 1989]).
2.4 Métodos de Avaliação de Usabilidade 16
Figura 2.3: Ciclo de Vida Estrela para desenvolvimento de Interface Humano-

Computador (adaptado de [Hartson and Hix, 1989]).
2.4 Métodos de Avaliação de Usabilidade

Os métodos de avaliação são diversos e se distinguem por vários fatores. E, apesar
de cada um possuir pontos fortes e fracos, todos podem ser eficazes quando aplicados
apropriadamente.
As avaliações podem ser realizadas em campo ou em laboratório. Algumas das
abordagens são baseadas em avaliação de especialistas e outras envolvem usuários. A
escolha de um método apropriado depende do objetivo que se quer alcançar com a
avaliação e dos recursos que se têm disponı́veis para realizá-la, como por exemplo:
equipamentos (câmara de vı́deo, gravador, etc), orçamento alocado, contexto em que a
avaliação deve ser realizada, tempo disponı́vel e experiência dos avaliadores e projetistas
([Dix et al., 2004]; [Shneiderman, 1998]; [Jeffries and Desurvire, 1992]).
Algumas caracterı́sticas também devem ser observadas, como: a etapa do processo
de desenvolvimento da interface, a técnica de coleta de dados utilizada pelo método, o
tipo de dado coletado e o tipo de análise requerida [Prates and Barbosa, 2003].
a) A etapa do processo de desenvolvimento da interface.

De acordo o estágio em que se encontra a interface ela pode ser formativa ou

somativa ([Preece et al., 2002]; [Nielsen, 1993]).
Segundo [Nielsen, 1993] a avaliação formativa é aquela realizada durante o desen-
volvimento para melhorar o projeto de interface, enquanto a somativa é realizada
após o desenvolvimento para avaliar uma interface.
As avaliações formativas são realizadas antes da interface estar totalmente pronta,
durante as diferentes etapas de seu desenvolvimento. Seu objetivo é identificar
áreas da interface que violam princı́pios de usabilidade e que, por isso, poderão
ser causa de confusão ou dificuldade do usuário durante a interação. Sua principal
vantagem é que os problemas de interação são descobertos e corrigidos antes da
interface ser colocada em uso, evitando custos com possı́veis alterações.
As avaliações somativas são realizadas quando já existe uma interface pronta.
Este tipo de avaliação tem o objetivo de verificar se o produto (interface) está
de acordo com os padrões estabelecidos. Elas avaliam a qualidade da interface
pronta. De acordo a fase em que se encontra o projeto, a avaliação pode requerer
nı́veis diferentes de informação. Em algumas fases haverá a necessidade de uma
informação mais especı́fica (low-level information), como por exemplo, “Qual a
melhor fonte a ser usada?”. Em outras irá requerer uma informação mais geral
(higher-level information), por exemplo, “O sistema é usável?” [Dix et al., 2004].
b) A técnica de coleta de dados.

As técnicas mais utilizadas para coletar dados são ([Prates and Barbosa, 2003] e
[Preece et al., 2002]):
• Coleta de opinião de usuários: maneira de se obter feedback do usuário,

identificando o seu nı́vel de satisfação com o sistema. Normalmente é reali-
zada através de questionários e entrevistas.
• Coleta de opinião de especialistas: a partir de heurı́sticas os especialistas
em IHC e/ou no domı́nio da aplicação examinam a interface e identificam
possı́veis dificuldades que os usuários poderão ter. É uma abordagem rela-
tivamente barata e rápida.
• Observação direta: envolve ver e ouvir o usuário interagindo com o sistema,
a fim de obter uma visão dos problemas de interação. O usuário pode ser
observado em ambientes controlados ou naturais, podendo ser registrado
através de anotações, gravação de vı́deo, áudio ou da interação, ou ainda

uma combinação destas.
• Observação indireta: permite rastrear as atividades dos usuários, regis-
trando como eles utilizam o sistema, sem a presença do avaliador. Pode
ser realizado através da gravação dos logs da interação.
c) O tipo de dados coletado.

O tipo de dado coletado pode ser quantitativo ou qualitativo ([Dix et al., 2004],
[Preece et al., 2005] e [Prates and Barbosa, 2003]). O dado quantitativo é geral-
mente representado por números e pode ser facilmente analisado usando técnicas
estatı́sticas.
O dado qualitativo não é numérico. Envolve descrições e relatos de problemas,
além de sugestões dos usuários. Sua análise é interpretativa e mais difı́cil. Em
alguns casos, estes dados podem ser categorizados e assim quantificados utilizando
técnicas como análise de conteúdo.
d) A análise do dado coletado.

A análise do dado coletado pode ser preditiva, interpretativa ou experimental
[Prates and Barbosa, 2003]. Preditiva é feita quando os avaliadores, ao analisa-
rem os dados coletados de especialistas, tentam prever que tipo de problemas os
usuários enfrentarão. A interpretativa é realizada quando, ao analisar os dados
coletados a partir da interação do usuário com o sistema, os avaliadores procuram
explicar os fenômenos que ocorreram durante essa interação. E a experimental é
realizada quando os dados coletados provêm de ambientes controlados, como os
laboratórios e, por isso, necessitam ser analisados em função das variáveis sendo
observadas. Apesar de depender da interpretação do avaliador, já se conhece as
variáveis que estão sendo manipuladas.
Segundo Shneiderman ([Shneiderman, 1998]), quando a avaliação acontece em fases

mais avançados ela deve ser mais formal e cuidadosamente planejada. Assim, ele acres-
centa os seguintes fatores para efetivar um bom plano de avaliação:
• O grau de inovação do projeto de interface, ou seja, se ele possui natureza bem

definida ou se possui caráter exploratório;
• O número de usuários potenciais; e,

• O grau de risco que seu controle oferece (por exemplo, risco de uma interface para
um sistema de controle cirúrgico × sistema de consulta de notas na internet) e a
experiência do avaliador.
Quanto à classificação dos métodos de avaliação, a literatura aborda diferentes

enfoques. A categorização adotada em nosso trabalho é a utilizada por Prates e Barbosa
([Prates and Barbosa, 2003]), que agrupam os métodos em analı́ticos e empı́ricos.
2.4.1 Métodos Analı́ticos

Os métodos de avaliação analı́ticos são aqueles onde o avaliador realiza inspeção ou
examina aspectos de uma interface com base em algum critério. Estes critérios podem
ser derivados de guidelines, como nas avaliações heurı́sticas, ou em alguma teoria for-
mal, como no percurso cognitivo [Nielsen and Mack, 1994]. Seu objetivo é identificar e
selecionar problemas de usabilidade e com base nestes problemas fazer recomendações
para correção e melhoria da usabilidade do software. Estes métodos podem ser uti-
lizados em qualquer fase de desenvolvimento da interface e são relativamente baratos
e rápidos.
Os principais métodos citados na literatura revisada foram a avaliação heurı́stica e o
percurso cognitivo ([Nielsen and Mack, 1994], [Shneiderman, 1998], [Dix et al., 2004],
[Nielsen, 1993], [Preece et al., 2002], [Cybis, 1995], [Rocha and Baranauskas, 2003] e
[Prates and Barbosa, 2003]).
2.4.1.1 Avaliação Heurı́stica
Avaliação heurı́stica é um método de avaliação desenvolvido na década de 90 por Jakob

Nielsen e Rolf Molich [Dix et al., 2004]. É um método de inspeção onde especialistas
orientados por um conjunto de heurı́sticas de usabilidade avaliam se os elementos da
interface com o usuário estão de acordo com estas heurı́sticas ([Preece et al., 2005];
[Nielsen and Mack, 1994], [Nielsen, 1993]).
Heurı́sticas, segundo [Fernandes et al., 2003], são o caminho ou método que leva
a descobrir a verdade. As heurı́sticas de usabilidade são os princı́pios ou diretrizes
de design que, quando empregadas na avaliação, recebem este nome. São as regras
gerais que objetivam descrever propriedades comuns das interfaces usáveis. O conjunto
original de heurı́sticas nasceu de uma análise empı́rica de 249 problemas de usabilidade,
são elas [Nielsen, 1993]:
1. Diálogo simples e natural: usar diálogos com informações relevantes e adequados

à tarefa.
2. Falar a lı́ngua do usuário: usar frases e conceitos familiares do usuário, evitar

termos técnicos especı́ficos.
3. Minimizar a carga de memória do usuário: evitar que o usuário tenha que relem-
brar informações utilizadas em um diálogo anterior. Instruções para o uso do
sistema devem ficar visı́veis na tela ou serem facilmente recuperadas quando
necessário.
4. Consistência: a seqüência de ações aprendidas em uma parte do sistema deve

poder ser aplicada em outras partes. O usuário não tem que saber se diferentes
palavras, situações ou ações significam a mesma coisa;
5. Feedback : o sistema sempre tem que fornecer informação ao usuário sobre o

resultado de suas ações.
6. Saı́das claramente marcadas: se o usuário escolher uma função do sistema por

engano o sistema deve permitir que ele saia rapidamente sem ’estragar’ nada.
7. Atalhos (shortcuts): desapercebido para usuário novato, mas necessário para

usuários experientes.
8. Boas mensagens de erros: informar ao usuário qual foi o problema e como corrigi-
lo.
9. Prevenir erros: sempre que encontrar uma mensagem de erro, verificar se este
não poderia ser evitado.
10. Sistema de ajuda e documentação: mesmo sendo melhor um sistema ser usado
sem o auxı́lio de documentação, é necessário fornecer sistema de ajuda e docu-
mentação. Estas informações devem ser fáceis de localizar, focadas na tarefa do
usuário e não extensas.
Estas heurı́sticas originais de Nielsen cobrem os principais problemas de usabili-

dade nas interfaces. Porém, são necessários conjuntos diferentes de heurı́sticas para
avaliar produtos com categorias diferentes. Quais heurı́sticas são melhores e quantas
são necessárias dependerá do produto [Preece et al., 2002].
A realização da avaliação heurı́stica deve ser realizada por 3 a 5 avaliadores, já que
um único avaliador nunca é capaz de encontrar todos os problemas de usabilidade de
uma interface.
Inicialmente, a avaliação ocorre de forma individual, em sessões de uma a duas
horas. Os avaliadores percorrem a interface pelo menos duas vezes, detectando pro-
blemas de conformidade com um conjunto de heurı́sticas. Cada problema detectado é
relatado e justificado. Após a sessão individual é feita uma reunião com os avaliadores
na qual eles irão discutir suas avaliações, identificar o grau de severidade dos problemas
encontrados e sugerir soluções.
O grau de severidade (ou gravidade) é necessário para priorizar as correções dos
problemas mais sérios. Ele é calculado observando a freqüência com que o problema
ocorre (se é comum ou raro), o seu impacto junto ao usuário (se o usuário o supera facil-
mente) e sua persistência (se os usuários são incomodados pelos problemas repetidas
vezes).
A avaliação heurı́stica pode ser realizada nas fases inicias do projeto de interface de
usuário, a fim de encontrar problemas de usabilidade que possam ser atendidos como
parte do processo iterativo [Nielsen, 1993].
2.4.1.2 Percurso Cognitivo
O Percurso Cognitivo é um método de inspeção de usabilidade que tem como prin-

cipal objetivo avaliar a facilidade de aprendizagem de uma interface computacional
[Lewis and Wharton, 1997]. Este método é baseado na teoria da aprendizagem por
exploração, desenvolvida por Polson e Lewis e foi motivado por estudos que demons-
traram que os usuários preferem aprender como usar um sistema explorando suas fun-
cionalidades e não através de treinamentos ou consultas a manuais ([Dix et al., 2004];
[Lewis and Wharton, 1997]).
No percurso cognitivo o avaliador analisa cada passo necessário para a realização de
uma tarefa tı́pica do usuário. O objetivo desta análise é descobrir erros de design que
podem dificultar a aprendizagem por exploração. Para desenvolver a avaliação através
deste método primeiramente é necessária uma fase preparatória onde é realizado:
• A identificação das caracterı́sticas dos usuários tı́picos, considerando seus conhe-

cimentos com relação à tarefa e com a interface;
• A seleção e detalhes das tarefas que envolvem aspectos da interface a serem

avaliados;
• Uma descrição da seqüência de ações necessárias para a realização de cada tarefa;

e,
• A definição da interface (uma especificação ou protótipo do sistema), mostrando

o estado da interface antes e depois de cada passo das tarefas selecionadas.
Terminadas essas definições segue-se para a fase de análise. Nesta fase o avaliador
percorre as seqüências de ações para cada tarefa e, a cada ação, tenta responder às
seguintes questões básicas:
1. Os usuários farão a ação correta para atingir o resultado desejado?
2. Os usuários perceberão que a ação correta está disponı́vel?
3. Os usuários irão associar a ação correta com o resultado desejado?
4. Se a ação correta for executada os usuários perceberão que foi feito um progresso
em relação à tarefa desejada?
Estas questões servirão para a construção de uma estória sobre a usabilidade da

interface. São relatadas suposições sobre como o usuário escolheria as ações para re-
alização de cada tarefa e o que causaria problemas. Após a fase de análise é feito um
resumo dos resultados com as sugestões das possı́veis alterações da interface. Estes
resultados são apresentados à equipe de desenvolvimento para que a interface seja
revisada e os problemas apresentados sejam consertados.
A vantagem deste método é que, mesmo sem a presença do usuário, é possı́vel des-
crever detalhadamente os problemas que estes possivelmente enfrentariam ao interagir
com a interface (sem mesmo o protótipo desta). Porém, ele consome muito tempo,
trabalho e seus resultados se limitam à interface analisada [Preece et al., 2002].
2.4.2 Métodos Empı́ricos

Os métodos de avaliação empı́ricos são aqueles que buscam constatar os problemas
de usabilidade a partir da observação do usuário interagindo com o sistema. Eles são
centrados no usuário e necessitam da existência de pelo menos um protótipo implemen-
tado do sistema. Segundo Hix e Hartson ([Hix and Hartson, 1993]), as avaliações de
usabilidade com a participação dos usuários são consideradas as formas mais confiáveis
de avaliação e, geralmente, as mais indicadas. Estes métodos podem ser realizados em
laboratório ou em campo [Dix et al., 2004].
2.4.2.1 Testes em Laboratório
Existem circunstâncias em que testes de laboratório são necessários e desejáveis, como

por exemplo, quando se deseja avaliar caracterı́sticas especı́ficas de uma determinada
interface [Dix et al., 2004]. Eles possuem a vantagem de poder ter à disposição equipa-
mentos sofisticados que auxiliem a avaliação, tais como: câmaras, gravadores, computa-
dores, etc. E o avaliador tem um maior controle sobre o ambiente e sobre as atividades
do usuário. Porém, estes métodos possuem a desvantagem de não conseguir identificar
fatores do ambiente real do usuário que podem impactar o uso do sistema.
De acordo com [Prates and Barbosa, 2003], estes tipos de métodos possuem várias
caracterı́sticas comuns, como a fase de preparação e execução de testes. Mas variam em
relação ao tipo de dado coleta do e/ou no tipo de análise a ser feita. O tipo mais comum
na literatura é o Teste de usabilidade ([Prates and Barbosa, 2003];[Preece et al., 2002];
[Rocha and Baranauskas, 2003]; [Shneiderman, 1998]; [Nielsen, 1993]).
Para Nielsen ([Nielsen, 1993]), os testes de usabilidade têm se mostrado efetivos no
fornecimento de informações sobre os problemas vividos pelos usuários ao utilizarem
o sistema. Eles permitem avaliar os fatores que caracterizam a usabilidade de um
software através da medição dos valores alcançados pelo sistema em cada fator. São
avaliadas medidas de desempenho e medidas subjetivas (opinião do usuário).
Para realização dos testes são definidas as caracterı́sticas de usabilidade a serem
priorizadas no software, justamente com os limites (valores mı́nimos, máximos e alme-
jados) de desempenho do usuário para cada uma das caracterı́sticas. As medidas
utilizadas, normalmente, são: o tempo gasto e o número de erros cometidos durante
a execução da tarefa, a porcentagem de usuários que conseguiram se recuperar de um
erro, a porcentagem de usuários satisfeitos e insatisfeitos, etc.
Na análise dos dados, em cada medida observada, o avaliador verifica a distância
para limites mı́nimos, máximos e almejados, e assim, determina se o critério está em
um patamar desejável ou não. A análise da satisfação é medida através da coleta de
opiniões dos usuários utilizando, normalmente, um questionário.
Segundo Nielsen ([Nielsen, 1993]) dois problemas com relação aos testes de usabili-
dade devem merecer uma atenção especial: a confiabilidade e validade. Confiabilidade
é o grau de certeza que o mesmo resultado será alcançado se o teste for repetido. Exis-
tem diferenças individuais entre os usuários e estas deverão ser levadas em consideração
no momento da análise de resultados.
O problema da validade é se os resultados dos testes refletem os aspectos de usa-
bilidade que se deseja avaliar em produtos reais, em uso real, fora do laboratório. Por
isso deve-se ter atenção para a escolha das tarefas e dos usuários, além das diferenças
entre equipamentos da situação real e dos testes.
Os usuários participantes do teste devem representar ao máximo os usuários reais
do sistema. O ideal é que sejam usuários reais, mas como isso nem sempre é possı́vel,
deve-se escolher participantes que tenham as mesmas caracterı́sticas, como: idade,
nı́vel educacional, experiência com computadores e o domı́nio da tarefa.
Os avaliadores devem ter bons conhecimentos sobre a aplicação e a interface. Além
do mais, devem estar sempre prontos a lidar com problemas que afetem o teste. As
tarefas devem ser representativas e dar cobertura razoável das partes mais significativas
da interface. Elas devem ser tão realistas quanto possı́vel e inseridas no cenário de uso.
Devem possuir grau de dificuldade gradativo para dar uma maior segurança ao usuário.
Além de serem pequenas para que o usuário consiga completá-la no tempo previsto do
teste.
Geralmente é realizado um teste piloto entre um pequeno grupo (de uma a três
pessoas) para refinar procedimentos definidos.
Tipicamente, o teste de usabilidade possui quatro fases [Nielsen, 1993]:
1o . Preparação: o avaliador certifica que a sala do teste está pronta para o experi-
mento, que o sistema computacional está em estado inicial que foi especificado
no plano de teste e que todos os materiais, instruções e questionários estão
disponı́veis. Enfim, o avaliador garante que tudo estará pronto antes do usuário
chegar.
2o . Introdução: o avaliador recebe o usuário e explica os objetivos do teste, podendo

fazer algumas colocações sobre o mesmo. Em seguida introduz o procedimento
de teste.
3o . Execução do teste: durante o teste o avaliador deve evitar qualquer tipo de

comentário sobre o desempenho ou observação do usuário e também evitar de
ajudá-lo.
4o . Sessão final: após o teste os usuários são convidados para fazer comentários e/ou
dar sugestões, normalmente respondendo a um questionário especı́fico.
A localização remota e distribuı́da dos usuários está fazendo com que testes de
usuários sejam feitos remotamente, no ambiente natural de trabalho. Para isso, ferra-
mentas têm sido criadas e testadas, como por exemplo o Webcat, Webvip e o Visvip,
de [Scholtz, 2001].
2.4.2.2 Estudo de Campo
Os estudos de campo são trabalhos realizados em ambientes reais com o objetivo de

melhorar o entendimento sobre as atividades dos usuários e verificar o impacto da
tecnologia nessas atividades [Preece et al., 2002].
Segundo Bly, (1997), citado por [Preece et al., 2002], eles podem ser usados no
projeto de software para:
• Ajudar a identificar oportunidades de uso de novas tecnologias;
• Determinar requisitos para o projeto de interfaces;
• Facilitar a introdução de uma tecnologia; e,
• Avaliar a tecnologia.
O estudo de campo possui a vantagem de observar interações entre sistemas e

usuários que não podem ser observadas em estudos de laboratório. Porém, o alto nı́vel
de ruı́dos, o grande nı́vel de movimento e constante interrupção, tal como chamadas
telefônicas, dificultam o campo de observação [Dix et al., 2004].
Durante o estudo de campo são coletados dados qualitativos através das técnicas
de observação e pergunta aos usuários (questionários e entrevistas) onde sua análise
é interpretativa. Dados quantitativos também podem ser coletados através dos ques-
tionários e entrevistas ou ainda, originar-se da categorização dos dados qualitativos.
Normalmente, estes dados recebem uma análise estatı́stica.
a) Técnica de Observação
Observar a interação de usuários com o sistema é uma técnica simples e bas-
tante popular para coletar informações sobre usuários reais ([Dix et al., 2004];
[Nielsen, 1993]). O emprego desta técnica é útil em qualquer fase do desen-
volvimento da interface. Durante o inı́cio do projeto a observação auxilia no
entendimento das necessidades dos usuários e, em fases posteriores, ela examina
se o produto satisfaz às necessidades dos usuários [Preece et al., 2002]. Durante a
observação o avaliador pode atuar como um participante a fim de aprender o que
os usuários fazem e o porque o fazem. Esta forma de observação muitas vezes é
confundida e até considerada sinônimo da etnografia (Atkinson,(1994) citado por
[Preece et al., 2002]) que, para alguns autores difere da observação participativa
por consistir em uma abordagem de interpretação mais aberta. Outra forma de
atuação do avaliador é a observação de fora (outsider ) onde o avaliador se mistura

com o grupo a ser avaliado, mas deixa claro o seu papel de apenas observador.
As técnicas de coleta de dados podem variar. As mais comuns são as anotações,
a gravação de áudio, a câmara fixa e o vı́deo. Uma comparação entre estas três
técnicas pode ser observada na Tabela 2.3.
Critério Anotações e Áudio e Câmera Vı́deo

Câmera
Equipamento Papel, lápis e câmara Gravador com bom Equipamento de
(barato) microfone. Fones de edição, mixagem e
ouvido são úteis para análise (caros)
facilitar a transcrição
(barato)
Flexibilidade Muito flexı́vel e dis- Flexı́vel e relativa- É necessário posi-
de uso creto mente discreto cionar e focalizar as
lentes da câmara.
Integridade Conta com o que Pode-se obter Técnica mais com-
dos dados a pessoa registrou gravação completa pleto de coleta de da-
durante o tempo de áudio, mas os dos
disponı́vel. Proble- dados visuais ficam
mas com avaliadores de fora.
inexperientes
Impacto para Muito pouco Pouco, com inter- Pode ser muito inva-
os usuários rupções para trocar sivo.
fitas e posicionar mi-
crofones
Confiabilidade Baixa, dependendo Alta, mas ruı́dos ex- Pode ser alta mas,
dos dados de uma boa gravação ternos podem abafar depende do que a
o som câmara está focando.
Análise Relativamente fácil Discussões crı́ticas Problemas crı́ticos
de transcrever podem ser identifi- podem ser identifica-
cadas. É necessário dos e rotulados.
transcrever para
obter uma análise
mais detalhada.
Tabela 2.3: Comparação entre técnicas de coleta de dados utilizadas na observação

(adaptado por [Preece et al., 2005]).
Para rastrear as atividades dos usuários na observação indireta normalmente são

utilizados os diários, que registram o que os usuários fizeram, quando e o que
pensaram sobre suas interações com a tecnologia; e os logs da interação, que
registram toques na tela, movimentos do mouse e de outros dispositivos. Essas

técnicas podem ser utilizadas separadamente ou em combinação e sua escolha
dependerá do contexto a ser avaliado.
A maioria dos dados coletados é qualitativa e sua análise interpretativa. Em
algumas ocasiões, estes dados são categorizados e então quantificados para serem
analisados estatisticamente. Os dados quantitativos, advindos dos logs da in-
teração e de vı́deos, também são analisados estatisticamente.
O foco da observação no campo é como as pessoas interagem umas com as outras,
com as tecnologias e seu ambiente. Nela o contexto é importante e o grande de-
safio encontrado é a sua realização sem atrapalhar as pessoas que estão sendo ob-
servadas e a forma com que os dados coletados serão analisados. A análise da ob-
servação no campo se torna mais complicada quando existem grandes quantidades
de vı́deo ou a interação de variedades de técnicas utilziadas para se contar uma
história, como por exemplo, anotações, figuras e desenhos [Preece et al., 2002].
b) Técnica de Entrevistas Individuais

As entrevistas podem ser vistas como ‘uma conversação com um propósito’ (Kahn,
(1957), citado por [Preece et al., 2002]). Elas são usadas para estudar como os
usuários usam um sistema e quais as caracterı́sticas que eles, particularmente,
gostam ou desgostam. Nielsen ([Nielsen, 1993]) afirma que aspectos de usabi-
lidade podem ser melhor estudados apenas com uma simples conversa com os
usuários.
Segundo [Dix et al., 2004], as entrevistas se mostram efetivas para avaliação, em
particular, quando se quer extrair informações sobre preferências, impressões e
atitudes dos usuários. Elas também podem revelar problemas da interface que
não foram antecipados por seus projetistas ou que não tenham ocorrido durante
a observação. Quando usadas em conjunto com a observação ajudam a esclarecer
os eventos observados, mas não totalmente compreendidos.
Os tipos de entrevistas mais utilizados são: não-estruturadas, estruturadas e
semi-estruturadas [Preece et al., 2002].
As entrevistas não-estruturadas não são direcionadas por roteiros. Elas se iniciam
com um tópico em particular que pode ser aprofundado pelo entrevistador. As
questões abordadas são abertas e o entrevistado é livre para responder com mais
ou menos detalhes.
Nas entrevistas estruturadas as perguntas seguem rigorosamente um roteiro, em

que as perguntas devem ser curtas e claramente escritas. As respostas para às
questões podem ser selecionadas a partir de um conjunto de opções lidas em voz
alta ou apresentadas em papel. Elas se assemelham aos questionários.
As semi-estruturadas combinam caracterı́sticas das entrevistas estruturadas e
não-estruturadas utilizando perguntas fechadas e abertas. O entrevistador conta
com um roteiro básico para guiar-se possibilitando assim que os mesmos tópicos
sejam abordados a todos os entrevistados. O entrevistador inicia com questões
pré-planejadas e faz com que o entrevistado estenda sua fala, até que não surja
mais nenhuma informação relevante.
A análise dos dados coletados na entrevista dependerá do tipo de entrevista.
Os dados das entrevistas estruturadas são analisados quantitativamente, como
nos questionários. Os dados das entrevistas não estruturadas são analisados de
forma interpretativa, ou como na observação participativa. Enquanto os dados
das entrevistas semi-estruturadas, sempre que possı́vel, devem ser analisados de
forma interpretativa, identificando tópicos e temas de um dado.
c) Técnica de Entrevistas em Grupo: Grupo Focal

O grupo focal é visto por [Kind, 2004] como um procedimento de coleta de dados
no qual o pesquisador tem a possibilidade de ouvir vários sujeitos ao mesmo
tempo, além de observar as interações caracterı́sticas do processo grupal. Estas
interações são responsáveis pela produção de dados e insights que dificilmente
seriam conseguidos fora do grupo. Na avaliação de usabilidade de interfaces o
grupo focal é utilizado para aprofundar o conhecimento sobre as necessidades e
dificuldades enfrentadas pelos usuários ao usarem a tecnologia.
A reunião do grupo focal deve ser realizada em um ambiente adequado, propi-
ciando privacidade, conforto, livre de interferências sonoras e de fácil acesso para
os participantes. A quantidade de participantes necessária varia entre autores.
Nielsen ([Nielsen, 1993]) recomenda um grupo de seis a nove usuários com car-
acterı́sticas semelhantes e um tempo de discussão, com duração de, no máximo,
duas horas. Segundo [Kind, 2004], outros autores da área sugerem a duração de
90 a 120 minutos sendo que, se a informação desejada for muito especı́fica, cada
reunião não deverá ultrapassar 40 minutos.
Um roteiro pré-determinado é criado para orientar e auxiliar a discussão pelo en-
trevistador (moderador). Durante a reunião as questões são colocadas ao grupo
permitindo que as pessoas dêem suas opiniões, enquanto outro pesquisador (ob-
servador) valida a investigação.
[Preece et al., 2002] descreve como vantagens do grupo focal o baixo custo, o
fornecimento de resultados rápidos e a facilidade de ser trabalhado. Como desvan-
tagem, a demanda de um moderador habilidoso, para que não se gaste tempo em
questões irrelevantes.
Os dados coletados durante as reuniões de grupo são de natureza qualitativa.
Portanto, podem ser utilizados os mesmos métodos de análise empregados na
observação e entrevistas não-estruturadas.
d) Técnica de Questionários
Os questionários são uma técnica de coleta de dados semelhantes às entrevistas,
porém, menos flexı́veis. Eles podem ser impressos em papel ou apresentados
interativamente em um computador. Podem ser enviados pelo correio, por email
ou acessados em um endereço web ([Nielsen, 1993]; [Preece et al., 2002]).
O seu uso on-line está se tornando cada dia mais comum ([Preece et al., 2002]).
Isto se dá pelo fato de sua eficácia em atingir de um grande número de pessoas
de forma rápida e fácil. Este tipo de questionário pode ser baseado na web ou
enviado por e-mail. Os questionários enviados por e-mail têm a vantagem de
atingir usuários especı́ficos, o que não acontece com os baseados na web. Porém,
os baseados na web possuem a vantagem de serem mais flexı́veis em seu projeto
de design (podendo incluir menus instantâneos e suspensos, telas de ajuda, etc.)
e proporcionam validação imediata. De forma geral, os questionários on-line têm
as seguintes vantagens [Preece et al., 2002]:
• Rapidez no recebimento das respostas;

• Os dados podem ser coletados na base de dados, facilitando a análise;
• O tempo requerido para análise de dados é reduzido;
• Erros podem ser consertados facilmente.
Os questionários são o único método de usabilidade que consegue, ao mesmo

tempo, atingir uma grande população, descobrir as diferenças entre várias cat-
egorias de usuários e identificar as necessidades especı́ficas de pequenos grupos
[Nielsen, 1993].
Eles podem ser aplicados em qualquer fase do desenvolvimento de um sistema.

Normalmente, eles são utilizados para traçar perfil do usuário, estruturar in-
formações sobre problemas de usabilidade identificados pelos usuários e determi-
nar o grau de satisfação destes com relação ao uso dos sistemas. Questionários de
avaliação da satisfação do usuário com o sistema são utilizados mais freqüente-
mente após o término do software. Eles são empregados para avaliar a qualidade
do produto, implementar novos recursos ou corrigir falhas de interação e desem-
penho [Padilha, 2004].
Existem vários tipos de questionários para medir a satisfação do usuário. Al-
guns deles são reconhecidos no mercado como confiáveis e validados pela ex-
pansão de seu uso. Dentre eles, os mais citados na literatura revisada foram
QUIS - Questionaire for User Interaction Satisfaction, SUMI - Software Usabil-
ity Measurement Inventory e ISONORM ([Shneiderman, 1998]; [Soares, 2004];
[Cybis, 1995]; [Nielsen, 1993]; [Harper and Norman, 1993]; [Queiroz et al., 2005];
[Medeiros, 1999]; [Souza, 2004]; [Preece et al., 2002]):
• QUIS - Questionaire for User Interaction Satisfaction:

O QUIS é uma ferramenta projetada para avaliar de forma padronizada
e confiável a satisfação subjetiva dos usuários com relação a aspectos es-
pecı́ficos da interface. Ele foi desenvolvido inicialmente por uma equipe mul-
tidisciplinar de pesquisadores do Human Computer Interaction Lab (HCIL)
da University of Maryland, nos Estados Unidos, e é constantemente atu-
alizado e refinado. Atualmente, ele se encontra na versão 7.0 e contém:
questionário demográfico; escalas destinadas à mensuração da reação global
do usuário ao sistema; medidas de fatores especı́ficos à interface (tela, ter-
minologia e retorno de informações, aprendizado e facilidades oferecidas
pelo sistema); capacidades do sistema; e seções destinadas à avaliação de
componentes especı́ficos do sistema (ajuda online e impressa, tutoriais on-
line, multimı́dia, acesso à Internet / Teleconferência e instalação do soft-
ware)(http://www.lap.umd.edu/QUIS/index.html).
• SUMI - Software Usability Measurement Invetory
O SUMI foi desenvolvido em 1990 por KiroKowski e o Human Factors Re-
search Group (HFRG) da Universidade de Cork, na Irlanda. O SUMI mede
a qualidade de uso do Software a partir do ponto de vista do usuário final,
e auxilia a descobrir falhas de usabilidade antes que o software seja comer-
cializado (http://sumi.ucc.ie/index.html). O SUMI é o único questionário

comercialmente disponı́vel para a avaliação da usabilidade de software desen-
volvido, validado e padronizado em uma base internacional. Ele é composto
por cinqüenta ı́tens que avaliam, de forma geral, a eficiência do sistema,
como o usuário se sente ao interagir com ele, como este o auxilia em suas
tarefas e em seu aprendizado e o controle que é dado ao usuário.
• ISONORM 9241
Questionário desenvolvido por Prumper em 1993 cujo objetivo é verificar a
conformidade dos softwares aos princı́pios de diálogo descritos na parte 10
da Norma ISO 9241. Ele é dividido em sete sessões, com cinco questões
cada [Medeiros, 1999]: adequação à tarefa, autodescrição, controlabilidade,
conformidade com as expectativas do usuário, tolerância a erros, adequação
à individualização e adequação ao aprendizado. Ele também possibilita
acrescentar outra sessão com questões que qualificam o software avaliado e
o perfil do usuário.
Para analisar os dados coletados é necessária a definição de uma estratégia

para o tratamento dos dados, automatizando-a ao máximo. Normalmente são
utilizados cálculos estatı́sticos simples (média, percentual, desvio padrão, etc),
onde são fornecidos resultados por faixa de freqüência e realizados cruzamentos
[Preece et al., 2002].
Capı́tulo 3
Telemedicina e o BHTelessaúde
3.1 Telemedicina
A palavra telemedicina resulta da junção dos termos “tele”, originada do grego, que
significa: à distância; e “medicina”, que tem sua origem do latin mederi, significando:
cura. Dessa forma, telemedicina significa medicina à distância ou cura à distância.
Segundo [Bacic, 2001], a Telemedicina está na interseção das áreas da medicina,
tecnologia da informação e telecomunicações. A Organização Mundial de Saúde (OMS),
a define como sendo a oferta de serviços ligados aos cuidados com a saúde, nos casos em
que a distância é um fator crı́tico; tais serviços são providos por profissionais da área
da saúde, usando tecnologias de informação e de comunicação para o intercâmbio de
informações válidas para diagnósticos, prevenção e tratamento de doenças e a contı́nua
educação de prestadores de serviços em saúde, assim como, para fins de pesquisas e
avaliações.
Para a American Telemedicine Association (ATA) a Telemedicina é a troca de
informações médicas entre uma localidade e outra, através dos meios de comunicação
eletrônica, visando a melhoria da assistência à saúde.
A sua primeira definição formal foi dada em 1971, por Bird. Para ele a Telemedicina
é uma prática da medicina que utiliza uma interação de sistema de comunicação áudio-
visual sem a confrontação habitual médico-paciente [Tulu and Laxminarayan, 2005].
A partir de então, outras definições formais foram surgindo na literatura e todas se
referindo, de forma geral, à provisão de serviços médicos utilizando tecnologias de
informação e comunicação.
Em toda a literatura revisada encontramos vários termos usados para designar a
utilização das tecnologias da informação e comunicação como ferramenta para a saúde.
3.1 Telemedicina 33
Embora a essência destes termos seja a mesma, Telemedicina, e conseqüentemente sua

definição, evoluiu consideravelmente, assim como o resultado das imensas mudanças
experimentadas nas tecnologias de comunicação e informação.
Dentre os temos mais utilizados, encontramos o Telessaúde que, em 2001, a ANA
- American Nurses’ Association, conceituou formalmente como sendo a remoção de
tempo e barreiras de distância para a distribuição de serviços e/ou atividades de cuida-
dos com saúde. Neste estudo, Telemedicina é um subgrupo de Telessaúde.
Telessaúde é geralmente usado como um termo guarda-chuva, que descreve todas as
possı́veis variações de serviço de cuidado com a saúde que usa comunicações eletrônicas
e tecnologia da informação. Inclui a facilitação de avaliação e diagnóstico de saúde,
intervenção, consulta, supervisão, educação, e o transporte de informação por mı́dias
digitais.
Na revisão de literatura feita por [Oh et al., 2005] foram encontradas 51 definições
diferentes para outro termo bastante utilizado, o e-saúde (e-health). Enquanto na re-
visão de [Pagliari et al., 2005] foram encontradas um total de 36. Todas essas definições
abrangem um conjunto de conceitos discrepantes incluindo saúde, tecnologia e comércio,
com diferentes nı́veis de ênfases cada. O termo e-saúde começou a ser citado em arti-
gos cientı́ficos a partir de 2000 e ainda não se tem uma clara definição da área. Um
conceito geral, dado por Meheu, (2001) citado por [Tulu and Laxminarayan, 2005], se
refere a todas as formas de distribuição eletrônica de cuidados com a saúde através da
Internet.
Para alguns autores, o termo Cibermedicina, também bastante utilizado, será o
substituto para o termo Telemedicina. Apesar de ser vista como sendo a disciplina
que aplica recursos de Internet para auxiliar os serviços da medicina, a Cibermedicina
ainda é um termo recente, e não se tem uma definição formal, [Katz and Solez, 2005].
À medida que a tecnologia avança são criadas novas terminologias. O importante,
segundo [Bashshur, 2002], é entender que a proposta da pesquisa neste campo é apoiar
a cura e, se possı́vel, a prevenção de doenças, a redução de enfermidades e o aumento
da qualidade de vida da população.
3.1.1 Evolução Histórica da Telemedicina

Quando se pensa em Telemedicina quase que instantaneamente se faz uma associação
do seu uso ao advento tecnológico dos computadores. Entretanto, mesmo em uma era
onde nem se imaginava o surgimento do primeiro computador, há relatos do uso da
Telemedicina [Wallace et al., 1998]. Por exemplo, quando o telefone era utilizado para
3.1 Telemedicina 34
auxiliar os diagnósticos médicos no final do século XIX.

Em 1940, foram realizadas várias tentativas de transmissão de imagens radiográficas
por meio telefônico. Porém, segundo [Seabra, 2003], nenhuma tentativa foi bem suce-
dida por causa dos altos custos da transmissão de dados.
Um dos principais registros da utilização da Telemedicina foi nos anos 50, quando
um centro universitário de saúde ofereceu serviços de saúde mental a um hospital a
uma distância de 100 milhas, através de um circuito fechado de televisão. Já em 1960,
houve uma importante aplicação da Telemedicina pela NASA para atender e monitorar
a saúde de seus astronautas durante os vôos (http://telehealth.hrsa.gov/) Por outro
lado, todas as tentativas de implantação de serviços públicos da Telemedicina entre
1960 a 1970 fracassaram devido aos altos custos da tecnologia e à baixa qualidade das
imagens e transmissão de dados.
De forma geral, a história da Telemedicina pode ser caracterizada por três grandes
perı́odos ou eras, cada um derivado do avanço significativo da tecnologia dos computa-
dores, telecomunicações e da evolução cientı́fica da área da informática, envolvendo o
desenvolvimento de novos algoritmos/sistemas de consulta, comunicação e distribuição
de grandes volumes de dados em perı́odos cada vez menores de tempo.
A primeira era foi a Era das Telecomunicações, que teve um inı́cio tı́mido com o uso
da telefonia e alcançou o auge entre os anos 70 e 80 devido à evolução da radiodifusão
e da teledifusão, e ao barateamento dos equipamentos eletrônicos. Podemos dizer que
esta era foi caracterizada pela dependência da radiodifusão e tecnologias de televisão,
com sistemas de comunicação precários. Com exceção de alguns sistemas muito caros,
dados de áudio e vı́deo não eram completamente integrados. Além disso, o cuidado
médico era a única finalidade da Telemedicina [Tulu and Laxminarayan, 2005].
A segunda era, ou Era Digital, ocorreu no inı́cio dos anos 80, tendo grande cresci-
mento nos anos 90. Esta era se caracterizou pela integração das telecomunicações e
dos computadores com transmissão de quantias relativamente altas de informações em
largura de banda limitada. Os principais avanços dessa Era são devidos à tecnologia
ISDN (Integrated Service Digital Network ) que permite a transmissão de dados em linha
telefônica a uma velocidade de até 128Kbps (http://pt.wikipedia.org/wiki/ISDN). Com
o uso dessa tecnologia foi possı́vel efetuar a transmissão de voz, vı́deo e dados simul-
taneamente em uma rede universal.
A Internet é o marco da Terceira Era. As vantagens de permitir o armazenamento
e consultas de informações extensas de áudio, vı́deo e texto através de um meio de
comunicação global, menos caro e mais acessı́vel a um maior número de pessoas, atraiu
3.1 Telemedicina 35
os usuários da Telemedicina. Porém, por causa da sua popularidade, o acesso à in-

ternet se tornou freqüentemente demorado e sua largura de banda limitada impediu o
armazenamento e a transmissão de grandes volumes de dados requeridos para algumas
aplicações clı́nicas e diagnósticos corretos. Tais problemas foram um dos fatores que
levaram os patrocinadores da Next Generation Internet - NGI (Internet 2) a investirem
em pesquisas na área, já que, devido o aumento da velocidade e qualidade oferecida,
ela provê novas possibilidades em Telemedicina.
3.1.2 Aplicações da Telemedicina

De forma geral, podemos classificar a Telemedicina com relação ao propósito da aplicação
e quanto à sua área da aplicação. Estes ı́tens definem a quantidade e o tipo de in-
formação (áudio, texto, imagem e vı́deo) requerida para formar uma decisão médica
([Seabra, 2003]; [Krupinski et al., 2002]; [Tulu and Laxminarayan, 2005]).
O propósito da aplicação se refere à finalidade da comunicação e é classificada
sob dois grupos: clı́nicas e não-clı́nicas. As aplicações clı́nicas são aplicações que
proporcionam a troca de informações de saúde entre pacientes e médicos que este-
jam geograficamente separados, utilizando as tecnologias de informação e comunicação
para propor diagnóstico ou tratamento médico. Essas aplicações podem ser voltadas
para: triagem, diagnóstico, tratamento cirúrgico ou não-cirúrgico, consultoria, moni-
toramento, fornecimento de cuidados secundários ou supervisão de cuidados primários
[Tulu and Laxminarayan, 2005].
As aplicações não-clı́nicas são as demais aplicações que se voltam para a educação
de pacientes e médicos, pesquisa, saúde pública ou procedimentos administrativos.
A área de aplicação se refere ao domı́nio do campo médico. A importância desta
dimensão é indicar as diferenças especı́ficas da área que afetam a informação solicitada
e adquirida através dos canais de comunicação. De acordo com [Krupinski et al., 2002],
as áreas de aplicação podem ser classificadas pelo nı́vel de maturidade à qual pertencem.
Maturidade é definida em base de vários fatores, inclusive a quantidade e qualidade de
pesquisa que pertence à aplicação, o grau de aceitação da aplicação pela profissão, e o
desenvolvimento de padrões e protocolos para a aplicação. Os atributos de desempenho
são a viabilidade técnica, precisão diagnóstica, sensibilidade, especificidade, resultado
clı́nico, e custo efetivo.
As áreas da Telemedicina que mais têm se destacado segundo o nı́vel de maturidade
[Krupinski et al., 2002], são:
3.1 Telemedicina 36
a) Aplicações Maduras: Teleradiologia e Telepatologia

São consideradas as especialidades com maior estabilidade em suas aplicações.
Isso se dá ao fato de que são especialidades que contam com imagens antes do
contato direto com o paciente para formar um diagnóstico ou identificar anoma-
lias. Além disso, para estas especialidades, estão sendo criados padrões formais
para qualidade da segurança que são aceitos pelos profissionais da saúde.
O fato dos radiologistas e patologistas, na clı́nica tradicional, não trabalharem
diretamente com o paciente e existir um grande número de pesquisas e evidências
cientı́ficas com exibição e interpretação de imagens mesmo antes do desenvolvi-
mento da telemedicina, fazem com que a teleradiologia e telepatologia sejam bem
mais aceitas pelos seus usuários (pacientes e médicos).
b) Aplicações em Fase de Amadurecimento: Telepsiquiatria, Teledermatologia,

Telecardiologia e Teleoftalmologia
Estas aplicações estão em fase de amadurecimento devido a grande quantidade
de pesquisas e trabalhos desenvolvidos nessas áreas. De acordo com a literatura
consultada, pesquisas demonstram que este crescimento não está proporcional-
mente refletido na aceitação e difusão da tecnologia nessas aplicações. Isso se dá
ao fato de que, ainda não foram testados e disseminados os padrões nacionais e
internacionais para essa tecnologia.
A telepsiquiatria é uma das aplicações clı́nicas muito utilizadas. Só nos EUA foi
calculado um volume de 12.000 teleconsultas anuais ([Krupinski et al., 2002]).
Pesquisas neste campo demonstram um alto nı́vel de concordância na avaliação
clı́nica entre telepsiquiatria e as consultas tradicionais; além de apontarem que a
consulta da telepsiquiatria possui um menor custo.
Para as aplicações de teledermatologia foi verificada grande quantidade de li-
teratura publicada. Pesquisas no Reino Unido indicaram que a efetividade das
teleconsultas está equiparada à consulta da dermatologia tradicional e que, a per-
feição das imagens da pele dos pacientes que são transmitidas, possibilita bons
diagnósticos. Porém, a relação custo-benefı́cio não foi satisfatória por causa dos
altos custos dos equipamentos e o maior tempo gasto pelo especialista no di-
agnóstico. As limitações encontradas nesta aplicação foram: a falta do contato
para apalpar lesões e hesitação por parte de alguns pacientes por terem lesões em
suas áreas genitais fotografadas.
3.1 Telemedicina 37
Um volume significativo de literatura sobre telecardiologia, envolvendo princi-

palmente transmissão de ecocardiogramas, eletrocardiogramas e monitoramento
remoto da pressão sangüı́nea encontra-se disponı́vel. A alta incidência de mor-
bidez e mortalidade por causa de doenças do coração, o intervalo de tempo entre
o começo dos sintomas e o inı́cio do tratamento, que muitas vezes se torna fa-
tal para o paciente, faz da telecardiologia uma aplicação de grande importância
para o diagnóstico e a administração do tratamento apropriado. A literatura
demonstrou sucesso em praticamente todas as aplicações da telecardiologia.
A teleoftalmologia trata basicamente de imagens de patologias dos olhos. E como
os especialistas, normalmente, diagnosticam e tratam da doença com base nas
imagens patológicas dos olhos, as aplicações da teleoftalmologia têm atendido
satisfatoriamente aos seus usuários segundo [Krupinski et al., 2002]. A maioria
das pesquisas nos EUA e Europa indicam efetividade clı́nica, porém, estudos
ainda estão sendo realizados para avaliar sua viabilidade clı́nica.
c) Em desenvolvimento: Telecirurgia, Telepediatria e outras

Estas aplicações contam com pesquisas limitadas, em relação às demais, porque
ainda possuem pouca aceitação pelos profissionais de suas respectivas especiali-
dades.
3.1.3 Teleconsultoria
Teleconsultoria é um serviço da Telemedicina que proporciona a “Segunda opinião”
médica. Segundo [Sabbatini, 1999], “Segunda opinião” é um termo usado pelos serviços
médicos para designar uma consulta adicional com outro médico ou grupo de médicos.
Esta consulta é solicitada pelo paciente ou pelo médico que o está atendendo. Porém,
em ambos os casos esta consulta é realizada pelo médico e não diretamente pelo pa-
ciente. São colocados em discussão casos raros, de difı́cil diagnóstico ou que englobem
mais de uma especialidade médica [Hickson, 2003].
A teleconsultoria é requerida para sanar dúvidas quanto à certeza de um diagnóstico
ou sobre qual a conduta mais conveniente a ser seguida em uma determinada situação.
Ela é um parecer técnico, emitido por um médico, em resposta à solicitação feita por
outro médico e dirigida diretamente deste para aquele.
Ela permite que médicos residentes em locais distintos e de poucos recursos possam
interagir com médicos especialistas para discutirem a respeito de casos de pacientes.
Esta facilidade de comunicação faz com que hospitais e postos de saúde tenham acesso
3.2 BHTelessaúde 38
a uma segunda opinião médica especializada, ainda que a distância, podendo permitir
diagnósticos mais rápidos e precisos.
3.2 BHTelessaúde
Desde 2004, recursos de telessaúde estão sendo implantados nas unidades de assistência
básica à saúde (UBS) de Belo Horizonte através do projeto BHTelessaúde. Este projeto
é o resultado da parceria entre a Prefeitura Municipal de Belo Horizonte (PBH), através
da Secretaria Municipal de Saúde (SMSA), a Universidade Federal de Minas Gerais, o
Ministério da Saúde e, a União Européia via projeto lis1 .
O BHTelessaúde é voltado para as equipes de saúde da famı́lia (PSF) e atenção
primária. Ele é o pioneiro nesta área aqui no Brasil e está servindo como base para
o projeto nacional de telessaúde, a Rede Universitária de Telessaúde - RUTE. Seu
objetivo é a promoção da educação permanente em serviço e o suporte assistencial aos
profissionais das UBS, nas áreas da medicina, enfermagem e odontologia.
As UBS são distribuı́das entre os nove Distritos Sanitários (micro-regiões) de Belo
Horizonte, como mostra o mapa da Figura 3.1. Em abril de 2007, o projeto já se en-
contrava implantado em 141 UBS de oito Distritos Sanitários e envolvendo 502 equipes
de saúde da famı́lia (PSF).
1
lis - Aliança para a Sociedade da Informação: Programa da Aliança Européia que tem como
objetivo reforçar a parceria entre os paı́ses da Comunidade Européia e da América Latina, no campo
da sociedade da informação. http://ec.europa.eu/comm/europeaid/projects/alis
Figura 3.1: Distritos Sanitários onde já foram implantados o BHTelessaúde (Fonte:
SMSA/PBH em abril de 2007).
3.2.1 Descrição dos serviços oferecidos pelo BHTelessaúde

A educação permanente em serviço é realizada a partir das teleconferências interativas.
São selecionados temas que vão de encontro às necessidades de cada área das UBS. Na
medicina os temas são escolhidos de acordo a identificação dos principais motivos de
encaminhamentos para os especialistas e de livre solicitação das UBS. Na enfermagem,
os temas também são de livre solicitação pelas UBS. E na odontologia os temas foram
escolhidos de acordo relevância para a área.
Além das videoconferências nacionais são realizadas, também, videoconferências in-
ternacionais no Hospital das Clı́nicas (HC/UFMG) ou na Faculdade de Medicina/UFMG
para as UBS.
O suporte assistencial é realizado através das teleconsultorias. A teleconsultoria é
um serviço de consultoria, discussão de casos e obtenção de segunda opinião médica
entre o profissional das UBS e especialistas do HC/UFMG ou do CEM/SMSA-PBH.
Durante a teleconsulta o profissional da UBS recebe orientações quanto ao diagnóstico,
terapia, laudo, condutas gerais ou propedêutica do caso em discussão. Ela é oferecida
em duas modalidades: presencial e não-presencial, também conhecidas como on-line e
off-line.
Na teleconsultoria off-line, são discutidos os casos eletivos e não complexos. A
discussão do caso acontece por meio de mensagens eletrônicas. Utilizam-se apenas

textos com relato do caso pelo médico solicitante e o parecer do médico especialista.
Na teleconsultoria on-line, são discutidos os casos clı́nicos mais complexos. A dis-
cussão de caso acontece em tempo real, onde profissional da UBS e especialista com-
partilham som, imagens e dados do caso clı́nico. São seguidas da emissão de laudo com
parecer do especialista.
A teleconsultoria on-line exige um agendamento prévio. O profissional da UBS so-
licita agendamento de uma teleconsulta especificando a especialidade demandada e en-
caminha um resumo do caso a ser discutido. Quando necessário, são enviados, também,
as imagens e/ou exames (dermatológica, Raio X, eletrocardiogramas, etc) para serem
discutidos no momento da teleconsulta. O especialista confirma o agendamento e,
na data e hora marcada, eles discutem o caso, utilizando recursos da Telemedicina.
Em seguida, o especialista cadastra o laudo no sistema. Durante a teleconsultoria,
profissionais de outras UBS podem participar da discussão do caso, se o profissional
solicitante permitir, conforme esquema da Figura 3.2.
Figura 3.2: Teleconsultoria on-line.

3.2.2 Infra-estrutura Tecnológica

a) Rede
São utilizadas duas redes de comunicação: a Rede Municipal de Informática
(RMI) e a rede de alta velocidade BH2, do projeto REMAV. A RMI é a rede
onde todas as UBS estão conectadas a um link de 128 kbps. A BH2 é a rede
onde se encontra o HC/UFMG, o Laboratório de Computação Cientı́fica / Centro
Nacional de Pesquisa de Alto Desempenho (LCC/CENAPAD) e a Empresa de
Informática e Informação do Municı́pio de Belo Horizonte S/A (PRODABEL).
A BH2 se conecta à Rede Nacional de Ensino e Pesquisa (RNP) que possibilita
acesso às redes internacionais para a comunicação junto ao Centro Hospitalar
Universitário de Rouen. A Figura 3.3 nos mostra o esquema desses links.
Figura 3.3: Estrutura fı́sica da rede de comunicação do BHTelessaúde.

Todas as redes de comunicação foram estruturadas para possibilitarem o acesso a

todas as UBS, através da RMI. Para prover o acesso à RMI no HC, nas faculdades
de Medicina, Odontologia e Enfermagem, utiliza-se a estrutura do BH2. O acesso
direto à SMSA também é obtido por meio da rede BH2, a uma velocidade de 512
kbps. A qualidade de transmissão das videoconferências internacionais é assegu-
rada pelas redes de alta velocidade Rede Nacional de Pesquisa (RNP) do Brasil,
Rede Clara da América do Sul e pela rede Géant, da Europa [Santos et al., 2006].
b) Hardware
Em cada UBS existe uma infra-estrutura básica de hardware composta por um
microcomputador com kit multimı́dia e webcam. Os equipamentos especı́ficos
para a videoconferência seguem o padrão H323 e estão alocados nas unidades de
ensino e na SMSA. Eles são destinados especificamente para as videoconferências
internacionais. As salas de telessaúde nas instituições de ensino da UFMG e
SMSA possuem estações de trabalho similares às existentes nas UBS, câmaras
digitais, equipamentos de videoconferência, scanners e servidores.
c) Softwares
São utilizados os softwares Lotus Sametime e o aplicativo Gestão de Teleconsul-
torias.
O Lotus Sametime é um software de videoconferência multiponto desenvolvido
pela IBM, para a transmissão de imagens, dados e voz integrando o compar-
tilhamento do prontuário eletrônico com as imagens médicas necessárias. Ele é
utilizado na transmissão das teleconferências formativas e nas teleconsultorias
on-line.
O aplicativo Gestão de Teleconsultorias foi desenvolvido pela equipe da SMSA,
com o objetivo de dar apoio às solicitações e agendamentos das teleconsultorias
on-line e off-line. O sistema está hospedado em plataforma Linux. Ele foi de-
senvolvido através da metodologia UML - Unified Modeling Language, em três
camadas, utilizando linguagem PHP e banco de dados MySQL.
O ambiente operacional com os servidores e softwares de gerenciamento de tele-
conferências - Lotus Sametime, estão instalados na SMSA, sob monitoramento
da PRODABEL.
Capı́tulo 4
Metodologia
Para realização do presente estudo e definições metodológicas adequadas, inicialmente

foi realizada uma revisão de literatura sobre o tema em várias bases de dados especia-
lizadas na área de IHC e na área de Telessaúde, especificamente em Telemedicina. Em
IHC buscou-se entender seus conceitos e métodos de avaliação, enquanto em Teleme-
dicina buscou-se compreender seu contexto e aplicações.
Foram realizadas entrevistas semi-estruturadas com o grupo gestor do BHTelessaúde
visando o entendimento do projeto e conhecimento das rotinas de trabalho dos serviços
de telessaúde nas UBS. Para conhecer e entender o funcionamento dos sistemas com-
putacionais utilizados nos serviços de Telemedicina foram realizadas entrevistas com
grupo de técnicos da SMSA e um treinamento do sistema Lotus Sametime pela Plansis,
seu distribuidor.
Durante o processo de planejamento do trabalho foi utilizado o framework DE-
CIDE, proposto por [Preece et al., 2002]. A literatura revisada coloca este framework
como uma ferramenta apropriada para auxiliar o processo de planejamento de avaliação
([Preece et al., 2002]; [Prates and Barbosa, 2003]; [Kemp and Setungamudalige, 2006]).
Ele é composto pela lista de checagem da Tabela 4.1.
Os primeiros estágios do framework (D, E e C) são utilizados para identificar o
método de avaliação de usabilidade (usability evaluation methods - UEM) mais apro-
priado. Enquanto os estágios I, D e E estão direcionados para as questões práticas e
éticas do planejamento, condução, análise e apresentação do resultado da escolha do
UME.
4.1 Definição do Método de Avaliação de Usabilidade (UEM) 44
Sigla Palavras Significado

D Determine Determinar as metas da avaliação
E Explore Explorar as questões especı́ficas a serem respondidas
C Choose Escolher o paradigma e as técnicas de avaliação que respon-
derão às perguntas
I Identify Identificar questões de ordem prática
D Decide Decidir como lidar com questões éticas
E Evaluate Avaliar, interpretar e apresentar os dados
Tabela 4.1: Lista de Checagem do framework DECIDE
4.1 Definição do Método de Avaliação de Usabili-

dade (UEM)
A meta da avaliação foi verificar o efeito da interface dos sistemas de teleconsultoria
médica do BHTelessaúde junto aos seus usuários e identificar as dificuldades que eles
encontram ao interagir com estes sistemas.
Assim, foram identificadas questões em que as respostas tinham como objetivo
atender às metas. A primeira meta foi subdividida em metas de usabilidade, cujas
questões foram baseadas em [Nielsen, 1993], [Preece et al., 2002, Preece et al., 2005] e
[Dix et al., 2004]. Elas se encontram na Tabela 4.2.
Metas especı́ficas Questões a serem respondidas

Facilidade de aprendizagem Quão fácil e quanto tempo leva para o usuário apren-
der a usar tarefas principais do sistema?
Eficiência Uma vez aprendido a usar o sistema, o usuário con-
segue ser produtivo em suas tarefas?
Facilidade de relembrar A interface fornece suporte para auxiliar os usuários
a lembrarem como realizar a tarefa?
Erros e segurança no uso O sistema previne que o usuário cometa erros? E
quando os comete o sistema dá suporte de como re-
cuperá-los?
Satisfação O usuário está satisfeito com a interface do sistema?
Flexibilidade O sistema fornece ao usuário funções apropriadas
para que ele realize todas as suas tarefas da maneira
que deseja?
Utilidade O sistema oferece as funções necessárias para a real-
ização das tarefas do usuário?
Tabela 4.2: Explorando questões especı́ficas (E)xplore

4.1 Definição do Método de Avaliação de Usabilidade (UEM) 45
A segunda meta foi avaliada respondendo a questão “Quais os aspectos da interface

que, quando usados no contexto pretendido causam resultados inesperados ou confusão
entre os usuários?” ([Dix et al., 2004], p.320).
Para conseguir responder às questões e obter um resultado mais preciso, foi realizada
uma combinação de paradigmas1 e técnicas de avaliação, como mostra a Tabela 4.3.
Estes foram escolhidos conforme a relação entre paradigma e técnicas de avaliação
descrita por [Preece et al., 2002].
Paradigmas Categoria da técnica Técnicas

Avaliação Preditiva Coleta de opiniões dos espe- Percurso Cognitivo
cialistas
Estudo de Campo Observação de usuários Observação direta, como ex-
pectador
Observação indireta, com
gravação da interação
Coleta de opinião dos Entrevistas individuais
usuários semi-estruturadas
Questionários
Tabela 4.3: Paradigmas e técnicas escolhidas para a avaliação da interface
Os sistemas implantados nos serviços de Telemedicina do BHTelessaúde, como dito

no item ’c’ da seção 3.2.2, são o Sametime (para as videoconferências) e o Gestão de
Teleconsultorias (para agendamento e gerenciamento das teleconsultorias).
De acordo com as informações obtidas através das entrevistas com a equipe gestora
do BHTelessaúde, a maioria dos usuários apenas participa das teleconsultorias e não
as agendam ou acompanham. Ou seja, utilizam com maior freqüência o sistema Same-
time. Além disso, são usuários que não possuem tempo disponı́vel para treinamento.
Por este motivo, foi realizada uma avaliação preditiva no sistema Gestão de Telecon-
sultorias, utilizando a técnica do Percurso Cognitivo. Essa técnica possibilita prever
problemas que os usuários possivelmente enfrentariam durante a realização de suas
tarefas, focando, principalmente, problemas de interface com relação à facilidade de
aprendizagem por exploração [Lewis et al., 1990].
O estudo de campo foi utilizado em ambos os sistemas (Sametime e Gestão de
Teleconsultorias. Sua finalidade foi descobrir como os usuários utilizam esses sistemas e,
qual o efeito dos mesmos sobre tais usuários. Foram utilizadas as técnicas de observação
1
Paradigma de avaliação é o nome que se dá para o conjunto de crenças, implı́citas ou explı́citas,
associadas aos métodos ou técnicas de avaliação [Preece et al., 2002].
4.2 Definições práticas da Avaliação Preditiva 46
direta e a coleta de opinião de usuários, através de entrevistas e questionários, que serão

detalhadas nas próximas seções.
4.2 Definições práticas da Avaliação Preditiva

Como foi dito na Seção 4.1, a técnica empregada para o paradigma ‘Avaliação Preditiva’
foi o Percurso Cognitivo. A função desta técnica foi avaliar as principais tarefas do
Sistema de Gestão de Telecosultorias, cujo objetivo é o agendamento e gerenciamento
de teleconsultorias on-line e off-line.
O local utilizado para a execução da avaliação foi o Laboratório de Pesquisas em
Sistemas de Informação da PUC Minas. A avaliação foi realizada por um avaliador
que utilizou as definições detalhadas das ações de tarefas e modelos de telas fornecidos
pela equipe técnica da SMSA. A avaliação dividiu-se em duas fases: fase preparatória
e de análise.
4.2.1 Fase Preparatória

Na fase preparatória foram definidas as caracterı́sticas do grupo de usuários do sistema
e identificadas as tarefas mais relevantes a serem avaliadas. Para cada tarefa, foi
levantada junto à equipe técnica da SMSA, a seqüencia de ações necessárias para sua
efetivação e a atual interface utilizada pelos sistemas.
a) Caracterı́sticas dos Usuários

Nesta etapa foi suposto, de acordo com informações passadas pela SMSA, que os
usuários são Médicos da Saúde da Famı́lia das UBS que, de forma geral, possuem
pouca experiência no uso de ferramentas computacionais. Estes usuários têm o
ambiente Windows como familiar, porém, alguns ainda possuem resistência ao
uso dessas ferramentas. A análise detalhada dos usuários será realizada no estudo
de campo.
b) Tarefas avaliadas
As tarefas escolhidas foram:
• Solicitação de Teleconsultoria off-line.

• Cadastro de Caso Clı́nico.
• Cadastro de Prontuário de Paciente.
O caso clı́nico corresponde a um problema detectado no paciente e que será o

alvo da discussão da teleconsultoria. Ele deverá ser previamente cadastrado para
que o usuário possa solicitar uma teleconsultoria.
Entretanto, para se cadastrar um caso clı́nico é necessário que o prontuário do
paciente também já esteja cadastrado. Entende-se por prontuário o “conjunto
de informações, sinais e imagens registradas, geradas a partir de fatos, acontec-
imentos e situações sobre a saúde do paciente e a assistência a ele prestada, de
caráter legal, sigiloso e cientı́fico, que possibilita a comunicação entre membros da
equipe multiprofissional e a continuidade da assistência prestada ao indivı́duo”
[Conselho Federal de Medicina, ]
Essas tarefas foram selecionadas por serem as mais utilizadas pelo grupo de
usuários escolhidos no sistema de Gestão de Teleconsultorias. Seu fluxo está
descrito na Figura 4.1.
Figura 4.1: Fluxo de Tarefas para Solicitação de Teleconsultorias off-line

c) Seqüência de ações para todas as tarefas e a interface utilizada

Tarefa 1 - Solicitar Teleconsultoria off-line
Passo 1. Abrir a opção Gerenciar Casos Clı́nicos (abrir o menu ‘solicitante’,

escolher a opção ‘casos clı́nicos’ e em seguida, a opção ‘gerenciar casos
clı́nicos’), Figura 4.2.
Figura 4.2: Menu Casos Clı́nicos.

Passo 2. Clicar em Pesquisar e selecionar o caso clı́nico desejado, Figura 4.3.
Figura 4.3: Interface do Gerenciamento de Casos Clı́nicos pronta para receber um novo
cadastro.
Passo 3. Passo 3. Digitar o nome ou parte do nome do profissional responsável

e/ou nome do paciente e clicar em ‘Pesquisar’ ou Clique na seta do campo
‘selecione’ e escolha o Caso clı́nico desejado, Figura 4.4
Figura 4.4: Interface para Pesquisar Casos Clı́nicos cadastrados.

Passo 4. Clicar no botão ‘Selecionar’ para confirmar a seleção, Figura 4.5.
Figura 4.5: Interface para Pesquisar Casos Clı́nicos após encontrado o registro desejado.
Passo 5. Dentro do formulário do Caso Clı́nico, clicar no botão ‘Teleconsultas

off-line’, Figura 4.6.
Figura 4.6: Interface de Gerenciamento de Casos Clı́nicos exibindo dados cadastrados

e pronta para receber solicitação.
Passo 6. Solicitar uma nova teleconsulta off-line (clicar no botão ‘Nova Tele-
consulta off-line’), Figura 4.7.
Figura 4.7: Interface de visualização das Teleconsultas off-line já solicitadas para o
caso clı́nico.
Passo 7. Preencher formulário de solicitação, Figura 4.8.
Figura 4.8: Interface do formulário de cadastro de solicitação de Teleconsultas off-line.

Passo 8. Enviar solicitação (Selecionar opção ‘Enviar Mensagem’), Figura 4.9.
Figura 4.9: Interface do formulário de Solicitação de Teleconsultas off-line com dados

preenchidos.
Passo 9. Retornar para a tela principal do caso clı́nico (clicar no botão ‘OK’),
Figura 4.10.
Figura 4.10: Interface de confirmação do envio da solicitação de Teleconsultas off-line.

Tarefa 2 - Cadastrar Caso Clı́nico
Passo 1. Entrar no cadastro de caso clı́nico (Abrindo o Menu: Solicitante, se-

lecionando a opção: Casos Clı́nicos e, em seguida a opção: Gerenciar Caso
Clı́nico). A interface utilizada se encontra na Figura 4.3.
Passo 2. Cadastrar o caso clı́nico (Digitar o código do prontuário do paciente
ou pesquisá-lo e selecioná-lo, clicando no botão ´Selecionar’) A interface
utilizada se encontra na Figura 4.4.
Passo 3. Entrar com dados para realizar a pesquisa - digitar parte do nome do
paciente e clicar no botão pesquisar ou selecionar um prontuário a partir do
campo ‘Selecione’ e, em seguida, clicar no botão ‘selecionar’, Figura 4.11.
Figura 4.11: Interface de pesquisa de Prontuários cadastrados.

Passo 4. Continuar cadastro do caso clı́nico e salvá-lo (clicar no botão ‘Gravar’),

Figura 4.12.
Figura 4.12: Interface de Gerenciamento de Casos Clı́nicos após recebimento de dados

de um novo caso clı́nico.
Passo 5. Voltar para a tela inicial de cadastro do caso clı́nico (clicar no botão
‘OK’), Figura 4.13.
Figura 4.13: Interface de confirmação do Cadastro do Caso Clı́nico.

Tarefa 3 - Cadastrar prontuário do paciente
Passo 1. Entrar no formulário de cadastro do Prontuário, Figura 4.14.
Figura 4.14: Interface do Menu principal do Sistema Gestão de Teleconsultorias.

Passo 2. Entrar com os dados do paciente no formulário e clicar em ‘Gravar’,

Figura 4.15.
Figura 4.15: Interface do formulário do Cadastro de Prontuário preenchido.

Passo 3. Retornar ao estado inicial da interface, clicar ‘OK’, Figura 4.16.
Figura 4.16: Interface do formulário do Cadastro de Prontuário preenchido.

Passo 4. Confirmar o novo cadastro, quando o sistema detectar a existência de

algum prontuário semelhante ao digitado, Figura 4.17.
Figura 4.17: Interface da Pesquisa de Prontuário com mensagem de detecção de cadas-

tro semelhante ao digitado pelo usuário.
4.2.2 Etapa de Análise

Na fase de análise, para cada tarefa definida na fase preparatória, a interface foi percor-
rida passo-a-passo. O objetivo foi verificar quais as dificuldades que o usuário poderia
enfrentar durante a realização das tarefas. Para tal, cada passo foi questionado com as
seguintes perguntas:
• Os usuários conseguirão perceber que a ação correta está disponı́vel e conseguirão

utilizá-la?
• Eles conseguirão associar o resultado desejado com a ação correta?

4.3 Definições Práticas do Estudo de Campo 64
• Pela resposta da interface consegue-se perceber avanço na execução da tarefa?

Após a fase de análise foi realizado um resumo dos resultados com os problemas en-
contrados.
4.3 Definições Práticas do Estudo de Campo

A Tabela 4.4 resume as definições às questões de ordem prática para a avaliação do
estudo de campo. Foi levada em consideração a técnica escolhida, o tipo e a quantidade
de usuários avaliados, o local da avaliação e o recurso utilizado.
Técnica Ator/usuário Participantes Local Recurso Tipo dado
de coletado
avaliação
Grupo Solicitantes 3 FAFICH/ Anotações e Qualitativo
Focal UFMG gravação áudio
Entrevistas Solicitantes 10 UBS´s Gravação Qualitativo
áudio
Observação Solicitantes 4 UBS´s Anotações Qualitativo
e Gravação
interação
Especialista 1 CEM Anotações Qualitativo
e Gravação
interação
Questionário Solicitante 10 UBS´s Questionário Quantitativo
impresso
Tabela 4.4: Resumo de definição prática do Estudo de Campo.
Cada técnica utilizada determinou o tipo de dado coletado e a forma como seria
analisado, interpretado e apresentado, conforme será apresentado na seção de resulta-
dos.
a) Usuários participantes da avaliação Os atores identificados nos sistemas de
Telemedicina e suas respectivas funções foram:
• Solicitante: médico da Unidade Básica de Saúde (UBS) que agenda telecon-

sultoria e realiza as discussões clı́nicas com o especialista.
• Especialista: médico do Hospital das Clı́nicas (HC) ou do Centro de Espe-
cialidades Médicas (CEM - Centro-Sul) da Secretaria Municipal de Saúde
(SMSA), demandados pelos solicitantes para consultoria ou segunda opinião
médica.
• Administrador-técnico: técnico responsável pelo gerenciamento dos soft-

wares, cuja função é dar permissões, abrir e fechar teleconsultorias, anexar
materiais (arquivos) nas teleconsultorias, etc.
• Gestor do projeto: profissional que faz parte da coordenação do projeto
BHTelessaúde.
Segundo Eason (1987) citado por Preece et al (2005) podemos categorizar os

usuários como:
• Primário: todos os usuários que utilizam freqüentemente o sistema;

• Secundário: aqueles usuários que utilizam o sistema esporadicamente ou por
intermédio de alguém;
• Terciário: todas as pessoas afetadas pelo sistema ou que têm influência em
sua adoção.
Com base na definição dos atores e na categorização geral dos usuários foi ela-
borada uma classificação dos usuários dos serviços de Telemedicina do BHTe-
lessaúde, conforme a Tabela 4.5.
Tipo de Usuário Atores

Primário Solicitante
Secundário Solicitante
Especialista
Terciário Administrador-Técnico
Gestor do Projeto
Tabela 4.5: Classificação dos usuários do BHTelessaúde.
b) Amostra de Usuários A região Centro-Sul foi escolhida para a avaliação pelo

fato da mesma ter sido uma das regiões pioneiras na implantação do BHTe-
lessaúde e por possuir os usuários primários mais freqüentes. Nela foi implan-
tado o primeiro centro distrital de especialidades médicas, denominado Centro
de Especialidades Médicas (CEM - Centro-Sul).2 . Além disso, com exceção da
UBS São Miguel Arcanjo, todas as suas UBS estão informatizadas e utilizam os
sistemas de Telemedicina, como mostra a 4.6.
2
Com a implantação do CEM as teleconsultorias antes realizadas junto ao HC/UFMG, passaram
a ser realizadas com os seus especialistas
UBS Total Médicos Médicos-Usuários

Cafezal 8 2
Carlos Chagas 9 1
Conjunto Santa Maria 6 3
Menino Jesus 6 3
N. Sra. Aparecida 7 3
N. Sra. Conceição 7 2
N. Sra. Fátima 7 1
Oswaldo Cruz 13 1
Santa Lúcia 9 2
Santa Rita de Cássia 11 2
São Miguel Arcanjo 6 0
Tia Amância 12 1
Tabela 4.6: Médicos-Usuários por UBS da Região Centro-Sul. Fonte: SMSA / maio
2007.
c) Tarefas avaliadas As tarefas foram escolhidas com base nos objetivos a serem
alcançados. São tarefas tı́picas e gerais, conforme mostra a Tabela 4.7.
Seq Tarefas Sistema

1 Solicitação de Teleconsultoria on-line Gestão de Teleconsultoria
2 Solicitação de Teleconsultoria off-line Gestão de Teleconsultoria
3 Realização de Teleconsultoria on-line Sametime
Tabela 4.7: Tarefas a serem avaliadas no Estudo de Campo.
d) Questões éticas As questões éticas foram tratadas junto à Comissão de Ética da

Secretaria Municipal de Saúde de Belo Horizonte. Além disso, foi elaborada uma
carta de consentimento contendo o objetivo da pesquisa e o comprometimento
de que as informações pessoais adquiridas seriam confidenciais. Uma cópia desta
carta foi entregue para cada participante da pesquisa assinar como anuência. Seu
modelo se encontra no Apêndice A.
4.3.1 Entrevista em grupo (Grupo focal)

O objetivo do grupo focal foi conhecer as idéias, sentimentos, necessidades e opiniões
dos usuários solicitantes a respeito do sistema de Telemedicina implantado.
A amostra de usuários entrevistados foi definida pela SMSA com base na análise
estatı́stica das realizações de teleconsultorias das UBS.
O roteiro da entrevista foi elaborado a partir de uma revisão na literatura sobre a

respectiva técnica. Este roteiro se encontra no Apêndice B e foi realizado junto com o
grupo de pesquisadores da PUC Minas3 .
O grupo focal ocorreu na sala de observações da FAFICH/UFMG e contou com a
presença dos pesquisadores da PUC Minas, distribuı́dos nas funções de moderador e
observadores. Toda a entrevista foi gravada em fita cassete.
Apesar de serem convocados dez participantes, a quantidade de entrevistados no
grupo focal foi inferior ao recomendado na literatura, apenas três. Porém, mesmo com
a pequena quantidade, conseguimos extrair informações que consideramos valiosas para
nosso estudo e, por isso, seu resultado será descrito no Capitulo 5 e fará parte da nossa
conclusão.
4.3.2 Entrevistas Individuais

A elaboração da entrevista foi baseada no Método de Explicitação do Discurso Subja-
cente (MEDS) desenvolvido por Nicolaci-da-Costa, que é um método exploratório para
a pesquisa em psicologia clı́nica. Ele é utilizado em IHC para identificar caracterı́sticas
dos usuários que são importantes para ao desenvolvimento de sistemas e que, muitas
vezes, são de difı́cil explicitação verbal e por isso despercebida por outros métodos
[Nicolaci-da Costa, 2007] e [Nicolaci-da Costa et al., 2004]. Em nosso trabalho ele foi
utilizado para conhecer as impressões dos usuários a respeito das interfaces do sistema
computacional do BHTelessaúde e as dificuldades enfrentadas por eles durante o seu
uso. O seu desenvolvimento ocorreu em quatro fases distintas.
Fase 1: Seleção da amostra de usuários Por ser um grupo com caracterı́sticas se-
melhantes (médicos generalistas), o único critério adotado para a escolha dos
usuários e a quantidade a ser entrevistada foi a disponibilidade que o usuário
teria em poder participar da entrevista. Assim, dentre os vinte e um usuários
primários na região Centro-Sul, foram realizadas dez entrevistas individuais, dis-
tribuı́das por UBS, conforme mostra a Tabela 4.8.
3
Grupo Responsável pelo Projeto Avaliação da Usabilidade das TIC‘s e uso da informação nos
serviços de telessaúde: a experiência de Belo Horizonte.
UBS Médicos-Usuários Médicos Entrevistados

Cafezal 2 2
Carlos Chagas 1 1
Conjunto Santa Maria 3 0
Menino Jesus 3 1
N. Sra. Aparecida 3 0
N. Sra. Conceição 2 1
N. Sra. Fátima 1 1
Oswaldo Cruz 1 1
Santa Lúcia 2 2
Santa Rita de Cássia 2 0
São Miguel Arcanjo 0 0
Tia Amância 1 1
Tabela 4.8: Quantidade de Usuários Entrevistados por UBS da Região Centro-Sul de

Belo Horizonte.
Fase 2 - Construção de roteiro para a entrevista Na preparação para a coleta

de dados foi elaborada um roteiro conforme o objetivo da pesquisa. O roteiro
consta de tópicos e não de perguntas já prontas. São eles:
1. Expectativa em relação ao Sistema BHTelessaúde:

• Quando e como ouviu falar do BHTelessaúde pela primeira vez?
• O que imaginou a partir disto:
– A respeito das ferramentas que seriam utilizadas.
– A respeito das facilidades que encontraria.
2. Começando a usar o BHTelessaúde:
• Houve treinamento?
– Pontos positivos e negativos
• Como foi a primeira utilização?
– Agendamento.
– Interação.
• Impressões do primeiro uso, com relação a:
– Facilidade de aprender a usar o sistema.
– Facilidade de uso.
3. Uso no dia-a-dia
• Interação com o sistema
• Dificuldades e facilidades encontradas
4. Segurança:
• Percepção em relação à confiabilidade dos dados no sistema.
• Recuperação de erros.
Essa estratégia ajuda a deixar a entrevista menos formal e auxilia o entrevistador

a não se esquecer de abordar todos os tópicos em todas as entrevistas. Um teste
piloto foi realizado e para que as questões fossem revistas e melhor adequadas
para alcançar os seus objetivos.
Fase 3 - As entrevistas Devido ao grande volume de atendimento das UBS, houve

grande dificuldade no agendamento das entrevistas. Elas foram agendadas e
efetivadas durante o expediente do médico em seus próprios consultórios. Para
cada médico foi realizada uma única entrevista com duração de 15 a 30 minutos,
que foi gravada em fita cassete. A realização da entrevista dividiu-se em três
partes:
1o . Apresentação do Projeto de Pesquisa para o entrevistado, onde foram colo-

cados os objetivos da pesquisa e da avaliação e entrega do termo de consen-
timento.
2o . A entrevista em si, seguindo o roteiro descrito na Fase 2; e,
3o . A aplicação de um questionário para conhecer melhor o perfil do usuário e
medir a sua satisfação com relação ao uso do sistema. A elaboração deste
questionário será descrita na Seção 4.3.4.
Fase 4 - Transcrição dos depoimentos Após a coleta de dados as entrevistas foram

transcritas na ı́ntegra observando ocorrências como perturbação, pausas e risos,
que poderiam ser possı́veis indicadores de conflitos, insatisfação, satisfação, etc.
Posteriormente foram analisadas em duas etapas, conforme descrito na Fase 5.
Fase 5 - Análise e interpretação dos depoimentos As respostas de cada entre-

vistado foram agrupadas segundo os tópicos do roteiro aplicado. Em seguida, o
processo de análise dos depoimentos foi dividido em duas etapas distintas:
1a Análise inter-sujeitos: etapa onde as respostas dos entrevistados, para cada item do
roteiro, foram comparadas em busca de recorrências. Essas recorrências foram
transformadas em categorias (êmicas4 ) que demonstraram os valores do grupo de
entrevistados.
2a Análise intra-sujeitos: etapa onde foi realizada nova leitura e análise do discurso de
cada entrevistado. Nesta etapa foram identificados contradições, inconsistências,
conflitos individuais e o que é importante individualmente.
Após a segunda etapa retornou-se à primeira e o processo foi refeito por várias
vezes, possibilitando detectar informações importantes que poderiam passar des-
percebidas. A Figura 4.18 ilustra este processo de análise.
Figura 4.18: Procedimentos do MEDS - Adaptado de [Nicolaci-da Costa et al., 2004].
4.3.3 Observação
A observação dos usuários durante as teleconsultorias teve o objetivo de verificar como
os usuários interagiam com o sistema e quais os problemas que estes enfrentavam
durante a interação.
A atuação do avaliador durante as teleconsultorias foi a de observador externo,
anotando suas impressões e procurando causar a menor interferência possı́vel nas ativi-
dades dos usuários. A interação do usuário com o sistema foi gravada utilizando o
software Snag It.
4
Abordagem êmica: interpretação de depoimentos a partir de categorias que emergem das falas
dos entrevistados.
Para organizar a observação e a atividade de coleta de dados, foi adotada a seguinte

estrutura:
a) Contexto: local da teleconsultoria (organização, objetos, etc).
b) Atores: quais as pessoas que estão envolvidas na atividade, seus detalhes relevantes
e o local onde se encontram fisicamente.
c) Atividades: o que os atores estão fazendo e por quê, identificando o humor de cada
um com relação à atividade (antes, durante e após a teleconsultoria).
d) Eventos especiais: eventos que não fazem parte da rotina normal, se aconteceram,
como e por quê.
Esta estrutura foi uma adaptação do modelo de Colin Robson, citado por
[Preece et al., 2005] que, apesar de bem abrangente (contém ı́tens que observam tanto
o contexto como o humor das pessoas), não supria as necessidades de observação no
caso especı́fico.
A tarefa escolhida para a observação foi a participação de uma teleconsultoria on-
line pelo médico solicitante. Esta foi escolhida pelo fato de necessitar de agendamento
prévio e assim facilitar a observação. Além de ser a tarefa principal do sistema.
A escolha das teleconsultorias e usuários participantes se deu em função das so-
licitações agendadas por estes usuários no perı́odo da pesquisa (janeiro a maio de 2007).
A observação foi realizada durante quatro teleconsultorias em UBS diferentes, conforme
Tabela 4.9, e cujos usuários eram considerados experientes (já haviam participado de
pelo menos três teleconsultorias).
Locais da observação Tipo de usuário

UBS Conjunto Santa Maria Solicitante
UBS Menino Jesus Solicitante
UBS N. Sra.Conceição Solicitante
UBS Oswaldo Cruz Solicitante
CEM Especialista
Tabela 4.9: Locais e usuários observados.
4.3.4 Questionários
Dois tipos de questionários foram aplicados. Um para traçar o perfil do usuário e outro
para estruturar informações sobre problemas de usabilidade e determinar o grau de
satisfação dos usuários com relação aos sistemas. Eles foram aplicados logo após a
entrevista individual.
Estes questionários foram baseados no QUIS - Questionaire for User Interaction
Satisfaction, pelo fato de este questionário proporcionar uma avaliação da satisfação
subjetiva dos usuários com relação a aspectos especı́ficos da interface. Os questionários
desenvolvidos se encontram no Apêndice C.
Em termos de questões o questionário foi composto de 25 questões fechadas que
foram agrupadas em 5 categorias: Tela, composto por 4 questões; Terminologia e
informação do sistema, com 5 questões; Aprendizagem e utilização do sistema, também
com 5 questões; Multimı́dia e Teleconferência, com 10 questões; e uma questão sobre a
satisfação geral com o sistema. Para cada questão foi utilizada uma escala de diferencial
semântico com cinco nı́veis, variando de 1 (menor nota) a 5 (maior nota).
O questionário também incluiu uma questão aberta que possibilitou que os usuários
deixassem seus comentários a respeito de algum item não abordado.
Sua primeira versão foi aplicada durante o grupo focal como um teste piloto. Após
identificar pontos a serem ajustados o questionário foi alterado possibilitando sua
aplicação efetiva durante as entrevistas individuais.
A análise dos questionários foi realizada utilizando cálculos estatı́sticos simples sobre
os itens de cada categoria avaliada, como será visto no Capı́tulo 5.
Capı́tulo 5
Resultados e Discussões
Apesar do objetivo do trabalho avaliar a usabilidade dos sistemas computacionais uti-

lizados no BHTelessaúde, na análise dos dados coletados identificamos problemas rela-
cionados à introdução de tecnologia e problemas técnicos. Dessa forma, esses dados
serão apresentados e discutidos através da técnica de avaliação aplicada e do tipo de
problema encontrado em cada técnica, cotejando-os com a literatura estudada.
5.1 Resultados decorrentes do Percurso Cognitivo

No Percurso Cognitivo os problemas encontrados foram relacionados à usabilidade.
Eles estão agrupados por categorias e serão descritos de acordo com a seqüência em
que aparecem nas tarefas.
De forma geral a interface demonstrou os seguintes problemas:
• Seqüência de tarefas não está clara para o usuário.

Para realizar uma solicitação de teleconsultoria de um caso clı́nico, obrigatoria-
mente, o usuário deve cadastrar o prontuário do paciente. Porém, ele irá perceber
isso apenas no momento em que estiver cadastrando o caso clı́nico, quando a in-
terface lhe pedir o número do prontuário (Figura 4.3). Nesse momento, se o
usuário não souber o código do prontuário poderá pesquisá-lo porém, caso não
esteja cadastrado, o usuário deverá sair da tela em questão e retornar ao menu
principal.
As opções do menu principal se encontram dentro de outro menu, cujo rótulo é a
função do usuário, e que se encontra dentro da barra de menu (Figura 4.14). Isso
5.2 Resultados decorrentes do Grupo Focal 74
força o usuário a clicar em uma opção desnecessária para ter acesso às opções das
tarefas do sistema, o que pode causar confusão para usuários novatos.
• Rótulos de campos não correspondem à sua finalidade.

No cadastro de Prontuário os campos ‘Prontuário Externo’ e ‘Entidade de Origem’
se referem respectivamente ao número do prontuário do paciente e ao sistema
onde este prontuário foi cadastrado, ou seja, são campos com funções que não
condizem com seus rótulos (Figura 4.16).
• Feedback não informativo.

Quando o usuário tenta cadastrar um prontuário similar a um já cadastrado,
o sistema lhe transfere para uma tela cujo tı́tulo é ‘Pesquisa Prontuário’ e lhe
pergunta o que ele quer fazer: gravar prontuário ou confirmar prontuário existente
(Figura 4.17). Porém, não mostra os dados do prontuário similar para que o
usuário possa confirmar a sua existência ou não. Assim, o usuário não tem como
confirmar a informação e poderá ficar confuso sem saber o que fazer.
• A interface não informa se os campos dos formulários são opcionais ou obri-

gatórios.
No Cadastro de Prontuário (Figura 4.15) os campos ‘Prontuário Externo’ e ‘Enti-
dade de Origem’ são opcionais, apenas para prontuários de pacientes já cadastra-
dos em outros sistemas.
• Confusão na escolha da ação correta para chegar ao resultado desejado.

Para pesquisar um prontuário cadastrado o usuário possui duas ações corretas
que não estão claras: botão pesquisar e um menu de opções (options menu) com
o rótulo ´Selecione’(Figura 4.11). O que deixa o usuário duvidoso em sua escolha,
sem conseguir associar a ação correta com o resultado desejado.
Para pesquisar um caso clı́nico já cadastrado a interface também possui duas
opções para executar o mesmo passo em uma mesma interface que não contém
ações claras (Figura 4.5). Suas ações se misturam e confundem o usuário.
5.2 Resultados decorrentes do Grupo Focal

Nas entrevistas com o grupo de médicos das UBS percebemos a importância que eles
dão ao projeto. Eles acreditam que a Telemedicina é um meio para a organização do
5.2 Resultados decorrentes do Grupo Focal 75
processo de trabalho e a vêem como instrumento de grande importância no processo

de aprendizagem contı́nua, ainda que, muitas vezes, como reconhecido pelo grupo,
exista grande distância entre a abordagem teórica do especialista expositor com o que
pode ser efetivamente realizado na prática das UBS. Esse problema foi igualmente
mencionado em trabalhos que relatam as experiências em projetos de telessaúde em
exposições no I Workshop do Laboratório de Excelência e Inovação em Telessaúde
na América Latina e Europa, realizado em dezembro de 2006, em Belo Horizonte
(http://www.laboratoriotelesalud.com.br).
Além disso, também foram detectados nas falas do grupo, problemas referentes à
usabilidade, técnicos e de introdução de tecnologia que serão expostos a seguir.
5.2.1 Problemas relacionados à introdução de tecnologia

Os médicos entrevistados ressaltaram a necessidade de uma melhor organização na im-
plantação do BHTelessaúde e que, os profissioanais envolvidos, precisam de um tempo
maior para sua absorção.
Dentro dessa melhor organização eles citaram o momento do acontecimento da
teleconsultoria. Hoje, elas ocorrem durante o expediente de atendimento dos médicos
da UBS e gastam uma média de 15 a 20 minutos. Porém, quando há problemas de
conexão, por exemplo, o tempo gasto é bem maior, o que atrasa o atendimento aos
pacientes, presentes no consultório. Eles salientaram o fator tempo como essencial
e que este interfere diretamente na predisposição a utilizar o sistema e a aderir ao
programa.
Segundo os entrevistados, o projeto prevê a possibilidade de que, durante as tele-
consultorias, médicos de outras UBS e/ou especialistas poderem acompanhar as dis-
cussões de caso. Porém, essa falta de privacidade foi vista, por eles, como um fator
desestimulante para utilização do sistema.
5.2.2 Problemas Técnicos

Problemas com o áudio tornando impossı́vel, muitas vezes, o entendimento das palavras
pronunciadas, foi outra dificuldade encontrada pelo grupo entrevistado.
5.2.3 Problemas de Usabilidade do Sistema

Quanto ao uso do sistema, foi colocada a dificuldade que os médicos têm em transmitir
imagens (radiológicas, dermatológicas, etc). Segundo eles, o processo de inserir imagens
5.3 Resultados decorrentes das entrevistas individuais 76
é muito demorado e exige muita paciência do usuário que necessita de auxı́lio técnico
para concluı́-lo.
Apesar do grupo destacar a facilidade do uso do sistema, eles ainda precisam de
auxı́lio técnico para interagirem com a interface e admitem necessitarem de mais treina-
mento. Essa necessidade também foi identificada em outros projetos de telemedicina,
citados por [Tanriverdi and Iacono, 1999] e [Gaggioli, 2005].
5.3 Resultados decorrentes das entrevistas indivi-

duais
5.3.1 Análise dos Usuários
Foram realizadas entrevistas com dez usuários das UBS do Distrito Centro-Sul, como
descrito no Capı́tulo 4. Para preservar a identidade dos entrevistados estes serão chama-
dos de “M01, M02, M03...” e assim por diante. Com relação à idade dos entrevistados,
40% estão na faixa entre 41 a 50 anos, 20% entre 30 a 35 e 51 a 60 anos e 10% com
menos de 30 anos e entre 36 a 40 anos, conforme o gráfico da Figura 5.1.
Figura 5.1: Caracterização dos usuários quanto à idade
Dos dez usuários entrevistados seis são do sexo feminino e quatro do sexo mas-
culino, sendo nove médicos e um enfermeiro1 , o M04 representado com zero tempo de
1
Responsável por toda a interação do sistema, desde a verificação de disponibilidade de especia-
experiência médica (Figura 5.2). Quanto à experiência na área médica (conhecimento

do domı́nio) os usuários M02, M03, M06, M08 e M09 disseram atuar há mais de 20 anos
como médicos, sendo o M06, M08 e M09 com mais de 20 anos de trabalho na própria
SMSA. Os demais médicos são mais jovens, com menos de 10 anos de experiência
médica e menos de 5 anos de trabalho na SMSA. O usuário M07 se destaca por possuir
apenas um ano de trabalho na SMSA, mas com nove anos de experiência médica. O
M05 foi o médico mais jovem do grupo de entrevistados, possuindo menos de trinta
anos de idade e três anos de experiência tanto na área médica como na SMSA (Figura
5.2).
Figura 5.2: Experiência do domı́nio (medicina)
Segundo a SMSA, a média de utilização do serviço de teleconsultoria pelos médicos

varia entre três a seis teleconsultorias, desde o inı́cio da implantação do projeto até abril
de 2007. Assim, os usuários com menos de três teleconsultorias foram classificados como
novatos no conhecimento do sistema e os demais como experientes.
Dos nove médicos, três participaram apenas de uma ou duas teleconsultorias. Com
exceção dos médicos M01 e M08, que se destacaram pela quantidade superior de uso
das funções principais do sistema, os demais se enquadraram na média informada pela
SMSA, como visto no gráfico da Figura 5.3.
listas, agendamento até à teleconsulta, onde deixa todo o ambiente preparado para o médico apenas
conversar com o especialista.
Figura 5.3: Quantidade de uso das principais funções do BHTelessaúde pelos usuários
entrevistados.
Com relação à experiência no uso de computadores, os usuários M02, M04, M09

e M10 possuem experiência apenas em aplicativos de escritório. Já os demais, com
exceção do M07 demonstraram experiência no uso das ferramentas de escritório e edi-
tores de imagens. O M01 e M08 confirmaram experiência na aplicação do Prontuário
Eletrônico e, somente o M01 no uso de aplicativos estatı́sticos, conforme o gráfico da
Figura 5.4.
Figura 5.4: Aplicativos utilizados pelos usuários entrevistados.

Na utilização de serviços da Internet, com exceção do M07 que nunca utilizou

nenhum serviço, todos usam os seus serviços básicos. Destes usuários, exceto o M09,
também utilizam serviços de comunicação e bibliotecas virtuais em saúde, como a
Scielo, Medline, Cochrane, etc. O serviço de compras pela Internet é o menos utilizado
- apenas os usuários M01, M05, M06 e M08 o utilizam.
Figura 5.5: Utilização de serviços disponı́veis na Internet pelos usuários entrevistados.
Com exceção dos usuários M07 e M09, que foram considerados usuários novatos
no uso de computadores, todos os demais podem ser caracterizados como usuários
experientes, conforme os dados apresentados nos gráficos das Figuras 5.3 e 5.4.
A análise do perfil dos usuários levou em consideração o seu domı́nio em relação ao
uso do sistema computacional (BHTelessaúde), ao uso de computadores (ferramentas de
escritório e Internet) e ao domı́nio da aplicação (área médica), segundo recomendações
de [Nielsen, 1993].
De acordo com a análise do perfil desses usuários, foram definidas quais as re-
spostas que seriam analisadas, visando a homogeneidade do grupo , conforme sugere
a metodologia do MEDS. Essa homogeneidade levou em consideração os usuários ex-
perientes nas três dimensões citadas, como demonstrado na Figura 5.6, que resume as
Figuras 5.4, 5.3, 5.2 e 5.1.
Assim, o grupo de entrevistas analisadas foi composto pelos usuários M01, M02,
M05, M06, M07 e M08. Com exceção do M07 que não possui nenhum domı́nio no uso de
computadores e é considerado um usuário novato, todos os demais foram classificados
como experientes nas três dimensões analisadas.
Figura 5.6: Definição do Perfil dos usuários.
5.3.2 Resultados decorrentes da Análise das Entrevistas

Assim como na análise dos dados coletados a partir da entrevista de grupo, além dos
problemas de usabilidade, as entrevistas individuais também mostraram problemas
técnicos e de introdução tecnológica. Para melhor ilustrar estes resultados classificamos
as categorias encontradas através do método MEDS, descrito na seção 4.3.2, por tipo
de problema.
Algumas categorias revelaram mais de um tipo de problema e por isso foi citada
nos diversos tipos.
5.3.2.1 Introdução Tecnológica
a) Possibilidade de solucionar problemas da atenção secundária nas UBS.
A possibilidade de estar com os especialistas para discutir os casos de pacientes

que necessitavam de atenção secundária, foi a grande motivação para o uso inicial
do sistema. Os médicos entrevistados, em sua maioria, viram o BHTelessaúde
como uma ferramenta útil, que facilitaria o atendimento dos pacientes, como
mostra as seguintes falas:
Quando eu ouvi falar dessa possibilidade de discutir casos pela internet eu achei
que ela seria uma ferramenta útil (...) facilitaria os serviços. (M01)
(...) uma integração com o especialista, com rapidez de discussão (...) você iria
conseguir contactar com o especialista e discutir o caso (...) mais fácil para o pa-
ciente, você não iria colocá-lo em uma fila de espera, ia estar resolvendo o problema
dele de forma mais fácil. (M05)
(...) já vi isso (BHTelessaúde) como uma oportunidade de ganho principalmente

para o paciente. (M07)
(...) a gente tinha muitos casos e a gente tem muito estrangulamento para encami-
nhar (o paciente) para o especialista. E eu percebi que isso (BHTelessaúde) seria
uma coisa muito útil, ia facilitar, ia ajudar muito a otimizar o sistema. (M08)
Para eles, o fato de estar sanando dúvidas junto aos especialistas, não só auxilia
o paciente, mas também contribui para a sua formação.
(...) valorização profissional, tudo o que eu fiz na teleconsulta acrescentou e muito

no meu conhecimento, nas minhas habilidades, como médica da famı́lia. Então
eu acho que isso foi muito bom. (...) eles (os especialistas) têm me passado in-
formações, excelentes atualizações. (M08)
(...) um sistema aberto com teleconferências até com médicos do exterior e também
com médicos do Hospital das Clı́nicas, então a expectativa era melhorar a minha
formação para atender melhor, atualizar. (M05)
Para o M08 o sistema ainda auxilia na melhoria da gestão do processo terapêutico.
Quem faz a gestão do processo terapêutico, quem vai produzir o tratamento é

o médico da ponta. A informação do especialista passa pelo meu filtro, minha
avaliação. A revisão do especialista é só fora, ele não quer saber sobre a famı́lia,
a comunidade. (...) você manda para o especialista, o especialista manda uma
receita para o paciente, mas ele não conhece o paciente, a famı́lia, a realidade
dele. Quando eu pego a informação do especialista e vou atender o paciente que
eu conheço, que eu acompanho, sei a comunidade e sei a dificuldade dele, eu acho
que é mais eficaz o processo terapeuta. Porque eu vou propor a partir daı́ o que
é mais viável, mais eficaz, sem falar que o paciente tem vı́nculo. Às vezes eu falo
em encaminhá-los e eles não aceitam. Primeiro o deslocamento é difı́cil. Segundo a
pessoa tem vı́nculo, tem medo. O especialista às vezes é mais sério, conversa menos,
aqui ele fica mais a vontade, há confiança... Quando eles vão ao especialista, eles
não usam a medicação enquanto não marcar nova consulta comigo e perguntar o
que devem fazer. E dizem: “Eu vim aqui pra ver se é isso mesmo e tal”. Então,
quando a gente faz esse caminho (teleconsultoria), eu acho que funciona mais. O
paciente acredita (M08)
b) Dificuldades que limitam a adesão ao BHTelessaúde

As dificuldades encontradas pelo M02 se referiram à demora do processo do agen-
damento à teleconsulta. Para ele é mais fácil consultar um colega ou um livro do
que ter que utilizar o sistema.
(...) muito mais fácil pra mim quando tiver uma dúvida, hoje em dia, pegar um
livro, ler, estudar e aı́ achar a solução... Às vezes, consultar um colega aqui mesmo.
Então, é muito mais ágil, como se diz, problema de clı́nica conversar com a clı́nica,
conversar com a ginecologista, com outro colega. É muito mais fácil essa coisa local
porque ah, tem que agendar uma videoconferência... entendeu? (M02)
Outra dificuldade desmotivadora do uso do sistema foi a falta de recursos nas

UBS. Segundo os relatos, normalmente, as UBS possuem apenas uma máquina
localizada na sala da gerência. Nesta máquina todo o serviço administrativo da
UBS é realizado, o que faz com se encontre sempre ocupada.
Temos uma dificuldade de máquina. Por exemplo, nós aqui, temos uma máquina na
sala da gerência. Quando você vai lá, ta sempre ocupada. (...) se for depender de
eu achar um buraquinho no meu atendimento para subir lá (na gerência), esperar
que o auxiliar administrativo libere a máquina para eu ir e buscar (a listagem das
ofertas de especialistas para solicitação de teleconsultas), eu acho que desanima.
(M07)
No começo era muito difı́cil porque tinha um computador que ficava designado
para a telessaúde, o computador marcava consulta que fica em uma sala de adminis-
tração. Essa sala tem três mesas, fica a assistente social, funcionário administrativo
e outros. Então a gente deslocava essas pessoas e ficavam muito mal humorados.
Depois eu já tive vontade de desistir várias vezes, cheguei a informar que não ia
usar mais não. (M08)
Por outro lado, a fala do M01 reforça a importância de se ter disponı́veis máquinas
exclusivas para a teleconsultoria quando em sua colocação vê a instalação do
computador da sua UBS, em sua sala, como uma facilidade de uso.
A facilidade (no uso do sistema) foi essa de, no caso, (o computador) ser instalado
na minha sala. Então quando o paciente não veio, começo a mexer, páro, pego,
deixo guardado o prontuário para no intervalo digitar. (M01)
c) Preparação Prévia × Tempo Disponı́vel

A maior dificuldade para o uso do sistema, segundo todos os relatos, é o tempo
necessário para preparar o caso clı́nico que entrará em discussão com o especi-
alista. Para que a discussão de casos alcance suas metas é indispensável que o
médico solicitante esteja inteirado de toda a história do paciente. Para isto, é
necessário que este tenha tempo disponı́vel para analisar a ficha deste paciente,
estudar seus exames e pesquisar possı́veis diagnósticos. Segundo os relatos, este
tempo é extremamente escasso nas UBS´s, pois essas unidades possuem excesso
de demanda de atendimentos.
A maior dificuldade que eu vejo no uso desse sistema é quando você vai solicitar
um especialista que você vai conversar pessoalmente com ele você tem que ter um
preparo grande. A sensação que você tem de não fazer pergunta boba. Então você
tem que estudar bem o caso antes para levar só as dúvidas que você não conseguiu
resolver. (...) Mas quando você tá frente a frente com o especialista você já tem
que levar o caso mais adiantado, trabalhado, para você levar só o que você não deu
conta. Esse é o objetivo de tirar dúvida com o especialista. (M01)
(...) a dificuldade é mais a demanda que aqui é excessiva (M02)
Tempo pra isso. Tempo pra gente falar: agora vou usar a teleconsulta. Por exemplo,
quando o médico tal tá disponı́vel para discutir um caso a gente não tem esse tempo
reservado na nossa agenda. A gente abre uma ‘brecha’. Então seria interessante
ter tempo pra isso. Entendeu? Tempo pra gente elaborar a consulta e fazer as
perguntas e tempo pra assistir as coisas que vem de lá (teleconferências médicas).
Tempo realmente não é favorável não. Uma coisa a mais sem ter diminuı́do nada.
(M05)
Dificuldade é o tempo. Porque na verdade, a teleconsulta a gente não só acessa o

sistema, a gente tem que preparar o caso, tirar a ficha do paciente, estudar o caso
inteiro porque o outro médico vai fazer pergunta e você tem que ‘tá por dentro’ da
história inteira do paciente. (M06)
Eu ainda acho que o sistema é subutilizado (...) talvez pela questão da dinâmica
do PSF2 que é uma demanda grande, a gente atende muito. (M07)
A principal dificuldade que a gente tem na ponta é o tempo. (M08)

2
PSF - Programa da Saúde Familiar
5.3.2.2 Usabilidade do Sistema
a) A aprendizagem do sistema
A aprendizagem do sistema, de forma geral foi considerada fácil, especialmente
por aqueles usuários com experiência no uso de computadores. Eles atribuı́ram
esta facilidade de aprendizagem às suas práticas computacionais.
Então, por ter alguma experiência não achei nada complicado. (M01)
Eu não sei se é por causa da geração que a gente mexe muito com computador foi
muito tranqüilo.Teve uma pessoa aqui e mostrou pra gente como seria e foi muito
fácil. (M05)
Porém, encontramos em uma das falas uma contradição com relação a esta faci-
lidade por este tipo de usuários.
Eu tenho prática em informática não sou especialista, mas eu tenho prática. Tentei
todos os caminhos possı́veis, mas não consegui. (M06)
Por outro lado, a fala do M07, demonstra que esta facilidade em aprender a usar
o sistema não se atribui somente a usuários experientes no uso de computadores.
Achei muito fácil. Aquela tela cadastro do usuário que abrem ı́cones lateralizados
assim, achei fácil e aı́ depois tem o caso e a gente mandava, gostei muito, eu não
tive dificuldade nenhuma. E olha que eu não tenho computador em casa. Eu não
tenho muita familiarização com computador não. Eu achei bem fácil (M07)
O sistema também demonstra, pelas falas de M05 e M06, possuir mecanismos

que facilitam o usuário a relembrar como utilizá-lo, após certo tempo de desuso.
A questão assim de, às vezes você fica um tempo sem usar, uns minutinhos ali para
você lembrar o que se tem que fazer e resolver. Isso é fácil, é bem resolvido, também
não tem problema não. (M05)
Treinamento foi tranqüilo. Pra mim é fácil embora a gente às vezes esquece como
é que faz. Porque do treinamento até a primeira vez que a gente faz demora um
tempo. Mas como tudo em informática a gente vai fuçando e acha o caminho (M06)
b) A interação: lidando com dificuldades e insucessos

Apesar de ser considerada uma interface fácil de aprender os usuários encontraram
dificuldades durante o seu uso.
Eu acho que a parte teórica foi passada, manual, aquela receitinha de bolo pra
fazer mais difı́cil. Aı́ na hora em que a gente vai fazer a gente encontra algumas
dificuldades (...) (M08)
(...) A minha maior dificuldade foi com a liberação do microfone (o usuário tem
que clicar no botão ’liberar microfone’) e as câmeras.(M07)
A transmissão de imagem de exame, por exemplo, é uma coisa que deveria ser mais
prática, mais facilitada. Porque se você quiser mostrar um caso com RX ou com
ultrassom, pra passar isso pro computador é complicado.(M05)
É o agendamento (tarefa) que é difı́cil. (M06)
c) Dificuldades que limitam a adesão ao BHTelessaúde

A desmotivação do uso, por causa da usabilidade do sistema, foi encontrada nas
falas de dois médicos. Cada uma com razões diferenciadas, mas todas causadas
por dificuldades não superadas durante o uso do sistema. O M07 encontrou
dificuldades na interação com elementos gráficos do sistema Sametime durante
uma teleconsultoria, enquanto o M06 não conseguiu mais interagir com o Gestão
de Teleconsultorias. Essas dificuldades fizeram ambos desistirem de utilizar o
sistemas para tais funções.
Pra mim foi errado aquele liberar e solicitar microfone (botão onde os usuários
solicitam a fala uns aos outros). Parecia lá aquele ‘negocim roxim branquin’ e aı́
ela não me ouvia. Teve momento que a gente não conseguiu fazer. Aı́ a gente
teve que interromper e fizemos por telefone, pelo contato por telefone tivemos a
continuação. (M07)
A primeira (teleconsultoria) fui eu que agendei, só que agora eu não consigo agendar.
Então tem que ficar telefonando. (...) Então eu ’saı́ fora’ do sistema informatizado
para poder realizar os agendamentos (M06)
5.3.2.3 Problemas Técnicos (uso do equipamento)
a) A Interação: Lidando com dificuldades e insucessos

Dificuldades ao usar os periféricos também foram encontradas nas falas dos
médicos entrevistados.
A questão do uso da mı́dia que é um pouco difı́cil. Pelo menos da minha parte, eu
não tenho experiência nenhuma no uso de câmara, conversar com vı́deo, a gente
não sabe bem que hora que fala, demorou um ’tiquim’ pra resolver, porque ficar a
vontade na frente da câmara isso é uma coisa, uma novidade. (M01)
A webcam é colocada pelo digitador daqui, pra te falar a verdade eu nem sei colocar
uma webcam (M06).
(...) A gente não consegue colocar a webcam de uma maneira que a gente visualize
bem. (M07)
b) Dificuldades que limitam a adesão ao BHTelessaúde

Segundo o M02 a conexão também foi um fator desestimulador do uso do sistema
que comprometeu a continuidade de uma teleconsulta. Isto foi observado não so-
mente por sua fala mas, também, por sua expressão de indignação e insatisfação.
E, às vezes, também o computador dá problema. Teve uma vez que, no meio da
teleconferência (a conexão) caiu e nós tivemos que continuar por telefone. Problema
de conexão (M02).
c) Recuperação de erros cometidos e o suporte técnico

Os usuários, de forma geral, demonstram-se seguros na recuperação de erros
cometidos durante a interação com o sistema. Em suas falas, percebe-se que esta
segurança está no suporte técnico que fica disponı́vel durante toda a teleconsul-
toria, o que é bem visı́vel na fala do M08.
Grande parte das teleconsultas o suporte da prefeitura fica acessı́vel também por
chat, qualquer dúvida, digita. (M01)
(Durante a interação) o técnico fica disponı́vel no telefone se a gente tiver alguma

dúvida, pode ligar. (M05)
Essa coisa é que eu tenho dificuldade (lidar com erros do sistema). Eu liguei pro
(risos) ah, por telefone estava (o técnico) sempre disponı́vel e conversei com ele (...)
e me orientou e aı́ eu fiz. Quando acontece algum erro eu tenho certa dificuldade
pra conduzir aquilo e aı́ eu pego o telefone 7719 e peço ajuda (risos)... (M08)
Esta segurança é motivo da satisfação do M07 com o BHTelessaúde, como mostra

o seu depoimento.
(...) o bom do sistema é que ele tem como acessar minha máquina a partir da
SMSA. Então, isso ajuda muito. Eu ligava pra ele (técnicos) e falava: ”técnico1,
técnico2, eu estou com tal dificuldade”aı́ ele falava assim “me dá o numero que está
na torre de sua máquina” aı́ eu dava e eles entravam e conseguiam ver a tela em
que eu estava trabalhando, isso eu achava maravilhoso! (risos) Resolvia o problema
naquela hora! Não impedia que a gente prosseguisse! Eu achava isso fantástico!
Igual eu te falei, somos fãs do projeto. (M07)
5.4 Resultados decorrentes da Observação 87
5.4 Resultados decorrentes da Observação

Durante as observações também percebeu-se problemas relacionados às três dimensões
anteriormente citadas: introdução tecnológica, técnicos e de usabilidade do sistema.
5.4.1 Introdução Tecnológica

O ambiente nas UBS onde foram realizadas as teleconsultorias não é apropriado. Elas
normalmente acontecem nas salas da gerência das UBS, que é um local aonde existe
um fluxo permanente de pessoas e em que o telefone toca constantemente. Este fato
prejudica não só o áudio, mas também o sigilo das informações compartilhadas.
Em todas as situações observadas, a preparação do ambiente para a realização da
teleconsultoria foi conduzida por funcionários técnico-administrativos da UBS ou pelo
técnico da SMSA que acompanhou o processo. No CEM esta preparação é feita pela
gerente e os médicos especialistas interagem minimamente com o sistema (às vezes
apenas falam ao microfone) e somente durante a teleconsultoria.
Foi observada também a ocorrência de atrasos significativos para iniciar a telecon-
sultoria. Algumas vezes por por dificuldades dos médicos em se liberar do atendimento
presencial a pacientes para participar da teleconsultoria.
5.4.2 Usabilidade do Sistema

Pode-se perceber, durante as teleconsultorias observadas, a baixa interação dos médicos
com o sistema. Eles ainda necessitam de auxı́lio para realização de tarefas simples,
como por exemplo, pedir para falar e liberar o microfone no momento da teleconsultoria.
Nos vı́deos (resultantes da gravação da interação) puderam ser observadas men-
sagens de erros que não ajudam.
5.4.3 Problemas Técnicos (uso de equipamento)

Alguns atrasos para iniciar a teleconsultoria aconteceram por problemas de conexão.
Em uma das situações observadas esse problema fez com que a teleconsulta fosse can-
celada.
Durante a teleconsultoria também houve falhas na conexão. Essas falhas geraram
atrasos não só na teleconsultoria, mas também, e principalmente, nos atendimentos
dos médicos aos pacientes presentes na UBS.
5.5 Resultados decorrentes do Questionário de Satisfação do Usuário 88
Problemas de instabilidade nas conexões também foram observadas nos vı́deos (re-
sultantes da gravação da interação), além da baixa qualidade das imagens transmitidas
e áudio ruidoso.
5.5 Resultados decorrentes do Questionário de Sa-

tisfação do Usuário
Nesta seção será apresentado o resultado da análise dos dados coletados através dos
questionários aplicados aos médicos das UBS, durante as entrevistas. Cada item das
cinco categorias do questionário (tela, terminologia e informação do sistema, aprendiza-
gem e utilização do sistema, multimı́dia e videoconferência, e satisfação) foi analisado
considerando o perfil do usuário (novatos ou experientes) nas dimensões do uso de com-
putadores em geral (computador), uso do sistema BHTelessaúde (sistema) e domı́nio
da aplicação médica (aplicação). A análise e classificação dos usuários encontra-se
descrita na seção 5.3.1, no gráfico da Figura 5.6.
As questões dos questionários foram avaliadas utilizando uma escala de diferencial
semântico com cinco nı́veis, variando de 1 (nota mı́nima) a 5 (nota máxima). Essas
notas foram consideradas pesos que, depois de multiplicados pela sua freqüência de
ocorrência, resultou em uma nota para o referido item. Considerando que, para cada
grupo de usuários haveria um valor máximo a ser atingido, esta nota foi transformada
para a escala de 100. Isto permitiu comparar as notas entre todos os grupos, como
pode ser visto nas Tabelas 5.1 a 5.5.
Ítens avaliados Experientes Novatos

Computador Sistemas Aplicação Computador Sistemas Aplicação
Leitura de Carac- 90 89 89 90 93 100
teres
Disposição dos obje- 83 83 82 90 87 100
tos
Total de informações 75 74 76 90 87 100
disponı́veis na tela
Ordem das 83 80 82 90 93 100
informações
disponı́veis da
tela
Tabela 5.1: Comparação das notas dos ı́tens da Categoria Tela por perfis de usuário.
Itens avaliados Experientes Novatos

Terminologia uti- 83 80 83 100 100 100
lizada
Campo para entrada 89 90 89 100 90 100
de texto na tela
Posicionamento das 83 83 83 100 90 100
mensagens na tela
Mensagem de erro 77 63 63 20 100 100
Mensagem de ajuda 70 56 57 20 80 100
Tabela 5.2: Comparação das notas dos ı́tens da Categoria Terminologia por perfis de
usuário.

Aprender a operar o 85 83 87 90 93 80
sistema
Utilização do sis- 78 80 76 80 73 100
tema no dia-a-dia
Utilização do sis- 75 71 71 60 73 80
tema após um tempo
sem usá-lo
Funções necessárias 73 71 73 100 90 100
para realização das
tarefas
Recuperação de er- 78 71 75 60 90 80
ros cometidos du-
rante a interação
Tabela 5.3: Comparação das notas dos ı́tens da Categoria de Aprendizagem e Utilização
do Sistema por perfis de usuário.

Configuração do am- 88 80 76 40 73 100
biente
Tempo para estabi- 85 83 80 70 80 100
lização da conexão
Velocidade da 89 87 88 90 93 100
conexão
Qualidade das fotos 87 88 88 90 87
transmitidas
Qualidade das ima- 80 71 76 60 87 80
gens transmitidas
Qualidade do áudio 65 63 56 30 47 80
Saı́da de som 71 70 63 40 53 80
Áudio sincronizado 80 77 71 50 67 100
com vı́deo
Utilização do chat 89 90 89 100 90 100
on-line
Transmissão de ar- 76 70 76 100
quivos
Tabela 5.4: Comparação das notas dos ı́tens da Categoria Multimı́dia e Teleconferência
por perfis de usuário.
Ítens avaliados Experientes Novatos

Nı́vel de satisfação 83 80 80 80 87 100
com o sistema
Tabela 5.5: Comparação das notas do nı́vel de satisfação com o sistema por perfis de
usuário.
5.5.1 Análise da Categoria:Telas

Na comparação entre os usuários novatos e experientes no uso de computadores os
ı́tens relacionados à Tela foram bem avaliados, obtendo média superior à 70. Observa-
se também que, os usuários novatos possuem uma média constante de avaliação em
todos os ı́tens, como mostra o gráfico da Figura 5.7.
Figura 5.7: Comparação das notas dadas entre novatos e experientes no uso de com-
putadores para os ı́tens da categoria Tela.
Na análise feita com os usuários novatos e experientes no uso do sistema, as notas

diminuem um pouco, mostrando a dificuldade, especialmente dos novatos na interação
com os ı́tens desta categoria.
Figura 5.8: Comparação das notas dadas entre novatos e experientes no Uso do Sistema
para os ı́tens da categoria Tela.
O mesmo resultado obtido entre novatos e experientes no uso de computadores é

observado quando se compara a avaliação entre novatos e experientes no domı́nio da

aplicação, conforme o gráfico da Figura 5.9.
Figura 5.9: Comparação das notas dadas entre novatos e experientes no domı́nio da
aplicação para os ı́tens da categoria Tela.
5.5.2 Análise da Categoria Terminologia e Informação do Sis-

tema
Os usuários, tanto experientes como novatos no uso de computadores, demonstraram,
de forma geral, estar relativamente satisfeitos com os ı́tens avaliados nesta categoria.
Com exceção dos ı́tens ‘mensagem de ajuda’ e ‘mensagem de erros’ que obtiveram
nota bastante inferior à média considerada satisfatória (setenta) para os novatos, como
mostrado no gráfico da Figura 5.10. Isto demonstra que as mensagens de erro na tela
são relativamente inúteis e que as mensagens de erro, em sua maioria, não ajudam para
este tipo de usuário.
Figura 5.10: Comparação das notas dadas entre novatos e experientes no uso de com-
putadores para os ı́tens da categoria Terminologia e Informação do Sistema.
Os usuários novatos no uso do sistema avaliaram os ı́tens mensagens de ajuda e de

erro acima da média. Essas mensagens estão com nota inferior à média, apenas para
os usuários experientes no uso do sistema, como mostra o gráfico da Figura 5.11. O
que pode significar que, para estes usuários as mensagens não estão ajudando satisfa-
toriamente e sendo úteis.
Figura 5.11: Comparação das notas dadas entre novatos e experientes no uso do Sistema
para os ı́tens da categoria Terminologia e Informação do Sistema.
A comparação das notas dadas pelos usuários novatos e experientes no domı́nio da

aplicação indica que houve bastante discrepância em seus resultados, como pode ser
visto no gráfico da Figura 5.12. Os usuários novatos consideraram todos os ı́tens 100%
satisfatórios, enquanto a avaliação dos experientes continuou com notas semelhantes
aos demais experientes no uso de computadores e no uso do sistemas.
Figura 5.12: Comparação das notas dadas entre novatos e experientes no Domı́nio da
Aplicação para os ı́tens da categoria Terminologia e Informação do Sistema.
5.5.3 Análise da Categoria Aprendizagem e utilização do Sis-

tema
A avaliação feita pelos usuários novatos no uso de computadores, para os ı́tens ‘recu-
peração de erros cometidos durante a interação’ e ‘utilização do sistema após um tempo
sem usá-lo’ ficou abaixo da média. Para estes usuários, o item ‘funções necessárias para
realização das tarefas’ obteve nota total, enquanto para os usuários experientes este
item obteve a menor nota para esta categoria.
Figura 5.13: Comparação das notas dadas entre novatos e experientes no Uso de Com-
putadores para os ı́tens da categoria Aprendizagem e Utilização do Sistema.
Tanto os usuários novatos como experientes avaliaram a opção ‘utilização do sistema

após um tempo sem usá-lo’ em torno da média 70. Houve diferença na avaliação dos
ı́tens ‘recuperação de erros cometidos durante a interação’ e ‘funções necessárias para
realização das tarefas’ entre os dois tipos de usuários, que os avaliaram respectivamente
com nota igual a 90 e 71. Os demais ı́tens ficaram com notas dentro da média e sem
discrepâncias, como visto no gráfico da Figura 4.9.
Figura 5.14: Comparação das notas dadas entre novatos e experientes no Uso do Sis-
tema para os ı́tens da categoria Aprendizagem e Utilização do Sistema.
O resultado das notas dadas pelos usuários novatos e experientes no domı́nio da

aplicação apontou uma diferença significativa na avaliação deste grupo nos ı́tens ‘funções
necessárias para realização das tarefas’ e ‘utilização do sistema no dia-a-dia’, como
mostra o gráfico da Figura 5.15, que também aponta uma média satisfatória nos de-
mais ı́tens.
Aplicação para os ı́tens da categoria Aprendizagem e Utilização do Sistema.
5.5.4 Análise da Categoria Multimı́dia e Teleconferência

Nesta categoria, as notas dadas pelos usuários novatos e experientes no uso de com-
putadores variam, significativamente, nos ı́tens ‘áudio sincronizado com vı́deo’, ‘saı́da
de som’, ‘qualidade do áudio’, ‘qualidades das imagens transmitidas’ e ‘configuração
do ambiente’. Estas notas demonstram uma maior insatisfação por parte do grupo
novato através de uma nota inferior à média. Outra observação que pode ser vista no
gráfico da Figura 5.16, diz respeito à ‘transmissão de arquivos’, item avaliado apenas
pelos usuários experientes.
Figura 5.16: Comparação das notas dadas entre novatos e experientes no Uso de Com-
putadores para os ı́tens da categoria Multimı́dia e Teleconferência.
As notas dos ı́tens avaliados na categoria de usuários experientes e novatos no uso

do sistema não tiveram grandes diferenças quando comparadas no gráfico da Figura
5.17. O destaque nesta comparação é que o item ‘transmissão de arquivos’, não avaliado
pelo grupo de usuários novatos no uso de computadores, foi avaliado aqui com média
total. O item ‘qualidade de áudio’ também foi avaliado abaixo da média.
Figura 5.17: Comparação das notas dadas entre novatos e experientes no Uso do Sis-
tema para os ı́tens da categoria Multimı́dia e Teleconferência.
Diferentemente da avaliação dos novatos em uso de computadores e no uso do

sistema, o gráfico da Figura 5.18 mostra uma média constante e superior às demais, a
todos os ı́tens desta categoria, pelos usuários novatos no domı́nio da aplicação. Exceto
para os ı́tens ‘transmissão de arquivos’ e ‘qualidade das fotos transmitidas’ que não
foram avaliados por este perfil de usuários.
Para os usuários experientes no domı́nio da aplicação além do item ‘qualidade do
áudio’ o item ‘saı́da de som’ também obteve nota inferior à média.
Aplicação para os ı́tens da categoria Multimı́dia e Teleconferência.
5.5.5 Nı́vel Geral de Satisfação com o sistema

O nı́vel geral de satisfação com o sistema pelos usuários experientes, nas três dimensões
(domı́nio da aplicação, uso do sistema e uso de computadores), se enquadrou na média
de 80, sendo um pouco superior, 83 para experientes no uso de computadores, como
mostra o gráfico da Figura 5.19.
O referido gráfico também nos mostra que os usuários novatos no uso de computa-
dores estão menos satisfeitos que os experientes com o sistema, mas que este resultado
se opõe significativamente para os novatos no domı́nio da aplicação e no uso dos sis-
temas.
A hipótese para este caso é que, o usuário novato no domı́nio da aplicação médica
não conheça as reais necessidades da área e por este motivo não consegue perceber
deficiências no sistema. O mesmo acontece para o usuário novato no uso do sistema
(BHTelessaúde) que, por não ter tido muito acesso ao mesmo não conseguiu ainda
perceber suas deficiências.
Figura 5.19: Comparação das notas dadas entre novatos e experientes com relação ao
nı́vel de satisfação com o sistema.
5.5.6 Média Geral dos Ítens Avaliados por Categoria

O gráfico da Figura 5.20 mostra a média geral das notas dos ı́tens da categoria tela
que indicam que estes estão satisfatórios para todos os tipos de usuários.
Figura 5.20: Média geral dos ı́tens avaliados da categoria Tela.

Figura 5.21: Média geral dos ı́tens avaliados da categoria Terminologia e Informação
do Sistema.
Na categoria Aprendizagem e Utilização do Sistema, o gráfico da Figura 5.22 nos

mostra que todos os ı́tens foram avaliados acima da média.
Figura 5.22: Média geral dos ı́tens avaliados da categoria Aprendizagem e Utilização
do Sistema.
O gráfico da Figura 5.23 aponta um resultado insatisfatório para os ı́tens ‘trans-

missão de arquivos’, ‘saı́da de som’ e ‘qualidade de áudio’.
Figura 5.23: Média geral dos ı́tens avaliados da categoria Multimı́dia e Videocon-
ferência.
A média geral do nı́vel de satisfação dos usuários com o sistema ficou em 85. Esta
nota demonstra que, apesar das falhas detectadas através dos baixos ı́ndices, os usuários
se encontram, de um modo geral, satisfeitos com o sistema.
Capı́tulo 6
Considerações Finais e Trabalhos

Futuros
O presente trabalho nos proporcionou vivenciar problemas de qualidade de uso em

um sistema computacional voltado para a Telemedicina durante o seu uso real. Al-
guns desses problemas já foram considerados na literatura revisada reafirmando que,
a falta de usabilidade dos sistemas computacionais de Telemedicina continua sendo
um dos obstáculos à adesão a esta possibilidade médica e, conseqüentemente, para o
sucesso de seus projetos, apesar de toda a sua relevância social que é amplamente re-
conhecida ([Johnson, 2003]; [Tanriverdi and Iacono, 1999]; [Kaufmann et al., 2003b];
[Kaufmann et al., 2003a] [Gaggioli, 2005]).
Os sistemas computacionais utilizados no BHTelessaúde são relativamente fáceis de
se aprender. Isso foi identificado nas falas dos usuários entrevistados e na análise dos
dados dos questionários. Também foi detectado que eles têm preferência em aprender
a usar o sistema através da exploração. Entretanto, a aplicação da técnica do Percurso
Cognitivo apontou possı́veis pontos da interface do Sistema Gestão de Teleconsulto-
rias que podem dificultar a aprendizagem do sistema por exploração, como pôde ser
verificado no Capı́tulo 5. Com isto, concluı́mos que, apesar de ser considerada fácil,
ainda há a necessidade de uma revisão da interface para melhorar sua facilidade de
aprendizagem.
A reutilização do sistema após um perı́odo de desuso foi considerada fácil por boa
parte dos médicos entrevistados. Porém, como visto, os questionários apontaram um
resultado com uma baixa média neste aspecto. O que faz com que entendamos que
ainda é necessária a adoção de mecanismos na interface que auxiliem os usuários a
relembrarem como realizar suas tarefas no sistema.
104
Dificuldades durante a interação dos usuários com os sistemas levam à desistência de

sua utilização. Isto pôde ser confirmado nos resultados das entrevistas individuais, que
também revelaram que, apesar desta desmotivação em usar o sistema eles continuam
reconhecendo sua utilidade. Os médicos afirmam que o sistema é útil tanto no processo
de auto-formação, quanto na otimização do processo terapêutico. O sistema possibilita
a solução de problemas que antes seriam resolvidos nas unidades de atenção secundária
dentro das próprias UBS. Tais benefı́cios fazem com que a maioria destes médicos seja
novamente motivada a usar o sistema. Estes resultados foram confirmados também a
partir das análises das entrevistas no grupo focal.
A eficiência de uso e a produtividade do sistema, também são fatores que afetam
diretamente a motivação dos médicos para a utilização deste. O questionário nos
apontou a transmissão de arquivos, a saı́da de som e a sincronização do áudio com o
vı́deo, como itens com necessidade de serem revistos para melhorar a eficiência de uso
e produtividade do sistema.
Em todos os métodos utilizados para o estudo empı́rico ficou evidente que existe
uma dificuldade do usuário em lidar com erros durante a interação. O resultado dos
questionários apresentou uma média relativamente baixa para este item, apontando a
necessidade de uma revisão neste sentindo. Além disso, as mensagens de ajuda e de
erro do sistema foram avaliadas abaixo da média e também necessitam ser revistos. Os
depoimentos das entrevistas nos mostram que, o que faz com o usuário ainda tenha
confiança no sistema é o fato de poder contar com suporte técnico constantemente,
acarretando uma situação de dependência nem sempre positiva.
O nı́vel de satisfação subjetiva do usuário pôde ser avaliado por meio da aplicação de
todas as metodologias. Os médicos demonstraram grande interesse em participar das
teleconsultorias mesmo sabendo que isto poderia atrasar seus atendimentos presenciais
nas UBS. Durante as observações, esta situação se revelou pelo entusiasmo demon-
strado após o término de teleconsultorias que ajudaram a resolver casos clı́nicos. Nas
entrevistas, através de falas, como: “(...) nós somos fãs do projeto” e também no con-
tentamento destes médicos em seus depoimentos sobre os benefı́cios recebidos através
do sistema. Por outro lado, também vimos o descontentamento de alguns ao dizer que
estão decepcionados com o sistema ou que não conseguiram atingir seus objetivos com
o mesmo. Os questionários nos trouxeram dados quantitativos em uma média geral de
85% de satisfação.
O trabalho também nos proporcionou identificar problemas de caráter técnicos que
afetam diretamente a implantação e aceitação do Projeto BHTelessaúde. Como por
105
exemplo, os problemas de conexão, qualidade de áudio e qualidade das imagens trans-

mitidas, onde o usuário não conseguia concluir seu trabalho de forma eficiente, que
foram verificadas durante a observação. As entrevistas mostrou as dificuldades dos
médicos ao lidar com os periféricos.
Outra questão importante identificada foi o impacto da introdução da tecnologia no
trabalho cotidiano dos médicos. A possibilidade de solucionar problemas da atenção
secundária nas UBS, facilitando o atendimento aos pacientes e melhorando a gestão do
processo terapêutico, são pontos positivos vistos com grande satisfação pelos médicos
entrevistados. Além disso, a contribuição da Telemedicina para a formação médica é
um fator estimulante para sua utilização. Por outro lado, a sua implantação ainda
requer uma melhor organização, já que demanda tempo para preparo do caso clı́nico
que entrará em discussão. Além disso, os horários e locais onde acontecem as telecon-
sultorias não são totalmente apropriados.
Os resultados alcançados com esta pesquisa confirmam que a aceitação de pro-
gramas de Telemedicina ainda carece de muitos aperfeiçoamentos para ampliação de
seu uso. Por conseqüência, possui inestimável contribuição social, sobretudo em um
paı́s de dimensões continentais e de imensas carências de atendimento à saúde como o
Brasil. Assim, o aperfeiçoamento dos sistemas computacionais do BHTelessaúde, com
a correção das falhas identificadas, se apresenta como útil para ampliar suas poten-
cialidades de uso e de universalização do atendimento à saúde. Considerando que ele
é o piloto para a implementação do projeto nacional de Telemedicina, conduzido pelo
Ministério da Saúde.
Nesta direção, outro estudo a ser realizado seria a avaliação da comunicabilidade
do sistema. A comunicabilidade busca avaliar o processo implı́cito de comunicação
designer -usuário, que se dá através da interface ([Prates and Barbosa, 2007]). Uma
boa comunicabilidade é importante porque permite ao usuário formular um modelo
mental compatı́vel com o designer, aumentando as chances de uma boa interação entre
o usuário e o sistema.
Paralelamente a isto, o presente estudo pode ser desdobrado com aprofundamento
das questões apontadas, por exemplo:
• Com o estudo da implantação e uso do BH Telessaúde por outros distritos

sanitários, como na Região Oeste, local onde o projeto foi implantado inicial-
mente;
• Com a diversificação do público investigado, seja em termos de categorias profis-

106
sionais envolvidas pelo BHTelessaúde (enfermeiros e dentistas), ou mesmo com

médicos de outras UBS;
• Com a inserção de outros tipos de usuários no universo estudado, comparando as

opiniões apuradas nas entrevistas (usuários experientes versus usuários novatos).
• Com um aprofundamento sobre o impacto da introdução da referida tecnologia

no trabalho dos médicos (especialistas e solicitantes), enfermeiros e dentistas,
também seria de grande contribuição.
Enfim, a pesquisa aqui relatada permitiu verificar a importância da aplicação das

TIC‘s (tecnologias de informação e comunicação) para a melhoria da prestação dos
serviços ligados à saúde. Especificamente no caso da Telemedicina, onde a distância
entre médico e paciente é um fator crı́tico para a prevenção, diagnóstico e tratamento
de doenças.
Além disso, permitiu verificar como a qualidade de uso de um sistema afeta sua
aceitação. E, o cuidado que se deve ter na construção das interfaces, que devem ter o
foco no perfil de seus usuários, considerando suas dimensões de conhecimento, seja no
uso do sistema, no uso de computadores ou no domı́nio da aplicação.
Apêndice A
Termo de Consentimento
Pontifícia Universidade Católica de Minas Gerais
Pró-Reitoria de Pesquisa e Pós-Graduação
Comitê de Ética em Pesquisa
Termo de Consentimento Livre e Esclarecido
Eu,
__________________________________________________________________________,
portador(a) do CPF: _________________________, declaro para os devidos fins que
participarei, por livre e espontânea vontade, da pesquisa de campo “Avaliação de Usabilidade
em Sistemas de Telessaúde”, nas estratégias de investigação: entrevista semi-estruturada e
questionário, coordenadas pela pesquisadora Kátia Adriana Alves Leite.
Estou ciente que a referida pesquisa tem como objetivo avaliar a usabilidade das
ferramentas computacionais utilizadas no Sistema BHTelessaúde, e que seus resultados buscam
verificar o efeito da interface junto ao usuário do sistema, considerando os aspectos da
facilidade de aprendizagem, facilidade de uso, eficiência e produtividade, utilidade,
flexibilidade, segurança no uso e satisfação.
Também estou ciente que:

• A minha participação não acarretará risco à minha saúde;
• As informações prestadas por mim serão classificadas como confidenciais;
• Aos estudos, interessam as respostas obtidas nas entrevistas e questionários,
sem a identificação individual, preservando minha privacidade;
• Minha participação será voluntária, estando à vontade para pedir
esclarecimentos e para me retirar do estudo, em qualquer fase, sem que isso
implique em qualquer dano, custo ou penalização à minha pessoa.
Belo Horizonte, ____ de ________________ de 2007.
_______________________________ _______________________________
Entrevistado(a) Kátia Adriana Alves Leite
Mestranda em Informática
PUC Minas
Apêndice B
Roteiro do Grupo Focal
ROTEIRO DO GRUPO FOCAL - MÉDICOS
Parte 1: apresentação do projeto
Apresentação do projeto, seus objetivos e o porquê da realização desse grupo focal e

da escolha dos participantes presentes. Posteriormente, esclarecer a presença de
observadores na prática do grupo focal, deixando claro que se trata de uma avaliação do
sistema, e não dos usuários do sistema. Dessa maneira, os participantes têm total liberdade
para opinar e expor suas impressões – sendo este o objetivo da técnica de grupo focal.
Passo 2: dinâmica de entrosamento
Elaboração de uma dinâmica que permita a interação entre os participantes,

conhecendo-se e desinibindo-os. Preparativo para uma discussão livre e participativa.
Passo 3: discussão dos temas
1. A tecnologia é um importante instrumento de auxílio nas práticas profissionais,

presente fortemente no dia-a-dia das pessoas – seja no trabalho, seja em seus lares.
Todavia, estas ferramentas devem estar de acordo com a realidade de cada um –
suas necessidades, limitações e possibilidades.
a. Discussão acerca da familiaridade dos participantes com a tecnologia,
dentro e fora do ambiente de trabalho, descobrindo fatores de predisposição
ou não à seu uso.
2. Como vocês ficaram sabendo do sistema BH Telessaúde? Quais as primeiras

impressões sobre o sistema?
a. Observar como foi o processo de divulgação do sistema, investigando o que
realmente foi apresentado aos profissionais de saúde.
3. Comentar sobre o papel das teleconsultorias nas práticas de saúde bem como seus
temas abordados. A Telemedicina trouxe alguma modificação nas estratégias de
lidar com casos clínicos complexos?
a. Entender a importância das teleconsultorias para os profissionais da saúde,
bem como descobrir como os participantes encaram os temas abordados
nelas. É importante, nesta etapa, identificar como eles participam na
escolha dos temas.
4. Os ambientes de trabalho, diferenciados entre profissionais da atenção básica e os

especialistas, demonstram particularidades nas atitudes e práticas desses indivíduos.
Essa diferença se manifesta no processo de comunicação proporcionado na BH
Telessaúde? Há alguma repercussão sobre os procedimentos clínicos?
a. Como as diferenças entre os profissionais da atenção básica e os
especialistas se relacionam: como os participantes encaram essas
particularidades e como isto interfere nas práticas em telessaúde.
109
5. A prática tradicional possue suas características próprias, passos devem ser seguidos
e posturas tomadas. Com a possibilidade de mediação pela tecnologia surgem novas
formas de fazer, algumas podem ser conflitantes ou totalmente conciliadas. Vocês
percebem algum desnível ou incompatibilidade entre a inovação usada e seus
processos de trabalho?
a. Identificar a compatibilidade entre a prática profissional e o uso da
telessaúde. Verificar de que ordem essas incompatibilidades são: de tempo,
etc.
6. O potencial de geração de conhecimento de um programa de telessaúde vai além da

agenda das teleconsultorias, o que é feito com o conhecimento adquirido nelas
torna-se um importante indicador do aprendizado. Existem situações que promovam
o compartilhamento do conhecimento, onde se possa sugerir e discutir temas das
teleconsultorias?
a. Entender o processo de compartilhamento de conhecimento, e as praticas
que favorecem o aprendizado individual e coletivo.
7. Toda inovação tecnológica, por mais promissora que seja, estará sempre
condicionada a aceitação de seus usuários, aceitação essa que é influenciada por
diversos fatores, e entre eles as vantagens e desvantagens apresentadas pela
tecnologia. Quais seriam as vantagens e desvantagens do sistema de BH
Telessaúde?
a. Reflexão individual para que sejam discutidos os pontos, levando em conta
a adaptação das necessidades, as limitações e possibilidades do sistema
para a realidade de BH. Abre-se para exposição dos pontos relacionados
pelos participantes, incentivando a discussão e verificando a convergência
desses aspectos discutidos.
Passo 4: síntese
Ao final das discussões, serão entregues cartões em branco, para que os

participantes preencham, em uma frase, suas satisfações, expectativas e intenções futuras
em relação ao BH Telessaúde.
Apêndice C
Questionários
QUESTIONÁRIO DE AVALIAÇÃO PARA O USUÁRIO FINAL
DADOS DO PARTICIPANTE
Objetivo: conhecer o perfil dos usuários do BH-Telessaúde/Sametime
1. Faixa de idade:
( ) menos de 30 anos ( ) 41 a 50 anos
( ) 30 a 35 anos ( ) 51 a 60 anos
( ) 36 a 40 anos ( ) mais de 60 anos
2. Sexo: ( ) feminino ( ) masculino
3. Quantidade de Teleconsultorias que participou: ___________
4. Já utilizou o Sistema BHTelessaúde para agendamento de Teleconsultorias?

( ) Não. ( ) Sim. Quantas vezes? _______
5. Quantidade de Teleconferências que participou: ___________
6. Quais são as ferramentas e/ou serviços computacionais que você utiliza:

( ) Ferramentas de escritório – ex.: Word, Excel, Open Office, etc.
( ) Editores de imagens – ex.: Corel Draw, Photoshop, etc.
( ) Aplicativos estatísticos – ex: EPInfo, SSPS, etc.
( ) Prontuário Eletrônico. Há quanto tempo? ________
7. No seu dia-a-dia, você utiliza a Internet para:

( ) Serviços básicos, como: correio eletrônico, listas de discussão, acesso a sites, etc.
( ) Acesso a Bases de Dados on-line – ex.: BVS - Biblioteca Virtual de Saúde
( ) Realização de compras on-line
( ) Comunicação interativa
( ) Busca de informações simples – ex.: preço de mercadorias, cinema, transporte, etc.
( ) Outro(s) fim(ns). Qual(is) ?
___________________________________________________
___________________________________________________
___________________________________________________
8. Há quanto tempo está atuando na área de saúde? _________
9. Há quanto tempo trabalha na SMSA-PBH? __________
10. Qual(is) a(s) sua(s) especialidade(s)?

___________________________________________________
___________________________________________________
___________________________________________________
___________________________________________________
111
QUESTIONÁRIO DE SATISFAÇÃO DO USUÁRIO

QUANTO A UTILIZAÇÃO DO SISTEMA
Avalie sua satisfação com o sistema, demonstrando sua percepção em relação
aos itens abaixo.
- Marque o número mais apropriado que reflete suas impressões no uso do sistema.
- Para itens que não são aplicáveis, use N/A
Tela
1. Leitura de caracteres na tela Difícil 1 2 3 4 5 Fácil N/A

2. Disposição dos objetos na tela Mal distribuídos 1 2 3 4 5 Bem distribuído N/A

3. Total de informações disponíveis na tela Inadequado 1 2 3 4 5 Adequado N/A

4. Ordem das informações disponíveis na tela Ilógica 1 2 3 4 5 Lógica N/A

Terminologia e Informação do Sistema
5. Terminologia utilizada no sistema Nunca adequada 1 2 3 4 5 Sempre adequada N/A

6. Campo para entrada de texto na tela Confuso 1 2 3 4 5 Claro N/A

5. Posicionamento das mensagens na tela Inconsistente 1 2 3 4 5 Consistente N/A

6. Mensagens de erro Nunca ajudam 1 2 3 4 5 Sempre ajudam N/A

7. Mensagens de ajuda na tela Inútil 1 2 3 4 5 Útil N/A

Aprendizagem e utilização do sistema
8. Aprender a operar o sistema Difícil 1 2 3 4 5 Fácil N/A

9. Utilização do sistema no dia-a-dia Difícil 1 2 3 4 5 Fácil N/A

10. Utilização do sistema após um tempo sem usá-lo Difícil 1 2 3 4 5 Fácil N/A

11. Funções necessárias para realização das tarefas Insuficiente 1 2 3 4 5 Suficiente N/A

12. Recuperação de erros cometidos durante a interação Difícil 1 2 3 4 5 Fácil N/A

112
Multimídia e teleconferência
13. Configuração do ambiente Difícil 1 2 3 4 5 Fácil N/A

14. Tempo para estabilização da conexão Muito longo 1 2 3 4 5 Suficiente N/A

15. Velocidade de conexão Lento 1 2 3 4 5 Rápido N/A

16. Qualidade das fotos transmitidas Ruins 1 2 3 4 5 Boas N/A

17. Qualidade das imagens transmitidas Ruins 1 2 3 4 5 Boas N/A

18. Qualidade do áudio Muito ruidoso 1 2 3 4 5 Totalmente audível N/A

19. Saída de som Inconstante 1 2 3 4 5 Uniforme N/A

18. Áudio sincronizado com vídeo Nunca 1 2 3 4 5 Sempre N/A

19. Utilização de chat on-line Difícil 1 2 3 4 5 Fácil N/A

20. Transmissão de arquivos Difícil 1 2 3 4 5 Fácil N/A

Satisfação com o sistema
21. Nível de satisfação com o sistema Insatisfeito 1 2 3 4 5 Satisfeito N/A

Comentários (indique o número do item que deseja comentar na frente do comentário / utilize o verso da folha, se
necessário)
Referências Bibliográficas
[SIG, 1992] (1992). Curricula for human-computer interaction. Technical report,

ACM-SIGCHI. Disponı́vel em http://www.acm.org/sigchi/.
[Eha, 2007] (2007). Enlace Hispano Americano de Salud. http://www.ehas.org. Acesso

em março de 2007.
[HCN, 2007] (2007). Health Care Network. http://www.healthcarenetwork.org. Acesso

em maio de 2007.
[Tel, 2007] (2007). Telemedicine Information Exchange. http://www.telemed.org.

Acesso em maio de 2007.
[Ackerman et al., 2002] Ackerman, M., Craft, R., Ferrante, F., Kratz, M.,
Mandil, S., and Sapci, H. (2002). Telemedicine technology. state-of-the-art
telemedicine/telehealth symposium: An international perspective. Telemedicine
Journal and e-health, 8(1):71–78.
[Allen et al., 2006] Allen, M., Currie, L. M., Bakken, S., Patel, V., and Cimino, J.
(2006). Heuristic evaluation of paper-based web pages: A simplified inspection us-
ability methodology. Journal de Biomedical Informatics, pages 412–423.
[Bacic, 2001] Bacic, S. A. (2001). Um ambiente colaborativo de apoio ao diagnóstico

médico assistido por computadores de alto desempenho. Dissertação de mestrado
em engenharia, Escola Politécnica da Universidade de São Paulo, São Paulo.
[Bashshur, 2002] Bashshur, R. L. (2002). Telemedicine and health care. Telemedicine

Journal and e-Health, 8(1):5–12.
[Conselho Federal de Medicina, ] Conselho Federal de Medicina. Resolução no 1.638

de 10 de julho de 2002.
[Cybis, 1995] Cybis, W. A. (1995). Ergonomia de interfaces humano-computador.

http://www.labiutil.inf.ufsc.br/apostila/apostila.htm. Universidade Federal de
Santa Catarina. Apostila LabIUtil. Acesso em 20/03/2005. p. 79.
[Dix et al., 2004] Dix, A., Finlay, J., Abowd, G., and Beale, R. (2004). Human-
Computer Interaction. Prentice-Hall International, 4 edition.
[Fernandes et al., 2003] Fernandes, F., Luft, C. P., and Guimarães, F. M. (2003). Di-
cionário Brasileiro Globo. Globo, São Paulo, 56 edition.
[Gaggioli, 2005] Gaggioli, A. (January 2005). A telemedicine survey among milan

doctors. Journal of Telemedicine and Telecare, 11:29–34(6).
[Harper and Norman, 1993] Harper, B. and Norman, K. (1993). Improving user sat-
isfaction: The questionnaire for user interaction satisfaction version 5.5. In The
Proceedings of the Mid-Atlantic Human Factors Conference.
[Hartson and Hix, 1989] Hartson, H. and Hix, D. (1989). Human-computer interfaces
development: Concepts and systems for its managements. ACM Computer Surveys.
[Hickson, 2003] Hickson, R. S. R. (2003). Projeto de Sistemas Web orientados a inter-

face. Campus, Rio de Janeiro.
[Hix and Hartson, 1993] Hix, D. and Hartson, H. R. (1993). Developing user interfaces:
ensuring usbaility through product and process. John Wiley, New York.
[ISO9241-11, ] ISO9241-11. International organization for standardization e interna-

tional, electrotechnical commission. Guidance on Usability.
[Jeffries and Desurvire, 1992] Jeffries, E. and Desurvire, H. (1992). Usability testing
vs. heuristic evaluation: Was there a contest? SIGCHI Bulletin, 24(4).
[Johnson, 2003] Johnson, W. (2003). The interaction between safety culture and un-
certainty over device behaviour: The limitations and hazards of telemedicine. In
International Systems Safety Conference, pages 273–283. University of Glasgow.
[Katz and Solez, 2005] Katz, S. and Solez, K. (2005). Definition of cybermedicine.
Disponı́vel em http://www.cybermedicine.org/WhatIs/definition.html. Acessado em
25/01/2006.
[Kaufmann et al., 2003a] Kaufmann, D. R., Starren, J., Patel, V. L., Morin, P. C.,
Hilliman, C., Pevezner, J., Weinstock, R. S., Goland, R., and Shea, S. (2003a).
Usability in the real world: assessing medical information technologies in patients’
homes. Journal of Biomedical Informatics, 36.
[Kaufmann et al., 2003b] Kaufmann, D. R., Starren, J., Patel, V. L., Morin, P. C.,
Hilliman, C., Pevzner, J., Weinstock, R. S., Goland, R., and Shea, S. (2003b). A
cognitive framework for understanding barriers to the productive use of a diabetes
home telemedicine system. AMIA Annu Symp Proc, pages 356–360.
[Kemp and Setungamudalige, 2006] Kemp, E. and Setungamudalige, D. T. (2006). A

resource support toolkit (r-ide): supporting the decide framework. In CHINZ ’06:
Proceedings of the 7th ACM SIGCHI New Zealand chapter’s international conference
on Computer-human interaction, pages 61–66, New York, NY, USA. ACM.
[Kind, 2004] Kind, L. (2004). Notas para o trabalho com a técnica de grupos focais.
Psicologia em Revista, 10(15):124–136.
[Krupinski et al., 2002] Krupinski, E., Nypaver, N., Poropatich, R., Ellis, D., R, S.,
and Sapci, H. (2002). Clinical applications in telemedicine/telehealth. Telemedicine
Journal and e-Health, 8(1):13–34.
[Lewis et al., 1990] Lewis, C., Polson, P., Wharton, C., and Rieman, J. (1990). Testing
a walkthroug methodology for theory-based design of walk-up-and-use interface. In
Proceedings ACM CHI’90 Conference, pages 1–5, Seattle, WA.
[Lewis and Wharton, 1997] Lewis, C. and Wharton, C. (1997). Handbook of human-
computer interaction, chapter 30-Cognitive Walkthroughs, pages 717–730. Elsevier
Science B. V., 2nd edition.
[Lopes et al., 2005] Lopes, P. R., Pisa, I. T., and Sigulem, D. (2005). Desafios em
telemedicina. Parcerias Estratégicas, 20(1):367–386.
[Martinez, 2000] Martinez, A. (2000). Bases Metodológicas para Evaluar la Viabilidad y

el impacto de proyectos de telemedicina. Universidad Politécnica de Madrid, España.
[Martinez et al., 2004] Martinez, A., Villarroel, V., Seoane, J., and del Pozo, F. (2004).
Rural telemedicine for primary healthcare in developing countries. IEEE Technology
and Society Magazine Summer, 23(2):13–22.
[Medeiros, 1999] Medeiros, M. A. (1999). Iso 9241: Uma proposta de utilização da

norma para avaliação do grau de satisfação de usuários de software. Dissertação
de mestrado engenharia de produção, Universidade Federal de Santa Catarina, Flo-
rianópolis.
[Nacci et al., 2001] Nacci, P. L., Turner, C. A., Waldron, R. J., and Broyles, E. (2001).
A guide to implementing telemedicine in correctional facilities. Technical report,
Department of Justice-Department of Defense.
[Nicolaci-da Costa, 2007] Nicolaci-da Costa, A. (2007). O campo da pesquisa qualita-

tiva e o método de explicitação do discurso subjacente (meds). Psicologia: Reflexão
e Crı́tica, pages 65–73. Disponı́vel em www.scielo.br/pcr.
[Nicolaci-da Costa et al., 2004] Nicolaci-da Costa, A., Leitão, C., and Romão-Dias, D.
(2004). Como conhecer usuários através do método de explicitação do discurso
subjacente (meds). In VI Simpósio Brasileiro sobre Fatores Humanos em Sistemas
Computacionais, pages 47–56, Curitiba.
[Nielsen, 1993] Nielsen, J. (1993). Usability Engineering. Academic Press, Cambridge,

MA.
[Nielsen and Mack, 1994] Nielsen, J. and Mack, R. L. (1994). Usability Inspection
Methods. John Wiley Sons, New York.
[Norman, 1999] Norman, D. (1999). Affordance, conventions, and design. Interaction.
[Oh et al., 2005] Oh, H., Rizo, C., Enkin, M., and Jadad, A. (2005). What is ehealth
(3): A systematic review of published definitions. J Med Internet Res, 7(1).
Disponı́vel em: http://www.jmir.org/2005/1/e1/.
[Padilha, 2004] Padilha, A. (2004). Usabilidade na web: uma proposta de questionário

para avaliação do grau de satisfação de usuários do comércio eletrônico. Dissertação
de mestrado em ciência da computação, Universidade Federal de Santa Catarina,
Florianópolis.
[Pagliari et al., 2005] Pagliari, C., Sloan, D., Gregor, P., Sullivan, F., Detmer, D.,
Kahan, J., Oortwijn, W., and MacGillivray, S. (2005). What is ehealth (4): A
scoping exercise to map the field. J Med Internet Res, 7(1). Disponı́vel em
http://www.jmir.org/2005/1/e9/.
[Prates and Barbosa, 2003] Prates, R. O. and Barbosa, S. D. J. (2003). Avaliação de

interfaces de usuário - conceitos e métodos. Anais da Jornada de Atualização em
Informática - XIX Congresso da Sociedade Brasileira de Computação, 2.
[Prates and Barbosa, 2007] Prates, R. O. and Barbosa, S. D. J. (2007). Introdução

à teoria e prática da interação humano computador fundamentada na engenharia
semiótica. Anais do XXIII Congresso da Sociedade Brasileira de Computação, 2.
[Preece et al., 2002] Preece, J., Rogers, Y., and Sharp, E. (2002). Interaction Design:
Beyond Human-computer Interaction. John Wiley & Sons, New York, NY.
[Preece et al., 2005] Preece, J., Rogers, Y., and Sharp, E. (2005). Design de Interação
- Além da interação homem-computador. Bookman, Porto Alegre.
[Queiroz et al., 2005] Queiroz, J. E. R. d., Oliveira, R. C. L. d., and V, T. M. F. Q.

(2005). Webquest: A configurable web tool to prospect the user profile and user
subjective satisfaction. In HCI International, pages 22–27, Las Vegas, Nevada.
[Rocha and Baranauskas, 2003] Rocha, H. V. and Baranauskas, M. C. (2003). Design

e Avaliação de Interfaces Humano-Computador. NIED, Campinas, SP.
[Rosenbaum, 1989] Rosenbaum, S. (1989). Usability evaluations versus usability test-

ing: When and why? IEEE - Transactions on Professional Communication, 32(4).
[Sabbatini, 1999] Sabbatini, R. (1999). Telemedicina: A assistência à distância. Revista

Médico Reporter, 3:20–22.
[Santos et al., 2006] Santos, A. F., Souza, C., Alves, H. J., and Santos, S. F. (2006).
Telessaúde: um instrumento de suporte assistencial e educação permanente. editora
UFMG, Belo Horizonte.
[Scholtz, 2001] Scholtz, J. (2001). Adaptation of traditional usability testing methods

for remote testing. In Proceedings of the 34th Hawaii International Conference on
System Sciences,, Hawaii,.
[Seabra, 2003] Seabra, A. (2003). Telemedicina. Angiologia e Cirurgia Vascular,

20:367–386.
[Shneiderman, 1998] Shneiderman, B. (1998). Designing the User Interface. Addison-

Weslley, Reading, MA.
[Soares, 2004] Soares, L. (2004). Avaliação de usabilidade por meio do ı́ndice de

satisfação dos usuários, de um software gerenciador de websites. Dissertação de
mestrado profissionalizante em engenharia, Universidade Federal do Rio Grande do
Sul, Rio Grande do Sul.
[Souza, 2004] Souza, A. C. (2004). Proposta de um processo de avaliação da usabilidade

de interfaces Gráficas de sistemas interativos computacionais, através da integração
as técnicas prospectiva, analı́tica e empı́rica. Tese de doutorado, Universidade Fed-
eral de Santa Catarina, Florianópolis.
[Tanriverdi and Iacono, 1999] Tanriverdi, H. and Iacono, C. S. (1999). Diffusion of

telemedicine: a knowledge barrier perspective. Telemed Journal, pages 223–244.
[Tulu and Laxminarayan, 2005] Tulu, B., C. S. and Laxminarayan, S. (2005). A tax-
onomy of telemedicine efforts with respect to applications, infrastructure, delivery
tools, type of setting and purpose. In 38th Annual Hawaii International Conference
on System Sciences: HICSS’05, Piscataway. IEEE Computer Society Press.
[Wallace et al., 1998] Wallace, S., P., T., and J., W. (1998). Telemedicine in the NHS
for the millenium and beyond. Postgraduate Medical Journal, pages 721–728.

Ppginf Dissertação - 011-2007

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Ppginf Dissertação - 011-2007

Enviado por

Direitos autorais:

Formatos disponíveis

KÁTIA ADRIANA ALVES LEITE

AVALIAÇÃO DE USABILIDADE NOS

Dissertação apresentada ao Programa de

O BHtelessaúde é um projeto de telessaúde voltado para cuidados primários e us-

Lista de Figuras xiii

Lista de Tabelas xiv

Lista de Sı́mbolos e Abreviaturas xv

6 Considerações Finais e Trabalhos Futuros 103

A Termo de Consentimento 107

B Roteiro do Grupo Focal 108

Referências Bibliográficas 117

1.1 Resultados do uso de Teleconsultorias on-line nas UBS em Belo Horizonte. 5

2.1 Processo de Interação Humano-Computador . . . . . . . . . . . . . . . 9

3.1 Distritos Sanitários onde já foram implantados o BHTelessaúde. . . . . 39

4.1 Fluxo de Tarefas para Solicitação de Teleconsultorias off-line . . . . . 47

4.17 Interface da Pesquisa de Prontuário com mensagem de detecção de

5.1 Caracterização dos usuários quanto à idade . . . . . . . . . . . . . . . 76

5.20 Média geral dos ı́tens avaliados da categoria Tela. . . . . . . . . . . . . 100

1.1 Distribuição de Centros de Saúde por Distrito Sanitário . . . . . . . . . 4

2.1 Evolução da área de IHC . . . . . . . . . . . . . . . . . . . . . . . . . . 9

4.1 Lista de Checagem do framework DECIDE . . . . . . . . . . . . . . . 44

ACM Association Computing Machinery

ATA American Telemedicine Association

CENAPAD Centro Nacional de Pesquisa de Alto Desempenho

FAFICH Faculdade de Filosofia e Ciências Humanas

IHC Interação Humano-Computador

ISDN Integrated Service Digital Network

LCC Laboratório de Computação Cientı́fica

NASA National Aeronautics and Space Administration

NGI Next Generation Internet

OSM Organização Mundial de Saúde

PBH Prefeitura de Belo Horizonte

PUC Pontifı́cia Universidade Católica de Minas Gerais

QUIS Questionaire for User Interaction Satisfaction

RMI Rede Municipal de Informática

RNP Rede Nacional de Ensino e Pesquisa

SUMI Software Usability Measurement Invetory

UBS Unidades Básicas de Saúde

UFMG Universidade Federal de Minas Gerais

UML Unified Modeling Language

Nesta dissertação, é abordado o tema da avaliação de usabilidade de sistemas de Tele-

• O advento das tecnologias de sistemas de telecomunicação, que fornece meios de

• O crescente desenvolvimento da robótica e multimı́dia que provê manipuladores

• O surpreendente avanço da informática em geral, tanto no que diz respeito ao

1.1 Usabilidade e Sistemas de Telemedicina

de usar e que garanta a eficiência do uso. Deste modo, a falta de usabilidade de um

Distrito No de Centros de No de Centros de

Conhecer o que os usuários querem e os problemas enfrentados por eles durante

1.3 Objetivo do Trabalho

• Conhecer o projeto de telessaúde implantado nas Unidades Básicas de Saúde de

• Conhecer e entender o funcionamento dos sistemas computacionais utilizados nos

• Conhecer as rotinas e processos de trabalho dos serviços de Telemedicina nas

• Definir o perfil dos usuários do BHTelessaúde;

• Verificar o efeito das interfaces junto aos usuários;

• Identificar problemas especı́ficos dos sistemas durante o seu uso;

• Identificar dificuldades enfrentadas pelos usuários durante o uso do sistema;

1.4 Abordagem Adotada e Organização do Texto

2.1 Interfaces Computacionais e a Interação Hu-

Figura 2.1: Processo de Interação Humano-Computador (adaptado de

Em meados dos anos 80 as preocupações com as capacidades e limitações hu-

Tabela 2.1: Evolução da área de IHC (adaptado de [Preece et al., 2002]).

• Ciência da Computação: fornece métodos para a incorporação de IHC nos sis-

• Psicologia: aplicação de teorias dos processos cognitivos e análise empı́rica do