Aplicao de Avaliao Heurstica no Desenvolvimento de

Sistemas de Informao em Sade

Clver Ricardo Guareis de Farias1, Flvia Akemi Miyazaki1, Wu Zhuofan2,
Alessandra Alaniz Macedo1
1

Faculdade de Filosofia, Cincias e Letras de Ribeiro Preto (FFCLRP)

Universidade de So Paulo (USP) CEP 14.040-901 Ribeiro Preto SP
2

Faculdade de Medicina de Ribeiro Preto (FMRP)

Universidade de So Paulo (USP) CEP 14.040-901 Ribeiro Preto SP
farias@ffclrp.usp.br, flaviamiyazaki@gmail.com, zhuofanw@yahoo.com.br,
ale_alaniz@ffclrp.usp.br

Abstract. One of the main concerns related to the development of health

information systems is the quality of the implemented solution, both in terms of
the functional requirements and in terms of its usability. A system with good
usability is more likely to be used on a daily basis by health professionals than
a system with poor usability. This paper describes the results of a usability
study performed using heuristics evaluation to identify usability problems on
such systems during the development process. The use of such technique has
contributed to improve the overall quality of the developed systems.
Resumo. Uma das principais preocupaes relacionadas ao desenvolvimento
de sistemas de informao em sade a qualidade do produto obtido, tanto
em termos funcionais quanto em termos de usabilidade. Um sistema com boa
usabilidade possui maior chance de ser adotado diariamente por profissionais
de sade. Este artigo descreve os resultados de um estudo envolvendo a
aplicao da tcnica de avaliao heurstica para detectar problemas de
usabilidade quando do processo de desenvolvimento de sistemas de
informao em sade. De acordo com este estudo, o uso desta tcnica
contribuiu para melhorar a qualidade dos sistemas desenvolvidos.

1. Introduo
Devido aos avanos cientficos, tecnolgicos, econmicos e sociais, o mundo passa por
inmeras transformaes em diversas reas do conhecimento. Na rea mdica, vrias
inovaes tecnolgicas vm acompanhando o rpido desenvolvimento do mundo atual.
Esse desenvolvimento acelerado pode ser justificado pela inerente necessidade de
aprimorar o cuidado com a sade da populao.
Existe uma variedade muito grande de sistemas mdicos, os quais tipicamente
gerenciam, monitoram ou controlam nos pacientes informaes que so
predominantemente manipuladas atravs de software. Exemplos de sistemas mdicos
incluem [van Bemmel e Musen 1997]: sistemas monitores, os quais controlam a
freqncia cardaca, a presso sangunea, a taxa vivente, etc, e normalmente utilizam um
software especfico para interpretar as informaes obtidas atravs dos sensores e exibi-

1909

las de forma significativa em um monitor; bombas de medicamento, os quais so

programados para bombear certa quantia de protoplasma, sangue, soluo salina, ou
outro medicamento em um paciente a certa taxa; sistemas de anlise, tais como
tomgrafos, os quais medem dados crus e reinterpretam estes dados para criar imagens
que os mdicos podem ler e podem entender; pronturios eletrnicos de pacientes
(PEPs), os quais so utilizados para armazenar e gerenciar as informaes clnicas de
pacientes, podendo incluir informaes textuais, laudos laboratoriais, sinais fisiolgicos,
incluindo imagens e sons, etc; e sistemas de apoio ao diagnstico, os quais podem ser
utilizados para indicar o que deve ser feito em cada situao mdica ou como ferramenta
educacional ou de estudo para profissionais de sade.
Inovaes tecnolgicas em software podem auxiliar na resoluo de diferentes
problemas, tais como, erros humanos causados pela execuo de tarefas repetitivas e
cansativas, falta de experincias nas prticas mdicas, e exigncia de memria
contextual dos profissionais de sade para relacionar a histria atual dos pacientes com
seus conhecimentos concretos e com histrias de pacientes anteriores [Vasconcelos et
al. 2006]. Softwares devem permitir que seus usurios realizem as tarefas pretendidas de
modo seguro, efetivo, eficiente e agradvel seguindo trs princpios bsicos: utilidade,
usabilidade e ubiqidade [Dix et al. 2004].
Um sistema com boa usabilidade (fcil de aprender e de usar, com interfaces
amigveis e com bom suporte tcnico, por exemplo) possui maior chance de ser adotado
diariamente por profissionais de sade, uma vez que no dificulta os processos de
atendimento mdico e de sade. Para evitar problemas de usabilidade, avaliaes da
interface de usurio devem ser realizadas de modo a garantir que o sistema atenda s
expectativas e aos requisitos dos usurios [Pinto 2008].
As trs principais metas de uma atividade de avaliao de usabilidade so: (1)
analisar a cobertura das funcionalidades do sistema; (2) avaliar a prtica e o impacto na
interao entre usurios e o sistema atravs da interface; e (3) identificar possveis
problemas especficos do sistema [Dix et al. 2004]. Dessa forma, o desenvolvimento, a
avaliao e o re-projeto formaro uma seqncia de processos essenciais na produo de
software de qualidade aceitvel por seus usurios.
O objetivo deste artigo apresentar os resultados de um estudo do uso da
avaliao de usabilidade como suporte ao desenvolvimento de sistemas de informao
em sade. Segundo este estudo, a tcnica de avaliao heurstica foi aplicada ao
desenvolvimento de dois sistemas computacionais distintos, de modo a direcionar o
desenvolvimento de aplicaes com maior usabilidade. Esse tipo de iniciativa
fundamental para desenvolvimento de sistemas computacionais na rea mdica e de
sade, uma vez que seus usurios normalmente no possuem familiaridade com
tecnologias de computao e possuem pouco tempo disponvel para o aprendizado.
O restante do artigo est organizado da seguinte maneira: a Seo 2 apresenta os
conceitos fundamentais de avaliao heurstica, a Seo 3 descreve os principais
aspectos do estudo realizado com o sistema MDFluxo; a Seo 4 descreve os principais
aspectos do estudo realizado com o sistema Bravo; a Seo 5 apresenta alguns trabalhos
relacionados; finalmente a Seo 6 apresenta alguns comentrios finais.

1910

2. Avaliao Heurstica
A avaliao de projeto de interfaces tem por objetivo identificar, classificar e contar o
nmero de problemas de usabilidade de um sistema computacional [Dix et al. 2004].
Adicionalmente, esta atividade tem por objetivo fazer recomendaes a partir do
resultado da avaliao de modo a melhorar a usabilidade do sistema. Uma heurstica
uma diretriz ou uma regra que pode guiar uma deciso do projeto ou criticar uma
deciso j tomada [Dix et al. 2004].
Avaliao heurstica um mtodo de estruturao da crtica de um sistema
utilizando um conjunto de heursticas propostas na literatura. O mtodo da avaliao
heurstica sugere que de trs a cinco avaliadores critiquem um sistema usando uma srie
de dez heursticas genricas, tambm chamadas de heursticas de Nielsen [Nielsen
1994]. Essas heursticas referem-se identificao dos problemas mais comuns de
usabilidade encontrados em um sistema computacional.
Nielsen prope um conjunto de dez heursticas a ser utilizadas como base para
cada avaliador verificar, de forma independente, todos os componentes possveis de
dilogo nos cenrios tpicos de uso do sistema. Os itens violados so anotados,
especificados e listados. Aps a organizao desses itens, um grau de severidade, na
escala de zero a quatro, atribudo para cada problema listado. O nvel zero indica
menor severidade e significa que o problema no , na verdade, considerado como um
problema de usabilidade. O nvel um indica problemas cosmticos, ou seja, s sero
resolvidos se houver disponibilidade de tempo e recursos. O nvel dois indica pequenos
problemas de usabilidade, cuja resoluo tem menor prioridade. O nvel trs representa
problemas maiores de usabilidade e a resoluo destes problemas deve ser prioritria. O
nvel quatro indica problemas muito srios de usabilidade, os quais devem
necessariamente ser resolvidos antes da continuidade do desenvolvimento do produto.
As heursticas de Nielsen so apresentadas a seguir [Nielsen 1994]:
1. Visibilidade do status do sistema. O sistema deve sempre informar o usurio
atravs de feedbacks apropriados sobre o que est acontecendo;
2. Casamento entre o sistema e o mundo real. O sistema deve utilizar conceitos e
termos com os quais o usurio est familiarizado, fornecendo informaes em
ordem lgica e natural;
3. Controle e liberdade do usurio. O sistema deve suportar a correo de aes
erradas ou indesejadas (undo e redo de aes), oferecendo ao mesmo tempo
sadas de emergncia quando o usurio fizer uma escolha indesejada;
4. Consistncia e padres. O sistema deve ser padronizado e consistente;
5. Preveno de erros. O sistema deve prevenir a ocorrncia de erros, quer atravs
da eliminao de situaes propcias ao erro, quer atravs do uso de mensagens
de confirmao;
6. Reconhecimento em vez de lembrana. O sistema deve minimizar a necessidade
do usurio memorizar aes, objetos e opes, disponibilizando suas
funcionalidades de forma visvel e clara;

1911

7. Flexibilidade e eficincia de uso. O sistema deve satisfazer as necessidades tanto

de usurios experientes, permitindo acelerar a interao destes com o sistema,
quanto de usurios inexperientes;
8. Design esttico e minimalista. O sistema conter dilogos apenas com
informaes relevantes;
9. Ajuda para o usurio reconhecer, diagnosticar e recuperar-se dos erros. O
sistema deve conter mensagens de erros claras, indicando precisamente o
problema e sugerir solues;
10. Ajuda e documentao. O sistema deve prover informaes de ajuda e
documentao que sejam concisas, fceis de buscar, focadas nas tarefas do
usurio e listem passos concretos a serem executados.
A avaliao heurstica foi selecionada dentre as tcnicas de avaliao de
interface usurio-computador levando-se em considerao a disponibilidade de recursos
tecnolgicos, humanos e temporais. Algumas tcnicas requerem equipamentos
especficos para a realizao da avaliao e so difceis de serem realizadas por falta de
avaliadores experientes e especficos, enquanto outras so demoradas na avaliao e na
aprendizagem. Assim, o uso da tcnica de avaliao heurstica levou em considerao:

1912

estgio do desenvolvimento do software. Avaliao heurstica adequada para

avaliar sistemas em estgios preliminares de desenvolvimento de prottipos, tais
como os sistemas descritos neste trabalho;

tipo da avaliao. Avaliao em laboratrios e avaliao no ambiente do

usurio so os tipos principais de avaliao. Avaliar o prottipo de um sistema
com a presena de um avaliador em um consultrio, o qual pode ser considerado
o ambiente do usurio, seria problemtico com um software em verso
preliminar. A avaliao heurstica adequada para ser realizada em laboratrio;

subjetividade ou objetividade. As tcnicas objetivas evitam erros pessoais e

subjetivos de avaliadores, mas no revelam problemas inesperados ou oferecem
feedback detalhado sobre o sistema. O problema de erros pessoais na avaliao
pode ser superado quando a avaliao subjetiva usa mais que um avaliador,
justificando o uso de um nmero mnimo de avaliadores na avaliao heurstica;

medidas qualitativas ou quantitativas. Medidas quantitativas so numricas e

podem ser facilmente interpretadas usando tcnicas estatsticas. Medidas
qualitativas no so numricas, mas podem prover detalhes importantes que
nmeros no podem oferecer. Tcnicas subjetivas como, a avaliao heurstica,
resultam em medidas qualitativas, mas informaes quantitativas tambm so
obtidas atravs da atribuio do nvel de severidade para cada heurstica;

nvel da informao provida. Informaes de baixo nvel so informaes sobre

um aspecto especfico, como, por exemplo, qual fonte mais legvel?.
Informaes de alto nvel so impresses gerais do avaliador ou do usurio
sobre o sistema, como, por exemplo, o sistema prov boa usabilidade?. Em
geral, os avaliadores requerem desde informaes de baixo nvel para permitir
decises do projeto a informaes de alto nvel. A avaliao heurstica prov
suporte tanto para a captura de informaes de alto nvel atravs das dez

heursticas, quanto para a captura de informaes de baixo nvel atravs dos subitens de cada heurstica;

recursos exigidos. A avaliao heurstica no requer equipamentos sofisticados,

apenas uma verso funcional do sistema ou um prottipo. Adicionalmente, a
avaliao heurstica no toma muito tempo de cada avaliador para preencher o
questionrio, normalmente no requer recursos financeiros e tipicamente no
envolve usurios finais.

A avaliao heurstica de cada sistema neste estudo foi realizada de acordo com
um questionrio contendo dez sees de perguntas relacionadas a cada uma das
heursticas de Nielsen. Dentro de cada seo existem perguntas relacionadas heurstica
em questo, as quais devem ser respondidas pelos especialistas. Na primeira coluna do
questionrio encontra-se a questo a ser verificada no sistema. Na segunda coluna o
especialista deve responder Sim, No ou N/A (no se aplica) questo da primeira
coluna, enquanto que na ltima coluna, o especialista pode colocar algum comentrio
pertinente anlise da questo.

3. Aplicao de Avaliao Heurstica no Sistema MDFluxo

O sistema MDFluxo (Modelo Digital de Fluxogramas em Oftalmologia) um guia de
conduta clnica na rea de oftalmologia que permite que um usurio obtenha uma
segunda opinio em relao a uma determinada condio clnica e receba uma sugesto
de uma conduta clnica apropriada [Pinto 2008]. Este sistema, disponibilizado
inicialmente apenas em PDAs, tambm prov explicaes de termos mdicos
relacionados situao apresentada pelo usurio. Com essas duas funcionalidades
principais, o MDFluxo pode auxiliar no ensino de teorias e prticas mdicas em
oftalmologia e pode ser adotado na assistncia mdica diria como guia de conduta em
oftalmologia.
A avaliao heurstica foi realizada na verso PDA do sistema (MDFluxo-PDA)
para complementar a identificao dos requisitos necessrios ao desenvolvimento de
uma verso Web deste sistema (MDFluxo-Web). Nessa avaliao, cinco avaliadores,
com conhecimento prvio sobre avaliao de design e interao usurio-computador,
foram escolhidos para avaliar o MDFluxo-PDA e preencher o questionrio da avaliao
heurstica. Um dos avaliadores tinha ligao com o desenvolvimento do sistema,
enquanto que os demais no tinham qualquer ligao. Os questionrios respondidos
pelos avaliadores foram entregues a um mediador que sistematizou as respostas de
avaliao.
Aps a sistematizao das respostas dos avaliadores para cada questo do
questionrio, foram atribudas nveis de prioridade aos problemas encontrados no
MDFluxo-PDA. A seguir, com base nas prioridades identificadas, os ajustes de
usabilidade para o sistema e os requisitos do MDFluxo-Web foram planejados. Alguns
pontos crticos do MDFluxo-PDA levantados por trs ou mais avaliadores foram:

uso frequente da cor vermelha para instrues normais de texto puro. Entende-se
que o autor do sistema optou pelo vermelho para chamar a ateno dos usurios
sobre certas instrues, mas essa cor deve ser somente utilizada nos alertas de erros
graves. A Figura 1a mostra um dos exemplos do uso incorreto da cor vermelha;

1913

inconsistncia dos botes. O boto Fechar no apresenta um uso consistente no

sistema. O boto Voltar e o boto em formato de X vermelho funcionam como
Fecha. Adicionalmente, esse boto em formato de X mais parecido com o
smbolo convencionalmente utilizado para apagar arquivos. Na Figura 1b, a funo
fechar representada pelo boto Fechar, mas na Figura 1a, essa funo
representada pelo boto em formato de X vermelho;

a opo Instrues de uso no oferece um manual de instrues de uso, apenas

explicao da funcionalidade de cada boto (veja a Figura 1b).

(a)

(b)

Figura 1. (a) Funcionalidade "Iniciar consulta". (b) Funcionalidade "Instrues de uso"

Como base nos resultados da avaliao heurstica realizada no MDFluxo-PDA e

nas funcionalidades providas por este sistema, desenvolvemos uma primeira verso do
MDFluxo-Web [Zhuofan et al. 2008]. O MDFluxo-Web foi avaliado seguindo os
mesmos critrios levantados na avaliao do MDFluxo-PDA, porm somente quatro
avaliadores realizaram esta tarefa. A cada avaliador foi entregue o mesmo questionrio
utilizado na avaliao do MDFluxo-PDA.
Em geral, o MDFluxo-Web apresentou melhor usabilidade em relao ao
MDFluxo-PDA. Os principais problemas de usabilidade levantados e considerados na
avaliao do MDFluxo-PDA foram evitados na nova verso. Contudo, alguns novos
problemas tambm foram identificados nesta verso. Estes problemas sugiram
principalmente por se tratar do desenvolvimento do sistema em uma nova plataforma, a
plataforma web. Por exemplo, ao clicar nas opes de Ajuda e Sobre, eram abertas
novas janelas para navegao de informaes relacionadas. Essa deciso foi tomada para
que, ao terminar a consulta na Ajuda e Sobre, o usurio pudesse fechar a janela
correspondente e continuar sua navegao recomeando do local no qual tinha parado.
Contudo, os avaliadores sugeriram que, para usurios novatos, lembrar da ao de
fechar a janela nova no conveniente.
A Tabela 1 apresenta um resumo do nmero de itens violados em cada heurstica
e o nvel de severidade atribudo para os problemas. Nesta tabela, a coluna Total Itens
refere-se ao nmero total de itens no questionrio de avaliao para cada heurstica. Em

1914

todas as heursticas, o nvel de severidade diminuiu ou manteve-se. Portanto, um

aprimoramento na usabilidade da nova verso pode ser identificado.
Tabela 1. Comparao do resultado da avaliao entre MDFluxo-PDA e MDFluxo-Web

Heurstica
1
2
3
4
5
6
7
8
9
10

Itens Violados MDFluxoPDA (Nvel Severidade)

9 (2)
3 (2)
6 (2)
6 (2)
2 (2)
3 (2)
4 (1)
9 (2)
2 (1)
6 (3)

Itens Violados MDFluxoWeb (Nvel Severidade)

2 (1)
2 (2)
1 (2)
2 (1)
0 (0)
2 (2)
1 (1)
7 (2)
0 (0)
1 (1)

Total
Itens
25
18
14
31
12
10
25
10
9
9

4. Aplicao de Avaliao Heurstica no Sistema Bravo

A anticoagulao oral vem sendo utilizada com freqncia cada vez maior no
tratamento e preveno de doenas relacionadas a eventos tromboemblicos,
decorrentes de diversas situaes clnicas, como, por exemplo, em pacientes portadores
de fibrilao atrial. Tambm freqente seu uso em atendimentos a pacientes com risco
de sangramento, devido anticoagulao excessiva.
O projeto BRAVO (Estudo BRAsileiro do uso de Varfarina em anticoagulao
Oral) tem por objetivo investigar as dosagens desejveis para que seja obtido o melhor
controle do uso do anticoagulante Varfarina por pacientes anticoagulados do Hospital
das Clnicas da Faculdade de Medicina de Ribeiro Preto, considerando a variedade da
resposta interpessoal frente medicao e o perfil gentico. Assim, foi desenvolvido um
sistema web chamado BRAVO para prover suporte ao cadastro de pacientes, coleta
peridica de dados de anticoagulao destes pacientes e anlise da qualidade da
anticoagulao dos pacientes nos perodos considerados, atravs de anlises grficas
[Miyazaki 2008] e [Ynoue 2008]. Ao longo de cinco anos de estudo, espera-se que
dados de aproximadamente 1200 pacientes sejam ser coletados e analisados.
Aps o desenvolvimento de uma primeira verso funcionalmente completa deste
sistema, a avaliao heurstica foi realizada a fim de identificar potenciais problemas de
usabilidade e solucionar os problemas considerados mais graves, de acordo com os
nveis de severidade atribudos a eles. Neste caso, trs avaliadores, com conhecimento
prvio sobre avaliao de design e interao usurio-computador, foram escolhidos para
interagir com o sistema e responder a um questionrio similar ao utilizado na avaliao
do sistema MDFluxo. Neste caso, nenhum dos avaliadores tinha qualquer ligao com o
desenvolvimento do sistema.
Aps a sistematizao das respostas dos avaliadores para cada questo do
questionrio, foram atribudos nveis de severidade aos problemas encontrados no
sistema Bravo. A seguir, com base nas prioridades identificadas, os principais
problemas foram solucionados. Por exemplo, em relao heurstica Reconhecimento

1915

em vez de lembrana, a busca por paciente foi uma funcionalidade que todos os
avaliadores tiveram problemas. Esta funcionalidade tem por objetivo recuperar as
informaes de um paciente cadastrado, a partir de uma lista de todos os pacientes que
possuem a chave de busca em seu nome ou registro. O usurio pode ento selecionar um
paciente na lista e o registro e o nome do paciente escolhido so automaticamente
inseridos em seus respectivos campos. Contudo, os avaliadores ressaltaram que no
estava claro que no era necessrio preencher completamente os campos nome e
registro, mas sim selecionar o boto para que estes campos fossem preenchidos. A
Figura 2 apresenta a interface de busca de paciente com os reparos j realizados.

Figura 2. Interface corrigida para a busca de pacientes

A Tabela 2 apresenta um resumo do nmero de itens violados em cada heurstica

e a o nvel de severidade atribudo para os problemas na avaliao heurstica do sistema
BRAVO. A partir do resultado da avaliao heurstica, uma nova verso do sistema foi
desenvolvida de modo a solucionar todos os problemas classificados com nvel de
severidade dois ou trs.
Tabela 2. Resultado da avaliao heurstica no sistema BRAVO

Heurstica
1
2
3
4
5
6
7
8
9
10

1916

Itens Violados
2
1
2
2
1
1
4
2
1
3

Nvel Severidade
3
0
0
0
2
0
2
2
1
3

Total Itens
19
11
10
28
11
4
21
9
9
7

5. Trabalhos Relacionados
Uma das principais preocupaes relacionadas ao desenvolvimento de software mdico
a qualidade do produto obtido, tanto em termos funcionais quanto em termos de
usabilidade. Normalmente, h uma lgica extremamente complicada em uma
organizao ou instituio de sade, alm de regras e procedimentos padres que
dificultam o desenvolvimento de software mdico. Como estas aplicaes so, em
muitos casos, voltadas para o atendimento da populao, potenciais problemas na
qualidade destes produtos podem (potencialmente) ser desastrosos para o paciente, os
profissionais da sade e para a prpria instituio de sade.
Vrios estudos sugerem que a engenharia de usabilidade faa parte do processo
de desenvolvimento dos sistemas. Por exemplo, Gruchmann e Borgert [Gruchmann and
Borgert 2007] estimam que entre 44 e 98 mil mortes por ano so atribudas a erros
mdicos em hospitais. Contudo, este alto nmero no decorre em sua maioria da m
formao dos profissionais da rea da sade, mas sim pelo fato de que bons
profissionais trabalham com sistemas com designs e interfaces deficientes. Geralmente,
desenvolvedores de produtos mdicos no esto familiarizados com o ambiente de
trabalho em um hospital e, conseqentemente, desenvolvem sistemas computacionais de
acordo com seus modelos pessoais, no atentando para os reais requisitos dos usurios.
Alm disto, usurios com nvel de stress elevados agem intuitivamente, no atentando a
detalhes que podem comprometer a interao com o sistema.
Em outro trabalho, foi realizado um estudo de usabilidade relacionado ao uso de
sistemas de dispositivos mveis em unidades de emergncia [Leitner et al. 2007].
Basicamente, os sistemas deviam ser utilizados por mdicos em uma ambulncia para
receber informaes dos pacientes que sero atendidos. Neste contexto, os autores
concluram que os mdicos no podem em hiptese alguma ter suas habilidades
bloqueadas, principalmente por razes de problemas de usabilidade em um sistema, sob
risco de ocasionar a morte do paciente e a averso ao uso destes dispositivos por parte
dos profissionais da sade. Neste caso, a engenharia de usabilidade deve ser utilizada o
quanto antes no desenvolvimento do sistema.

6. Concluso
A preocupao com a qualidade dos sistemas de informao em sade, tanto em termos
funcionais quanto em termos de usabilidade, vem ganhando destaque crescente. Um
sistema com boa usabilidade possui maior chance de ser adotado diariamente por
profissionais de sade, uma vez que no dificulta os processos de atendimento mdico e
minimiza a ocorrncia de erros. Problemas de usabilidade podem (potencialmente) ser
desastrosos tanto para o paciente quanto para os profissionais envolvidos.
Este artigo descreveu os principais resultados de um estudo de usabilidade
aplicado a sistemas de informao em sade para identificar e corrigir problemas ainda
durante o processo de desenvolvimento. Os resultados da avaliao heurstica
demonstram a eficincia da estratgia de design avaliao - re-design aplicada sobre o
ciclo de vida de desenvolvimento de um sistema de informao em sade, dado que a
grande maioria dos problemas de usabilidade identificados nas verses iniciais dos
sistemas foi resolvida. Contudo, melhorias ainda devem ser consideradas. Acreditamos

1917

que a metodologia utilizada pode ser aplicada na avaliao e aprimoramento de outros

sistemas computacionais na rea de sade. Informaes adicionais sobre o estudo
podem ser encontradas em [Zhuofan et al. 2008, Miyazaki 2008].

Agradecimentos
Agradecemos as contribuies de Vladimir Pinto e Ivan Pisa para o desenvolvimento do
sistema MDFluxo-Web, bem como as contribuies de Kelly Ynoue, Antnio Pazin
Filho e Luiz Otvio Murta Jnior para o desenvolvimento do sistema Bravo.
Agradecemos tambm o apoio da FAPESP.

Referncias
Dix, A., Finlay, J., Abowd, G., and Beale, R. (2004). Human-Computer-Interaction.
Pearson Education.
Gruchmann, T. and Borgert, A. (2007). The Effect of New Standards on the Global
Movement Toward Usable Medical Devices. In Holzinger, A. (Ed.), HCI and
Usability for Medicine and Health Care, Springer-Verlag, pp. 83-96.
Leitner, G., Ahlstrm, D. and Hitz, M. (2007). Usability of Mobile Computing in
Emergency Response Systems Lessons Learned and Future Directions, In
Holzinger, A. (Ed.), HCI and Usability for Medicine and Health Care, SpringerVerlag, pp. 241-254.
Miyazaki, F. A. (2008). Desenvolvimento e Avaliao Heurstica de um Sistema de
Gerenciamento de Estudos Clnicos de Anticoagulao Oral. Trabalho de concluso
de curso - Bacharelado em Informtica Biomdica, Universidade de So Paulo
(USP).
Nielsen, J. (1994). Heuristic evaluation. In Nielsen, J., and Mack, R.L. (Eds.), Usability
Inspection Methods, John Wiley & Sons, New York, NY.
Pinto, V. C. (2008). Construo e avaliao de um software de computador de mo
para auxiliar o ensino de oftalmologia para estudantes de medicina. Dissertao de
mestrado, Universidade Federal de So Paulo (Unifesp).
van Bemmel, J.H., Musen, M. A. (1997). Handbook of Medical Informatics. SpringerVerlag.
Vasconcelos, J., Henriques, R., e Rocha, A. (2006) Modelo para Desenvolvimento de
Sistemas de Apoio Deciso Clnica para a Prtica da Medicina Baseada na
Evidncia. Anais do X Congresso Brasileiro de Informtica em Sade (CBIS 2006),
pp. 1162-1167.
Ynoue, K. C. (2008). Desenvolvimento de um Sistema de Gerenciamento da Qualidade
da Anticoagulao Oral. Trabalho de concluso de curso - Bacharelado em
Informtica Biomdica, Universidade de So Paulo (USP).
Zhuofan, W., Pinto, V., Pisa, I. T., de Farias, C. R. G., Macedo, A. A. (2008). Definio
de um Sistema Web para Apoio ao Diagnstico Mdico em Oftalmologia aps
Avaliao Heurstica Buscando Usabilidade. Anais V Workshop de Trabalhos de
Iniciao Cientfica (WTIC 2008) XIV WebMedia, pp. 146 - 148.

1918