1

UM MODELO PARA AVALIAO DE SISTEMAS DE INFORMAO DO SUS DE

ABRANGNCIA NACIONAL: O PROCESSO DE SELEO E ESTRUTURAO
DE INDICADORES

Autoria: Rinaldo Macedo de Morais, Andr Lucirton Costa

Resumo: Os processos de gesto do SUS so apoiados por um conjunto de sistemas de
informao de abrangncia nacional, com funcionalidades para as reas epidemiolgicas,
ambulatoriais, hospitalares e administrativas. Estudos afirmam haver pontos fracos nessas
aplicaes, como a falta de integrao, fragmentao e redundncia de dados, baixa cobertura
e pouco suporte para tomada de decises. Este artigo prope um modelo para avaliao de
sistemas de informao em sade que possa ser aplicado aos sistemas do SUS. descrito o
processo de pesquisa, anlise e classificao dos indicadores de avaliao para o modelo. Este
trabalho poder contribuir como mais uma referncia para estudos que envolvam processos de
avaliao da qualidade de softwares em sade e auxiliar na normatizao de planos de
avaliao e monitoramento de qualidade de sistemas e dados em sade pblica no Brasil e em
projetos de melhoria de software.

1. Introduo
A criao do Sistema nico de Sade (SUS), a partir da Constituio Federal de 1988,
estabeleceu bases para a estruturao de um sistema pblico de sade que tem como princpios a
descentralizao, a integralidade, a equidade e o controle social (Brasil, 1988). Diversas aes
polticas nos vrios governos que se sucederam aps a criao do SUS definiram papis e
responsabilidades Unio, aos estados e aos municpios. Essas aes regulamentaram a
municipalizao e a regionalizao, a participao popular, as polticas de custeio e
financiamento, a autonomia dos estados e municpios na gesto de repasses de verbas para os
fundos de sade e as estratgias para a ateno bsica, por meio do incentivo ao Programa de
Agentes Comunitrios de Sade (PACS) e ao Programa de Sade da Famlia (PSF) (Brasil,
1990a; Brasil, 1990b; Brasil, 1991; Brasil, 1993; Brasil, 1996; Brasil, 1998; Brasil, 2001; Brasil,
2002; Brasil, 2006a; Brasil, 2006b; Brasil, 2006c; Brasil, 2008; Brasil, 2009a; Brasil, 2011).
O Ministrio da Sade, por meio do Datasus, desenvolve e mantm um conjunto de
sistemas de informao, listados no Quadro 1, para dar suporte aos diversos eventos
epidemiolgicos, de ateno bsica, ambulatoriais, hospitalares e nas vrias aes
implementadas pelo Ministrio da Sade no Brasil. Alguns sistemas foram criados entre
meados da dcada de 70 e incio dos anos 80, a partir das primeiras discusses sobre sistemas
de informao em sade, na I Conferncia Nacional de Sade (Brasil, 2009b).
Diversos trabalhos tm sido publicados sobre o uso dos sistemas de informaes do
SUS, comumente chamados de SIS, pelo fato de alguns desses sistemas possurem esse
prefixo em seu nome. Alguns trabalhos apontam a falta de integrao dos diversos sistemas e
suas bases de dados e a fragmentao de informaes nessas aplicaes (Souza, Freire e
Almeida, 2010; Dam et al., 2011; Almeida, Alencar e Shoeps, 2009; Almeida et al., 2006;
Thaines et al., 2009). Outros trabalhos descrevem a baixa cobertura de alguns SIS e apontam
incertezas quanto confiabilidade dos dados por eles mantidos (Dam et al., 2011; Almeida,
Alencar e Shoeps, 2009; Almeida et al., 2006; Bittencourt, Camacho e Leal, 2006; Farias et
al., 2011; Barbuscia e Rodrigues Jnior, 2011; Mota, 2009). A deficincia no apoio ao gestor
em processos de tomada de deciso e planejamento, relatada em trabalhos antigos (Moraes,
1994; Bordignon, 1996), ainda citada em trabalhos recentes (Figueiredo, 2009; Mota, 2009;
Brito e Silva et al.,2010; Barbosa, 2006; Vidor, Fisher e Bordin, 2011; Vieira, 2009).
Historicamente, as informaes em sade no Brasil tm como caracterstica a
fragmentao, mltiplas fontes, baixa qualidade dos dados, disponibilizao em formato que
dificulta sua apropriao pelos gestores e pelo controle social (Moraes, 2010)

e o

monitoramento da qualidade dos dados dos sistemas de informao em sade que atendem ao
SUS no segue um plano regular de avaliaes normatizado pelo Ministrio da Sade, apenas
iniciativas isoladas (Lima et al., 2009). O portflio de sistemas do Datasus, em seu stio
institucional (Ministrio da Sade, 2013), descreve que parte significativa dos SIS
caracterizam-se como sistemas legados, que utilizam tecnologias em desuso, alm da falta de
padronizao de linguagens e bancos de dados, como mostra o Quadro 1.

Quadro 1. Sistemas de abrangncia nacional mantidos pelo Datasus
Finalidades
ou reas
Aplicaes

Linguagens de
programao
Bancos de
dados
Modos de
Operao
Cadastro Nacional dos Estabelecimentos de Sade (CNES) Delphi Firebird no informado
Cadastro de usurios do Sistema nico de Sade (CADSUS) Java vrios SGBDs
relacionais
Internet
Tabelas corporativas no informado no informado no informado
Cadastros
Nacionais
Cadastros de unidades territoriais no informado no informado no informado
Sist. de informao para gerenciamento de informaes locais
(GIL)
Java Firebird Rede Ambulato-
riais
Sistema de informaes ambulatoriais (SIASUS) Clipper DBF Local/rede
Sist. de Informaes para o Programa Nacional de Imunicao
(SI-PNI)
Clipper/ASP/
Delphi
DBF/Access/
Paradox
no informado
Sistemas para o cncer da mulher (SISCOLO e SISMAMA) Clipper DBF Local
Sistema de cadastro e acompanhamento de hipertensos e
diabticos (HIPERDIA)
Delphi Interbase/
Oracle
no informado
Epidemiol-
gicos
Sistema para acompanhamento da gestante (SISPRENATAL) Delphi Paradox Local
Sistema Integrado de Informatizao de Ambiente Hospitalar
(HOSPUB)
Delphi Openbase/
Postgres
rede
Sistema de informaes hospitalares(SIH) COBOL DBF/Firebird/
Oracle
no informado
Sistema de gerenciamento em servios de hemoterapia
(HEMOVIDA)
Delphi SQL-Server Rede
Sistema de Gerenciamento e Produo de Bancos de Leite
Humano(BLHWeb)
PHP MySQL Internet
Sist. de Informaes Hospitalares Descentralizado (SIHD) Delphi No informado Local/rede
Hospitalares
Sist. para Comunicao de Internao Hospitalar (CIH) Delphi Firebird Intranet
Sist. de Informao da Ateno Bsica (SIAB) Clipper DBF no informado
Sist. de Vigilncia Alimentar e Nutricional (SISVAN) ASP Oracle Internet
Sociais
Sist. para o programa De Volta para Casa (PVC) ASP/Delphi Oracle Internet
Sist. para controle dos oramentos pblicos em sade (SIOPS) Delphi Oracle/XML no informado
Sist. de Gesto de Informaes Financeiras (SGIF) Delphi Firebird no informado
Financeiros
Sist. de Gerenciamento Financeiro (SISGERF) no informado Oracle/
Firebird
Intranet
Sist. de informao de nascidos vivos (SINASC) ASP Firebird/
Interbase
Local/rede Eventos
vitais
Sist. de informao de mortalidade (SIM) ASP Firebird/
Interbase
Local/ rede
Sistemas para o Cadastro Nacional de Transplantes (SNT-
rgos/SNT-Tecidos)
Delphi Oracle/Access Internet
Relao de Doadores No Aparentados de Medula ssea
(REDOMENet)
no informado no informado no informado
Sist. do Programa Nacional de Avaliao de Servios de Sade
(SIPNASS)
no informado no informado no informado
Sist. para o Servio de Atendimento Mvel de Urgncia
(SAMU)
no informado no informado Rede
Sist. para a Central Nacional de Regulao de Alta
Complexidade (CNRAC)
Em desenvolvimento
Regulao
Sist. de Centrais de Regulao(SISREG-II) no informado no informado no informado
Fonte: www.datasus.gov.br
Acesso em 23 jan. 2013.

Aps essas consideraes, identifica-se uma demanda para discusso sobre a
qualidade dos sistemas de informao em sade pblica no Brasil, e como estabelecer

diretrizes para processos de avaliao dos SIS. Nesse contexto, levantam-se as seguintes
questes:
P1: Como estruturar um instrumento para avaliao de sistemas de informao para os
sistemas de informao do SUS de abrangncia nacional ?
P2: Quais indicadores devem ser includos no projeto desse instrumento?
Nesse contexto, este trabalho prope um modelo de avaliao para sistemas de
informao em sade, que possa ser aplicado aos sistemas de informao de abrangncia
nacional do SUS, e descreve o processo de pesquisa, anlise e mapeamento de indicadores de
qualidade para esse modelo.

2. Mtodo
O procedimento metodolgico deste trabalho consistiu em trs etapas bsicas:
1. Definio do modelo de qualidade: nessa etapa foi definida uma estrutura com as
dimenses e caractersticas de qualidade para o instrumento de avaliao. A norma
ISO/IEC 25010 (International Organization for Standardization, 2011), que define um
modelo de qualidade para produto de software, foi utilizada para classificar os
indicadores selecionados para o modelo.
2. Pesquisa bibliogrfica sobre indicadores para avaliao de sistemas de informao em
sade: foi desenvolvido um processo de busca em bases de dados nacionais, com
consulta em revistas indexadas na base de peridicos da CAPES e nas bases de dados
cientficas internacionais Scopus, Science Direct e WebOfScience, com as seguintes
diretrizes:
D1. Uso das seguintes palavras-chaves de forma combinada: Information Systems,
Healthcare, Health, Evaluation e Benchmarking;
D2. Priorizao de trabalhos publicados nos ltimos 10 anos;
D3. Uso das ferramentas de ordenao por relevncia disponibilizadas pelos sites de
busca;
D4. Leitura dos textos selecionados para seleo de publicaes que apresentam
modelos de avaliao de sistemas de informao em sade e
D5. Avaliao recursiva de referncias bibliogrficas constantes nas referncias
recuperadas nos itens anteriores.
3. Anlise e classificao de indicadores: nessa etapa foram realizadas a anlise
semntica e o mapeamento dos indicadores constantes nos trabalhos selecionados na
etapa 2 para a estrutura do modelo de qualidade. Como resultado, os indicadores
foram classificados nas variveis do modelo de qualidade, aplicveis aos stakeholders
das aplicaes a serem avaliadas.
Esta pesquisa acompanha as abordagens mais utilizadas em avaliao de tecnologia de
sistemas de informao em sade: segundo Pai e Huang (2011), nos trabalhos dos ltimos
cinco anos sobre esse tema tm sido utilizados majoritariamente questionrios de pesquisa,
entrevistas in-loco e estudos de casos individuais.

3. A Norma ISO/IEC 25010
A Norma ISO/IEC 25010 (ISO, 2011) parte do projeto SQuaRE (Software product
Quality Requirements and Evaluation) - um conjunto de normas tcnicas que estabelece
padres para qualidade e que inclui gerncia, modelo, medio, requisitos e avaliao de
qualidade para qualquer produto de software. Seu modelo de qualidade para produto de
software composto pelas dimenses qualidade do produto e qualidade em uso, conforme o
Quadro 2.
A dimenso qualidade do produto inclui atributos do software decorrentes de seu
processo de implementao, reviso e testes (qualidade interna) e atributos do software

associados sua execuo (qualidade externa). A qualidade em uso est associada ao grau em
que o sistema atende aos objetivos do usurio em suas atividades. Cada dimenso do modelo
de qualidade da ISO/IEC 25010 especializa-se em um conjunto de caractersticas e
subcaractersticas de qualidade, tambm descritas no Quadro 2.

Quadro 2. Modelo de Qualidade da norma ISO/IEC 25010
Dimenses Caractersticas Subcaractersticas
Completeza funcional: capacidade do produto de software de prover um conjunto apropriado de
funes para tarefas e objetivos do usurio especificados.
Corretude funcional: capacidade do produto de software de prover, com o grau de preciso
necessrio, resultados ou efeitos corretos ou conforme acordados.
Suportabilidade funcional:
capacidade do produto em
prover funes para atender a
necessidades explcitas e
implcitas para as quais foi
concebido.
Adequao funcional: capacidade do produto de software em facilitar a realizao das tarefas e
objetivos do usurio.
Comportamento em relao ao tempo: capacidade do produto de software de fornecer tempos
de resposta e de processamento apropriados, quando o software executa suas funes, sob
condies estabelecidas.
Utilizao dos recursos: capacidade do produto de software de usar tipos e quantidades
apropriados de recursos, quando executa suas funes sob condies estabelecidas.
Eficincia no desempenho:
capacidade do produto de
software de manter um nvel
de desempenho apropriado,
quando usado em condies
especificadas.
Capacidade: Limites mximos de parmetros do sistema (itens que podem ser armazenados,
nmero de usurios concorrentes, largura de banda, velocidade de transaes, tamanho da
base de dados, etc.) que atendem aos requisitos.
Coexistncia: capacidade do produto de software de coexistir com outros produtos de software
independentes, em um ambiente comum, compartilhando recursos comuns.
Compatibilidade: capacidade
do produto de software Possi-
bilitar a troca de informaes
com outras aplicaes e/ou
compartilhar o mesmo ambi-
ente de hardware ou software.
Interoperabilidade: capacidade do produto de software de interagir com um ou mais sistemas
especificados, atravs da troca de informaes e do uso de informaes que so trocadas.
Inteligibilidade: capacidade do produto de software de possibilitar ao usurio compreender se o
software apropriado e como ele pode ser usado para tarefas e condies de uso especficas.
Depende da documentao do software.
Apreensibilidade: capacidade do produto de software de possibilitar ao usurio aprender seu
uso. Depende da documentao do software.
Operabilidade: capacidade do produto de software de possibilitar facilidade ao usurio para
oper-lo e control-lo.
Proteo ao erro do usurio: capacidade do produto de software em proteger o usurio de erros.
Esttica da interface com o usurio: capacidade do produto de software de ser atraente ao
usurio, ao oferecer uma interface com interao agradvel.
Usabilidade: capacidade do
produto de software, uma vez
possuindo efetividade e
eficincia, de ser
compreendido, aprendido,
operado e atraente ao usurio,
quando usado sob condies
especificadas.
Acessibilidade: capacidade do produto de software ser utilizado por um amplo espectro de
pessoas, inclui portadores de necessidades especiais e com limitaes associadas idade.
Maturidade:Capacidade do produto de software de evitar falhas decorrentes de defeitos no
software, mantendo sua operao normal.
Disponibilidade: capacidade do produto de software em ser operacional e acessvel quando seu
uso for requerido.
Tolerncia a falhas:capacidade do produto de software de operar em um nvel de desempenho
especificado em casos de defeitos no software ou no hardware.
Confiabilidade: capacidade do
produto de software executar
suas funes de modo
contnuo.
Recuperabilidade:capacidade do produto de software de restabelecer seu nvel de desempenho
especificado e recuperar os dados diretamente afetados no caso de uma falha.
Confidencialidade: capacidade do produto de software de garantir que os dados sero acessveis
apenas por pessoas que possuem acesso a eles.
Integridade: capacidade do produto de software de evitar o acesso no autorizado para acesso ou
modificao de programas ou dados.
No questionamento: capacidade do produto de software em garantir que a ocorrncia de aes
ou eventos possam ser provados, evitando-se questionamentos futuros.
Responsabilizao: capacidade do produto de software em auditar a rastreabilidade de acesso a
operaes.
Segurana: capacidade do
produto de software de
proteger informaes e dados -
pessoas ou sistemas no
autorizados no podem l-los
nem modific-los e o acesso s
pessoas ou sistemas
autorizados negado.
Autenticao: capacidade do sistema em validar a identidade de um usurio.
Modularidade: capacidade do sistema possuir componentes discretos de modo que uma
modificao em um componente tenha impacto mnimo em outros componentes.
Reusabilidade: capacidade dos componentes do software serem utilizados em outro software ou
na construo de outros componentes/sistemas.
Analisibilidade: capacidade do produto de software de permitir o diagnstico de deficincias ou
causas de falhas, ou a identificao de partes a serem modificadas.
Modificabilidade: capacidade do produto de software de permitir que uma modificao
especificada seja implementada.
Manutenabilidade: capacidade
do produto de software de ser
modificado. As modificaes
podem incluir correes,
melhorias ou adaptaes do
software devido a mudanas
no ambiente e em seus
requisitos ou especificaes
funcionais.
Testabilidade: capacidade do produto de software de permitir que o software,quando
modificado, seja validado.
Adaptabilidade: capacidade do produto de software de ser adaptado para diferentes ambientes
especificados, sem necessidade de aplicao de outras aes ou meios alm daqueles
fornecidos para essa finalidade pelo software considerado.
Qualidade
do
produto
Portabilidade: capacidade do
produto de software de ser
transferido de um ambiente
para outro. Capacidade para ser instalado: capacidade do produto de software para ser instalado em um

ambiente especificado.
Capacidade para substituir: Capacidade do produto de software de ser usado em substituio a
outro produto de software especificado, com o mesmo propsito e no mesmo ambiente.
Efetividade: capacidade do produto de software de permitir que usurios atinjam metas especificadas com acurcia e
completitude, em um contexto de uso especificado.
Eficincia: capacidade do produto de software de permitir que seus usurios empreguem quantidade apropriada de recursos em
relao efetividade obtida, em um contexto de uso especificado.
Utilidade: grau em que o usurio percebe que o software auxilia na execuo de suas atividades.
Credibilidade: grau de confiana que usurio tem no correto comportamento do sistema.
Agradabilidade: grau de contentamento do usurio no uso do software.
Satisfao: capacidade do
produto de software de
satisfazer usurios, em um
contexto de uso especificado.
Conforto: grau de conforto fsico no uso do software.
Mitigao de riscos econmicos: grau em que o software reduz potenciais riscos de natureza
financeira, de operaes, de propriedade ou de reputao em seu contexto de uso.
Mitigao de riscos de segurana e sade: grau em que o software reduz potenciais riscos a
pessoas em seu contexto de uso.
Ausncia de riscos: capacidade
do produto de software de
apresentar nveis aceitveis de
riscos de danos a pessoas,
negcios, propriedades ou ao
ambiente.
Mitigao de riscos ambientais: grau em que o software reduz potenciais riscos ao ambiente em
seu contexto de uso.
Completude de contexto: grau em que o software utilizado em todos os contextos de uso (por
exemplo: com uso de um monitor de baixa resoluo, com baixa taxa de acesso rede, por
um usurio inexperiente ou sem acesso rede).
Qualidade
em
uso
Cobertura de contexto:
capacidade do produto de
software ser utilizado em seu
contexto de uso e alm
daqueles inicialmente
especificados.
Flexibilidade: grau em que o software utilizado alm de seu contexto previsto de uso (se um
software no foi projetado para flexibilidade, pode no ser seguro em contextos no
planejados).
Fonte: adaptado de ISO(2011)

4. A estrutura do modelo de avaliao para sistemas de informao em sade
A estrutura do modelo de avaliao proposto nesse trabalho apresentada na Figura 1.
O modelo de qualidade foi estruturado em trs dimenses: qualidade do produto e qualidade
em uso da norma ISO/IEC 25010 (ISO, 2011), acrescido da dimenso qualidade de servios,
por observar-se a ocorrncia de indicadores dessa dimenso em trabalhos sobre avaliao de
sistemas de informao em sade (Pai e Huang, 2011; Hubner-Bloder e Ammenwerth, 2009;
Ribire et al., 1999; DeLone e McLean, 2003). A opo pelo uso na norma ISO/IEC 25010,
nesse trabalho, deu-se por sua estrutura abrangente e atual, quando comparada com outros
modelos de qualidade analisados (Associao Brasileira de Normas Tcnicas, 2003; Centro de
Tecnologia da Informao Renato Archer, 2012; DeLone e McLean, 2003; McCall, Richards
e Walters, 1977 apud Pressman, 2010).

Figura 1. Estrutura do modelo de avaliao

basepara
aplicaode
possuidimenses
avaliadosem
aplicamse
a
Doc.Requisitos
Docum.Tcnica
Padres
Benchmarks
Sistemade
Informao
Caractersticase
subcaractersticas
dequalidade
Escalas
expressamseem
aplicamse
a
estruturadosem
Qualidadedeservios
Qualidadeemuso
Qualidadedoproduto
Procedimentos
deinspeo
Questes
basepara
Stakeholders
Gestores
Profissionaisdesade
Pacientes/usurios
ProfissionaisdeTI
possuem
apoiama
construode
Indicadoresde
qualidade
Questionriosde
avaliao
utilizam/mantm
Mtricas
Modelode
Qualidade
refinamseem

As dimenses do modelo de qualidade detalham-se em um conjunto de atributos as

caractersticas e subcatersticas de qualidade, bases para a especificao de requisitos de
qualidade para os processos de avaliao. Os indicadores de qualidade so utilizados para
mensurao das caractersticas de qualidade, por meio de um conjunto de questionrios e
procedimentos de inspeo de software, aplicveis aos sistemas de informao em sade a
seus diferentes stakeholders. Como stakeholders, o modelo inclui:
Gestores: usurios do sistema em seu nvel estratgico;
Profissionais de sade: usurios do sistema em nveis ttico e operacional;
Pacientes: usurios que acessam sistemas apenas para consultas, como usurios do
sistema de sade;
Profissionais de Tecnologia da Informao: compem o staff tcnico do sistema;
inclui desenvolvedores, manutenedores, profissionais de suporte tcnico ou afins.
Cada questionrio de avaliao estruturado em conjunto de questes, para uso em
entrevistas com usurios. Um procedimento de inspeo utiliza uma ou mais mtricas de
software para avaliar objetivamente seu indicador e pode incluir anlise documental,
teste/simulao do software ou medio/ensaio de desempenho. As questes e mtricas so
avaliadas em escalas apropriadas, com critrios e pontuao definidos e podem utilizar
elementos de documentao do sistema, padres ou benchmarks de referncia, documentao
de requisitos ou documentao tcnica em sua estruturao ou mensurao.

5. A etapa de seleo de indicadores de qualidade para sistemas de informao em sade
Foi conduzido um processo de pesquisa em bases de dados para seleo de trabalhos
relevantes que apresentassem indicadores de qualidade para uso no instrumento de avaliao.
Conforme procedimento metodolgico descrito na etapa 2 da Seo 2, foram selecionados
sete trabalhos, dos seguintes autores: Hbner-Bloder e Ammenwerth (2009), Ribire et al.
(1999), Pai e Huang (2011), Otieno et al. (2008), Viitanen et al. (2011), Anderson e Aydin
(2005) e Lima et al. (2009).
Hbner-Bloder e Ammenwerth (2009) identificaram indicadores chaves para
realizao de benchmarks em sistemas de informao para hospitais com o uso da tcnica
Delphi, aplicada a um painel de especialistas da ustria, Alemanha e Sua. Delphi uma
tcnica para conduo de questionrios, composta por vrios estgios, com o objetivo obter
consensos a partir das opinies de um grupo, e tem sido frequentemente aplicada para tomada
de decises na rea de sade (Hasson, Keeney e McKeena, 2000).
No trabalho de Hbner-Bloder e Ammenwerth(2009), ocorreram trs rodadas de
questionrios. A primeira, de natureza qualitativa, com questes abertas para coletar opinies
de um conjunto de especialistas sobre indicadores de avaliao para sistemas de informao
para hospitais. O segundo questionrio foi de caracterstica quantitativa, com escala Likert de
quatro pontos, que foi submetido aos gestores para se avaliar a importncia de cada indicador
identificado na primeira rodada. Os resultados da segunda rodada foram reenviados aos
gestores para permitir que suas opinies fossem reavaliadas. Como resultado, foram
identificados 77 indicadores de avaliao, organizados em oito categorias: qualidade tcnica,
qualidade de software, qualidade da arquitetura e da interface, qualidade do fornecedor de TI,
qualidade do departamento de suporte de TI, qualidade do suporte ao fluxo de trabalho,
qualidade em resultados de TI e Custos de TI.
Ribire et al. (1999) desenvolveram um conjunto de questionrios para avaliar o nvel
de satisfao de diferentes grupos de usurios de sistemas de informao, organizado em seis
dimenses: qualidade dos servios entregues pelo sistema, qualidade do sistema (interface,
funes e desempenho), qualidade da informao e sentido global de satisfao do usurio.
Cada dimenso dividida em um conjunto de fatores que agrupam uma lista de questes, em

um total de vinte e oito fatores. Em cada fator, o usurio expressa seu nvel de satisfao em
uma escala de Likert de sete pontos para um conjunto de questes.
Pai e Huang (2011) conduziram um processo de avaliao de sistemas de informao
em sade em Taiwan, por meio da aplicao de questionrios em cem hospitais distritais. O
questionrio baseou-se no modelo de DeLone e McLean (2003), composto de seis variveis:
qualidade da informao, qualidade de servios, qualidade do sistema, utilidade do sistema,
facilidade de uso e inteno de uso, contendo questes com respostas da escala de Likert de
cinco pontos.
Otieno et al. (2008) propuseram um framework de avaliao para sistemas de
informao que incluem registro mdico eletrnico (EMR), que foram respondidos por
gestores e usurios de vinte hospitais no Japo, incluindo hospitais governamentais, semi-
governamentais, privados e universitrios. O framework tambm se baseou no modelo de
DeLone e McLean (2003) e foi estruturado em cinco dimenses: qualidade do sistema,
qualidade da informao, qualidade dos servios, utilizao e satisfao do usurio. Os
questionrios de avaliao foram aplicados aos seguintes stakeholders: coordenador de
informtica, coordenador mdico, coordenador de enfermagem, mdico e enfermeiro.
Viitanen et al. (2011) desenvolveram um estudo sobre uma avaliao de abrangncia
nacional, na Finlndia, em hospitais de nveis secundrio e tercirio. Os sistemas desses
hospitais foram avaliados por 3929 mdicos para investigar sua usabilidade em sistemas que
incluem o registro mdico eletrnico. O questionrio foi organizado com 32 questes na
escala de Likert de cinco pontos, estruturadas em trs dimenses:
- a compatibilidade entre os sistemas e as tarefas dos profissionais, relacionadas s
funcionalidades dos sistemas, com o desempenho e com a interface com o usurio;
- o suporte para troca de informaes, colaborao e comunicao no trabalho clnico;
- a interoperabilidade e a confiabilidade do sistema.
Para Anderson e Aydin ( 2005), ao se avaliar o impacto de sistemas de informao em
organizaes de sade, deve-se buscar no apenas a compreenso sobre a tecnologia utilizada,
mas tambm a compreenso dos complexos processos sociais e comportamentais da
organizao. A proposta de avaliao de Anderson e Aydin predominantemente qualitativa e
prope doze questes chaves para avaliao de sistemas de informao em sade, que devem
ser desenvolvidas pelos avaliadores com tcnicas adequadas, como entrevistas, observao,
anlise documental ou questionrios.
Lima et al. (2009) investigaram as iniciativas de avaliao da qualidade da informao
dos sistemas de informaes do sistema pblico de sade no Brasil. A pesquisa baseou-se na
busca de artigos publicados em revistas cientficas nas bases ScieLO, LILACS e BVS, e
categorizou os trabalhos sobre qualidade da informao em sistemas de informao dos SIS-
SUS em nove dimenses conceituais: acessibilidade, clareza metodolgica, cobertura,
completude, confiabilidade,consistncia, no duplicidade, oportunidade e validade.

6. A etapa de anlise e estruturao de indicadores
Essa etapa consistiu em avaliar e selecionar os indicadores constantes nos trabalhos
obtidos na etapa anterior e classific-los na estrutura do modelo de qualidade proposto nesse
trabalho. Como forma de sistematizar o instrumento de avaliao, a estrutura da norma
ISO/IEC 25010 (ISO, 2011), acrescida da dimenso Qualidade de Servios, foi empregada
como um gabarito: um container que agregou e classificou cada indicador observado nos
trabalhos selecionados em sua estrutura de caractersticas e subcaractersticas.
A Figura 2 descreve o processo de mapeamento de indicadores para estruturao do
modelo de avaliao proposto: cada indicador de cada trabalho foi inspecionado, por meio da
anlise de sua semntica e, se aplicvel s variveis do modelo proposto, foi classificado em
uma dimenso, caracterstica e subcaracterstica de qualidade.

Houve situaes em que um mesmo indicador foi proposto por diferentes autores,
assim como, em alguns casos, mais de um indicador proposto por um dado autor foi mapeado
para um nico no modelo proposto. Os casos de indicadores que no foram utilizados deveu-
se no aplicabilidade no contexto do SUS, a dificuldades de se obter informaes para
quantificar o indicador ou subjetividade.

Figura 2. Processo de mapeamento na estruturao do modelo de avaliao

























Como resultado, essa etapa gerou uma lista de indicadores de qualidade, estruturados
nas variveis do modelo de qualidade, base para elaborao de questionrios de avaliao
aplicveis aos grupos de usurios dos sistemas, e de procedimentos de inspeo, aplicveis
aos profissionais de tecnologia da informao mantenedores das aplicaes. O Quadro 3 dessa
Aplicveisa
Stakeholders
Trabalhossobreindicadoresparasistemasdeinformaoemsade
Qualidade
dos
servios
Qualidadeemuso
Caracterstica1
subcaracterstica1.1
...
subcaracterstica1.n
...
caracterstican
subcaracterstican.1
...
subcaracterstican.n
Qualidadedeproduto
caracterstica1
subcaracterstica1.1
...
subcaracterstica1.n
...
caracterstican
subcaracterstican.1
...
subcaracterstican.n
Limaetal.(2009)
Indicador1
...
Indicadorn
AndersoneAydin(2005)
Indicador1
...
Indicadorn
Viitanenetal.(2011)
Indicador1
...
Indicadorn
Otienoetal.(2008)
Indicador1
...
Indicadorn
Ribireetal.(1999)
Indicador1
...
Indicadorn
HubnerBlodere
Ammenwerth(2009)
Indicador1
...
Indicadorn
PaieHuang(2011)
Indicador1
...
Indicadorn
Anlisesemnticaeclassificao
OindicadoraplicvelaosSIS?Emqual
dimenso/caracterstica/subcaractersticadequalidade?
Questionriosde
avaliao
paracadaindicadordecadatrabalho
classificaodoindicador
Modelodequalidade
Profissionais
desade
Profissionais
deTI
Pacientes/
usurios
Baseparaestruturaode
Aplicveisa
Sistemasdeinformao(SISSUS)
(mantenedoresdeaplicaes)
ProcedimentosdeInspeo
(aplicaodemtricas)
Testedesoftware
Mediodedesempenho
Anlisedocumental

etapa, com 32 indicadores na dimenso qualidade do produto, 16 na dimenso qualidade em

uso e oito na dimenso qualidade de servios.


Quadro 3. Mapeamento de indicadores na estruturao do instrumento de avaliao.
Dimenses Caractersticas Subcaractersticas/Indicadores Mododeavaliao
A informao tratada pelo sistema atende s
necessidadesdousurio[1][2][3][4][5][6]
Questionriodeavaliao
Procedimentodeinspeo
O sistema oferece suporte/auxilia para tomada de
deciso[2][4][5]
Questionriodeavaliao
Procedimentodeinspeo
O sistema obedece a normas legais de informao
(CID10,DRG,transmissodedados,etc.)[3]
Questionriodeavaliao
Procedimentodeinspeo
O sistema auxilia na preveno de erros de
medicao[2]
Questionriodeavaliao
Procedimentodeinspeo
Completeza
funcional
A documentao clnica gerada pelo sistema
corretaecompleta[3]
Questionriodeavaliao
Procedimentodeinspeo
Corretude
funcional
O sistema disponibiliza a informao correta
[1][4][7]
Questionriodeavaliao
Procedimentodeinspeo
suportabilidade
funcional
Adequao
funcional
O sistema integra processos de diferentes
reas/departamentos[4][6]
Questionriodeavaliao
Procedimentodeinspeo
Odesempenhodosistemasatisfatrio:osdados
so processados em um perodo de tempo
aceitvel/O sistema responde rapidamente s
entradas[2][3][4][7]
Questionriodeavaliao
Procedimentodeinspeo
Otempodeautenticaoparaacessoaosistema
adequado[2][3]
Questionriodeavaliao
Procedimentodeinspeo
Eficinciano
desempenho
Comportamento
emrelaoao
tempo
A documentao clnica gerada pelo sistema
atendesrestriesdetempoexigidas[3]
Questionriodeavaliao
Procedimentodeinspeo
Coexistncia
O sistema prov acesso a seus dados a partir de
outrossistemas[5]
Questionriodeavaliao
Procedimentodeinspeo
Compatibilidade
Interoperabilidade
Osistemapodeestarintegradoouconectadopara
acessarinformaesdeoutrossistemas[1][2][3][4]
Questionriodeavaliao
Procedimentodeinspeo
O sistema disponibiliza manuais, tutoriais ou
documentao para treinamento/acesso a dados
e/ouhelponline[3][4][7]
Questionriodeavaliao
Procedimentodeinspeo
Apreensibilidade
A aprendizagem do sistema no exige um longo
treinamento[2]
Questionriodeavaliao
O sistema de utilizao fcil/intuitiva
[1][2][3][4][7]
Questionriodeavaliao
Procedimentodeinspeo
A navegao pelo sistema rpida e padronizada
[3][4]
Questionriodeavaliao
Procedimentodeinspeo
O sistema oferece feedback ao usurio para as
tarefasquesoexecutadas[2]
Questionriodeavaliao
Procedimentodeinspeo
Operabilidade
O software permite adaptaes para atender a
necessidades locais/especficas, pelo prprio
usurio[3]
Questionriodeavaliao
Procedimentodeinspeo
Proteoaoerro
dousurio
simples, fcil e seguro corrigir um erro (o
sistemaimplementareversibilidade)[4]
Questionriodeavaliao
Procedimentodeinspeo
Os arranjos dos campos da interface so
ajustveisaotrabalhodousurio[2]
Questionriodeavaliao
Procedimentodeinspeo
A interface (telas/formulrios/entradas de
dados/relatrios/grficos) clara, assim como os
termos e conceitos utilizados no sistema so
clarosesemambiguidades[1][2][4]
Questionriodeavaliao
Usabilidade
Estticada
interfacecom
usurio
O sistema apresenta interface
uniforme/padronizada[3]
Questionriodeavaliao
Osistemaapresentabaixosndicesdechamadosde
manutenodesoftware[3]
Questionriodeavaliao
Procedimentodeinspeo
Ascorrees,melhoriasouatualizaesdeverso
nocausaminstabilidadenosistemaeno
demandamesforosoutempoexcessivos[3]
Questionriodeavaliao
Procedimentodeinspeo
Maturidade
Osistemaconfivel,estvel,enoocorremerros
duranteseuuso[2][5]
Questionriodeavaliao
Procedimentodeinspeo
Qualidade
do
produto

Confiabilidade
Disponibilidade Osistemaencontrasesempredisponvel[3][5]
Questionriodeavaliao
Procedimentodeinspeo

10

Tolernciaafalhas
Osistemapossuirecursosparaarmazenamento
redundantededados[3]
Procedimentodeinspeo
Recuperabilidade
Osistemaapresentabaixonveldeperdadedados
emecanismoseficientesderestauraode
dados[2][3]
Questionriodeavaliao
Procedimentodeinspeo
Segurana
Confidencialidade,
Autenticaoe
Integridade
Nohriscosdeacessonoautorizados
informaesdosistema[4]
Procedimentodeinspeo
Manutena
bilidade
Modularidadee
Modificabilidade
Osoftwareintegrase(comfacilidade)comnovas
funes/sistemas[4]
Procedimentodeinspeo
Osistemaoperaemambientesquesopadresde
mercado(sistemaoperacional,bancodedados,
ferramentasdedesenvolvimento,etc.)[3]
Procedimentodeinspeo
Portabilidade Adaptabilidade
Osistemaapresentaindependnciaemobilidade
paraarmazenamentoerecuperaodainformao
(notebooks,tablets,PDAs,etc)[3]
Procedimentodeinspeo
Eupossoobterasinformaesrelacionadasquenecessitoduranteo
usodosistema[1][4][5][6][7]
Questionriodeavaliao
Procedimentodeinspeo
Asinformaesnosistemaapresentamsecompletas,atualizadas,
padronizadas[4][5][7]
Questionriodeavaliao
Procedimentodeinspeo
Osistemacontribuiefetivamentecomosobjetivosestratgicosdo
gerenciamentodeprofissionais(equipesmdicas,deenfermagem,
administrativas,etc.)[3]
Questionriodeavaliao
Efetividade

Osistemaproduziumelhorianaqualidadedaofertadosserviosde
sade[2][5][6]
Questionriodeavaliao
Osistemapodereduzirotempodetrabalho[1][4]
Questionriodeavaliao
Procedimentodeinspeo
Observasesermaisfcilefluentearmazenarerecuperar
informaescomusodosistema[2][6]
Questionriodeavaliao
Procedimentodeinspeo
Osistemamelhorouogerenciamentodosserviosdesade[6] Questionriodeavaliao
Ousurionoperdetemponaresoluodeproblemastcnicos
associadosaosistema[2]
Questionriodeavaliao
Procedimentodeinspeo
Eficincia

Osistemaeficaz,considerandoseuscustos(custo/benefcio)
[3][4][6]
Questionriodeavaliao
Osistemaimportante:percebesesua
utilidadeemseucontextodeuso[4]
Questionriodeavaliao
Astarefasderotinapodemserrealizadas
demaneirasimplescomousodo
sistema[2]
Questionriodeavaliao
Procedimentodeinspeo

Utilidade

Osistemapodemelhorarminhas
competnciasprofissionais[1]
Questionriodeavaliao
Credibilidade
Osistemaforneceumavisoadequada
sobreasinformaesquemanipula[2]
Questionriodeavaliao
Satisfao
Agradabilidade
Diferentesgruposdeusuriosesto
satisfeitoscomosistema[3][5]
Questionriodeavaliao
Ausnciade
riscos
Segurana/
sade
Nohriscosdousodosistemaafetara
seguranadopaciente[2][6][5]
Questionriodeavaliao
Procedimentodeinspeo
Qualidade
emuso
Coberturade
contexto
Completudedecontexto
Osistemaoperaconformeseuprojeto
[4][6]
Questionriodeavaliao
Procedimentodeinspeo
Humaequipe(staff)parasuporteefetivonousodosistema[4]
Questionriodeavaliao
Procedimentodeinspeo
Humserviodeatendimentoonline(hotline)parasuporteaosistema[4] Procedimentodeinspeo
Aequipedesuporteaosistemaadequadamentedimensionadaparaademanda[3]
Questionriodeavaliao
Procedimentodeinspeo
Aequipedesuporteaodesenvolvimento,manutenoeapoioaousurioqualificada
[3]
Questionriodeavaliao
Procedimentodeinspeo
Emsituaesdedificuldadeostaffdesuporteaosistemapodeauxiliarmena
resoluodeproblemas[1]
Questionriodeavaliao
Procedimentodeinspeo
Ostaffdesuporteaosistemaatuaadequadamentenaresoluodeproblemas[1]
Questionriodeavaliao
Procedimentodeinspeo
Oprocessamentodesolicitaesdemudanasrequeridasparaosistema
adequado(tempo,modificaes,aberturaparticipaodousurio)[3][4]
Questionriodeavaliao
Qualidade
deservios
Aequipedesuporteaosistemaoferecetreinamento/qualificaoparaseuuso
[3][6][4]
Questionriodeavaliao
Procedimentodeinspeo
Legenda: [1] Pai e Huang (2011) [2] Viitanen et al. (2011) [3] Hubner-Bloder e Ammenwerth (2009) [4]

11

Ribire et al. (1999) [5] Otieno et al. (2008) [6] Anderson e Aydin (2005) [7] Lima et al. (2009).
O mapeamento dos indicadores para o modelo de qualidade do instrumento de
avaliao, descrito no Quadro 3, mostrou que os indicadores selecionados cobrem a quase
totalidade das caractersticas de qualidade do modelo, porm, observou-se que:
Os tens concentram-se predominantemente em suportabilidade funcional, usabilidade,
confiabilidade, compatibilidade, qualidade em uso (predominantemente em
efetividade, eficincia e utilidade) e qualidade de servios;
As caractersticas de qualidade segurana e manutenabilidade apresentaram baixa
cobertura de indicadores (um indicador em cada uma dessas subcaractersticas);
As demais caractersticas (eficincia no desempenho, portabilidade, cobertura de
Contexto, satisfao e ausncia de riscos) concentraram indicadores em algumas
subcaractersticas ou tambm apresentam baixa cobertura.
Para complementao do modelo de avaliao nos atributos de qualidade com
carncia de indicadores, outros 10 indicadores foram propostos pelo autor, descritos no
Quadro 4. A proposio de novos indicadores apoiou-se na leitura das normas ISO/IEC 25023
(ISO, 2011) e ISO/IEC 9123-3 (ISO, 2003), que estabelecem mtricas de avaliao para a
dimenso de qualidade de produto de software. Com a incluso desses indicadores, foram
cobertas todas as subcaractersticas da dimenso qualidade do produto, com exceo de:
Utilizao de recursos: esta varivel refere-se a medidas de uso de processador,
memria e dispositivos de entrada e sada, aplicveis principalmente a sistemas de
tempo real, em que a falta desses recursos pode causar efeitos severos para a operao
do sistema, mas considerados no to crticos s aplicaes transacionais, como os
sistemas de informao em sade;
Inteligibilidade: esta varivel associa-se propriedade do software de possuir
elementos, em sua documentao, que possibilitem ao usurio compreender se o
software apropriado s suas atividades e como pode ser utilizado em suas tarefas,
muito til em contextos de seleo ou benchmark de produtos de software. Como os
SIS j so estruturados com orientao s tarefas de profissionais, esta propriedade
tambm foi considerada no crtica;
Capacidade para substituir: refere-se a propriedades que o software possui para
substituir outro sistema existente, como facilidades para migrao de dados, para
incluso de funcionalidades em substituio a outras anteriormente implantadas e
adaptabilidade s interfaces da aplicao anterior. Essa propriedade tambm no se
aplica ao contexto dos SIS.

Quadro 4. Indicadores para avaliao de qualidade propostos pelo autor
Dimenses/caractersticas/subcaractersticas
Indicadorespropostospeloautor
Eficinciano
desempenho
Capacidade Osistemaprovaosseususuriosacessosimultneoadequado,com
desempenhosatisfatrio.
Osistemaimplementaaverificaodevaloresvlidosementradas
dedados.
Proteoaoerrodo
usurio
Osistemaevitaoperaesincorretas. Usabilidade
Acessibilidade Osistemaincluifacilidadesdeacessoparausurioscom
necessidadesfsicasespeciaisouporidade.
Noquestionamento Osistemaincluiassinaturadigital.
Segurana
Responsabilizao Osistemapossuimecanismosdeauditoria/rastreabilidade.
Reusabilidade Osistemapossuicomponentesdesoftwarereutilizveis.
Analisabilidade Exigesepoucoesforoparalocalizarcausasdefalhasnosoftware. Manutenibilidade
Testabilidade Osistemapodesereficazmentetestadoapsumamodificao.
Qualidade
doproduto
Portabilidade
Capacidadeparaser
instalado
Ainstalaodosistemanoambientedousuriofcilerpida.

12

Ao final dessa etapa, espera-se que o modelo de avaliao tenha abrangido os

principais aspectos de qualidade no domnio de sistemas de informao em sade, ao agregar
um elenco holstico de indicadores para composio de questionrios de avaliao e
procedimentos de inspeo de software, previstos em sua arquitetura.

7. Consideraes finais
No Brasil, a implantao do SUS trouxe uma perspectiva moderna para o sistema
pblico de sade, por meio da estruturao de uma rede hierarquizada de atendimento e de
uma poltica de descentralizao das aes de sade, que busca eficincia e autonomia aos
gestores para tomadas de deciso. Atravs de uma poltica de gesto pactuada, busca-se
consolidar a equidade social (Fadel et al., 2009). No entanto, trabalhos que fazem referncia
ao uso dos SIS sugerem que uma infraestrutura de tecnologia da informao para o SUS, que
oferea suporte adequado para sua gesto, ainda um desafio para a administrao pblica.
Este artigo apresenta um modelo de avaliao para sistemas de informao em sade
que possa ser aplicado aos SIS-SUS e descreve as atividades de seleo, anlise e
estruturao dos indicadores para as caractersticas de qualidade. O processo de seleo de
indicadores de qualidade para sistemas de informao em sade baseou-se em trabalhos da
literatura e foi complementado pelo autor, com base em normas ISO para mtricas de
software. A arquitetura do modelo proposto prev procedimentos de avaliao orientados a
stakeholders com interesses conflitantes, por meio de questionrios de avaliao para os
diferentes tipos de usurios dos sistemas e procedimentos de inspeo aplicveis aos
profissionais de TI responsveis por sua manuteno.
A formulao de questes de avaliao e estruturao de questionrios segmentados
aos diferentes stakeholders e a proposio de mtricas de software para os indicadores de
qualidade selecionados para o modelo so as prximas etapas previstas para esse projeto, com
definio de escalas e regras de medio apropriadas, para os questionrios de avaliao e
procedimentos de inspeo. Em sequncia, ser desenvolvido um estudo piloto de avaliao,
para verificar a efetividade do instrumento. Para validao do modelo, planeja-se submet-lo
a um painel de especialistas, juntamente com os resultados do estudo piloto.
Ao propor um novo modelo para avaliao de sistemas de informao em sade, este
trabalho poder contribuir como mais uma referncia para estudos que envolvam processos de
avaliao da qualidade tcnica de softwares em sade e agregar contedo e/ou fornecer
subsdios para projetos que tratem da normatizao de planos de avaliao e monitoramento
de qualidade de sistemas e dados em sade e em projetos de melhoria de ativos de software
para gesto da sade pblica no Brasil.

Referncias
ABNT. ASSOCIAO BRASILEIRA DE NORMAS TCNICAS. NBR ISO/IEC 9126-
1:2003 - Engenharia de software - Qualidade de produto -Parte 1: Modelo de qualidade. Rio
de Janeiro: ABNT, 2003.
ALMEIDA, M. F.; ALENCAR, G. P.; SHOEPS, D. Sistema de informaes sobre Nascidos
Vivos Sinasc: Uma avaliao de sua trajetria. In: BRASIL. Ministrio da Sade. A
experincia brasileira em sistemas de informao em sade. Volume 1. Ministrio da
Sade:Organizao Pan-Americana da Sade:Fundao Oswaldo Cruz. Braslia : Editora do
Ministrio da Sade, p. 11-37, 2009.
ANDERSON, J.; AIDYN, C. E. Evaluating the organizational impact of healthcare
information systems. New York:Springer, 2005.

13

BARBOSA, D. C. M. Sistemas de Informao em Sade: A percepo e a Avaliao dos

Profissionais envolvidos na Ateno Bsica em Ribeiro Preto-SP. 2006. 100 f. Dissertao
(Mestrado). Faculdade de Medicina de Ribeiro Preto. Universidade de So Paulo, 2006.
BARBUSCIA, D. M.; RODRIGUES JNIOR, A. L. Completude da informao nas
declaraes de nascido vivo e nas declaraes de bito, neonatal precoce e fetal, da regio de
Ribeiro Preto, So Paulo, Brasil, 2000-2007. Cadernos de Sade Pblica, Rio de Janeiro,
,n. 27, v. 6, p.1192-1200, 2011.
BITTENCOURT, S. A.; CAMACHO, L. A. B.; LEAL, M. C. Sistema de informao
hospitalar e sua aplicao na sade coletiva. Cadernos de Sade Pblica, n. 22, v.1, p. 19-
30. Rio de Janeiro. 2006.
BORDIGNON, M. O. Informao em sade: potencializao e sentido. In: BORDIN, R, et
al., organizadores. Prticas de gesto em sade: em busca da qualidade. Porto Alegre:
Dacasa, 1996.
BRASIL. Constituio da Repblica Federativa do Brasil de 1988. Disponvel em
<http://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm>. Acesso em
01.jan.2013.
______. Lei n 8.080, de 19 de setembro de 1990. Casa Civil da Presidncia da Repblica.
Disponvel em <portal.saude.gov.br/portal/arquivos/pdf/lei8080.pdf>. Acesso em 15 abr.
2012.
______. Lei n 8.142, de 28 de dezembro de 1990. Casa Civil da Presidncia da Repblica.
Disponvel em <http://www.planalto.gov.br/ccivil_03/leis/L8142.htm>. Acesso em 15 abr.
2012.
______. Norma Operacional Bsica/SUS n 01/91. Instituto Nacional de Assistncia Mdica
da Previdncia Social. Resoluo n 258, de 07 de janeiro de 1991. Disponvel em
<http://siops.datasus.gov.br/Documentacao/Resoluo 258_07_01_1991.pdf> . Acesso em 15
abr. 2012.
______. Norma Operacional Bsica/SUS n 01/93. Ministrio da Sade. Portaria n
o
545, de
29 de Maio de 1993. Disponvel em <http://siops.datasus.gov.br/Documentacao/Portaria
545_20_05_1993.pdf>. Acesso em 15 abr. 2012.
______. Norma Operacional Bsica/SUS n 01/96. Ministrio da Sade. Disponvel em
<http://portal.saude.gov.br/portal/arquivos/pdf/nob96.pdf>. Acesso em 15 abr. 2012.
______. Norma Operacional Bsica/SUS n 01/98. Ministrio da Sade. Instruo
Normativa n 01/98 de 02 de janeiro de 1998. Disponvel em
<http://portal.saude.gov.br/portal/arquivos/pdf/in98.pdf>. Acesso em 15 abr. 2012.
______. Norma Operacional de Assistncia Sade/NOAS-SUS n 01/2001. Ministrio da
Sade. Portaria n 95, de 26 de janeiro de 2001. Disponvel em
<http://www.brasilsus.com.br/index.php?option=com_content&view=article&id=13475>.
Acesso em 15 abr. 2012.
______. Norma Operacional de Assistncia Sade/NOAS-SUS n 01/2002. Ministrio da
Sade. Portaria n 373, de 27 de fevereiro de 2002. Disponvel em

14

<http://bvsms.saude.gov.br/bvs/saudelegis/gm/2002/prt0373_27_02_2002.html>. Acesso em
15 abr. 2012.
______. Portaria n
o
399/GM, de 22 de fevereiro de 2006. Ministrio da Sade. Pacto pela
Sade. Divulga o Pacto pela Sade 2006 Consolidao do SUS e aprova as diretrizes
operacionais do referido pacto. Disponvel em
<http://dtr2001.saude.gov.br/sas/PORTARIAS/Port2006/GM/GM-399.htm>. Acesso em 15
abr. 2012.
______. Portaria n
o
699/GM, de 30 de maro 2006. Ministrio da Sade. Pacto pela Sade.
Regulamenta as diretrizes operacionais dos pactos Pela Vida e de Gesto. Disponvel em
<http://portal.saude.gov.br/portal/arquivos/pdf/Portaria_699_2006.pdf>. Acesso em 15 abr.
2012.
______. Diretrizes operacionais dos pactos pela vida, em defesa do SUS e de gesto.
Documento pactuado na reunio da Comisso Intergestores Tripartite do dia 26 de janeiro de
2006 e aprovado na reunio do Conselho Nacional de Sade do dia 09 de fevereiro de 2006.
Braslia:Ministrio da Sade, 2006. Disponvel em
<http://portal.saude.gov.br/portal/arquivos/pdf/volume_1_completo.pdf>. Acesso em 30 set.
2012.
______. Portaria n
o
325, de 21 de fevereiro de 2008. Ministrio da Sade. Disponvel em
<http://dtr2001.saude.gov.br/sas/PORTARIAS/Port2008/GM/GM-325.htm>. Acesso em 29
ago. 2012.
______. Portaria n
o
2669, de 3 de novembro 2009. Ministrio da Sade. Disponvel em
<http://portalweb04.saude.gov.br/sispacto/portaria2669_versao_impressao.pdf>. Acesso em
29 ago. 2012.
______. A experincia brasileira em sistemas de informao em sade. Volume 1.
Ministrio da Sade: Organizao Pan-Americana da Sade:Fundao Oswaldo Cruz.
Braslia: Editora do Ministrio da Sade, 2009.
______. Decreto n 7.508, de 28 de junho de 2011. Casa Civil da Presidncia da Repblica.
Disponvel em <http://www.planalto.gov.br/ccivil_03/_ato2011-
2014/2011/decreto/D7508.htm>. Acesso em 12 out. 2012.
______. Ministrio da Sade. Departamento de Informtica do SUS (DATASUS-Stio
institucional). Disponvel em: <http://www2.datasus.gov.br/DATASUS/index.php>. Acesso
em: 24 mar. 2013.
BRITO E SILVA, K. S. et al. Conhecimento e uso do Sistema de Informaes sobre
Oramentos Pblicos em Sade (SIOPS) pelos gestores municipais, Pernambuco, Brasil.
Cadernos de Sade Pblica, Rio de Janeiro, n. 26, v. 2, p. 373-382, 2010.
CTI. Centro de Tecnologia da Informao Renato Archer. Software Pblico Brasileiro.
Disponvel em <http://www.cti.gov.br/software-publico-dtds.html>. Acesso em 30.dez.2012.
DAM, P. K. V. et al.. Sistema de Vigilncia Alimentar e Nutricional (SISVAN) em crianas
do Rio Grande do Sul, Brasil: cobertura, estado nutricional e confiabilidade dos dados.
Cadernos de Sade Pblica, n. 27, v.11, p. 2155-2165, 2011.

15

DeLONE, W. H.;McLEAN, E. R. The DeLone and McLean Model of Information Systems

Success: A Ten-Year Update. Journal of Management Information Systems, v.19, p 9-30,
2003.
FARIAS, L. M. M. et al.. Os limites e possibilidades do Sistema de Informao da
Esquistossomose (SISPCE) para a vigilncia e aes de controle. Cadernos de Sade
Pblica, Rio de Janeiro, n.27, v. 10, p. 2055-2062, 2011.
FADEL, C. B. Administrao pblica: o pacto pela sade como uma nova estratgia de
racionalizao das aes e servios em sade no Brasil. Revista de Administrao Pblica,
v. 43, n. 2, p. 445-456, 2009.
FIGUEIREDO, L. A. Anlise da utilizao do Sistema de Informao em Ateno Bsica
SIAB pelos coordenadores da Ateno Primria Sade na tomada de deciso. 2009.
121f. Dissertao (Mestrado) Escola de Enfermagem de Ribeiro Preto. Universidade de
So Paulo, Ribeiro Preto, 2009.
HASSON, F.; KEENEY, S.; McKEENA, H. Research guidelines for the Delphi survey
technique. Journal of Advanced Nursing, v. 32, p. 1008-1015, 2000.
HBNER-BLODER, G.; AMMENWERTH. E. Key Performance Indicators to Benchmark
Hospital Information Systems A Delphi Study. Methods of Information in Medicine. v. 6,
p. 508-518, 2009.
ISO. International Organization for Standardization. ISO/IEC TR 9126-3. Software
engineering Product Quality part 3: Internal metrics. 2003.
ISO. International Organization for Standardization. ISO/IEC 25010. Systems and software
engineering -systems and software Quality Requirements and Evaluation (SQuaRE) - System
and software quality models. 2011.
ISO. International Organization for Standardization. ISO/IEC 25023. Systems and software
engineering -systems and software Quality Requirements and Evaluation (SQuaRE)
Measurement of system and software product quality. 2011b.
LIMA, C. R. A. et al.. Reviso das dimenses de qualidade dos dados e mtodos aplicados na
avaliao dos sistemas de informao em sade. Cadernos de Sade Pblica, n. 25, v. 10, p.
2095-2109, 2009.
MORAES, I. H. S. Informaes em sade: da prtica fragmentada ao exerccio da cidadania.
So Paulo: Hucitec, 1994.
MORAES, I. H. S. Sala de Situao em Sade: contribuio ampliao da capacidade
gestora do Estado? In: OPAS. Sala de Situao em Sade: compartilhando as experincias
do Brasil. Braslia:Organizao Pan-Americana da Sade:Ministrio da Sade, 2010.
MOTA, F. R. L. Registro de informao no sistema de informao em sade: um estudo
das bases SINASC, SIAB e SIM no estado de Alagoas. 2009. 265f. Tese (Doutorado em
Cincia da Informao) Escola da Cincia da Informao, Universidade Federal de Minas
Gerais, Belo Horizonte, 2009.

16

OTIENO, G. O. et al.. Measuring effectiveness of electronic medical records systems:

Towards building a composite index for benchmarking hospitals. International Journal of
Medical Informatics. v. 77, p. 657-669, 2008.
PAI, F-Y.; HUANG, K-I. Applying the Technology Acceptance Model to the introduction of
healthcare information systems. Technological Forecasting & Social Change, v. 78, p.650
660, 2011.
PRESSMAN, R. S. Software Engineering: a Practitioners Approach. New York:McGraw-
Hill, 2010.
RIBIRE, V. et al.. Hospital Information Systems Quality: A Customer Satisfaction
Assessment Tool. In: Proceedings of the 32nd Hawaii International Conference on System
Sciences. Havaii, 32., 1999, Anais, Havaii, IEEE, 1999.
SOUZA, R. C.; FREIRE, S. M.; ALMEIDA, R. T. Sistema de informao para integrar os
dados da assistncia oncolgica ambulatorial do Sistema nico de Sade. Cadernos de
Sade Pblica, n. 26, v. 6, p.1131-1140, 2010.
THAINES, G. H. L. S. et al.. Produo, fluxo e anlise de dados do sistema de informao em
sade: um caso exemplar. Texto & Contexto Enfermagem. v. 18, n. 3, p. 466-474, 2009.
VIDOR, A. C.; FISHER, P. D.; BORDIN , R. Utilizao dos sistemas de informao em
sade em municpios gachos de pequeno porte. Revista de Sade Pblica, n. 45, p.24-30,
2011.
VIEIRA, F. S. Avanos e desafios do planejamento no Sistema nico de Sade. Cincia &
Sade Coletiva, n. 14, p. 1565-1577, 2009.
VIITANEN, J. et al.. National questionnaire study on clinical ICT systems proofs: Physicians
suffer from poor usability. International Journal of Medical Informatics, v. 80, p. 708
725, 2011.