Você está na página 1de 13

1

Mtricas para Avaliao de Sistemas de Informao


Raquel Dias
Instituto de Cooperao e Assistncia Tcnica da AEUDF Av. W4 Sul - Q 704 Braslia DF
raquel_dias@directnet.com.br
Resumo - O objetivo deste artigo apresentar um modelo simplificado para avaliao da qualidade de
sistema de informao. O modelo est baseado na observao do comportamento do consumidor de bens e
servios, e enfoca os aspectos ambientais que influenciam o processo de tomada de deciso de tais agentes.
Este artigo, alm de apresentar um modelo capaz de prever demandas futuras de usurios reincidentes,
mostra a importncia da existncia de mtricas, objetivas, para o gerenciamento da qualidade durante o
processo de desenvolvimento de sistemas de informao, descreve um modelo para avaliao de tais
sistemas baseado nos princpios da utilidade, usabilidade e qualidade.
Palavras-chave: Mtricas , Avaliao de Sistemas, Qualidade de Sistemas de Informao
Abstract - The objective of this paper is to propose a simplified model for evaluation of quality of systems of
information. The model is based on the observation of the consumer's of goods behavior and services, and it
focuses the environmental aspects that influence the process of taking of such agents' decision. This work,
besides presenting a model capable to foresee recurrent users' future demands, shows the importance of the
existence of metric, objective, for the management of the quality during the process of development of systems
of information, and it describes a model for evaluation of such systems based on the beginnings of the
usefulness, usability and quality.
Key-words: Metrics, Information systems evaluation,quality of information systems
Introduo
Existem mltiplas dimenses relacionadas
com o uso de sistemas de informao que podem
ser quantificadas. Pode-se utilizar monitores em
rede local, rede servidora ou mainframe e sistema
de gerenciamento de rede ou analisador de
trfego quando se define a utilizao como uma
percentagem de capacidade, ou em termos
absolutos, baseada estritamente no nmero de
usurios conectados ao sistema. Pode-se tambm
adotar um modelo de desempenho do sistema
usando ferramentas de modelagem. Existem
vrias ferramentas de simulao para modelos de
diferentes nveis de utilizao do sistema de
informao, e para fazer estimativas do
desempenho do sistema em vrios nveis de uso
ou saturao.
Vrios indicadores tradicionais de desempenho de
centro de dados podem retratar a qualidade de um
sistema de informao, dentre eles destacamos:
percentual de uso do processador central.
Quantidade de acessos diretos na unidade de
armazenamento .
Espao de disco acessado durante
determinado perodo de tempo.
Uso de fita.
Uso de impresso.
Outra considerao simplesmente o
desempenho do nvel de servio. Muitos sistemas
de informaes tm um nvel de servio
especificado pela sua disponibilidade para o
usurio final. A contabilizao do tempo em que o
sistema ficou indisponvel durante aquele perodo
em que deveria estar sendo utilizado pelo usurio
final, demonstra uma reduo na disponibilidade
do sistema e, presumidamente, no seu nvel de
utilizao. de se esperar, ento, que muitas
organizaes meam a disponibilidade de seus
sistemas de informao estendendo o significado
dessas medidas para o nvel de utilizao. Esta
medida no entanto pode mascarar a situao real
de saturao do sistema, em termos de
concentrao de usurios acessando o sistema.
Se o sistema est disponvel, somente durante um
curto perodo de tempo, a utilizao pode ser
artificialmente alta, bem superior ao que seria se o
intervalo de tempo fosse o normal.
2
Em resumo, no existe nenhuma medida
global que retrate claramente a utilizao dos
sistemas de informao. A questo tem que ser
pr-definida focalizando determinado interesse de
pesquisa sobre o sistema, por exemplo hardware,
software, redes, e outros, ou o seu foco dever
recair sobre os usurios e usurios em potencial
dos sistemas e se eles usam o sistema, como o
usam, e porque e quando o usam .
Este artigo ressalta a importncia de
mtricas, objetivas, para o gerenciamento de
sistemas de informao, focalizando os usurios
finais do sistema. A qualidade das informaes
bem como a forma em que foram organizadas em
um sistema de informaes pode ser vista
atravs do grau de aceitao do sistema pelos
seus usurios diretos e indiretos. Os usurios
diretos, so aqui representados por aqueles
diretamente afetados pelo sistema, incluindo os
usurios finais, para os quais foram criados os
sistemas. Os usurios indiretos, consistem no
pblico em geral e naqueles que demonstram
interesse em aperfeioar o sistema, incluindo-se
nesta categoria os usurios finais voluntrios,
programadores, analistas, administradores de
bases de dados.
Metodologia
Trata-se de uma pesquisa, exploratria. O
objetivo principal foi o aprimoramento de idias e
a descoberta de intuies. Envolveu, portanto,
levantamento bibliogrfico, anlise de dados
relativos aos usurios que tiveram experincias
prticas com o problema pesquisado e anlise de
resultados da aplicao do modelo.
O levantamento bibliogrfico teve como
objetivo possibilitar a construo de hipteses,
assumindo um carter de estudo exploratrio,
alm de delinear o estado da arte relacionado ao
problema pesquisado. O resultado culminou com
a elaborao de modelo para avaliao de
sistemas de informao focalizando o usurio
final, conforme discutiremos e descreveremos nas
sees seguintes.
Fundamentao Terica
Davis, Bagozzi & Warshow 1989 realizaram
um estudo sobre aceitao das tecnologias de
tratamento automtico da informao onde foram
observadas as opinies dos usurios finais quanto
percepo da utilidade e da facilidade de uso do
sistema, identificados como principais indicadores
da utilizao e satisfao de um sistema de
tratamento automtico da informao. Estes dois
indicadores estariam relacionados diretamente s
variveis ligadas informaes que explicitam
claramente os perfis dos usurios. Neste caso tais
variveis controladas pelo sistema ou
independentes explicam o comportamento do
usurio e suas diferenas individuais. [1] .
Vrios aspectos relacionados s hipteses
de avaliao devem ser observados, tais como a
facilidade de utilizao da ferramenta, que est
relacionada com os aspectos funcionais e
ergonmicos, a utilidade para o decisor referindo-
se ao impacto da informao ligada necessidade
para resoluo dos problemas, o efeito provocado
pela freqente utilizao do sistema,o valor do
sistema percebido pelo usurio e por fim, a
verificao do efeito da no-interrupo da
consulta [2]
Ahituy, em 1990, ressaltou a importncia da
existncia da pertinncia da informao como um
aspecto a medir. A informao processada e que
circula deve ser avaliada em termos de utilidade,
qualidade e quantidade. De acordo com Ahituy, o
importante poder avaliar e comparar alternativas
quando se est a ponto de tomar uma deciso
referente criao ou seleo de um sistema de
informaes, ressaltando que os atributos
relacionados com o sistema, tais como tempos,
desempenho, dados, bem como os benefcios
advindos com a utilizao do mesmo devero ser
criteriosamente avaliados. O autor destaca ainda
que em determinadas situaes pode-se optar por
avaliar o sistema de informaes a partir de seus
benefcios e aos custos decorrentes de sua
adoo. Sob este ponto de vista acredita-se que
um sistema de informao sofre influncias de
seus atributos. [3] Ressalta-se principalmente os
atributos relacionados ao tempo, ou seja, a
contabilizao do registro e da rapidez no
processo de recuperao da informao. Outro
aspecto a ser considerado o contedo, no que
diz respeito ao significado da informao e seu
valor agregado percebido pelo usurio para o
processo de tomada de deciso. O aspecto
esttico, ou a forma em que se apresenta a
informao, tambm, nesta abordagem deve ser
observada, bem como o custo. Neste ponto
Ahituy, ressalta no ser muito fcil obter o valor
exato, destacando a existncia de diferentes
mtodos tais como anlises estatsticas e
fronteira eficiente. [4]
3
Lancaster, relatou em 1995 [5], que
referindo-se a Bases de dados em Cd-rom, Jacs
(1992) [6] analisando o gerenciamento da
informao, demonstrou que qualquer avaliao
de sistemas de informaes deve focalizar os
aspectos de Hardware, Software e Dataware
como aspectos distintos
Diante do exposto, sob nosso ponto de
vista, sugerimos considerar que a aceitao de
um sistema pelos seus usurios diretos e
indiretos, dependa, basicamente, das
caractersticas, destacadas a seguir: [7]
valor adicionado
1
, percebido pelos usurios,
resultante do uso da informao obtida do
sistema, visto sob o aspecto do custo e da
importncia da informao no processo
decisrio.
O uso do sistema que est diretamente
relacionado com a Utilidade da informao e
facilidade de acesso atravs do sistema,
destacando a existncia de dois componentes
bsicos relacionados ao contedo (abrangncia
e funcionalidade) e facilidade de uso
considerando o uso obrigatrio por falta de
opo, e o uso voluntrio funo direta da
satisfao de usos anteriores.
custo, que est diretamente relacionado com o
uso do sistema, ou seja o nvel de investimento
realizado pelos usurios durante a utilizao do
sistema. Esta varivel pode ser
operacionalizada por diversas vises. Pela
viso do usurio final pode ser considerada
englobando o custo oportunidade do tempo
gasto pelo usurio na aprendizagem do
sistema, adicionado ao tempo gasto com o uso
propriamente. Pela viso dos analistas de
sistemas, programadores e administradores,
pode-se considerar o valor despendido com o
sistema em termos de hardware, software,
recursos humanos, manuteno, e etc ...
A confiabilidade est diretamente relacionada
com a qualidade, que se desdobra nos fatores
eficincia, Tempestividade e satisfao do
usurio.
importante notar que os conceitos de utilidade,
usabilidade e qualidade, sobre os quais foi
definido o presente modelo de avaliao, aplicam-
se tanto para uma avaliao realizada sob a viso

1
Sob o aspecto de custo trata-se do valor agregado informao
em funo dos custos relativos aos processos adicionais que a
oneram. Sob o aspecto de qualidade trata-se da importncia
atribuda informao no processo de tomada de deciso.
de garantia da qualidade de software, quanto sob
a viso de qualidade da informao. O foco na
satisfao das necessidades do usurio final exige
a utilizao de variveis com alto grau de
subjetividade. Este esquema conceitual pode ser
visualizado atravs da seguinte figura a seguir:
Figura1 - Modelo conceitual para avaliao de
sistemas de informao
Resultados : Mtricas para Avaliao de
Sistemas de Informao.
4
O modelo proposto focaliza o
comportamento do usurio final centrando a
avaliao nas percepes deste quando do uso do
sistema, abordando os valores percebidos por
estes, sua disposio em usar, o custo e a
confiabilidade que o sistema oferece.
Assim,observa-se que o nvel de uso do sistema
est associado aos princpios da utilidade,
usabilidade e da qualidade, que se desdobram em
fatores e subfatores conforme descritos a seguir
Medindo a Abrangncia
Este fator verifica se o software executa
todas as rotinas responsveis pelo seu completo
funcionamento. Avalia-se a correspondncia entre
os procedimentos executados pelo software e as
funes descritas como necessrias para cumprir
com os objetivos do sistema de informao. Sob
a viso da informtica, este fator poder ser
quantificado pela razo entre a quantidade de
rotinas que foram automatizadas, e que
contribuem para o atendimento das necessidades
do usurio e a quantidade total de rotinas
solicitadas pelo usurio.
Sob a viso da Informao, este fator
poder ser quantificado pelo tamanho de sua
base de informaes, sob o aspecto fsico e
temporal. O contedo visto por ONeil em 1988
[8] como um dos muitos fatores que determinam a
qualidade de uma base de informaes.Em 1990
o grupo de usurios da Southern Califrnia online
definiu dez categorias que determinaram a
qualidade de bases de informaes e de servios
[9]. Mintz em 1990 recomendou abrir espao aos
usurios para comentrios que permitam que eles
alertem o operados do sistema online sobre os
erros encontrados, diretamente, no processo de
pesquisa.[10]
Medindo a Funcionalidade
A qualidade funcional do sistema e o
processo usado para desenvolv-lo pode ser
entendida como o conjunto de mtricas,
considerado crtico, para o bom atendimento s
necessidades do usurio final. Cada servio ou
modificao requerida em um sistema representa
uma necessidade para reparar uma deficincia
funcional. A quantidade de correes
funcionais, ento, pode se transformar em uma
mtrica interessante que permite visualizar, de
uma certa forma, o grau de defeitos do sistema.
As exigncias dos usurios finais, cada vez
mais conscientes de seu papel junto s
instituies, sejam como usurios internos ou
externos, contribuem para que os servios
requeridos assumam diversos tamanhos e
complexidades. Pontos de controles podem ser
utilizados para medir cada requisito
2
e dar suporte
ao impacto que as mudanas tero sobre o
sistema todo.
Este fator poder ser quantificado pela
razo entre a quantidade de requisitos atendidos e
a quantidade de requisitos solicitados pelo
usurio, expurgadas as correes solicitadas.
O Princpio da Usabilidade - Medindo o Fator
Usabilidade do Software
A usabilidade no se limita ao projeto da
interface com o usurio [11] [12]. Ela inclui.
facilidade de uso
facilidade de reuso:
eficincia
poucos erros
auto aprendizagem
satisfao e prazer
percepo favorvel do usurio (satisfao do
usurio)
A interface deve ser de fcil uso; o acesso
s informaes deve ser eficiente e deve requerer
um mnimo de tempo e esforo dos usurios
finais. O sistema de informaes deve ser
projetado de tal forma que os erros sejam
minimizados e prximos de zero. O uso do
sistema deve requerer pouco ou nenhum
treinamento oferecendo interface intuitiva,
permitindo a auto aprendizagem. O aspecto
subjetivo da interface igualmente importante
determinando a usabilidade do sistema. A
interface deve ser satisfatria para o usurio e o
seu uso deve ser prazeroso, isto deve resultar em
uma percepo favorvel do sistema, pelo seu
usurio.
Este fator assegura que o software possua
mecanismos que facilitam e viabilizam o uso. Sob
a viso da informtica podero ser avaliados os
seguintes aspectos:
se as entradas realizadas pelo usurio so
minimizadas por valores pr-definidos;

2
Requisito: requerimentos por parte dos usurios definidos como
necessidades a serem atendidas com a operacionalizao do
sistema
5
se existe crtica das entradas antes da
realizao do processamento;
se o usurio pode atualizar os dados j
fornecidos;
se o usurio pode selecionar os dispositivos de
entradas e/ou sadas;
se o formato da sada pode ser definido pelo
usurio;
se as sadas so padronizadas e devidamente
identificadas por cabealhos;
se existe sistema de ajuda;
se o sistema de ajuda relaciona as possveis
falhas e apresenta propostas de solues;
se a documentao abrange todas as tarefas
que o software deve efetuar;
se os procedimentos descritos no manual so
suficientes para executar as tarefas;
se existe material didtico suficiente para
treinamento do usurio;
se o material didtico aborda todas as funes
do software.
Este subfator pode ser quantificado pela
razo entre o nmero de itens que atendem s
especificaes de interface humana e a
quantidade de itens aplicveis.
A Tecnologia da Interface com o Usurio
Nielsen em 1993 traou a tecnologia
disponvel para o desenvolvimento de interfaces
com o usurio como:
em lote;
baseada em linhas;
tela cheia
grfica e
novas tecnologias
Os sistemas denominados "em lote so
providos com pouca interface para os usurios
onde se tem apenas uma chance em cada
submisso para requerer trocas ou informaes. O
uso de arquivos em e-mail e fax exemplo
moderno de interfaces em lote. Nos sistemas
baseados em linhas as interfaces permitem que os
usurios interajam com o sistema por linhas de
comandos, atualmente trocadas pela incluso de
tela cheia com menus hierrquicos.
Nas interfaces grficas acrescentam-se as
representaes visuais como abertura de mltiplas
janelas para o usurio com interao simultnea
com outros sistemas ou fontes de dados.
As tecnologias atuais moveram as
interfaces com os usurios em direo a
interaes com recursos de multimdia e
multisensores, tais como animao, vdeo, e
udio, to bem como dimenses espaciais tais
como realidade virtual.
Em 1971, Shackel relatou que cerca de 3%
do oramento do desenvolvimento de um sistema
era destinado para a construo de interfaces
permitindo maior grau de usabilidade [13]. Em
1993, Nielsen indicou um percentual entre 6% e
10%, acrescentando que os usurios finais
atribuam pesos de 30% para este fator [12].
Estas taxas tendem a crescer medida que
novas tecnologias possibilitam a abertura de
novas oportunidades para construo de sistemas
de informaes mais acessveis e acessveis, no
s para os tcnicos de informao e usurios de
computao, mas tambm para os usurios finais
que necessitam das informaes, no seu dia a dia
para a resoluo de seus problemas. Em tais
sistemas a qualidade da interface com o usurio
um importante e significativo componente
responsvel pelo grau de percepo favorvel,
pelo usurio final, do nvel geral de qualidade do
sistema.
A Operacionalidade do Sistema
A operao de um sistema tem mais de
uma dimenso. Podemos dividi-la em, pelo
menos, duas categorias: o desempenho e a
confiabilidade. Apesar destas duas mtricas
serem relativamente fechadas, e estarem
vinculadas ao princpio da qualidade, discutiremos
mtricas simples para o desempenho e para a
confiabilidade. Sob a tica da operacionalidade, o
desempenho do sistema possui as seguintes
dimenses.:
tempestividade;
eficincia.
A tempestividade de um sistema reflete a
rapidez com que uma informao liberada para
os usurios do sistema e no exato momento em
que eles dela necessitam. O grau de
tempestividade de um sistema dever ser definido
pelos usurios. Isto extremamente razovel
quando consideramos que as necessidades e
urgncias dos usurios so dinmicas, ou seja,
mudam atravs do tempo. Na definio de uma
mtrica de tempestividade h que se estabelecer
a diferena entre a disponibilidade da informao
para o sistema e a disponibilidade da informao
para o usurio. A mtrica da tempestividade deve
refletir a disponibilidade da informao para os
6
usurios. Por exemplo, uma informao pode ser
disponibilizada para a atualizao de uma base
de dados, exatamente no prazo esperado ou
planejado para que acontea a atualizao da
base. Se ela no for processada dentro do tempo
esperado, por dificuldades tcnicas ou
circunstanciais relacionadas com a base de
dados, e a informao no for integrada ao
sistema, at que o usurio a utilize, o sistema no
poder ser considerado tempestivo sob a viso
dos usurios final. Em geral observa-se a
facilidade de navegao, a praticidade da
documentao, ou seja todos os aspectos que
propiciam menor esforo do usurio para a
operao e controle do sistema. Podemos definir
uma srie de indicadores para medir a
tempestividade, dentre outras, citamos:
o intervalo de tempo entre duas atualizaes
consecutivas;
o tempo que o sistema leva para a informao
tornar-se disponvel para os usurios entre
duas atualizaes consecutivas;
tempo de acesso.
A eficincia evidencia que os recursos e os
tempos envolvidos para a operao do sistema
estejam compatveis com o nvel de desempenho
requerido para o produto.
A Flexibilidade do Sistema
O fator, flexibilidade, define o grau de
adaptao do software ao ambiente em que ser
operacionalizado e a sua utilizao em outras
plataformas bem como a facilidade de
agregao/substituio/desativao de
informaes e/ou servios. Podemos avaliar a
flexibilidade, sob o aspecto da informtica,
observando se o sistema:
utiliza soluo aberta;
multiplataforma;
compatvel e integrvel ao ambiente;
permite agregar/substituir/desativar com
facilidade informaes e/ou funes.
Este fator pode ser quantificado pela razo
entre o total de itens atendidos e o total de itens
observados.
Sob o enfoque da informao, sob o ponto
de vista do usurio final, a flexibilidade define o
grau de liberdade que o usurio possui para
realizar suas consultas base de informaes.
Assim, pode-se medir, a flexibilidade, sob este
aspecto, avaliando-se , por exemplo:
quantidade de idiomas em que o sistema
permite ser consultado;
quantidade de campos que podem ser
encadeados para restringir o espao de busca
do sistema;
facilidades de reuso de parte de pesquisas j
realizadas, com a reteno de elementos de
memria.
Este fator pode ser quantificado pela razo
entre a quantidade de itens atendidos e a
quantidade de itens aplicveis.
O Princpio da Qualidade
O conjunto de requisitos dos usurios finais de
sistemas de informao permite-nos obter
diferentes componentes nos diversos nveis
hierrquicos, na escala de preferncias do
usurio, e combin-los para ter um nico valor
para o sistema, de forma a refletir o grau de
confiabilidade dos usurios em relao ao sistema
de informaes observado.
Os elementos, considerados como
requisitos dos usurios, assumem diversos graus
de importncia de acordo com cada usurio.
Os usurios possuem perfis diferentes e,
portanto, no computam o mesmo grau de
importncia para suas necessidades de
informao. Por exemplo, nos ambientes em que
existe competio, informaes sobre qualidade
dos produtos e servios podem se afigurar com
pesos mais altos para os usurios do que
informao sobre aproveitamento ou satisfao.
Portanto, precisamos identificar as taxas de
preferncias dos usurios para os vrios requisitos
dos sistemas de informao.
Qualidade de sistemas de informao em
termos de software tem sido a principal
preocupao dos desenvolvedores de sistemas e
de bases de dados. Uma grande quantidade de
modelos com vistas a formalizar o processo de
coleta e anlise de dados sobre atributos dos
sistemas tem sido estudada, pelo menos por duas
dcadas. Algumas mtricas de confiabilidade de
software em geral so categorizados em dois tipos
principais: aqueles que so projetados para
contabilizarem os erros durante os testes e
aqueles que consideram como medida de
confiabilidade o intervalo de tempo decorrido
entre a ocorrncia de dois erros. [1].
Os modelos que tratam destas medidas, em
geral apresentam-se complexos, e foram
analisados e revisados por uma grande
7
quantidade de estudiosos, dentre os quais
destacamos: Musa [15], Shooman [16], Basili [17],
Von Sta [18], Zahedi [14] e Zahedi & Ashrafi [19].
Falhas no sistema, tais como informao
errada, desconexo da linha, queda do sistema ou
uma resposta inapropriada, representam respostas
no confiveis. O nmero de falhas em um
determinado intervalo de tempo refere-se ao
nmero de falhas com respeito ao total nmero de
vezes que a unidade foi usada no mesmo
intervalo de tempo. O tempo entre duas falhas a
medida de confiabilidade que representa o tempo
que leva, para ocorrer duas falhas consecutivas.
A mtrica para a confiabilidade do sistema
desenvolvida aqui flexvel. Ela requer que as
medidas de confiabilidade sejam normalizadas
para o intervalo de 0 -1 afim de tornar possvel a
agregao das vrias medidas de confiabilidade.
O sistema de medida de confiabilidade ao
nvel de entradas, portanto, a combinao da
confiabilidade de cada entrada ponderada pela
utilidade relativa que os usurios definiram para
cada entrada face as suas necessidades globais
de informao. Isto devido ao fato de que a
utilidade relativa pondera as entradas pesos
globais que refletem a importncia dos
componentes relacionados nos nveis prvios. [19]
Este fator poder ser quantificado
considerando-se a utilidade relativa de entradas
como o nmero de vezes que uma determinada
entrada produziu sadas confiveis, dividido pelo
total de vezes que a entrada foi utilizada.
Medindo a Eficincia
O desempenho dos sistemas de informao
particularmente medido pela eficincia do
acesso informao. Pode-se medir a eficincia
sob diversas maneiras, conforme segue:
o tempo que um usurio leva para acessar
uma informao;
o nmero de comandos, menus, ou cones que
o usurio deve conhecer ou acessar para obter
a informao desejada;
a facilidade de manipular e atualizar o sistema.
o tempo que um usurio novato leva para
aprender a usar o sistema;
o grau de atendimento s necessidades do
usurio, ao nvel de contedo da informao;
o volume adequado de informaes, segundo
as necessidades do usurio final.
A escolha da mtrica da eficincia depende
da viso sobre o sistema de informao que est
relacionada com os objetivos, que nortearam o
seu desenvolvimento. A eficincia, pode ser
desdobrada nos seguintes subfatores:.
Consistncia
A mtrica da consistncia mostra se o
desempenho do sistema est de acordo com os
interesses de seus usurios. Um sistema que
normalmente leva 10 horas para um novato
aprender a us-lo prefervel a outro que leva 36
horas. Uma mtrica para a consistncia dos
sistemas de informao o desvio padro de
outra mtrica. Por exemplo, considere o tempo
que um usurio leva para acessar uma
informao como a mtrica para eficincia. O
sistema dever ser observado em um perodo de
tempo que esteja em uso por vrios usurios que
tentam acessar diferentes informaes. Existir
um conjunto de dados para o tempo de acesso.
Computando a mdia deste conjunto de dados
obter-se- o valor da mtrica para a eficincia do
sistema. O desvio padro mostra a consistncia
da eficincia do sistema. [19]




Onde : = Mdia do tempo de acesso
a
i
=Tempo de acesso observado
n = Quantidade de dados sobre os tempos
de acessos considerados.
Assim considerando que a mtrica para
a eficincia do sistema, temos que a consistncia
do sistema ser obtida por:


Onde: = desvio padro da srie de dados que
representam os tempos de acesso.
Assim pode ser considerada como a medida
de consistncia do sistema, em tempo de
acesso.
Continuidade
A continuidade do servio do sistema a
ininterrupo na liberao de seus servios. Uma
mtrica para esta dimenso de performance a
percentagem de tempo em que o sistema esteve
n
= ( (( ( (a
i
- )
2
) )) ) (2)

i=1
n -1

n
= a
i
(1)

i=1
n
8
indisponvel para seus usurios. A mtrica da
continuidade pode ser obtida por:



Onde: u =quantidade de dados que representam
os intervalos de tempos em que o sistema ficou
indisponvel no perodo t.
T = perodo de tempo em que o sistema
ficou em observao
t
i
= tamanho da indisponibilidade do sistema
em ti/h que o sistema ficou indisponvel.
O objetivo de zero defeito fora esta mtrica e seu
desvio padro em direo para zero
Corretude
A corretude pode ser definida como sendo
informaes completas e precisas sem defeitos.
Considerando esta definio temos que a mtrica
para corretude, sob a viso da informtica, inclui:
quantidade de defeitos descobertos depois que
o sistema entrou em operao;
quantidade de defeitos descobertos e relatados
pelos usurios finais;
intervalo de tempo em que o especialista de
informtica levou para ajustar um defeito
relatado;
quantidade de defeitos causados pelo ajuste de
outros defeitos.
Esta mtrica deve ser definida para um
intervalo de tempo ou deve ser normalizada. til
no gerenciamento do projeto de desenvolvimento
de sistemas de informao, especificamente no
gerenciamento de falhas.
Sob a viso da informao, podemos definir
a mtrica para a corretude como sendo:
mensagens condizentes com as aes
desencadeadas pelo sistema;
volume de informaes de acordo com o grau
de especificao definido pelo usurio final;
preciso no contedo das informaes,
informaes sem erros de contedo.
A corretude pode ser categorizada dentro
das seguintes medidas:
mdia do nmero de erros de dados de entrada
dentro do sistema (sobre o nmero total de
dados entrados) em determinado intervalo de
tempo;
mdia do nmero de informaes que so
incorretamente processadas (sobre todas as
informaes processadas);
mdia do nmero de vezes que uma
informao acessada e estava desatualizada
(sobre o total de informaes atualizadas no
sistema) em determinado intervalo de tempo.
mdia de solicitaes de usurios para as
quais o sistema foi incapaz de responder
(sobre todas as solicitaes do sistema) em um
determinado intervalo de tempo;
mdia do nmero de vezes em que a
informao foi transmitida erradamente sobre
linhas de comunicao (sobre todas as
informaes transmitidas) em um dado
intervalo de tempo.
Enquanto a corretude computada como
sendo uma mdia sobre um intervalo de tempo, a
consistncia dessa mtrica de corretude
computada como sendo um desvio padro dessa
mesma mtrica e naquele mesmo intervalo de
tempo. A definio da consistncia similar
definio adotada para a mdia e desvio padro
dos tempos de acessos, quando tratamos da
apurao da consistncia.
O problema principal com mtricas de
desempenho que elas so computadas para
vrios componentes do sistema. Nenhuma
proporciona uma mtrica global para o sistema,
como um todo, como ele visto pelos seus
usurios finais.
Preciso
Este subfator possibilita assegurar se o
sistema opera corretamente por um perodo de
tempo, no Hardware para o qual foi projetado. Sob
a viso da informtica, podemos avaliar a
preciso de um sistema de informao,
observando-se :
se o software possui mecanismos de
autoproteo contra situaes adversas e
tratamento de entradas incorretas mantendo-se
em operao normal;
se existe crtica dos dados de entrada;
se o processamento dos dados executado
somente aps a validao dos dados;
se o software possui meios de tratar problemas
de falha de leitura/gravao, fim de arquivo
inesperado, underflow, overflow, diviso por
zero, e outros.

u
= t
i
(3)

i=1
T
9
O que melhor expressa esta caracterstica
a taxa de erro, e importante mant-la no ponto
mnimo. Quanto mais exata a informao, maior
ser sua contribuio para a tomada de deciso.
comum se dizer que quanto maior a exatido da
informao, maior ser o custo em obter, verificar
e manter os dados nos quais ela se baseia.
Para observar este fator devemos distinguir
a informao sob dois aspectos: relativo aos
procedimentos realizados pelo software e relativo
ao valor das informaes derivadas pelo
processo. A preciso relativa aos procedimentos
do software assegura que o software proporcione
um nvel de exatido nos clculos, pesquisas e
resultados de modo a satisfazer s necessidades
do usurio. Quantifica-se este fator atravs da
mdia aritmtica das seguintes medidas:
a razo entre a quantidade de processos, que
no consideram os requisitos de preciso para
as entradas, o processamento e as sadas e a
quantidade total de processos;
a razo entre a quantidade de algoritmos que
no tiveram a exatido comprovada por
anlise matemtica e o total de algoritmos
existentes;
razo entre a quantidade de rotinas utilizadas
sem comprovao de atendimento aos
requisitos de preciso e a quantidade total de
rotinas.
Sob a viso da informao, importante
notar que o grau requerido de preciso varia de
acordo com o uso destinado informao. A
informao baseada em projees ser
certamente menos precisa do que aquela baseada
em dados histricos. Da mesma forma estimativa
de longo prazo ser menos precisa que a de curto
prazo.
Para os mtodos de inferncia
convencional, a ausncia total de informao
melhor do que informao cujo grau de
impreciso a torna dispensvel, uma vez que
neste caso as regras SE...E...ENTO... so
baseadas em respostas rgidas do tipo Sim/No.
Distino se faz no caso de fuzzy inferncia, onde
alm de decises do tipo Sim/No, tambm so
permitidos valores intermedirios. Neste segundo
caso, considerando contextos complexos, a
caracterstica preciso menos relevante que no
caso de inferncia convencional. Assim posto,
torna-se difcil quantificar os efeitos das
informaes junto ao processo de tomada de
decises.
Medindo a Tempestividade
A informao deve estar disponvel quando
necessria, de outra forma se tornar de pouca ou
nenhuma utilidade. Assim, precisamos tambm
considerar o tempo necessrio busca e ao
processamento do dado ou da informao.
A observao deste fator assegura que a
soluo apresentada atende a todas as
necessidades do usurio com bom desempenho.
Pode-se avaliar a Tempestividade,
observando-se por exemplo:
se o tempo de resposta atende s expectativas
do usurio;
Se a soluo atende a todas as necessidades
do usurio;
Se existe plano de contingncia;
Se o sistema funciona sem interrupo por
problemas de software.
Este fator pode ser quantificado pela razo
entre o total de itens atendidos e o total de itens
aplicveis.
Medindo a Satisfao do Usurio
Qualquer critrio s ser eficiente para
medir a qualidade de um sistema de informao,
se o usurio julg-lo importante. O indicador de
qualidade representa a eficcia com que o
processo que est sendo avaliado atende s
necessidades dos usurios. Assim, o caminho
mais curto para se elaborar critrios para medir a
qualidade conhecer a opinio do usurio com
relao aos seus produtos e servios e
transformar essa avaliao em indicadores.
Grau de Satisfao do Usurio.
Qual deve ser a abrangncia de uma
pesquisa sobre satisfao dos usurios?
satisfao do usurio determina como os usurios
se sentem em relao a produtos e servios.
A pesquisa, no deve intimidar os respondentes,
devendo se possvel ser annima, e proporcionar
um clima propcio para que os usurios usem o
maior grau de honestidade para responderem. O
levantamento deve assegurar respostas que
devero ser utilizadas somente para dar suporte
aplicao identificando-se oportunidades para
melhorias.
Existem vrias formas de clculo para se
obter o nvel de conhecimento do grau de
satisfao dos usurios finais podemos citar como
10
exemplo os modelos inspirados no processo de
planejamento estratgico com Identificao de
Fatores Crticos de sucesso, desenvolvidos pelos
prof. Alloway e Quillard, do Massachusetts
Instituto of Technology, Cambridge, Mass, USA.
[20].
Estas formas podem ser bem simples,
desde a pesquisa pura e simples sobre qual
pontuao o usurio atribuiria determinado
sistema de informao considerando uma escala
de 0 a 10, at pesquisas que permitem ao usurio
final emitir sua opinio sobre o grau de
desempenho do sistema, segundo determinados
fatores pr-estabelecidos e o grau de importncia
desses fatores.
Este mtodo uma adaptao do processo
de identificao dos fatores crticos de sucessos,
para elaborao do planejamento estratgico de
sistemas de informaes gerenciais.
Descreveremos, a seguir, duas sugestes
para a avaliao e clculo do grau de satisfao
dos usurios finais.
Comparao entre o Nvel de Utilizao do
Sistema e o Grau de Satisfao do Usurio.
A comparao ser observada atravs de
grficos e da montagem de um modelo
matemtico onde sero considerados os graus de
influncia de cada fator no nvel de satisfao do
usurio, e o seu peso quando comparado com o
grau de utilizao da base de dados.
Pesquisa Interna
As empresas devem solicitar ajuda s
organizaes especializadas para realizar tais
pesquisas. Uma palavra inadequada utilizada em
uma pergunta tornar os resultados invlidos. A
amostra de usurios dever ser determinada
observando-se critrios estatsticos, rigorosos,
devendo possuir caractersticas o suficiente para
representar, o universo de usurios e possibilitar
uma anlise adequada. A empresa poder
proceder pesquisa eletronicamente ou atravs
de questionrios. Cabe ressaltar que as pesquisas
conduzidas eletronicamente garantiro resultados
mais rapidamente e permitiro esclarecer
quaisquer dvidas mais rapidamente.
Agregao das Mtricas.
Os valores apurados devero ficar entre 0 e
1, aproximando-se de 1 quanto mais adequado ao
uso o sistema for. O processo de agregao das
mtricas, por ser objetivo, permite a quantificao
dos fatores e a agregao da pontuao . Assim
os valores encontrados a mdia aritmtica dos
fatores Abrangncia e Funcionalidade devero
compor o fator Utilidade.
As mdias aritmticas dos subfatores
Usabilidade, Flexibilidade e Tempestividade,
devero compor o fator Acessibilidade, e a mdia
aritmtica dos subfatores satisfao do usurio ,
Confiabilidade e Preciso, corresponder ao valor
do fator Qualidade. A mdia dos fatores
Utilidade, Acessibilidade e Qualidade,
corresponder ao grau de perfeio alcanado
com o desenvolvimento do aplicativo. Os valores
dos indicadores variaro entre 0 e 1,
aproximando-se de 1 medida que o produto ou
servio atinja a perfeio.
Um Modelo para Avaliao de Utilizao de
Sistemas de Informao.
Baseados nas trs dimenses discutidas
nas sees anteriores, resumindo, definimos a
Utilidade do sistema como a satisfao e os
benefcios percebidos pelo usurio derivados do
uso do sistema.
A Usabilidade do sistema, por outro lado, refere-se
a medida que a interface do sistema se adequa
aos seus usurios no tocante s suas
necessidades e desejos, e a Qualidade est
relacionada confiabilidade das informaes e ao
resultado obtido com o uso dela. Acreditamos que
os fatores externos associados, especificamente
qualidade do sistema, enquanto produto, bem
como os fatores associados s necessidades de
informao do usurio conduzem um usurio a
utilizar ou no um sistema de informaes. Se
esses estmulos so positivos, o usurio fica
propenso a utilizar o sistema, e contribui para um
possvel estado de plena utilizao. Caso
contrrio, se os estmulos so recebidos pelo
usurio de forma negativa, o usurio desistir de
utilizar o sistema, e continuar sua busca pela
informao em fontes alternativas, contribuindo
para um estado de subutilizao do sistema de
informao. Esta proposio pode ser visualizada
pela figura 2, a seguir:
11
Figura 2 - Esquema do comportamento do usurio
Princpio da Utilidade
Associado aos fatores que determinam o
nvel de abrangncia do sistema em relao ao
atendimento s necessidades funcionais do
usurio final.
Princpio da Usabilidade
Associado aos fatores que determinam a
facilidade de operacionalizao do sistema
permitindo o acesso informao e
Princpio da Qualidade
Associado aos fatores que determinam a o
nvel de satisfao do usurio final em relao
aos produtos e servios da rea de sistemas.
Para Grudin, a utilizao de sistemas de
informao tem dois componentes: utilidade e
usabilidade [21]. J Nielsen em 1993 distingue
utilidade e usabilidade da seguinte forma: utilidade
est relacionada funcionalidade do sistema ou
seja se o sistema realiza o que se espera que ele
realize, e usabilidade relaciona-se com a questo
de quo bem os usurios podem usar aquela
funcionalidade. Nesta definio o conceito de
usurios no est limitado para os usurios finais,
eles incluem os que tm que instalar, manter e
aperfeioar o sistema [12].
Ao depararmo-nos com a necessidade de
informaes para resoluo de problemas,
buscamos nos sistemas automatizados as
informaes que precisamos. Este primeiro passo
baseia-se no princpio da utilidade, pois partimos
em busca de informaes que nos sero teis no
processo de tomada de deciso. Em nvel mais
detalhado, consideramos os fatores associados
abrangncia do sistema como responsveis pelo
atendimento das necessidades do usurio. Ou
seja, consideramos a abrangncia da fonte de
pesquisa, e dos procedimentos implementados no
sistema, como primeiro indicativo de que
poderemos obter as informaes desejadas.
Destacamos como variveis bsicas para
cobertura do princpio da Utilidade a abrangncia
e a funcionalidade.
Passamos, ento, segunda questo:
Como obter as informaes que precisamos?
passamos identificao das variveis que
estariam relacionadas com o princpio Facilidade
de acesso informao. Consideramos ento, os
critrios associados Usabilidade, onde
destacamos os fatores inerentes ao software:
flexibilidade, facilidade de uso e de qualidade da
interface com o usurio.
O terceiro princpio, o da Qualidade,
permite-nos responder questo: quo satisfeitos
com o produto e com a informao obtida, esto
os usurios?
Neste aspecto importante considerar o
grau de conhecimento sobre informtica ou
mesmo sobre o nvel de envolvimento do usurio
com a equipe de desenvolvimento durante a fase
de construo do sistema. importante frisar que
o domnio da informtica, relacionado a comandos
de alto nvel, permitindo a gerao de relatrios,
influencia sobremaneira, no nvel de satisfao
do usurio final.
A busca por um mtodo simples e realista
para avaliao do impacto e o valor percebido de
um sistema junto ao usurio final, de suma
importncia para a definio das variveis ligadas
12
utilizao, que se referem ao sistema como
facilidade de uso, acessibilidade, e ligadas ao
usurio como utilidade que est relacionada ao
contedo, e a qualidade da informao obtida.
Estes aspectos esto intimamente ligados
propenso do usurio a utilizar ou no
determinado sistema, e garantem a avaliao do
sucesso ou fracasso de um sistema de
informaes.
As aplicaes liberadas para o usurio
devem ser projetadas de forma a atingir alto grau
de usabilidade, portanto devem oferecer, ao
usurio final, documentao e treinamentos
adequados. Aplicaes subutilizadas, em geral,
so mal documentadas, ou so executadas por
usurios mal treinados. Estas deficincias se
refletiro em demandas para o centro de ajuda
e/ou equipe de suporte e manuteno. Grande
nmero de chamadas indica uma necessidade de
mudana na aplicao e/ou de reformulao da
documentao ou necessidade de treinamento do
usurio. A anlise das solicitaes permitir-nos-o
identificar se haver ou no necessidade de
reengenharia da interface para o usurio.
Altos nveis de chamadas implicam em uma
nova implementao; o declnio em chamadas
indica que as causas das chamadas so
resultantes de falhas de treinamento e experincia
com o sistema .
O princpio da Acessibilidade est
associado aos fatores: Usabilidade, flexibilidade e
tempestividade. A Acessibilidade pode ser
quantificada pela mdia aritmtica do total da
pontuao atribuda aos fatores Usabilidade,
flexibilidade e tempestividade.
Concluses
A proposta constitui-se em um modelo,
para avaliao da qualidade de sistema de
informao. Os critrios so objetivos, e a
avaliao focaliza o usurio final como elemento
essencial para o delineamento das metas de
qualidade dos produtos e servios.
Apresenta, ainda, um plano de testes para
avaliao da qualidade do software, focalizando
os aspectos que influenciam o comportamento do
usurio final. Para a utilizao dos resultados da
observao do plano de avaliao do sistema em
relao aos usurios caracterizados como
analistas de sistemas, programadores e
administradores de bases de dados, o controle da
qualidade pressupe a existncia de um ambiente
de Engenharia de Software e exige um
comportamento disciplinado durante o
desenvolvimento do software. Os indicadores de
qualidade permitem alm de obter-se o nvel de
utilizao do sistema em questo, para o
momento posterior avaliao, proporciona uma
viso do grau de eficincia do processo de
desenvolvimento de software alm de identificar
oportunidades de melhorias e o grau de aceitao
do sistema em relao aos seus usurios diretos e
indiretos.
Referncias Bibliogficas
1. DAVIS, F.D. Perceive use fulness, perceived
ease of use, and user acceptance of
information technology. MIS Quarterly, p.319-
339,Sept.1989.
2. NEWELL, & SIMON, H. A. Human problema
solving. Englewood Cliffs, Prentice-Hall, 1972.
3. AHITUY, N. Principles of information system
for management. 3nd.ed. Dubuque, EUA:
WCB, 1990. 653 p.
4. FREITAS, Henrique M. R. et al. Avaliao de
sistemas de informaes. Revista de
Administrao, So Paulo, v. 29, n.4, p 36-55,
out/dez 1994.
5. LANCASTER, F. Wilfrid et al. Evaluation of
interactive knowledge - based systems:
overview and design for empirical testing.
Journal of the American Society for Information
Science.[S.l.],v.47,n.1p.57-69, 1996..
6. JACS, P. CD-ROM software, dataware and
hardware: evaluation, selection, and
installation. Englewood, CO: Libraries
Unlimited, 1992.
7. Mendes, Raquel Dias Um modelo
simplificado para avaliao do nvel de
utilizao de sistemas de informao. UNB,
1999
8. ONEILL, E., VIZINE-GOETZ, D. Quality
controls in online databases. Annual review of
information science and
technology.[S.l.],n.23,p.125-156,1988.
9. BASCH, Reva. Database realiability: The
black box. New York, Medford (ed), 1990.
10. MINTZ, Anne P. Quality Control and the zen
of database production.
Online.[S.l.],v.14,n.6,p.15-23,Nov.[199-].
11. LAND, F. Adapting to changing user
requirements, Information & Management,
5(1), pp.91-107, 1982.
13
12. NIELSEN, Jacob. Usability engineering. New
York: Academic Press, 1993.
13. SHACKEL, B. Human factors in the P.L.A
Meat Handling Automation Scheme: a case
study and some conclusions. International
Journal of Production
Research,[S.l.],v.9,n.1,p.95-121,1971.
14. Zahedi, F., Quality information systems: an
International Thomson Publishing Company.
Wisconsin: University of Wisconsin, 1995.
15. MUSA, J. D. A theory of software reliability
and its application, IEEE transactions on
software engineering.[S.l.:s.n.]:v.1, p. 312-
327,1971.
16. SHOOMAN, M.L Probabilistic models for
software reliability prediction.
In:FREIBERGER,W. Statistical computer
performance evaluation. New York: Ed.
Academic, 1972.p.485-502.
17. BASILI , V. R. Tutorial on models and metrics
for software management and engineering.
Washington, DC., IEEE Computing Society,
1980.
18. VON STAA, Arnd. Garantia da qualidade de
software. Rio de Janeiro: PUC, 1989.
19. ZAHEDI, F., ASHRAFI, N. Software reliability
allocation based on structure, utility, price, and
Cost. IEEE Transactions on software
engineering,[S.l.],v.17,n.4,p.345-356,Apr.1991.
20. ALLOWAY, Robert, M., QUILLARD, Judith. An
integrated definition of DP Success and its
managerial implications. [S.l.:s.n.], 1980.
21. GRUDIN, J. Utility and usability: research
issues in development contexts. Interacting
with Computers.[S.l.],v.4,n.2, p. 209-217,
Aug.1992.
Contato
Profa. Dra. Raquel Dias
e-mail: raquel_dias@directnet.com.br
raquel_dias@yahoo.com
Consultora independente em Tecnologia da
Informao, Economista, Doutora em Cincia da
Informao pela UNB, mestre em informtica pelo
ITA, Ps Graduada em: Inteligncia Competitiva
pela UFRJ, Gerncia Empresarial e Engenharia
Econmica pelo ICAT/DF e em Informtica e
Anlise de Sistemas pela PUC/DF.

Você também pode gostar