Qualidade de Software: Uma Anlise a partir dos Critrios da Norma ISO 9126

Autoria: Brena Alves Marques, Maria Conceio Melo Silva

Resumo

A qualidade de software essencial para o usurio alcanar o resultado final almejado com a
adoo de determinado aplicativo, independente do tipo e do ramo de atuao da organizao.
Neste sentido, o presente artigo tem o propsito de avaliar a qualidade do produto software
perceptvel ao usurio do Departamento Estadual de Infra-Estrutura Rodoviria de Sergipe
(DER-SE) a partir das caractersticas definidas pela norma ISO 9126, promovendo a
adequao destas a realidade da organizao. Para tal, fez uso da pesquisa exploratria-
descritiva e do mtodo quali-quantitativo, onde em um universo de 178 usurios, foram
entrevistados 96 servidores. Observou-se com o resultado do estudo, um nvel de satisfao
razovel com relao ao desempenho dos sistemas de informao e um contentamento mais
expressivo com os benefcios finais obtidos. Desprendendo, deste trabalho a necessidade do
rgo utilizar os requisitos identificados como fator primordial para assegurar a qualidade
percebida pelo usurio. Uma vez que estes so frutos dos anseios do cliente interno e podem
assumir o papel de condutor e direcionador dos recursos e esforos no processo de concepo
e melhoria das aplicaes na organizao.

1. Introduo

O software oferece significado, utilidade e valor aos dados fornecidos pelos sistemas
computacionais mediante a utilizao de interfaces grficas que promovem a adequao dos
dispositivos fsicos s verdadeiras necessidades da organizao (SILVA; RIBEIRO;
RODRIGUES, 2004). A obteno de um aplicativo alinhado aos objetivos da organizao e as
reais perspectivas do usurio favorecida pela preocupao com a qualidade. Sendo esta
conseqncia da adeso de ferramentas e metodologias que permitem o aperfeioamento do
processo de construo e a validao da eficcia dos sistemas de informao.
No Brasil, observa-se a partir da dcada de 90 o crescimento da informatizao e da
sua importncia para setor pblico, servindo como fonte de automao de servio e de difuso
de informaes do governo. De acordo com os dados do Ministrio de Cincia e Tecnologia
(MCT) em 2005, 22% da produo das indstrias de software nacionais estava direcionada
para as necessidades especficas da rea pblica.
Os sistemas de informaes tornaram-se instrumentos vitais no auxlio aos rgos e
entidades da administrao direta e indireta (NETO, 2004, p. 27). Integrados e especficos
para a gesto pblica, estes sistemas permitem facilitar e uniformizar procedimentos,
organizar as informaes de maneira clara, ter melhor controle financeiro e prover de maior
transparncia s aes do governo. Contudo, to importante quanto usar software para
melhorar a eficincia operacional destas instituies, avaliar a adequao das aplicaes
adotadas a efetiva necessidade do rgo e, assim, evitar experincias mal-sucedidas. J que o
atendimento adequado s expectativas do cliente inibe situaes como usurios insatisfeitos
com sistemas inadequados (ANJOS; MOURA, 2005).
A preocupao com a qualidade no setor de software brasileiro expressa pelo MCT
mediante pesquisas amostrais realizadas desde 1993, a cada dois anos, para acompanhar e
divulgar as medidas adotadas pelas empresas para a qualificao do processo de
desenvolvimento e do produto final, baseados em normas consolidadas no mercado. Alm
disso, este Ministrio (2007) financia agentes pblicos e privados que desejam desenvolver
ferramentas, sistemas e mtodos que contribuam para o aperfeioamento do ciclo de produo
do software e para maior adequao das aplicaes aos atributos de qualidade.
A norma ISO 9126 um dos indicadores do levantamento bienalmente realizado pelo

1
referido Ministrio e a principal referncia para definio dos parmetros de pesquisa do
presente estudo, adaptados para melhor correspondncia ao domnio da aplicao.
O domnio refere-se s caractersticas particulares que devem estar presentes no
software a depender do ramo de atuao da organizao. Para este trabalho, o setor de atuao
selecionado foi o pblico, especificamente o Departamento Estadual de Infra-Estrutura
Rodoviria de Sergipe (DER-SE) que uma instituio a servio do governo do estado de
Sergipe, criada em 1923, na qual as aplicaes implementadas enfocam as particularidades da
gesto pblica, auxiliando a organizao na execuo das suas principais atribuies: projetar,
construir e manter as rodovias estaduais; fiscalizar as construes e o trfego nas vias
intermunicipais e servir como um rgo de apoio aos municpios em suas malhas virias.
O software um recurso de grande importncia para a instituio escolhida como
objeto de estudo por possibilitar aos servidores da instituio o acesso rpido, eficaz e
personalizado informao. Desde 2001, o DER-SE optou pela substituio da aquisio de
aplicaes desenvolvidas no mercado pelos sistemas desenvolvidos na prpria organizao,
tendo por intuito promover maior adequao dos aplicativos a sua rea de atuao.
Atualmente, a organizao possui 20 software aplicativos implantados e 03 em fase de
implementao.
As aplicaes inseridas nesta instituio visam essencialmente automatizao das
atividades rotineiras que caracterizam o funcionamento da organizao e tm como foco
principal atender s exigncias do cliente interno. Contudo, no DER-SE os esforos para
assegurar a qualidade dos sistemas produzidos no tm por base a especificao formal de
requisitos, no se utiliza de nenhuma medida formal de anlise da efetividade dos aplicativos
desenvolvidos e no faz uso da padronizao dos processos de desenvolvimento, usando
apenas a habilidade e o poder de criao do programador responsvel pelo projeto.
Diante da crescente demanda por novas aplicaes na organizao, observa-se a
necessidade do aprimoramento do processo de produo do software, tendo como primeiro
imperativo a definio e o controle de requisitos para a conduo dos futuros projetos que
devem ser desenvolvidos segundo os padres de qualidade preestabelecidos para aumentar o
nvel de adequao dos aplicativos, a satisfao do usurio e a previsibilidade dos resultados.
Deste modo, na busca por critrios condicionadores do projeto da instituio que melhore a
qualidade das aplicaes e aperfeioe o processo de desenvolvimento do software,
proporcionando como conseqncia a maior satisfao do usurio, o objetivo deste artigo
avaliar a percepo do usurio final da qualidade do produto software do DER-SE de acordo
com a norma ISO 9126 e o domnio da aplicao.
Para tal intuito, fez uso da norma ISO 9126 que tem por finalidade a obteno de um
produto software com qualidade suficiente para satisfazer a necessidade do cliente a partir da
verificao e constatao da existncia dos requisitos (direcionadores do projeto) essenciais
ao sistema de informao desenvolvido e da efetividade das metas estabelecidas com o uso da
aplicao.
Destarte, o presente artigo se divide em seis sees. Na primeira a apresentao da
pesquisa, seguida na segunda e terceira por uma breve sntese a cerca do marco terico a
partir do qual se desenvolve a anlise. Em seqncia, a seo 4 descreve os procedimentos
metodolgicos adotados e na seo seguinte constam os principais resultados alcanados.
Finalmente, a seo 6 apresenta as principais concluses.

2. Qualidade de software

Apesar do software ser um produto ligado a alta tecnologia, como qualquer outro
produto, tem a origem das suas mtricas de qualidade baseadas nas prticas voltadas para
produo de manufaturado (CRTES; CHIOSSI, 2001). Do mesmo modo, este produto

2
objetiva com a formulao e a implantao de modelos de qualidade obter, principalmente e
fundamentalmente, a satisfao das necessidades do usurio final e o aprimoramento do
processo de produo.
De acordo com Rocha (2001, p.113) evidente que a qualidade do software passa pela
necessidade de identificar as caractersticas de qualidade necessrias para determinado
produto e definir em que grau as caractersticas precisam ser alcanadas para satisfazer [...]
s expectativas do cliente.
Estas consideraes iniciais demonstram que a busca pelo aperfeioamento do
software segue os mesmos objetivos dos produtos habituais e que enfrentam a subjetividade
do julgamento do que seria um produto de qualidade maior ou menor a partir da percepo de
pessoas diferentes.
A compreenso do campo de atuao do tema qualidade de software depende do
entendimento das duas perspectivas que regem a produo deste produto. A primeira
percepo vincula-se a viso final, centrada em caractersticas bem definidas que servem
como requisitos para a conduo do ciclo de desenvolvimento do produto; e no processo de
verificao destas. E a segunda concentra-se na questo que melhorias mais significativas de
qualidade e produtividade vm de melhorias no processo de desenvolvimento (CRTES;
CHIOSSI, 2001, p.29).
Para Duarte e Falbo (2000), esta segunda viso mais abrangente, uma vez que a
qualidade do produto no obtida de forma espontnea, sendo esta construda por meio de
processos de produo. esta preocupao com o processo que proporciona uma percepo
equilibrada dos aspectos essenciais e impactantes no desenvolvimento do software que
interferem no alcance de um produto final de qualidade.
Assim, nesta concepo no s os atributos do produto software fornecem medidas de
qualidade para o projeto de implementao, como tambm os dados oriundos das etapas da
produo so transformados em conhecimento e condicionam ao processo de melhoria
contnua.
Entretanto, de acordo com Leite (2001), a compreenso da qualidade voltada para a
construo do software no elimina a importncia da viso do produto final no processo de
qualificao, j que os critrios que orientam o desenvolvimento passam pelos requisitos
definidos como essenciais para o usurio. Fato confirmado por Koscianski e Soares (2007,
p.172):
Definir com preciso os requisitos de um software permite que todos os recursos da
empresa e a energia da equipe de desenvolvimento sejam direcionados a um fim
claro. [...] perde-se tempo, mais erros so cometidos e a qualidade do produto final
incerta.
Nesta direo, uma variedade de modelos de qualidade voltados para o processo, ou
seja, os que avaliam o bom desempenho do produto baseado nos mtodos, ferramentas e
procedimentos agregados construo do software, foram desenvolvidos tais como: ISO
9000-3; CMM; MPS.BR; SPICE. Alm de normas que tratam da qualidade do produto
software, que conforme Scalet (2001) so trs: ISO 12119, ISO 9126 e ISO 1458.
Apesar dos modelos recentes de qualidade de software disseminar principalmente a
concepo do processo (CRTES; CHIOSSI, 2001), o presente estudo centraliza-se na viso
final do produto, ou seja, na viso que os usurios tm dos aplicativos implantados no DER-
SE a partir da concepo descrita na norma ISO 9126.

3. Norma ISO 9126

A norma ISO 9126 mede a qualidade de software em relao a uma srie de

caractersticas, vistas como desejveis e essenciais para a efetividade dos aplicativos
(KOSCIANSKI; SOARES, 2007), sendo traduzida pela ABNT e denominada na verso

3
brasileira de NBR ISO 13596. Conforme descrito por Scalet (2001), o modelo de qualidade
ISO 9126 faz referncia aos requisitos do software agrupados em caractersticas e
subcaractersticas, sendo estas divididas em dois modelos: o das caractersticas externas e
internas e da qualidade em uso.
No primeiro modelo, as caractersticas externas avaliam o desempenho do software
referente realizao de testes de funcionamento, sendo estas claramente perceptveis para os
usurios que interagem com o aplicativo. J as internas vinculam-se prpria arquitetura do
produto, ou seja, so os atributos internos ocultos para o usurio final, mas que so
responsveis pela eficcia das caractersticas externas, obtidas atravs da estruturao e
organizao da lgica de funcionamento do sistema de informao (KOSCIANSKI;
SOARES, 2007). O modelo classificado em seis caractersticas e suas receptveis
subcaractersticas, exposto no Quadro 01.

Caractersticas Subcaractersticas Pergunta chave para a subcaractersticas

Funcionalidade Adequao Prope-se a fazer o que apropriado?
(satisfaz as Acuraria Faz o que foi proposto de forma correta?
necessidades?) Conformidade Interage com os sistemas especificados?
Interoperabilidade Est de acordo com as normas, leis etc?
Segurana Evita acesso no autorizado?
Confiabilidade Maturidade Com que freqncia apresenta falhas?
( imune a falhas? Tolerncia a falhas Ocorrendo falhas, como ele reage?
Recuperabilidade capaz de recuperar dados em caso de falha?
Inteligibilidade fcil entender o conceito e a aplicao?
Usabilidade
Apreensibilidade fcil aprender a usar?
( fcil de usar?)
Operacionalidade fcil de operar e controlar?
Atratividade A interface agradvel? Manter a ateno?
Tempo Qual o tempo de resposta, a velocidade de execuo?
Eficincia
( rpido e enxuto"?) Recursos Que recurso usa? Durante quanto tempo?
Analisabilidade fcil de encontrar uma falha, quando ocorre?
Manutenibilidade
Modificabilidade fcil modificar e adaptar?
( fcil de modificar?)
Estabilidade H grande risco quando se faz alteraes?
Testabilidade fcil testar quando faz alteraes?
Adaptabilidade fcil de adaptar a outros ambientes?
Portabilidade Capacidade para ser
fcil instalar em outros ambientes?
( fcil de usar em instalado
outro ambiente?) Conformidade Est de acordo com os padres de portabilidade?
Capacidade de substituir fcil de usar para substituir outro aplicativo?

Quadro 01 Caractersticas e Subcaractersticas da Qualidade do Software (ISO 9126)

Fonte: Adaptado de Anjos e Moura (2005, p.3).

J o modelo de qualidade em uso vincula-se capacidade do produto software

permitir a determinados usurios atingir as metas estabelecidas como efetividade,
produtividade, segurana e satisfao em um contexto de uso especificado (SCALET, 2001,
p.117).
Os requisitos de uso especificados no modelo de qualidade em uso so as necessidades
especificadas por determinado cliente, na qual a partir destas so definidas as funes
presentes no produto (requisitos externos) que conduzir o processo de determinao dos
requisitos internos ligados construo do software. Os requisitos tambm servem como
parmetro para a verificao da conformidade entre o estabelecido e o resultado alcanado e
so realimentados durante todo o ciclo de desenvolvimento do produto (BELCHIOR et al.,
2001).

4
 Alm do usurio ligado as medidas externas e a qualidade de uso do produto e do
desenvolvedor associado s medidas internas, a norma ISO 9126 destaca tambm a viso do
gerente de desenvolvimento que busca as medidas gerais de qualidade para avaliar se o
objetivo final da empresa foi atingido (CRTES; CHIOSSI, 2001).
Deste modo, a escolha desta norma como modelo de referncia para avaliao das
aplicaes desenvolvidas pelo DER-SE justificada pela necessidade enumerar e validar
atributos imprescindveis satisfao dos usurios dos sistemas, destacando que as
caractersticas utilizadas pela norma so usadas como parmetros para verificar a qualidade
das aplicaes e tambm servem como fonte de definio de requisitos para a conduo de
projetos futuros.

4. Metodologia da pesquisa

O objetivo principal desta pesquisa avaliar a percepo do usurio final da qualidade

do produto software do DER-SE de acordo com a norma ISO 9126 e o domnio da aplicao.
Trata-se, portanto, de uma pesquisa exploratria - descritiva. A primeira em funo do
objetivo principal deste tipo de pesquisa ser o aprimoramento de idias ou a descoberta de
intuies (GIL, 1991, p.45). J a descritiva, so bem estruturadas e dirigidas para a soluo
de problemas ou avaliao de alternativas (MATTAR, 1997, p.85). Diante do exposto a
pesquisa visa descobrir a qualidade do produto software em uma empresa pblica sob a tica
do usurio final e contribuir para compreenso da equipe de desenvolvimento da percepo
atribuda a estas aplicaes.
Em adio, a pesquisa utilizou-se da combinao de mtodos. Fez uso do mtodo
quantitativo, uma vez que, utilizou-se da aplicao dos questionrios como forma de
identificar a qualidade do produto software, sendo tambm uma pesquisa qualitativa por ter
usado da observao do ambiente como medida de compreenso do funcionamento do
processo de desenvolvimento e implantao dos sistemas de informao para ratificao dos
dados obtidos na pesquisa.
Para tal, o presente estudo foi norteado pelas variveis e seus receptivos indicadores
exibidos no Quadro 02, funcionando estes como um roteiro para elaborao do questionrio
de pesquisa.
As variveis desempenho do produto software e relevncia das caractersticas da ISO
9126 referem-se s caractersticas e subcaractersticas associadas ao modelo de qualidade de
caractersticas externas e internas da norma ISO 9126. Os termos usados foram adaptados
para melhor compreenso e correspondncia ao domnio da aplicao. Entretanto, os itens
descritos como manutenibilidade e portabilidade foram desconsiderados, devido a sua difcil
percepo para o usurio final. Estas so caractersticas mais perceptveis para equipe de
programadores e suporte, sendo manutenibilidade vinculada a facilidade de alterar as
funcionalidades do sistema e a portabilidade associada disponibilidade do software ser
utilizado em outro ambiente computacional.
J a qualidade em uso atribuda ao produto final teve seus indicadores definidos pelas
caractersticas presentes no modelo de qualidade em uso da norma ISO 9126, estando este
diretamente ligado efetivao das metas estabelecidas pelo usurio com a utilizao do
sistema.

5
 Caractersticas da
Variveis Indicadores
ISO 9126
Correspondncia com as necessidades prticas do usurio
Conformidade com a rotina do usurio
Funcionalidade Apresentao de informaes corretas
Preveno de acesso no autorizado
Definio de nveis de acesso
Ausncia de falhas
Recuperao de dados aps a ocorrncia de falha
Emisso mensagens compreensveis aps a ocorrncia de
Confiabilidade falhas
Manuteno de padro de funcionamento aps a ocorrncia de
Desempenho falhas
do produto Eficcia do atendimento de suporte
software Facilidade de efetuao de cadastro
Facilidade de alterao de dados
Facilidade de consulta
Facilidade de compreenso da linguagem utilizada pelo
sistema
Usabilidade
Atratividade da interface grfica
Representativa das imagens utilizadas pelos sistemas
Cores agradveis
Uso das cores com elemento comunicativo
Facilidade de navegabilidade
Eficincia Tempo de Resposta
Obteno de informaes precisas
Obteno de informaes completas
Obteno de informaes claras e simples
Efetividade Obteno de informao flexvel
Reduo da circulao de papis
Apoio ao processo de tomada de deciso
Apoio ao planejamento
Reduo do tempo de execuo das tarefas dirias
Qualidade em uso
Aumento da qualidade dos servios prestados ao usurio
atribuda ao Produtividade
externo
produto final
Aumento da qualidade das atividades do usurio
Confiabilidade nos mecanismo de segurana
Disponibilidade das informaes
Segurana
Confiabilidade na capacidade do sistema garantir a
integridade das informaes armazenadas
Simplificao e agilizao das atividades dirias da
Satisfao
organizao
Adequao a necessidade
Funcionalidade Compatvel com a realidade da organizao
Inibio de acesso no autorizado
Ausncia de falhas
Relevncia das Confiabilidade Capacidade de recuperar dados aps ocorrncia de falhas
caractersticas da Manuteno de padro de funcionamento
ISO 9126
Facilidade de uso
Usabilidade Aspecto visual
Documentao
Eficincia Tempo de Resposta

Quadro 02 - Indicaes de Dimenso e Variveis

O universo da pesquisa foi composto por 178 servidores do rgo, representados como
usurios de algum sistema de informao da instituio. Este dado foi disponibilizado pela

6
prpria organizao no primeiro trimestre de 2007. O clculo para a extenso da amostra foi
feito estatisticamente com base na frmula descrita de Richardon (1999) para a populao
finita considerando o erro de 5%, a confiabilidade de 95% e a proporo da caracterstica
pesquisada de 85%. Assim, a amostra foi composta por 96 usurios.
O questionrio foi composto por questes abertas e fechadas, utilizando a escala (1)
muito fraco, (2) fraco, (3) regular, (4) bom e (5) muito bom, sendo o mesmo distribudo entre
os usurios dos sistemas de rgo no perodo de agosto a outubro de 2007. Em seqncia foi
feita a tabulao dos dados e o cruzamento das variveis, mediante estatstica descritiva.
Utilizou-se de percentuais e das mdias obtidas em cada indicador das caractersticas, a partir
da convergncia das notas dadas pelos usurios. Desta forma, a mdia destes indicadores
forma a nota final da caracterstica, permitindo destacar aspectos relevantes que foram
comparados com outros estudos contidos na literatura.

5. Resultados

Nesta seo so apresentados e analisados os dados obtidos atravs da aplicao do

questionrio e observaes feitas in loco. Inicialmente mostrado o perfil dos respondentes,
sendo em seguida obedecida seqncia das variveis estabelecidas no Quadro 02:
desempenho do produto software, qualidade em uso atribuda ao produto final e relevncia
das caractersticas da ISO 9126.

Perfil dos entrevistados

Percebeu-se que o DER-SE possui um nmero sensivelmente equilibrado de usurios

de ambos os sexos, destacando o sexo feminino (55%). A idade predominante dos
respondentes varia entre 41 a 50 anos (61, 5%) e de 51 a 60 anos (12,5%), com destaque na
formao do ensino mdio (38%), seguida pelo nvel superior (25%). Diante da alta faixa
etria apresentada, a maioria possui um tempo de servio na instituio acima de 20 anos
(65%).
Com relao aos cargos mais ocupados pelos usurios dos sistemas, destaca-se a
presena dos chefes de servio (43%), subordinados principalmente a Diretoria
Administrativa. O expressivo nmero de usurios lotados na categoria chefe de servio pode
ser explicado pelo foco dos sistemas implantados no rgo, classificados segundo Silva,
Ribeiro e Rodrigues (2004) como aplicaes de processamento de transaes. Este tipo de
aplicativo prioriza o processo de automao das atividades rotineiras e so caracterizados pelo
processamento de dados dirios, tendo como principal usurio o chefe de servio. Uma vez
que, os sistemas do rgo tm sua atribuio central predominantemente ligada a um servio e
o chefe deste torna-se responsvel por cadastrar e gerenciar os dados que sero repassados
para as diretorias, gerncias ou divises.
Na anlise do relacionamento do usurio com o computador, observou-se que a maior
parcela de servidores da organizao, cerca de 59%, comeou a utilizar esta ferramenta no
intervalo de 6 a 15 anos atrs. Segundo Matias (2002), neste perodo, ou seja, na dcada de
90, intensificou-se a informatizao das diversas reas pblicas e observou-se a crescente
relevncia dada aos sistemas de informao.

Desempenho do produto software

A anlise do desempenho do produto corresponde aos atributos efetivamente

presentes no software desenvolvido pelo DER-SE, a partir dos indicadores ligados s

7
 caractersticas que compem o modelo de qualidade externa da norma ISO 9126, segundo a
percepo do usurio final.
O software da instituio possui um desempenho satisfatrio com relao
caracterstica funcionalidade, obtendo a mdia geral 4,12. Assim, os aplicativos da
organizao cumprem s expectativas dos servidores entrevistados, atendendo s suas
necessidades.

Tabela 01 - Funcionalidade do Sistema

Mnimo Mximo Mdia

Apresentao de informaes corretas 1 5 4,25
Definio de nveis de acesso 0 5 4,15
Correlao com as necessidades prticas 1 5 4,09
Preveno de acesso no autorizado 0 5 4,07
Correspondncia com a rotina do usurio 1 5 4,03
Mdia 4,12

Apesar da sensvel variao entre os itens, importante destacar que o item que obteve
a menor nota (4,03) vincula-se a correspondncia com a rotina do usurio. Esta
subcaracterstica representa a capacidade do sistema de prover funes plenamente adequadas
necessidade do usurio (KOSCIANSKI; SOARES, 2007). Este fator afetado
negativamente pela mudana que os sistemas promovem nas atividades dirias dos
funcionrios, ou seja, a reestruturao de processos ou a introduo de novos hbitos. Como,
por exemplo, a necessidade de cadastrar um chamado eletrnico quando detectado algum
problema em qualquer equipamento de informtica do rgo ou obrigao do usurio
preencher campos de pouco expressividade para sua funo, mas crucial importncia para
outro setor, como informar na requisio de material o cdigo do equipamento ou placa do
veculo que utilizar o produto.
A maior nota (4,25), correspondente a subcaracterstica apresentao de informaes
corretas, evidencia que os sistemas adotados pela instituio, fazendo uso de mtodos de
verificao, de dados pr-definidos na fase de cadastro e da obrigatoriedade de preenchimento
de determinados campos, inibe erros humanos e contribui para obteno de informaes
consistentes.
Na caracterstica confiabilidade o desempenho regular mantido na maioria dos
ndices que compem esta varivel, obtendo a mdia 3,48, conforme exposto na Tabela 02. A
menor nota da caracterstica, ocorrncia de falhas no sistema, demonstra que os sistemas
desenvolvidos no rgo tm um grau mediano de maturidade, ou seja, apresentam um nmero
expressivo de problemas durante a sua utilizao. Este resultado sinaliza a pouca
confiabilidade dos usurios nos sistemas implantados no rgo e a necessidade da equipe de
informtica priorizar a adoo de melhorias para obter o maior desempenho desta
subcaracterstica.
A maior mdia pertence ao ndice eficincia do atendimento de suporte na resoluo
do problema. importante destacar que este indicador no est diretamente e
tradicionalmente associado ao desempenho do software, contudo, foi includo na pesquisa por
sua estreita relao com a ocorrncia e a resoluo do problema, foco da caracterstica
confiabilidade. J que, a inibio de defeitos nos aplicativos depende do trabalho dos
programadores de sistemas, responsveis pela implementao e manuteno dos sistemas e
correo de falhas. O resultado obtido com relao a esta subcaracterstica demonstra que,
apesar dos erros ocorrentes, os usurios mantm uma boa imagem da equipe de
desenvolvimento da instituio.

8
 Tabela 02 - Confiabilidade do Sistema

Mnimo Mximo Mdia

Eficincia do atendimento de suporte na resoluo do problema 1 5 4,28
Capacidade de recuperar dados aps a ocorrncia de falhas 1 5 3,98
Emisso de mensagens claras e compreensveis pelo sistema aps a 1 5 3,65
ocorrncia de falhas
Manuteno de padro de funcionamento aps ocorrncia do erro 1 5 3,54
Ocorrncia de falhas no sistema 0 5 3,09
Mdia 3,48

As mdias inferiores a 4,0 obtidas nesta caracterstica demonstram que a Gerncia de

Servios de Informtica precisa direcionar seus esforos para identificar as principais falhas,
que podero ser posteriormente definidas como requisitos condutores de projetos futuros, e, a
partir desta informao, deliberar mtodos para sanar estes problemas. Assim, a reduo do
nmero de erros proporcionar o aumento do nvel de adequao dos sistemas aos anseios dos
usurios.
Ao analisar a parte visvel do software (atratividade das interfaces) e quo fcil usar
o produto percebe-se que quanto caracterstica usabilidade os aplicativos da organizao
atendem s necessidades dos usurios, tendo como nota 4,08, dado exposto na Tabela 03. Para
Koscianski e Soares (2007, p.253), a importncia desta caracterstica deve-se ao fato de
exercer influncia determinante sobre a impresso de qualidade percebida, j que usurios
com dificuldades em lidar com o programa desempenharo mal sua funo.

Tabela 03 - Usabilidade do Sistema

Mnimo Mximo Mdia

Facilidade de consulta 0 5 4,24
Uso das cores como elemento comunicativo 0 5 4,21
Facilidade de efetuao de cadastro 0 5 4,15
Atratividade da interface grfica 0 5 4,10
Cores agradveis das telas 0 5 4,10
Facilidade de compreenso da linguagem utilizada pelo sistema 1 5 4,09
Representatividade das imagens utilizadas pelos sistemas 0 5 3,96
Facilidade de navegabilidade 0 5 3,95
Facilidade de alterao/excluso de dados nos sistemas 0 5 3,92
Mdia 4,08

Entre os aspectos positivos que favorece o bom resultado obtido nesta caracterstica
destaca-se o indicador facilidade de consulta (4,24). A facilidade de uso das telas de consultas
deve-se ao modo como so estruturadas, estas so compostas por diversos parmetros que
podem ou no ser preenchidos a depender da necessidade do usurio e por campos formados
por listas pr-definidas. Assim, o dinamismo do processo de consulta favorece a avaliao
deste item como positivo.
Ao comparar a usabilidade com o tempo de servio importante notar que os usurios
com maior tempo de servio na instituio, acima de 20 anos, obtiveram a menor mdia
(3,69) com relao caracterstica usabilidade, ou seja, estes vem com mediana facilidade de
uso do software, demonstrando uma provvel resistncia ou dificuldade de adotar novos
mtodos de trabalho. Entretanto, o servidor com 11 a 15 anos de trabalho na organizao
apresenta um alto grau de satisfao com o modo de funcionamento dos programas. Este
resultado pode ser explicado pelo bom conhecimento que os servidores nesta faixa de tempo

9
de servio adquiriram da organizao, aliado a maior disposio de aprender e flexibilidade
para aderir novas prticas.
Quanto ao desempenho do produto software referente caracterstica eficincia, o
tempo de resposta disponibilizado pelo sistema do rgo definido por 40,6% dos usurios
como razovel, seguido por 22,9% que avaliam esta caracterstica como fraca. Este tpico
est altamente ligado qualidade do ambiente de execuo do programa, o que inclui
configurao fsica dos computadores e as conexes de redes, e o quo de recursos o sistema
precisa para realizar suas operaes (CRTES; CHIOSSI, 2001). Tendo a caracterstica
eficincia a menor nota do estudo (2,89) com relao aos outros critrios definidos a partir da
norma ISO 9126.
Os usurios justificaram sua insatisfao centrada em reclamaes sobre os sistemas,
focalizando programas especficos, demora muito tempo para salvar, principalmente o
sistema processo. Como tambm demonstraram descontentamento com o ambiente fsico,
como: os equipamentos so antigos ou tempo de resposta adequado, salvo quando h
problema na rede, citando a conexo de rede do rgo.
De acordo Koscianski e Soares (2007, p.216), provvel que em muitos casos seja
difcil ou mesmo impossvel controlar com preciso o ambiente de execuo do software.
Apesar do cenrio traado pelos autores, importante destacar que o DER-SE no adota
nenhuma ferramenta de anlise de desempenho dos sistemas (operaes executadas versus
alocao de recursos) e no tem a preocupao em definir qual a configurao mnima para
um desempenho satisfatrio do software.

Qualidade em uso atribuda ao produto final

A qualidade em uso analisa, considerando os critrios definidos pela norma ISO 9126,
a capacidade dos software desenvolvidos pelo DER-SE atingir as metas estabelecidas a partir
da percepo do usurio final, no tocante a efetividade, produtividade, segurana e satisfao.
A caracterstica efetividade obteve a mdia 4,03, dado exposto na Tabela 04,
sinalizando que os aplicativos atingem um resultado final satisfatrio condizente com os
objetivos almejados pelo usurio. Sendo assim, as aplicaes do rgo apresentam-se como
aptas a realizar com eficcia os propsitos definidos na fase de projeto.

Tabela 04 - Efetividade do Sistema

Mnimo Mximo Mdia

Obteno de informao de forma flexvel 0 5 4,27
Reduo da circulao de papis 0 5 4,23
Obteno de informaes precisas 0 5 4,09
Obteno de informaes claras e simples 0 5 4,01
Obteno de informaes relevantes que auxiliam no processo de 0 5 3,99
planejamento de suas atividades profissionais
Obteno de informaes relevantes que auxiliam o processo de tomada de 0 5 3,91
deciso
Possibilidade de obter todas as informaes que necessita em uma nica 0 5 3,73
tela ou sistema
Mdia 4,03

A menor nota (3,73), relacionada ao indicador possibilidade de obter todas as

informaes que necessitam em uma nica tela ou sistema, demonstra uma provvel falta de
conciso nas aplicaes. Este problema mais expressivo nos programas que focam a rea de
recursos humanos da organizao. Atualmente, a organizao conta com 04 sistemas voltados
10
para as necessidades especficas desta gerncia, que apesar de terem a base de dados
interligada, obriga os usurios destas aplicaes abrirem vrias telas ou sistemas diferentes
para consultar informaes sobre o mesmo servidor. A evidncia da dificuldade que causa
esta limitao do sistema um dos projetos da Gerncia de Servios de Informtica para
2008, que visa integrao destas aplicaes em um nico software para aumentar a
praticidade dos sistemas vinculados Gerncia de Recursos Humanos. Entretanto,
importante destacar que a maioria dos programas do rgo apresenta a mesma deficincia.
A maior pontuao da caracterstica efetividade relaciona-se a subcaracterstica
obteno de informao de forma flexvel, mdia 4,27. A forma como as consultas so
estruturadas, como exposto na anlise obtida na caracterstica usabilidade, e a facilidade de
criao de novos relatrios que so moldados de acordo com a necessidade do usurio, devido
os aplicativos serem desenvolvidos na prpria instituio, beneficia a percepo positiva
deste indicador.
Apesar de no ser a nota mais expressiva, o ndice reduo da circulao de papel
uma das principais metas definidas pelas gerncias e diretorias na adoo da informatizao
do processo de trabalho. Este item obteve um bom resultado, nota 4,23. Entretanto, segundo
dados disponibilizados pelo Sistema de Controle de Estoque, o rgo consumiu em torno de
4479 remas de papel em 2007, um consumo quatro vezes maior do que ocorreu em 2006
(1119 resmas de papel). Este aumento abusivo do consumo de papel pode ser conseqncia do
nmero de novas pessoas includas no quadro de atividade do DER-SE no ano de 2007, do
pouco conhecimento destes servidores das prticas presentes na organizao e da adoo de
novos sistemas de informao. De qualquer modo, este indicador precisa ser avaliado e
acompanhado com maior altivez pela alta gerncia.
importante ressaltar que os usurios de sistemas com maior faixa etria percebem
com menor satisfao os resultados obtidos com a utilizao dos software do rgo. Assim, a
idade apresenta-se como um fator de resistncia ao uso dos sistemas de informao do rgo,
reduzindo a percepo das aplicaes como ferramentas de facilitao das atividades dirias
do servidor. Com relao a maior mdia obtida, tem-se a pontuao 4,21 relacionada a faixa
etria de 31 a 40 anos. Observa-se como possvel explicao para o alto grau de
contentamento com as aplicaes, a maturidade profissional associada ao processo de
aprendizagem ativa que favorece a aceitao das mudanas vindas com a adoo de sistemas
de informao. A faixa etria de at 20 anos foi desconsiderada, j que esta foi composta por
apenas 01 pessoa.
Os usurios do sistema apresentam um alto nvel de satisfao com os resultados
obtidos com o uso das aplicaes, onde 68% dos entrevistados consideram que os sistemas da
instituio facilitam e simplificam suas atividades dirias. Para justificar a capacidade do
software atende s expectativas do usurio pode-se usar as respostas dos prprios servidores:
diminui consideravelmente a burocracia, com muito mais segurana e eficincia do que o
processo manual, executando os trabalhos com rapidez e sem a necessidade do uso do
telefone ou desloca-se at o local.
Contudo, 28% vem como mediana a capacidade dos software satisfazer suas
necessidades, apontando os seguintes pontos desfavorveis: alguns processos no so
totalmente informatizados e a presena de fases manuais dificultam a agilidade das atividades
do servidor; o tempo de resposta dos aplicativos, fator analisado anteriormente na
caractersticas eficincia;a falta de planejamento da diretoria na implantao dos software; e a
necessidade da instituio promover treinamentos dos sistemas de forma mais estruturada e
intensiva aliada adoo de tutoriais para auxiliar o processo de utilizao das aplicaes,
assim como oferecer cursos de informtica avanado aos servidores para facilitar o processo
de aprendizagem.
No tocante as caractersticas produtividade e segurana, os sistemas do rgo, segundo

11
os pesquisados, promoveram o aumento da produtividade (4,13), representado pelos
indicadores: reduo do tempo de execuo das tarefas dirias e melhoria do atendimento
prestado ao cliente interno e externo. Como tambm, a maioria dos entrevistados destaca a
capacidade do sistema em manter a confidencialidade (68%) do acesso informao,
demonstrando que os usurios confiam nos mecanismos de segurana definidos pelo rgo,
considerando estes suficientes para garantir a preveno do acesso indevido. Para ratificar o
bom nvel de contentamento do usurio com este indicador, citam-se as respostas dos prprios
agentes pblicos: impossvel acessar algo que a minha senha no tem autorizao, assim
como, caso desconfie do seu uso indevido posso altera - l em qualquer aplicao do rgo.
Alm disso, a maior parte dos servidores entende que os dados gravados pelos sistemas esto
a sua disposio, independente do perodo de cadastramento ou do momento que este esteja
buscando a informao, posio declarada por cerca 68% dos entrevistados.
Porm, tendo como ponto negativo, a falta de confiana do usurio na capacidade dos
aplicativos manterem a integridade das informaes ao longo tempo, defendendo, a maioria
dos entrevistados, a necessidade de impresso como forma de garantir que as operaes foram
realizadas pelo usurio do sistema. O resultado ratifica o consumo exacerbado de papel na
instituio, constatado na avaliao dos resultados expostos na caracterstica efetividade. Para
os que no vem como necessrio impresso dos dados do sistema (28%), os sistemas do
rgo disponibilizam consultas para suprir esta necessidade e a impresso representa custo
desnecessrio para a organizao e acmulo de papel nos setores. No h necessidade de
impresso. Para que fazer isso se o prprio sistema disponibiliza outras maneiras. Impresso
gera gastos e outras coisas mais.

Relevncia das caractersticas da ISO 9126

Esta varivel focaliza a identificao da expectativa do usurio com relao

qualidade das aplicaes da instituio, ou seja, a definio da importncia que determinado
requisito deve assumir no desenvolvimento do software para a obteno de um produto
adequado a real e efetiva necessidade do usurio, de acordo com as caractersticas
funcionalidade, confiabilidade, usabilidade e eficincia.

Tabela 05 - Importncia das Caractersticas da ISO 9126

Mdia por Mdia por

Mnimo Mximo
indicador caractersticas
Adequao a sua necessidade 0 5 4,16
Funcionalidade Compatvel com realidade da 0 5 4,04 4,07
organizao
Inibir acesso no autorizado 0 5 4,02
Ausncia de falhas nos sistemas 0 5 4,01
Manuteno de padro de
Confiabilidade funcionamento 0 5 4,17 4,19
Capacidade de recuperar dados aps
0 5 4,40
problemas
Facilidade de uso 0 5 4,23
Usabilidade Aspecto visual 0 5 3,92 4,01
Manuais e ajuda on-line 0 5 3,88
Eficincia Tempo de resposta 0 5 4,28 4,28
Mdia 4,14

12
 A menor pontuao est associada ao item manuais e ajuda on-line, nota 3,88,
ocupando na escala a posio entre razovel importncia e importante. No estudo realizado
por Ferreira e Leite (2003), o fato do site da Submarino no oferecer mecanismos de ajuda
apontado como fator negativo, j que a implementao deste tipo de ferramenta permite ao
usurio identificar para que serve e como usar determinada opo do sistema, constituindo,
assim, um instrumento de facilitao para uso do software, principalmente na fase de
implantao e quando estes aplicativos passam a ser utilizados por novos usurios inseridos
na organizao.
Este indicador no foi utilizado para avaliar a efetividade da caracterstica usabilidade
por sua absoluta ausncia nas aplicaes do rgo. O DER-SE representado pela Gerncia de
Servios de Informtica precisa avaliar a importncia da implementao deste tipo de
facilitador, considerando custo e tempo gasto para produo deste mecanismo versus reduo
do tempo com o atendimento de suporte e otimizao de tempo gasto pelo usurio com o uso
do sistema. E, assim, identificar se h efetiva vantagem com o uso destes instrumentos de
ajuda no processo de adoo de novos aplicativos.
O indicador que gera maior expectativa no usurio a capacidade de recuperar dados
aps a ocorrncia de alguma falha no sistema, obtendo a nota 4,40, seguido pelo tempo de
resposta (4,28). Esses resultados podem ser explicados pelo fato do usurio ter passado por
experincias negativas referente falta de prticas expressivas da equipe de informtica para
resoluo destes problemas.
Ao comparar a importncia das caractersticas descritas pela norma ISO 9126 versus o
desempenho constatado nos aplicativos da instituio, dados exibidos na Tabela 06, observa-
se que a funcionalidade e a usabilidade so vistas como de grande importncia para o usurio
e que as aplicaes da instituio enquadram-se no padro de qualidade desejado. Assim,
neste cenrio, o foco da equipe de desenvolvimento manter o bom trabalho realizado.
Entretanto, para a manuteno desta percepo positiva preciso ficar atento necessidade de
aperfeioar os mecanismos de trabalho e direcionar esforos para melhorar os indicadores que
obtiveram um resultado menos expressivo dentro destas caractersticas.
J as caractersticas confiabilidade e eficincia obtiveram o maior grau de importncia
na viso dos usurios, nota 4,19 e 4,28, respectivamente. Contudo, os valores efetivos
percebidos pelos entrevistados demonstram a pouca adequao destas a necessidade do
usurio. Este resultado demonstra que a gerncia precisa focalizar prioritariamente suas aes
nestes itens na busca pela melhoria do atendimento dos anseios do servidor, o que inclui o
aumento da preocupao com estes fatores no processo de concepo do produto software,
para, assim, elevar a qualidade das aplicaes e conseqentemente o nvel de satisfao do
usurio.

Tabela 06 Importncia versus Desempenho

Caractersticas Importncia Desempenho Ao

Funcionalidade 4,07 4,12 Manter

Confiabilidade 4,19 3,48 Melhorar
Usabilidade 4,01 4,08 Manter
Eficincia 4,28 2,89 Melhorar
Mdia 4,14 3,64

5. Consideraes Finais

A qualidade de software comea com a definio dos anseios do usurio e tem como
fim maior a sua satisfao. Assim, todo o projeto deve ser centrado na necessidade do cliente
13
interno ou externo, mediante a identificao dos atributos essenciais e indispensveis para
elevar a adequao das aplicaes s suas reais expectativas e necessidades.
Mesmo, pequenas equipes podem e devem definir mecanismos de verificao da
eficcia dos sistemas implantados nas suas instituies como um procedimento necessrio
para o aperfeioamento e melhoria do processo de construo do software e para obteno da
qualidade do produto final, mesmo que estes sistemas estejam inseridos em uma entidade
pblica. Inclusive, podendo esta ferramenta de avaliao ser baseada em normas direcionadas,
geralmente, para grandes corporaes privadas, desde que esta seja adequada realidade da
organizao, como prope o presente trabalho.
Os resultados expostos neste estudo demonstram que a falta de padronizao dos
processos do ciclo de desenvolvimento das aplicaes e a eliminao de etapas provocam
problemas visveis, como interfaces projetadas sem um padro de design que dificultam o
processo de aprendizagem do usurio. Assim como, a compreenso parcial dos requisitos
desejados traduzida em insatisfao com o desempenho adotado pelas aplicaes na
instituio, obtendo apenas um resultado mediano, de acordo com a percepo da maioria dos
usurios pesquisados. As caractersticas confiabilidade e eficincia do sistema juntamente
com o indicador a capacidade de manter a integridade das informaes so os principais
limitadores das aplicaes da instituio, evidenciando a necessidade dos requisitos
identificados nesta pesquisa serem adotados como condutores dos projetos do DER-SE para o
aprimoramento do processo de elaborao do produto software, uma vez que estes critrios
simplesmente expressam s necessidades do usurio e condicionam a qualidade do produto
final.
Outra dimenso a ser considerada a necessidade de avaliar a demanda do rgo por
novos equipamentos, tais como, computadores pessoais, servidores e estrutura de rede.
Medida necessria para aumentar o nvel de adequao das aplicaes existentes e que
tambm deve ser tomada como critrio para obter um melhor desempenho dos futuros
projetos.
bem verdade, que a maior parte dos usurios entrevistados consegue perceber os
benefcios conquistados com o uso das aplicaes da instituio, manifestando-se
fundamentalmente na possibilidade de obter informaes de forma personalizada, devido ao
alto grau de flexibilidade presente nas telas de consulta dos sistemas e na facilidade de criar
novos relatrios com agilidade pelos sistemas serem desenvolvidos na prpria organizao.
Destarte, os direcionadores apresentados, neste estudo, podem ser usados para apoiar a
equipe de desenvolvimento no processo de concepo e adoo de melhorias a serem
implantadas nos software em uso, permitindo a possibilidade de identificar desejos dos
usurios e tendncias predominantes. Contudo, para realimentar continuamente o processo de
produo, esta ferramenta de pesquisa dever ser reutilizada e aperfeioada.
Nesta direo, importante destacar que para implantar e utilizar um modelo de
qualidade preciso considerar vrios fatores. Alm da validade e do peso de cada atributo
para organizao, preciso evidenciar a maturidade organizacional da empresa, j que
organizaes com ausncia de planejamento e instrumentos corretos de gerenciamento
conduzem os funcionrios a agir de acordo com o surgimento do problema e no a antecipar
solues. Cenrio este presente na organizao escolhida como objeto de estudo e,
evidentemente, esta postura gerencial torna a previsibilidade do sucesso dos projetos mais
vulnervel.
Alm disso, a adoo de um modelo formal de definio de requisitos de qualidade
apenas uma etapa entre vrias outras para a organizao que tem como objetivo a qualidade
total do produto. Sendo esta conduzida e obtida por meio do gerenciamento, qualificao e
aperfeioamento de trs dimenses: o projeto, o processo e o produto final, aliadas a constante
necessidade de observar e equacionar as prticas adotadas ao domnio da organizao.

14
 O exerccio pleno da administrao da gesto pblica favorecido pelo
aprimoramento dos sistemas de informao. Estas aplicaes promovem difuso de
informaes sobre o governo, esto presentes no gerenciamento e controle das atividades de
todas as esferas pblicas e geram conhecimento organizacional, modificando o modo da
organizao pblica conduzir suas atividades.
Por isto, to importante quanto adeso de software a necessidade de avaliao do
valor destas aplicaes e a adoo do compromisso com o constante aperfeioamento da
qualidade dos produtos, uma vez que este tipo de soluo representa expressivos custos para
os cofres pblicos e precisam proporcionar o resultado esperado, a eficincia operacional e o
atendimento adequado aos anseios do pblico interno e as necessidades do cidado.
As ferramentas de qualificao dos aplicativos no podem ser ignoradas pelas
organizaes pblicas, tendo em vista o importante papel que o software assumiu no cenrio
pblico, sendo este capaz de proporcionar o aumento da qualidade das atividades internas e do
atendimento prestado ao cliente-cidado. Assim sendo, apesar do desenvolvimento de
sistemas no ser a atividade principal da maioria das unidades pblicas, as mtricas de
conduo dos projetos so fundamentais para a qualidade das aplicaes e atuam de forma
benfica na reduo da resistncia dos usurios no processo de adeso dos aplicativos,
amenizando os impactos produzidos, por traduzirem as suas necessidades.
Caso a anlise de requisitos e um modelo de ciclo de vida para qualidade de software
seja implementado, esse estudo contribuir como um mecanismo importante de consulta e
continuidade, j que se procurou identificar, de forma exploratria e descritiva, subsdios a
respeito de quais requisitos do produto software correspondem ou no a expectativa do
usurio, servindo como fonte de dados para auxiliar a correo de desvios para aes futuras.
Ademais, considerando as variveis, indicadores, pontos de melhoria e a forma com que esse
estudo foi conduzido, sugere-se sua aplicao em outras organizaes, para aprimor-lo e
promover comparaes entre outros casos.

Referncias Bibliogrficas

ANJOS, L. A. M; MOURA, H. P. Um Modelo para Avaliao de Produtos de Software.

Disponvel em: <www.cin.ufpe.br/^tg/2005-1/acps.pdf>. Acesso em 05 mai. 2007.
BELCHIOR, Arnaldo Dias et al. Definio de Requisitos de Qualidade de Software. In:
ROCHA, Ana Regina Cavalcanti; MALDONADO, Jos Carlos; WEBER, Kival Chaves
(Org.). Qualidade de Software: Teoria e Prtica. So Paulo: Prentice Hall, 2001. p.153-159.
CORTS, Mario Lcio; CHIOSSI, Thelma C. Santos. Modelos de Qualidade de Software.
So Paulo:Editora Unicamp, 2001.
DUARTE, Ktia Cristina; FALBO, Ricardo Almeida. Uma Ontologia de Qualidade de
Software. Joo Pessoa, PB, WorksShop Qualidade de Software WQS2000, out. 2000.
FERREIRA, Simone Bacellar Leal; LEITE, Julio Csar Sampaio do Prado. A Avaliao de
Usabilidade em Sistemas de Informao: o Caso do Sistema Submarino. Revista de
Administrao, v.7, n 2, p.115-136, Abr./Jun. 2003.
GIL, Antonio Carlos. Como Elaborar Projetos de Pesquisa. 3. ed. So Paulo: Atlas, 1991.
KOSCIANSKI, Andr; SOARES, Michel Santos. Qualidade de Software. 2.ed. So Paulo:
Novatec, 2007.
LEITE, Julio Csar Sampaio Prado. Gerenciando a Qualidade de Software com Base em
Requisitos.In: ROCHA, Ana Regina Cavalcanti; MALDONADO, Jos Carlos; WEBER,
Kival Chaves (Org.). So Paulo: Prentice Hall, 2001. p.238-246.

15
MATIAS, Jose Pereira. Reforma do Estado e transparncia: estratgias de controle da
corrupo no Brasil. Disponvel em: < unpan1.un.org/intradoc/groups/public/documents/CLAD/
clad0044105.pdf>. Acesso em: 28 mar.2007.
MATTAR, Fauze Najib. Pesquisa de Marketing: Metodologia, Planejamento. 4.ed. So
Paulo: Atlas, 1997.
MINISTRIO DA CINCIA E TECNOLOGIA (Brasil). A Qualidade no Setor de Software
Brasileiro. Disponvel em: <http://acessibilidade.mct.gov.br/index.php/content/
view/3253.html>. Acesso em: 28 mai. 2007.
MINISTRIO DA CINCIA E TECNOLOGIA (Brasil). Fomento Tecnologia da
Informao e Software - Demais Aes - 2007. Disponvel em:
<http://www.mct.gov.br/index.php/content/view/40273.html?tema=102&TxtTipoRelat=A&T
xtTipoQuebra=2&radioAno=2007 >. Acesso em: 28 mai.2007.
NETO, Newton Lima. Tecnologia da Informao na Administrao Pblica. In: SILVA,
Ardio; RIBEIRO, Arajo; RODRIGUES, Luis. Sistemas de Informao na Administrao
Pblica. Rio de Janeiro: Revan, 2004, p.25-27.
RICHARDSON, Roberto Jarry. Pesquisa Social: Mtodos e Tcnicas. 3. ed. So Paulo:
Atlas, 1999.
ROCHA, Ana Regina Cavalcanti. Qualidade dos Produtos de Software. In: ROCHA, Ana
Regina Cavalcanti ; MALDONADO, Jos Carlos ; WEBER, Kival Chaves (Org.). Qualidade
de Software: Teoria e Prtica. So Paulo: Prentice Hall, 2001. p.110-113.
SCALET, Danilo. Normas de Qualidade dos Produtos de Software.In: ROCHA, Ana
Regina Cavalcanti ; MALDONADO, Jos Carlos ; WEBER, Kival Chaves (Org.).Qualidade
de Software: Teoria e Prtica. So Paulo: Prentice Hall, 2001. p.115-122.
SILVA, Ardio; RIBEIRO, Arajo; RODRIGUES, Luis. Sistemas de Informao na
Administrao Pblica. Rio de Janeiro: Revan, 2004.

16