VII SEMEAD

ESTUDO DE CASO
MTODOS QUANTITATIVOS E
INFORMTICA

ANLISE COMPARATIVA DAS CERTIFICAES DE QUALIDADE

CMM e ISO 9000: UM ESTUDO DE CASO DA IBM BRASIL

Francis Berenger Machado (berenger@pobox.com)

Mestre em Administrao de Empresas pela PUC-Rio e Professor do Departamento de
Informtica da PUC-Rio.
Depto. de Informtica Pontifcia Universidade Catlica do Rio de Janeiro (PUC-Rio)
Rua Marqus de So Vicente, 225 Prdio do RDC 4o andar Gvea 22453-900
Rio de Janeiro RJ Brasil.

Rodrigo Birtel Amndola (rbirtel@br.ibm.com)

Graduado em Informtica pela PUC-Rio.
Depto. de Informtica Pontifcia Universidade Catlica do Rio de Janeiro (PUC-Rio)
Rua Marqus de So Vicente, 225 Prdio do RDC 4o andar Gvea 22453-900
Rio de Janeiro RJ Brasil.
RESUMO
Este artigo apresenta uma anlise comparativa das certificaes de qualidade CMM e ISO
9000. Um estudo de caso foi realizado na rea de Application Management System da
IBM Brasil que possui atualmente as certificaes CMM nvel 3 e ISO 9001. Aspectos
sobre a eficcia real dos processos das duas certificaes tambm so abordados ao longo
do texto.

PALAVRAS-CHAVE
Certificao de qualidade, qualidade, ISO 9000, CMM, projetos de software,
desenvolvimento de software.

ANLISE COMPARATIVA DAS CERTIFICAES DE QUALIDADE

CMM e ISO 9000: UM ESTUDO DE CASO DA IBM BRASIL
1. Introduo
O Brasil vem se posicionando mundialmente como um dos pases que mais tem investido
em estratgias para atingir padres internacionais efetivos em qualidade e produtividade no
setor de software. Pesquisas nacionais sobre a qualidade de software vm sendo realizadas
a cada dois anos como parte do Programa Brasileiro da Qualidade e Produtividade em
Software, sob a responsabilidade do Ministrio da Cincia e Tecnologia. Estas pesquisas
so aplicadas a diversos tipos de empresas desenvolvedoras de software e os resultados
vm apresentando ndices crescentemente positivos nas reas de mtodos de gesto de
recursos humanos e tecnologia de software (Qualidade-MCT, 2004).
Parte desse bom resultado proveniente de empresas de servios em Tecnologia da
Informao (TI), que vm buscando o desenvolvimento e implantao de sistemas de
qualidade para seus processos e produtos. Com essa percepo, essas empresas vm
criando projetos internos nas suas reas de servio com o objetivo de adotar normas e
modelos propostos por programas de certificao de qualidade como a ISO 9000 e o
CMM.
A busca por certificaes de qualidade j faz parte de investimentos de diversas empresas
que procuram as melhores prticas do mercado. Atualmente, empresas certificadas so
consideradas possuidoras de um diferencial competitivo diante da concorrncia. Nesse
contexto, importante que os gestores de TI conheam detalhadamente quais as prticas
exigidas por cada certificao e quais benefcios reais podem ser gerados. Este artigo
apresenta uma anlise comparativa das certificaes CMM e ISO 9000, alm dos
resultados de uma pesquisa na rea Application Management System da IBM Brasil, que
possui atualmente as certificaes CMM nvel 3 e ISO 9001.

2. Problema de Pesquisa e Objetivo

Dentre as diversas normas e modelos de certificaes de qualidade existentes, as empresas
devem avaliar com critrios qual a certificao mais adequada sua organizao para
proporcionar os melhores resultados. Esta anlise permitir decidir seguramente qual o
melhor investimento que dever ser realizado. A partir dessas consideraes possvel
apresentar algumas questes de interesse a todas as empresas de servios em
desenvolvimento de software: Ser que as certificaes de qualidade ISO 9000 e CMM de
fato sugerem melhorias para o aumento da qualidade no desenvolvimento de projetos de
software? De que forma estas certificaes de qualidade contribuem para o aumento da
qualidade no desenvolvimento de projetos?
A pesquisa buscou investigar estas questes, apresentando um estudo de caso na IBM
Brasil. A empresa foi escolhida devido ao seu posicionamento entre as empresas com
liderana no mercado de tecnologia da informao do Brasil e do mundo. Atualmente, a
IBM possui um efetivo aproximado de 319.000 funcionrios e um faturamento anual de
89,2 bilhes de dlares no ano de 2003 (IBM, 2004).

3. Certificao CMM - Capability Maturity Model

O CMM - Capability Maturity Model - uma certificao de qualidade que surgiu na
dcada de 1980 nos Estados Unidos, a partir de uma solicitao do governo para
desenvolver um mtodo para avaliar a capacitao dos fornecedores de software
contratados pela Fora Area Norte Americana. O modelo foi desenvolvido pelo SEI Software Enginnering Institute - sediado na Carneggie Mellon University na Pennsylvania.
A primeira verso do CMM surgiu em agosto de 1991 e, atualmente, a verso 1.1 est
sendo revista para o futuro lanamento da edio 2.0 (Carneggie Mellon University e
Software Engineering Institute, 1995).
O propsito principal desse modelo mensurar a maturidade de uma rea de
desenvolvimento de softwares, portanto, precisa ser analisado, compreendido e adaptado
s caractersticas de cada organizao. O CMM descreve as etapas necessrias para que
uma rea desenvolvedora de software produza, consistentemente e previsivelmente,
produtos de qualidade assegurada. O modelo possibilita analisar o quanto o processo
implantado em uma organizao capaz de assegurar a qualidade dos produtos gerados.
O CMM apresenta uma estrutura em cinco nveis de maturidade para organizar as etapas
evolutivas que estabelecem fundamentos sucessivos para uma contnua melhoria do
processo de desenvolvimento de software. Esses nveis de maturidade definem uma escala
ordinal para medir e avaliar a maturidade de um processo de desenvolvimento de software
na organizao, ajudando a priorizar esforos na melhoria do processo. Cada nvel um
estgio evolutivo bem definido, compreendendo um conjunto de objetivos que, quando
satisfeitos, estabilizam um componente importante do processo. Alcanando cada nvel da
estrutura de maturidade, estabelecem-se diferentes componentes no processo de
desenvolvimento de software, resultando em um crescimento na capacidade de processo
da organizao.
Os cinco nveis propostos pelo CMM esto apresentados na Figura 1. As setas na figura
indicam o tipo de capacidade de processo que est sendo institucionalizado pela
organizao a cada etapa da estrutura de maturidade. As caracterizaes dos cinco nveis
de maturidade, descritos a seguir, destacam as mudanas, realizadas em cada nvel no
processo principal (Paulk et alii, 1993).

Contnua
Melhoria do
Processo

Processo
Previsvel

Padro, Processo
Consistente

Processo
Disciplinado

Inicial
(1)

Em
Otimizao
(5)

Gerenciado
(4)

Definido
(3)

Repetvel
(2)

Os Cinco Nveis da Maturidade do Processo de Software

Figura 1 Os cinco niveis de maturidade do processo de software

Nvel 1 - Inicial: O processo de software caracterizado como ad hoc e ocasionalmente

pode ser considerado catico. Poucos processos so definidos e o sucesso depende de
esforo individual dos recursos.
Nvel 2 - Repetvel: Os processos bsicos de gesto de projeto so estabelecidos para
acompanhar custo, cronograma e funcionalidade. A disciplina na execuo do processo
existe para repetir sucessos anteriores em projetos com aplicaes similares.
Nvel 3 - Definido: O processo de desenvolvimento de software para as atividades de
gesto e engenharia documentado, padronizado e integrado em um processo de software
padro para a organizao. Todos os projetos utilizam uma verso aprovada do processo
de desenvolvimento e manuteno de software.
Nvel 4 - Gerenciado: Medidas detalhadas do processo de desenvolvimento de software e
da qualidade do produto so realizadas. O processo e os produtos de software so
quantitativamente compreendidos e controlados.
Nvel 5 - Em Otimizao: A melhoria contnua do processo propiciada pelo feedback
quantitativo do processo e pelas idias e tecnologias inovadoras.
O CMM identifica os nveis por meio dos quais uma organizao deve desenvolver-se para
estabelecer uma cultura de excelncia em desenvolvimento de software. Saltar nveis de
maturidade contraproducente, pois cada nvel constri a base para que os seguintes
possam implementar processos de forma efetiva e eficiente.

4. Certificao ISO Srie 9000

A ISO srie 9000 compreende um conjunto de cinco normas (ISO 9000 ISO 9004).
Estas normas, oficializadas em 1987, foram baseadas em outras j existentes,

principalmente na britnica BS 5750. As normas ISO 9000 tm como fundamento a

estruturao de um sistema de gesto da qualidade que pode ser utilizado por empresas de
qualquer porte e tipo, no se referindo s especificaes dos produtos ou servios
produzidos. O fato de um produto ser fabricado por um processo certificado segundo as
normas ISO 9000, no significa que este produto ter maior ou menor qualidade que um
outro similar, apenas que todos os produtos fabricados segundo este processo
apresentaro as mesmas caractersticas e o mesmo padro de qualidade.
As normas individuais da srie ISO 9000 podem ser divididas em dois tipos:
a) Diretrizes
ISO 9000: seleo e uso das normas;
ISO 9004: implementao de um sistema de gesto de qualidade.
b) Contratuais
ISO 9001: modelo de garantia da qualidade que engloba as reas de projeto e
desenvolvimento, produo, instalao e assistncia tcnica;
ISO 9002: modelo de garantia da qualidade que engloba a produo e a instalao;
ISO 9003: modelo de garantia da qualidade em inspeo e ensaios finais.
As empresas s podem ser certificadas em relao s normas contratuais. Pode-se dizer
que a ISO srie 9000 um modelo de trs camadas em que a ISO 9001 engloba a ISO
9002 que, por sua vez, engloba a ISO 9003.
A deciso sobre qual das normas contratuais da srie ISO 9000 utilizar depende da
finalidade das atividades da indstria em questo. A ISO 9001 mais apropriada para
processos que envolvem atividades de pesquisa e desenvolvimento. A ISO 9002, por sua
vez, a mais apropriada para indstrias baseadas em processos de manufatura bem
estabelecidos. J a ISO 9003 engloba somente a inspeo e ensaios finais e, por isso, tem
um valor limitado. Na prtica esta norma no mais utilizada.
A srie de normas ISO 9000 baseia-se em 20 critrios que englobam vrios aspectos da
gesto de qualidade: responsabilidade da administrao, sistema da qualidade, anlise
crtica de contratos, controle de projeto, controle de documentos, aquisio, produtos
fornecidos pelo cliente, identificao e rastreamento do produto, controle de processos,
inspeo e ensaios, equipamentos de inspeo, medio e ensaios, situao da inspeo e
ensaios, controle de produto no conforme, ao corretiva, manuseio, armazenamento,
embalagem e expedio, registros da qualidade, auditorias internas da qualidade,
treinamento, assistncia tcnica e tcnicas estatsticas. Somente a ISO 9001 exige que
todos os 20 elementos estejam presentes no sistema da qualidade. A ISO 9002 faz uso de
18 destes elementos (no fazem parte desta norma o controle de projeto e a assistncia
tcnica), enquanto que a ISO 9003 engloba somente 12 destes elementos.
O ponto central de um sistema de gesto da qualidade baseado nas normas ISO 9000
uma documentao apropriada. Entre as diversas vantagens de se implementar um sistema
da gesto de qualidade com base nas normas ISO 9000, podem-se destacar:

Aumento da credibilidade da empresa frente ao mercado consumidor;

Aumento da competitividade do produto ou servio no mercado;
Reduo da ocorrncia de deficincias e sua preservao;
Reduo dos riscos comerciais, tais como reivindicaes de garantia e
responsabilidades pelo produto.

5. Anlise Comparativa entre CMM e ISO Srie 9000

Uma diferena fundamental entre as certificaes ISO 9000 e CMM que enquanto a ISO
tem um mbito mais amplo para produtos e servios diversos, o CMM focaliza
estritamente projetos de desenvolvimento de software. O CMM foi especificamente
desenvolvido para prover uma estrutura ordenada e disciplinada dentro da qual assuntos
sobre processos de gesto e desenvolvimento de software possam ser encaminhados
organizadamente.
A premissa fundamental da ISO 9001 que cada processo importante deve ser
detalhadamente documentado para que seja possvel verificar a qualidade de cada servio
por meio de processos de controle. Apesar desta certificao apresentar mtodos de
melhoria contnua do processo como o PDCA (plan, do, check, act), a norma
fundamenta-se principalmente na orientao do critrio mnimo exigido para a implantao
de um sistema de qualidade aceitvel.
Com a nfase um pouco diferente da ISO 9000, o CMM destaca a necessidade de existir
uma orientao contnua para a melhoria dos processos implantados e dos novos
processos entrantes na rea de desenvolvimento de software. Um banco de dados deve ser
construdo com informaes necessrias para apoiar o aprimoramento processual das
atividades.
Geralmente as normas da ISO 9001 so enquadradas pelo CMM, no entanto, o oposto
no to verdadeiro. Empresas desenvolvedoras de software com bom nvel de
maturidade certamente tirariam proveito em focar nas normas apresentadas no ISO 9001.
Tambm verdade que seguir o modelo do CMM tambm ajudaria as organizaes a se
prepararem para uma auditoria de ISO 9001. Em suma, a ISO 9001 pode ser entendida
como uma certificao voltada para a documentao e padronizao de processos de
qualidade de uma empresa, enquanto o CMM sugere aes e novos processos para a
documentao e melhoria contnua do processo de desenvolvimento de software.

6. Pesquisa na IBM Brasil e Anlise dos Resultados

Uma pesquisa foi realizada na rea de AMS da IBM Brasil nas filiais de Campinas, So
Paulo e Rio de Janeiro. A amostra selecionada foi de 32 funcionrios que ocupavam
cargos de gerncia ou coordenao de projetos de software. Todos os respondentes
trabalhavam em reas que j possuam certificaes CMM nvel 3 ou ISO 9001.
A coleta de dados ocorreu atravs de pesquisa quantitativa realizada atravs de um
questionrio fechado e estruturado, com questes sobre a eficcia das certificaes nos
aspectos de reduo de custos do projeto, cumprimento de prazos e reduo de erros nos

projetos desenvolvidos. Com exceo de duas questes, todas as demais apresentaram o

mesmo tipo de estrutura com uma escala de respostas de cinco valores: Discordo
Totalmente, Discordo em Parte, Nem Concordo, Nem Discordo, Concordo em
Parte e Concordo Totalmente.
Para a certificao CMM, as seguintes questes foram usadas:
Questo 1: O certificado de qualidade CMM contribui para reduo de custo dos projetos
em uma empresa do segmento de informtica.
Questo 2: O certificado de qualidade CMM contribui para cumprimento do prazo de
entrega pr-estabelecido dos projetos em uma empresa do segmento de informtica.
Questo 3: O certificado de qualidade CMM contribui para reduo de erros em projetos
desenvolvidos na rea de informtica.
Enquanto que para a certificao ISO, as seguintes questes foram usadas:
Questo 4: O certificado de qualidade ISO contribui para reduo de custo dos projetos
em uma empresa do segmento de informtica.
Questo 5: O certificado de qualidade ISO contribui para cumprimento do prazo de
entrega pr-estabelecido dos projetos em uma empresa do segmento de informtica.
Questo 6: O certificado de qualidade ISO contribui para reduo de erros em projetos
desenvolvidos na rea de informtica.
Para tratar a diferena entre mdias de duas populaes (CMM e ISO), foi utilizado o
teste estatstico matched pairs a partir dos resultados descritos na Tabela 1.

Tabela 1 Distribuio de freqncia por questo e certificado

A partir das anlises dos resultados foi possvel apresentar trs proposies que podem ser
utilizadas como hipteses para futuras pesquisas.
Proposio 1: O CMM apresenta maior contribuio para reduo de custos no
desenvolvimento de projetos do que a ISO 9001.

A anlise comparativa das mdias das questes 1 e 4, segundo o mtodo estatstico

utilizado, indicou que o CMM apresenta uma maior contribuio para reduo de custos
de desenvolvimento de software do que a ISO 9001.
Uma possvel explicao para esse resultado pode ser encontrada em um ponto diferencial
existente entre os dois modelos. Enquanto o CMM sugere uma grande quantidade de
documentos e reunies com o cliente para o entendimento do requerimento e explicao
da soluo proposta, a ISO apenas certifica se o processo de desenvolvimento de software
usado atualmente pela empresa padronizado para todos os projetos. O CMM auxilia na
definio do processo de levantamento detalhado de dados com o usurio, ajudando
assim, no planejamento de um cronograma com atividades e datas bem estruturadas. Este
plano possibilita a identificao de caminhos crticos de forma que atrasos na entrega do
produto so bastante minimizados. Com isso, o custo para alocao de recursos tende a
estar prximo do estimado para o projeto.
Proposio 2: O CMM apresenta maior contribuio para o cumprimento do prazo prestabelecido de entrega do software do que a ISO 9001.
A anlise comparativa das mdias das questes 2 e 5, segundo o mtodo estatstico
utilizado, indicou que o CMM apresenta uma maior contribuio para o cumprimento das
datas pr-estabelecidas em relao a ISO 9001.
A diferena encontrada favorvel ao CMM pode ser tambm atribuda s justificativas
descritas na Proposio 1, alm da facilidade com que o mtodo prope no auxlio do
entendimento e determinao das fases do projeto.
Proposio 3: O CMM apresenta maior contribuio para reduo de erros no
desenvolvimento de projetos do que a ISO 9001 .
A anlise comparativa das mdias das questes 3 e 6, segundo o mtodo estatstico
utilizado, indicou que o CMM apresenta uma maior contribuio para a reduo de erros
do que a ISO 9001.
Uma possvel explicao que justifique essa diferena pode ser encontrada nas revises
por pares sugeridas pelo CMM. Os softwares, aps serem desenvolvidos, so revisados
por outros analistas que no participaram do desenvolvimento inicial. Nesta nova
verificao, o cdigo detalhadamente re-examinado com o objetivo de garantir o correto
funcionamento dos programas.

7. Concluso
As certificaes de qualidade foram desenvolvidas h mais de 10 anos, porm, continuam
passando por constantes atualizaes. O investimento em certificaes uma estratgia
que muito recentemente comeou ser discutida pela maioria das empresas de
desenvolvimento de software no Brasil. A diferena entre as certificaes de qualidade ISO
e CMM deve ser objeto de estudo para um conhecimento e compreenso mais

aprofundados, assim como a definio da certificao mais adequada para uma

determinada empresa.
Por intermdio da pesquisa realizada, foi possvel identificar que ambas as certificaes
contribuem para o aumento da qualidade no desenvolvimento de projetos de software. Os
benefcios de maior importncia evidenciados foram o aumento na qualidade do software,
reduo de erros no cdigo, cumprimento nos prazos de entrega e facilidade para correo
de erros.
A superioridade apresentada na pesquisa do CMM em relao ao ISO 9000 nos itens
pesquisados deve ser observada com cautela. A extenso dessa concluso para empresas
de desenvolvimento de software com outros portes deve ser validada com novas pesquisas,
at mesmo para investigar outras possveis vantagens do CMM em relao ao ISO.
Ao final desse trabalho, surgem novas questes que sugerem outras pesquisas e estudos
mais aprofundados, especificamente com relao s certificaes na IBM, objeto desse
estudo de caso. Tendo em vista que ambas as certificaes contribuem para o
desenvolvimento de software, o que levou a IBM a implementar o CMM aps j ter a ISO
9001? Existiria um modismo quanto busca da certificao CMM pelas empresas de
servios? Existiria uma superioridade ainda maior do que a evidenciada do CMM em
relao a ISO?
Quanto s certificaes em empresas de portes diferentes e tambm quanto aos nveis
destas certificaes, seriam os resultados obtidos igualmente aplicveis para diferentes
nveis do CMM (nveis 2, 4 e 5)? Os resultados obtidos poderiam ser aplicados para
empresas de pequeno e mdio porte? Teria o cliente a viso dos benefcios proporcionados
pelas certificaes ISO e CMM s empresas de TI? Qual o diferencial competitivo que
uma empresa certificada possui diante dos concorrentes sob a viso dos clientes?
8. Bibliografia
BOONE, L.E., KURTZ, D.L. Contemporary Marketing Wired, The Dryden Press, 1998.
CAMPOS, Vicente Falconi. TCQ, controle da qualidade total, Belo Horizonte: Ed. de
Desenvolvimento gerencial, 1999.
CARNEGGIE MELLON UNIVERSITY E SOFTWARE ENGINEERING INSTITUTE.
The Capability Maturity Model: Guidelines fro Improving the Software Process, Estados
Unidos da America: Addison Wesley Longman, 1995.
CROSBY, Philip B. Quality Is Free, New York: McGraw-Hill, 1979.
FIORINI, Soeli T., STAA, Arndt von e BAPTISTA, Renan Martins. Engenharia de
software com CMM, Rio de Janeiro: Brasport, 1998.
IBM. Consultado na Internet http://www.ibm.com/ibm/us em 05/Maio/2004.
KURTZ, D.L., CLOW, K.E. Services Marketing, New York: John Wiley & Sons, 1998.

LEWIS, Robert, BOOMS, Bernard. The marketing aspects of service quality. Emerging
Perspectives on Services Marketing, Proceedings series, Chicago: American Marketing
Association, 1983.
MACHADO, Francis Berenger. Fidelizao do consumidor no setor de servios, Papel
Virtual, 2002.
PARASURAMAN, A., ZEITHAML, Valarie A. E BERRY, Leonard L. A conceptual
model of service quality and its implications for future research. Journal of Marketing (fall)
1985.
PAULK, M.C., CURTIS, B., CHRISSIS, M.B., WEBER, C.V. Capability Maturity
Model for software, version 1.1, Software Engineering In-stitute, CMU/SEI-93-TR-24.
1993.
QUALIDADE-MCT. Qualidade e Produtividade no Setor de Software. Consultado na
Internet http://www.mct.gov.br/Temas/info/Dsi/PBQP/Indic.htm em 05/Maro/2004.
ROCHA, Ana Regina Cavalcanti da Rocha, MALDONADO, Jose Carlos e WEBER,
Kival Chaves. Qualidade de software: teoria e prtica, So Paulo: Prentice Hall, 2001.
SCHMAUCH, Charles H. ISO 9000 for software developers, Milwaukee: ASQC Quality
Press, 1995.
SINCICH, T. Business Statistics by Example. 5th edition, New Jersey: Prentice Hall,
1996.
WEBER, Kival Chaves. Qualidade e produtividade em software, So Paulo: Makron
Books, 1997.