Artigos aceitos

Avaliação Conjunta CMMI Nível 3 e MPS Nível C:

Lições Aprendidas e Recomendações

Ana Regina Rocha1, Andrés Rubinstein2, Ana Liddy Magalhães3, Anne Elise Katsurayama1, Arley Duque4,
Carlos Barbieri Palestino5, Crhistian Souza4, Cristina Cerdeiral1, Leandro Teixeira4, Nelson Serranegra de Paiva4,
Leonardo Barros4
1
COPPE/UFRJ; 2Liveware; 3QualityFocus; 4Synos Technologies; 5FUMSOFT

Resumo: Este artigo relata a experiência da avaliação conjunta CMMI/MPS realizada na Synos Technologies sob
quatro pontos de vista: dos avaliadores MPS, do lead appraiser CMMI, da Instituição Implementadora MPS e da
empresa avaliada. São apresentadas as lições aprendidas e um conjunto de recomendações para as próximas
avaliações em que se deseje utilizar esta nova modalidade.

1. Introdução

Recentemente a coordenação do Programa MPS.BR introduziu a modalidade de avaliações conjuntas

CMMI/MPS . Estas avaliações podem ser realizadas obedecendo-se às seguintes condições:

• O avaliador líder MPS deve ser um avaliador experiente;

• O lead appraiser CMMI deve ser membro da equipe de avaliação MPS, deve ter cursado C1 e não
pode ter nenhuma vinculação com a empresa responsável pela implementação do CMMI ou do
MPS na empresa que será avaliada;

• Toda a equipe de avaliação deve ter cursado o C1 e o curso de Introdução ao CMMI e cumprir as
exigências para ser membro da equipe de avaliação MPS e CMMI;

• A avaliação inicial deve coincidir com o readiness CMMI e ser presencial, com duração maior ou
igual à duração recomendada para o nível MPS que será avaliado;

• Todos os membros da equipe de avaliação devem estar presentes na avaliação inicial e na avalia-
ção final;

• A avaliação deve ser aprovada pela SOFTEX considerando-se, além dos itens acima:

• o processo de avaliação que será adotado pelo lead appraiser CMMI, que deve ser descrito em
detalhes e anexado à comunicação de contratação de avaliação enviada pela IA contratada
para a avaliação MPS à SOFTEX;

• declaração do lead appraiser CMMI de que nem ele, nem a II e/ou SEI Partner a que pertence
deu consultoria nos últimos 3 anos à empresa que será avaliada.

Obedecendo a estes critérios a primeira avaliação conjunta CMMI/MPS foi realizada, com sucesso, na
empresa Synos Technologies. Nesta avaliação atuou como lead appraiser CMMI Andrés Rubinstein
da Liveware e como avaliador líder MPS, Ana Regina Rocha da Instituição Avaliadora COPPE/UFRJ.

52 WAMPS 2009
 Avaliação Conjunta CMMI Nível 3 e MPS Nível C: Lições Aprendidas e Recomendações

A avaliação teve, ainda, a participação de três avaliadores adjuntos, sendo dois da COPPE e um da
QualityFocus, e dois representantes da Synos. As Instituições Implementadoras que atuaram na em-
presa foram a FUMSOFT e a ASR. Este artigo descreve as lições aprendidas nesta avaliação conjunta e
algumas recomendações para novas avaliações, considerando diferentes pontos de vista: dos avalia-
dores MPS, do lead appraiser CMMI, da Instituição Implementadora MPS e da empresa avaliada.

2. A Synos

A Synos Technologies foi fundada em Fevereiro de 2003 com uma visão de negócios baseada na
experiência de seus parceiros, empresas consagradas mundialmente no setor de TI. Com fortes rela-
cionamentos de mercado, a Synos é reconhecida pelo seu profissionalismo pelas grandes empresas
globais, tais como Oracle, IBM, Microsoft e Red Hat, com as quais possui parcerias. Em seu primeiro
ano de operação, a Synos atingiu seu primeiro milhão em vendas. Em seu segundo ano, ela conse-
guiu um crescimento de 300%. Atualmente, seu faturamento é da ordem de R$12.000.000,00 por
ano e com previsão de faturamento para 2009 de R$20.000.000,00.

A Synos Technologies é uma empresa focada em soluções de integrações tecnológicas. Por meio de
suas linhas de negócio, que são fábrica de software, outsourcing/body shop, consultoria, treinamen-
to e licenciamento de software, ela opera nos mais diversos setores do mercado nacional, sempre
fornecendo soluções com os maiores padrões de qualidade e fidelidade às demandas de seus clien-
tes. Com mais de 90 clientes em todas as regiões do país, tendo realizado mais de uma centena de
projetos, a Synos conta atualmente com 120 colaboradores, sendo 50 alocados em sua Fábrica de
Software.

A Synos possui uma filosofia fortemente orientada a processos e qualidade de software. Seu principal
processo de desenvolvimento de software, o Synos UP, tem passado por melhorias contínuas objeti-
vando aprimorar a sua produtividade, incorporar novas técnicas de Engenharia de Software e estar
aderente com os principais modelos de qualidade em processos do mercado, tais como o CMMI [SEI,
2006], o MR MPS [SOFTEX, 2009a] e a ISO 9001 [ABNT, 2000].

O Synos UP foi criado com o propósito de organizar e otimizar a produção de software da Fábrica
de Software da Synos. Seus processos foram estruturados com base em vários modelos, referências
e técnicas consolidados no mercado, tais como UML, PMBOK e metodologias ágeis. A partir de
março de 2006, a Synos decidiu investir na implantação do MR MPS, começando pelo nível F, com
investimento aproximado de R$ 600.000,00, tendo sido avaliada em maio de 2007. Em novembro
de 2007 iniciou um novo ciclo de melhoria, desta vez buscando o nível C do MR MPS. Este novo ciclo
foi um desafio para a empresa, por tratar-se de um grande salto de maturidade, com a incorporação
de doze novos processos, além da evolução dos processos já implantados para a nova capacidade
exigida pelo nível C. O SEPG da empresa foi reestruturado com a entrada de novos colaboradores e
capacitado nos novos processos que deveriam ser implementados. Os trabalhos seguiram o fluxo de
melhoria de processos do próprio Synos UP, que consiste nas fases Concepção (definição do escopo
e metas do trabalho), Elaboração (criação dos novos processos e aprimoramento dos já existentes),
Implantação (definição de projetos piloto, treinamento das equipes e acompanhamento da utilização
do processo) e Avaliação (avaliação oficial em algum modelo de maturidade).

WAMPS 2009 53
Artigos aceitos

Quando o projeto de melhoria estava próximo da fase de avaliação, uma grande oportunidade surgiu
para a empresa, com a possibilidade de realizar a avaliação nos modelos CMMI (nível 3) e MPS (nível
C) simultaneamente. Apesar da maior complexidade derivada da adequação a estes dois modelos
simultaneamente e do fato de os trabalhos originalmente visarem apenas o nível C do MR MPS, a
Diretoria da Synos, a Diretoria da Fábrica de Software e o SEPG decidiram aceitar este grande desafio,
sabendo que os ganhos seriam igualmente grandes para a empresa e que os dois modelos, MPS e
CMMI, são compatíveis, o que tornaria possível a avaliação simultânea.

Foi assim que a Synos iniciou a sua avaliação simultânea no CMMI e MPS em junho de 2009, atingin-
do a conquista inédita no mês seguinte, onde tornou-se a primeira empresa a realizar e ter sucesso
numa avaliação conjunta nestes dois modelos. Este foi o melhor prêmio para dezoito meses de es-
forço, aproximadamente R$ 500.000,00 de investimentos e dezenas de colaboradores empenhados
nesta conquista. Logo após a avaliação, os trabalhos de melhoria de processos continuaram com
a preparação para os níveis A do MR MPS e 5 do CMMI, além da continuidade de seu projeto ISO
9001:2008, que visa a certificação de toda a empresa neste modelo de qualidade e que está em fase
final de implantação.

3. Lições Aprendidas da Avaliação Conjunta CMMI/MPS

Esta primeira avaliação conjunta CMMI/MPS foi uma experiência muito rica e que propiciou inúmeras
lições aprendidas, que para efeito de melhor entendimento serão agrupadas de acordo com quatro
pontos de vista: dos avaliadores MPS, do lead appraiser CMMI, da Instituição Implementadora MPS e
da empresa avaliada. Para melhor se apreciar cada depoimento, estes serão transcritos a seguir.

Lições aprendidas do ponto de vista dos avaliadores MPS

“Realizar uma avaliação conjunta CMMI/MPS não é uma tarefa trivial. Exige experiência em avalia-
ções, conhecimento profundo dos dois modelos e bastante habilidade para tratar os pontos onde
existem diferenças. Não apenas o avaliador líder MPS e o lead appraiser CMMI devem ser experientes
e conhecedores dos dois modelos. Os avaliadores adjuntos têm papel fundamental nas avaliações e
também devem conhecer profundamente os dois modelos e terem experiência em avaliações CMMI
e MPS. Outro fator decisivo para o sucesso da avaliação é o processo de avaliação do lead appraiser
CMMI (dado não existir um processo único para avaliações SCAMPI) ser compatível com o processo
de avaliação MPS”.

“As diferenças de exigência observadas entre os dois modelos foram muito interessantes, gerando
resultados diferentes para as caracterizações dos processos da organização em cada modelo. Por ser
a primeira avaliação conjunta, algumas adaptações foram necessárias em ambas as metodologias
dos avaliadores líderes MPS e CMMI, conforme as necessidades foram sendo visualizadas. Ficou cla-
ra a necessidade de flexibilidade de ambas as metodologias para viabilizar a avaliação conjunta. A
equipe de avaliação foi composta por profissionais com larga experiência e capacitação em ambos os
modelos, o que proporcionou um aprendizado ainda mais rico”.

“Durante a avaliação conjunta da Synos, pôde-se observar que a participação de uma equipe de
avaliadores experientes e com conhecimento abrangente tanto no modelo CMMI quanto no modelo

54 WAMPS 2009
 Avaliação Conjunta CMMI Nível 3 e MPS Nível C: Lições Aprendidas e Recomendações

MR-MPS possibilitou a redução do tempo de discussão das diferenças entres estes modelos e, conse-
quentemente, do tempo total da avaliação. Além disso, é importante que os avaliadores e os repre-
sentantes da empresa na equipe de avaliação entendam previamente as sutis diferenças e as com-
patibilidades entre estes modelos, a fim de que não seja realizada uma avaliação dupla no lugar de
uma avaliação conjunta. Também é importante destacar que a sinergia entre os membros da equipe
de avaliação facilita o consenso quando surgem diferenças de entendimento durante a avaliação”.

“De uma maneira geral, a avaliação conjunta fluiu muito bem, mesmo considerando as diferenças
entre os métodos de avaliação (MA-MPS [SOFTEX, 2009b] e SCAMPI A [SEI, 2006b]) e os modelos
(MR MPS e CMMI). Possibilitou otimizar tempo e custos envolvidos, não só mobilizando os colabo-
radores da empresa apenas uma vez, mas também reduzindo custos com logística e propiciando ao
Coordenador Local um foco maior nos trabalhos de preparação e condução de ambas as avaliações.
Por outro lado, dificultou de certa modo o trabalho do Coordenador Local pela necessidade de aten-
dimento simultâneo às demandas de dois líderes (Avaliador Líder MPS e Lead Appraiser CMMI), o que
em momento algum comprometeu o andamento dos trabalhos.

Uma apresentação inicial dos processos bastante detalhada e a utilização de uma planilha conjunta
CMMI e MPS facilitou a revisão de indicadores, uma vez que uma mesma evidência era usada para
satisfazer tanto um resultado esperado quanto uma prática relacionada, possibilitando atender si-
multaneamente aos dois modelos. Isto, porém, não reduziu o tempo total de revisão planejado, pois
a interpretação diferente entre os modelos, necessária para alguns resultados esperados ou práticas,
dificultou um pouco a elaboração do Relatório da Avaliação Inicial, levando à atribuição distinta de
alguns problemas detectados como “item requerido” ou “oportunidade de melhoria”, após discus-
sões que se prolongaram por algum tempo. Da mesma forma, já na Avaliação Final, uma mesma
afirmação em uma entrevista pôde ser usada para satisfazer tanto um resultado esperado quanto
uma prática relacionada, possibilitando atender simultaneamente aos dois modelos. Se por um lado
a presença de dois líderes propiciou uma entrevista mais dinâmica, com perguntas mais direcionadas
à cobertura dos modelos, por outro lado foi um pouco mais difícil, durante as entrevistas, acompa-
nhar simultaneamente a cobertura já obtida em relação aos dois modelos. O uso de um check-list
com resumo de ambos os modelos facilitou esta tarefa. A Reunião de Consenso acabou consumindo
mais tempo que o inicialmente planejado, em decorrência principalmente de discussões sobre o
atendimento às particularidades de cada modelo.

Os trabalhos da avaliação foram facilitados pela objetividade e experiência anterior da equipe com os
processos de avaliação CMMI e MPS. Os avaliadores adjuntos já haviam participado de diversas ava-
liações MPS e algumas CMMI, e os representantes da empresa já haviam vivenciado uma experiência
anterior de avaliação MPS. Ambos os líderes conheciam os dois processos de avaliação, estavam sem-
pre atentos ao seu processo específico e procuravam conciliar as necessidades das duas avaliações.
A preocupação e o interesse dos líderes em definir uma forma de trabalho adequada e comum para
ambos os processos de avaliação e em gerar uma apresentação (preliminar e final) conjunta para os
modelos tornou a exposição dos achados e resultados dinâmica e interessante. Juntam-se a estes
fatores o excelente acompanhamento e preparo para a avaliação que a empresa recebeu do CCOMP/
FUMSOFT, o que com certeza facilitou os trabalhos e conduziu a empresa ao sucesso. Enfim, a avalia-
ção conjunta possibilitou equilibrar, com qualidade, o esforço, o tempo e os recursos empreendidos
para as duas avaliações, obtendo-se um resultado muito bem sucedido, tanto para a empresa ava-

WAMPS 2009 55
Artigos aceitos

liada quanto para ambos os modelos. Sem dúvida, uma vitória, não só da empresa, mas também do
CMMI e do Programa MPS.BR!”

Lições aprendidas do ponto de vista do lead appraiser CMMI

“Na avaliação conjunta que realizamos sobre os modelos MPS e CMMI, além de ter sido uma ex-
periência muito boa tanto pessoal quanto profissional, posso destacar entre outros os seguintes
pontos:

No que se refere à comparação entre os modelos:

• Embora o modelo CMMI esteja estruturado em Áreas de Processo, com objetivos específicos
implementados no nível de práticas, e o modelo MPS se estruture em Processos com resultados
esperados, em geral os dois modelos têm um grande paralelismo, permitindo interpretações simi-
lares, o que torna possível uma visão compartilhada;

• No modelo CMMI a institucionalização se manifesta, em seus diferentes níveis, através das Práticas
Genéricas (GP) dos Objetivos Genéricos por Área de Processo, enquanto que no MPS se vê atra-
vés de Atributos de Processo, implementados através dos Resultados esperados de Atributos de
Processo (RAP). Mesmo existindo essa diferença verifica-se existir uma grande semelhança entre
as GP e os RAP.

No que se refere à comparação entre os métodos de avaliação:

• Os dois métodos partem de uma base comum no que se refere à revisão de evidências, com foco
em indicadores diretos e corroboração através de indicadores indiretos e afirmações, sendo a
principal diferença a avaliação da cobertura destas últimas e as diferenças entre as caracterizações
de implementação no nível organizacional, particularmente no que se refere à institucionalização
(Objetivos Genéricos no CMMI, Atributos de Processo no MPS), onde o modelo MPS, a partir do
nível C, tem uma exigência maior sobre os Atributos de Processo dos níveis inferiores.

• Embora os dois métodos contemplem a realização de uma primeira etapa de revisão do estado
das evidências, logística e equipe (Avaliação Inicial no MPS, Readiness no SCAMPI), o MA-MPS
exige uma revisão formal com a presença de toda a equipe de avaliação, enquanto o SCAMPI per-
mite uma maior flexibilidade, sendo de responsabilidade exclusiva do Lead Appraiser.

• Para formação da equipe de avaliação, os dois métodos exigem que a avaliação seja conduzida
por um avaliador líder (Avaliador Líder no MA-MPS, Lead Appraiser no SCAMPI), certificado ou
autorizado por um organismo competente (SOFTEX para MA-MPS, SEI para SCAMPI) e a partici-
pação de uma equipe capacitada com uma introdução oficial para cada Modelo. Além disso, o
método MA-MPS tem uma exigência a mais, referente à participação de pelo menos um avaliador
adjunto (papel inexistente no SCAMPI)”.

Lições aprendidas do ponto de vista da Instituição Implementadora

“Um dos fatores críticos de sucesso de uma avaliação conjunta, como a realizada pela Synos, é
a química entre os avaliadores dos dois modelos. Embora convergentes, os modelos apresentam
pontos que exigem uma perfeita sintonia de conceitos, sem o quê, o processo de avaliação pode se

56 WAMPS 2009
 Avaliação Conjunta CMMI Nível 3 e MPS Nível C: Lições Aprendidas e Recomendações

tornar lento e improdutivo. Essa afinidade de visões, passa diretamente pelo estilo pessoal de cada
avaliador, na medida em que exigirá, em momentos de divergências, posicionamentos adotados com
maturidade e equilíbrio. Daí a importância desses avaliadores envolvidos, principalmente os líderes de
cada modelo, apresentarem uma ampla experiência em avaliações, e terem desenvolvido uma certa
afinidade pessoal, que os permitirá abdicarem de inflexibilidades e focarem no sucesso dessa nova
modalidade”.

Lições aprendidas do ponto de vista da empresa

“Para nós da Diretoria da Synos esta avaliação conjunta CMMI e MPS trouxe diversas vantagens,
sendo a principal delas a certeza de um maior reconhecimento do mercado quanto à qualidade dos
produtos criados pela Synos e no nosso esforço em realizar a melhoria contínua de nossos processos.
Para nós, obter simultaneamente o Nível 3 do CMMI e o Nível C do MPS é mais uma prova de que
vale à pena investir em processos. Além disso, tivemos um grande ganho de tempo e esforço com a
realização de duas avaliações de uma só vez, além de ter sido uma grande oportunidade para nós.
Gostaríamos de destacar também a forma transparente com que os trabalhos foram conduzidos pela
equipe de avaliação, tornando todo o processo único e imperceptível para a Diretoria, que sempre
recebeu os feedbacks como se fossem de um só modelo, e não de dois, como na verdade estava
acontecendo.”

“Como Diretor Técnico, entendo que independente do modelo implementado, seja MPS ou CMMI,
o nível de controle e qualidade que esperávamos seriam atingidos. Porém, no momento em que ti-
vemos a oportunidade de sermos avaliados conjuntamente, percebemos que poderíamos participar
de uma nova forma de avaliar, economizando recursos e tempo. Acreditamos que o resultado seria
positivo e agora somos pioneiros em um formato de avaliação que certamente será o objetivo de
muitas empresas.

Tínhamos uma grande preocupação com a diferença de visão dos modelos e a percepção dos ava-
liadores. Mas a experiência e transparência das pessoas que conduziram a avaliação trouxeram-nos
tranqüilidade e sabíamos que a Synos seria muito bem avaliada por eles. Outra importante lição foi
que mesmo com o aumento do rigor e de requisitos que o nível 3 do CMMI e o MPS.BR nível C nos
trariam, conseguimos elaborar um excelente planejamento que possibilitasse a redução dos investi-
mentos em relação ao primeiro ciclo de melhoria do Synos UP, com o qual na época conquistamos o
MPS nível F. E por fim, o apoio e envolvimento da Direção foram fundamentais para a institucionali-
zação do processo e a conquista dos níveis de maturidade.”

“Participar da equipe de avaliação conjunta CMMI e MPS foi uma experiência inédita e de muito
aprendizado para mim. Nesta avaliação, pude trabalhar com avaliadores MPS e lead appraiser CMMI
muito experientes, que ditaram o padrão de qualidade desta avaliação. E, no fim, ficou claro que
esta experiência é um requisito fundamental para avaliações deste tipo. Além da experiência, o bom
entrosamento da equipe de avaliação foi muito importante para a condução eficiente dos trabalhos,
diante da maior complexidade exigida nesta avaliação. Ficaram evidentes para mim também os se-
guintes valores para este tipo de avaliação: necessidade de flexibilidade dos dois métodos (SCAMPI e
MA-MPS) para atingir um denominador comum; capacidade de ser transparente para os envolvidos,
tornando a avaliação independente dos dois modelos; agilidade, planejamento e organização da
equipe de avaliação, devido ao volume maior de trabalho proveniente dos dois modelos.”

WAMPS 2009 57
Artigos aceitos

“A Synos Technologies é uma empresa de oportunidades. Esta frase há muito tempo circula pela
empresa e esta avaliação conjunta é o retrato do que a empresa representa. A Synos foi a empresa
pioneira avaliada MPS nível F em Minas Gerais e hoje é também pioneira na avaliação conjunta em
dois modelos de maturidade de software. Existiu o desafio, a superação e a colheita dos frutos de um
trabalho bem planejado, executado e auxiliado pela contribuição de cada colaborador da empresa.
Nossa empresa teve novamente uma oportunidade, a de mostrar para o mercado que os modelos
MPS e CMMI são compatíveis e factíveis de serem implementados simultaneamente. A conquista dos
níveis C do MPS e 3 do CMMI simultaneamente foi muito mais que um desafio, foi a comprovação
da maturidade do nosso processo e da empresa e a consolidação dos dois modelos.”

4. Recomendações para Avaliações Conjuntas CMMI/MPS

Do conjunto de lições aprendidas pelos envolvidos, resultaram várias recomendações para novas
avaliações conjuntas CMMI/MPS:

Recomendações do ponto de vista dos avaliadores MPS

“Considero que alguns aspectos podem ser decisivos para o sucesso de uma avaliação conjunta e,
para tratá-los recomendo: (i) como a necessidade de experiência em avaliações nos dois modelos é
muito importante, considero desejável que o avaliador líder e o avaliador adjunto tenham experiência
em avaliações CMMI e MPS; (ii) com relação à experiência do lead appraiser recomendo que só sejam
aprovadas, pela SOFTEX, avaliações conjuntas onde este demonstre já ter liderado, com sucesso, um
certo número de avaliações SCAMPI A no nível que será avaliado; (iii) as características pessoais dos
dois avaliadores que irão liderar a avaliação conjunta são de extrema importância e o contratante
deve buscar, entre outras, capacidade de trabalho em equipe e flexibilidade.”

“Os avaliadores líderes de ambos os modelos devem adaptar suas metodologias de avaliação, de
forma a viabilizar a avaliação conjunta dentro de um prazo favorável, quando comparado ao tempo
das duas avaliações separadamente. Seria interessante, para as próximas avaliações conjuntas com os
modelos MPS e CMMI, preparar um material de apoio já adaptado de forma a atender às demandas
de ambos os modelos. Algumas sugestões são: (i) criar uma planilha de indicadores contendo as
descrições tanto das práticas do CMMI como dos resultados esperados do MPS, além de um mape-
amento entre eles; (ii) criar modelos para as apresentações realizadas para a organização prevendo
as informações necessárias em ambos os modelos; e (iii) criar um material de apoio para a coleta de
informações das entrevistas contendo todas as práticas e resultados esperados avaliados, facilitando
a verificação da cobertura destes itens e otimizando o tempo da avaliação”.

“Para facilitar a condução de outras avaliações conjuntas, é importante que os documentos e as apre-
sentações utilizados durante a avaliação também sejam unificados, facilitando o seu preenchimento
e reduzindo o tempo de avaliação. Uma planilha de avaliação unificada, reforçando as diferenças en-
tre os modelos em cada resultado esperado ou prática, também facilitaria o consenso dos resultados.
Além disso, em uma avaliação conjunta é importante que os representantes da empresa na equipe
de avaliação tenham amplo conhecimento sobre os processos da organização e possam ajudar de
maneira pró-ativa os avaliadores na solução das dúvidas”.

58 WAMPS 2009
 Avaliação Conjunta CMMI Nível 3 e MPS Nível C: Lições Aprendidas e Recomendações

“Às empresas que pensam em fazer tanto avaliações CMMI quanto MPS.BR, seja em conjunto ou se-
parado, recomendo que procurem iniciar o processo em conjunto. Caso, durante ou após a Avaliação
Inicial, seja notado ser improdutivo continuar o processo em conjunto, a Avaliação Final/On-Site po-
deria ser realizada em separado. De toda forma, a empresa deve disponibilizar mais tempo e recursos
para a coordenação local dos trabalhos, visando conciliar e atender às necessidades de ambos os
líderes das avaliações. À Softex e à Equipe Técnica do Modelo, sugiro elaborar um quadro compara-
tivo entre os modelos, a ser apresentado e discutido durante o treinamento da avaliação, bem como
material de apoio à realização de avaliações conjuntas, incluindo planilhas específicas, templates e
check-lists de cobertura dos modelos. Para avaliações conjuntas, as Instituições Avaliadoras deverão
alocar os seus avaliadores líderes e adjuntos mais experientes, visando otimizar o tempo das avalia-
ções e garantir um alto nível para os achados obtidos. Aos avaliadores CMMI, sugiro que otimizem
o planejamento para avaliações SCAMPI A conjuntas, considerando a alocação de uma equipe expe-
riente, de forma a consumir menos tempo que o usualmente definido, uma vez que um dos objetivos
do MPS.BR é diminuir custos mantendo a qualidade das avaliações.”

Recomendações do ponto de vista da Instituição Implementadora

“Um fator que deve ser considerado nessas avaliações é o mapeamento feito sobre os resultados
esperados de cada modelo. Embora sejam modelos convergentes, MPS e CMMI oferecem pontos
sobrepostos nos seus resultados. É extremamente recomendável que seja feita e/ou revista a tabela
de mapeamento de resultados entre as duas propostas, de forma a facilitar a condução dos traba-
lhos de avaliação. Os implementadores MPS que desenvolverem o apoio centrado nos conceitos do
MPS, deverão observar este mapeamento atentando para as sobreposições e diferença de rigor nos
resultados exigidos. Existem graduações diferentes de requeridos e não requeridos (oportunidade de
melhoria), principalmente entre as práticas genéricas do CMMI (GP) e os resultados de atributos de
processos (RAPs) do MPS, que sugerem essa atenção. A planilha de avaliação, no caso da Synos, foi
inicialmente definida para o MPS e depois ajustada para o CMMI, ficando os processos exclusivos do
MPS em documentos separados. Os implementadores deverão definir previamente com os avaliado-
res qual a planilha que deverá ser apresentada na avaliação, antes de preencher uma das alternativas,
evitando perda de tempo na preparação. No caso da Synos, a planilha guia foi a do CMMI, prática
que talvez seja a adotada daqui em diante, em outras avaliações conjuntas.”

Recomendações do ponto de vista da empresa

“Nossas recomendações estão organizadas em três itens: para as empresas que desejam ser avalia-
das, para as Instituições Avaliadoras e para os avaliadores CMMI e MPS.

• Recomendações às empresas que desejam ser avaliadas:

• Tomar o MPS como referência para elaboração dos processos, pois facilita o atendimento aos
resultados do CMMI, visto que o MPS é um modelo de maior exigência e abrangência.
• Durante a elaboração dos processos garantir o atendimento dos resultados que forem especí-
ficos do CMMI, para evitar problemas na avaliação conjunta.
• Procurar manter a cultura de processos da empresa sempre fluente nos dois modelos, CMMI e
MPS. Além disso, é fundamental a capacitação do SEPG (grupo de processos da empresa) nos
dois modelos.

WAMPS 2009 59
Artigos aceitos

• Recomendações às Instituições Avaliadoras:

• Manter seu pessoal sempre capacitado e atualizado com relação aos dois modelos, CMMI e MPS.
• Procurar elaborar um método de avaliação especializado que favoreça a avaliação conjunta nos
aspectos de organização, padronização e produtividade. Este método seria uma especialização
dos métodos SCAMPI e MA-MPS.
• Atentar para o prazo total da avaliação, que não pode ser longo, mesmo atendendo a dois
modelos, devido à viabilidade de mercado.

• Recomendações aos avaliadores MPS e CMMI:

• Capacidade de adaptar-se às exigências dos dois modelos, aplicando-se a ambos com o mesmo
grau de dedicação e interesse.
• Capacidade de ser flexível para encontrar a melhor forma de realizar a avaliação conjunta.
• Alto grau de organização e método, o que é muito importante frente ao maior volume e com-
plexidade de trabalho em uma avaliação conjunta.”

5. Conclusões

A avaliação conjunta, realizada na Synos, mostrou que é possível a realização desta modalidade
com benefícios para a empresa avaliada e sem riscos, desde que observadas algumas condições.
Sintetizando, os seguintes pontos positivos podem ser apontados para a realização de avaliações
conjuntas CMMI/MPS:

• Otimiza o tempo dos colaboradores da empresa consumido com a avaliação (ao invés de mobili-
zar a empresa duas vezes, mobiliza apenas uma), o que também ajuda a reduzir custos de aloca-
ção dos colaboradores com as atividades ligadas à avaliação;

• Otimiza custos com logística para realização da avaliação;

• Possibilita obter dois “selos” distintos de uma única vez;

• A avaliação conjunta tende a ter preço menor do que se fossem realizadas duas avaliações;

• Permite montar uma planilha de indicadores única (o que consome bastante tempo da empresa
avaliada), a ser usada para ambos os modelos e processos de avaliação;

• Uma mesma evidência objetiva (artefato direto ou indireto) pode ser usada para satisfazer tanto
um resultado esperado quanto uma prática relacionada, possibilitando atender simultaneamente
aos dois modelos e reduzir o tempo total da avaliação;

• Ambos os avaliadores líderes estão atentos ao seu processo de avaliação, o que diminui a chance
de haver falhas no processo de avaliação como um todo;

• Os avaliadores líderes conhecem os dois processos de avaliação, tentam conciliar seus interesses
e buscam definir uma forma de trabalho adequada e comum para ambos, o que contribui para a
melhoria do processo de avaliação como um todo;

60 WAMPS 2009
 Avaliação Conjunta CMMI Nível 3 e MPS Nível C: Lições Aprendidas e Recomendações

• Maior qualidade dos achados e resultados da avaliação, por poder contar com a experiência e o
conhecimento de dois avaliadores líderes.

Visando formalizar as avaliações conjuntas como uma prática alternativa para avaliações MPS e
CMMI, sugere-se:

• Garantir a experiência do avaliador líder MPS e do lead appraiser CMMI em várias avaliações ante-
riores no nível CMMI/MPS que está sendo avaliado;

• Garantir experiência anterior do avaliador líder MPS e dos avaliadores adjuntos em avaliações
CMMI;

• Se possível, garantir experiência do lead appraiser com o MPS;

• Elaborar um material de apoio específico, sobretudo uma planilha de avaliação evidenciando o

mapeamento entre os dois modelos e destacando suas diferenças.

Pode-se afirmar, portanto, que esta avaliação conjunta CMMI/MPS foi mais uma demonstração ex-
plícita da convergência dos dois modelos, além de evidenciar que a alta coesão entre os avaliadores
é o grande fator crítico de sucesso dessa nova modalidade. Assim, a empresa contratante da ava-
liação conjunta deverá observar cuidadosamente a escolha da equipe de avaliação, a fim de evitar
descontinuidade e riscos nessa etapa, que arremata todo o intenso trabalho desenvolvido em meses
de implementação.

Finalmente, conclui-se que para as organizações que desejam participar tanto no mercado interno
como no mercado externo, uma avaliação conjunta com os dois modelos (MPS e CMMI) é uma óti-
ma estratégia, pois os modelos são similares o suficiente para que os mesmos projetos e processos
possam ser utilizados nas duas avaliações.

Referências

[ABNT, 2000] ABNT – ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS - ABNT. NBR ISO 9001:2000
– Sistemas de gestão da qualidade – Requisitos. Rio de Janeiro: ABNT, 2000.

[SEI, 2006] SOFTWARE ENGINEERING INSTITUTE. CMMI for Development (CMMI-DEV), Version 1.2,
Technical Report CMU/SEI-2006-TR-008. Pittsburgh, PA: Software Engineering Institute, Carnegie
Mellon University, 2006.

[SEI, 2006b] SOFTWARE ENGINEERING INSTITUTE. Appraisal Requirements for CMMI(ARC), Version
1.2 Technical Report CMU/SEI-2006-TR-011. Pittsburgh, PA: Software Engineering Institute,
Carnegie Mellon University, 2006.

[SOFTEX, 2009a] - ASSOCIAÇÃO PARA PROMOÇÃO DA EXCELÊNCIA DO SOFTWARE BRASILEIRO –

SOFTEX. MPS.BR – Guia Geral:2009, maio 2009. Disponível em www.softex.br

[SOFTEX, 2009b] - ASSOCIAÇÃO PARA PROMOÇÃO DA EXCELÊNCIA DO SOFTWARE BRASILEIRO –

SOFTEX. MPS.BR – Guia de avaliação:2009, maio 2009. Disponível em www.softex.br.

WAMPS 2009 61