IEEE LATIN AMERICA TRANSACTIONS, VOL. 13, NO.
9, SEPTEMBER 2015
Cost Estimation in Software Development
Projects with Monte Carlo Simulation
A. C. Pacagnella Junior, O. Pacifico, A. P. Salgado Junior and L. A. A. Terra
1Abstract— The preparation of cost estimates on projects is a
process of fundamental importance to ensure the economic viability
of these endeavors. Specifically in software development projects,
where typically the focus of management is on project execution
processes that add value and generate customer satisfaction, the
estimation of costs should be done quickly, but with accuracy. In this
type of environment, an approach that can be used is the parametric
estimate, which is based on historical data to establish the project's
costs. In order to perform this approach, a method that can be used
with great advantage is the Monte Carlo simulation (MCS). The
objective of this study is to understand, through a case study in a
software development company, how this method can be performed
in this type of project and understand their advantages and
disadvantages. The results showed that MCS provides, in a short
time, a baseline for managing project costs which supports
management decisions. Moreover, associating the results with a "S"
curve graph of simulated values, it turns possible to use a visual
control ("traffic light"), which facilitates the cost control during the
project life cycle.
Keywords— Estimation of costs, Projects, Monte Carlo
Simulation.
I. INTRODUÇÃO
N O desenvolvimento de softwares, a realização das
estimativas de custos tem sido uma tarefa difícil, porém
importante desde o início dos computadores na década de 1940.
No início da computação, os softwares eram relativamente mais
simples e os custos de desenvolvê-los eram muito baixos.
Entretanto, conforme as aplicações cresceram em tamanho e
importância, a necessidade de precisão também cresceu.
Nos dias atuais, um único software pode ultrapassar 25
milhões de linhas de código fonte, requerendo grande
quantidade de recursos técnicos e os custos de desenvolvimento
podem ser muito elevados.
Neste contexto, o cálculo de estimativas de custos em
projetos é de primordial importância para o seu gerenciamento,
quando esta etapa não é apropriadamente conduzida, não é
possível construir uma linha de base ou referência que oriente
o consumo de recursos financeiros durante a execução do
projeto, reduzindo sua eficiência. Por isto, erros deste tipo nas
estimativas de custos em projetos podem ter consequências
sérias.
Por outro lado, quando a estimativa de custos é assertiva, é
possível obter um orçamento mais preciso e controlar os
desembolsos de maneira mais refinada, reduzindo os riscos e
consequentemente aumentando a probabilidade de obtenção de
sucesso do projeto.
1
A. C. Pacagnella Júnior, Universidade Estadual de Campinas (UNICAMP),
Limeira, São Paulo, Brasil, antonio.junior@fca.unicamp.br
O. Pacífico, Universidade de São Paulo (USP), Ribeirão Preto, São Paulo,
Brasil, ornellapac@gmail.com
Authorized licensed use limited to: Universidade Estadual de Campinas. Downloaded on May 01,2023 at 22:05:13 UTC from IEEE Xplore. Restrictions apply.
3051
Segundo Zia [1], durante as últimas três décadas, embora
tenha havido significativos esforços na realização de
estimativas de consumo de recursos em projetos de
desenvolvimento de sofwares, no que se refere aos custos as
abordagens utilizadas baseiam-se na quantidade de linhas de
códigos fonte, conjuntos de instruções entregues, complexidade
de processamento ou níveis de experiência dos programadores,
o que geralmente produz resultados imprecisos nas previsões.
Em geral, a estimação de custos em projetos utiliza duas
abordagens: determinística e probabilística. A abordagem
determinística é comumente utilizada quando se dispõe de
dados detalhados e específicos do projeto (em geral dados
históricos, ou experiência profissional dos envolvidos) que
permitem obter uma precisão razoável sobre o valor que será
empreendido. Contudo, em ambientes de rápida mudança e
grande incerteza, os custos podem flutuar significativamente e
esta abordagem não é adequada para considerar os riscos
associados [2].
Já a abordagem probabilística permite compensar as
estimativas iniciais, considerando a probabilidade de elevação
de custos e, consequentemente, determinar reservas de
contingência para proteger o projeto [2].
Dentro deste contexto, a Simulação de Monte Carlo (SMC)
é uma das diversas técnicas que podem ser utilizadas para
prever os custos, com poucos dados no início do projeto,
auxiliando assim a tomada de decisão. A SMC é uma técnica
estatística utilizada em simulações estocásticas com aplicações
em diversas áreas do conhecimento, onde incerteza e risco
fazem parte do ambiente analisado. Especificamente em
projetos, a SMC tem sido utilizada com frequência em áreas
como o gerenciamento de custos, de riscos e de cronograma.
Embora seja uma técnica aplicável a qualquer tipo de projeto,
ao se observar a literatura disponível sobre o assunto, é possível
perceber que a maior parte dos relatos de sua utilização
acontece em projetos que envolvem transformações físicas e
consomem muito tempo, como os apresentados por Elkjaer [3],
Wang [4], Rezaiea, Amalnik, Gereie, Ostadi e M. Shakhseniaee
[5] e Olarua, Şandrua e Pirneab [6] devido aos benefícios
oriundos do uso da técnica, posto que se tratam de projetos que
envolvem valores vultosos e que possuem muitas fontes de
incerteza.
Entretanto, em ambientes dinâmicos, onde o produto do
projeto é intangível e a organização responsável precisa muitas
vezes estimar prontamente os custos, como no desenvolvimento
de softwares, a simulação de Monte Carlo ainda é pouco
A. P. Salgado Júnior, Universidade de São Paulo (USP), Ribeirão Preto,
São Paulo Brasil, asalgado@usp.br
L. A. A. Terra, Universidade de São Paulo (USP), Ribeirão Preto, São
Paulo, Brasil, lterra@fearp.usp.br
3052
explorada e os benefícios advindos de seu uso ainda não estão
totalmente identificados.
Normalmente, projetos de desenvolvimento de softwares
possuem baixos valores envolvidos e possuem menos fontes de
incerteza, pois as organizações que os realizam o fazem
adaptando o trabalho de projetos anteriores aos requisitos de
novos clientes.
Neste tipo de projeto a agilidade costuma ser um requisito
fundamental, havendo maior ênfase na execução do que no
planejamento, que deve ser feito rapidamente, o que eleva a
necessidade de uma estimativa de custos confiável e rápida.
Ainda assim há enormes vantagens em se utilizar a SMC,
pois ambientes deste tipo geram os tipos de séries de dados
históricos que são necessários para aplicar este tipo de técnica,
o que não costuma ocorrer em projetos de outras áreas, que são
muitas vezes radicalmente diferentes do que a organização
responsável está habituada.
Considerando este cenário, este trabalho se propõe explorar
estratégias e possíveis vantagens no uso da Simulação de Monte
Carlo para a estimação de custos em projetos de software.
Para atingir este objetivo central, o trabalho está estruturado
da seguinte forma: a primeira seção é a introdução, as seções 2
e 3 compõem um referencial teórico sobre projetos de
desenvolvimento de software, estimação de custos em projetos
e simulação de Monte Carlo, a seção 4 apresenta os aspectos
metodológicos da pesquisa, a seção 5 apresenta os resultados
oriundos do caso analisado e a seção 6 traz as considerações
finais que encerram o trabalho.
II. PROJETOS DE DESENVOLVIMENTO DE SOFTWARE
Segundo Tamaki [7], os projetos tradicionais normalmente
são organizados de forma que o produto é decomposto em
componentes menores, também chamados de “artefatos”
(especificações, plantas, subsistemas, etc), seguindo um
processo em cascata, com fases sequenciais. Neste contexto, o
processo de planejamento pode ser desenvolvido com base no
escopo do produto, que usualmente é definido no inicio do
projeto.
Porém, esta abordagem é pouco efetiva em projetos de
desenvolvimento de software, pois no inicio do projeto pouco
se sabe sobre o sistema que será desenvolvido. Isto
normalmente leva o projeto sofre a vivenciar várias mudanças
de escopo durante seu ciclo de vida, o que torna seu
gerenciamento mais complexo e mais arriscado, o que muitas
vezes resulta em produtos ruins, custos acima do planejado e
equipe e stakeholders frustrados com o resultado.
Normalmente as técnicas tradicionais de gerenciamento de
projetos geram poucas contribuições neste tipo de cenário. As
grandes variações no escopo demandam o uso de abordagens
distintas das tradicionais, para lidar com as incertezas geradas
por este tipo de mudança. Entre as boas práticas adotadas para
lidar com tal problemática é possível destacar o Rational
Unified Process (RUP), o Control Objectives for Information
and related Technology (COBIT), Capability Maturity Model
Integration (CMMI), e mais recentemente o uso de
metodologias ágeis como o Scrum. Entretanto, de acordo com
Silva Filho [8], o desenvolvimento de software, geralmente
Authorized licensed use limited to: Universidade Estadual de Campinas. Downloaded on May 01,2023 at 22:05:13 UTC from IEEE Xplore. Restrictions apply.
IEEE LATIN AMERICA TRANSACTIONS, VOL. 13, NO. 9, SEPTEMBER 2015
apresenta um ciclo de vida conforme as seguintes etapas:
• Levantamento de requisitos: Etapa onde se procura
entender o que o cliente quer em termos de funcionalidades para
o software;
• Análise de requisitos: Consiste na verificação sobre se
todos os requisitos foram levantados e se há ambiguidade ou
contraposição;
• Especificação de requisitos: Envolve a definição das
funcionalidades que o software deverá possuir;
• Projeto: A partir da especificação de requisitos é possível
adicionar detalhes essenciais para a implementação,
especificando os tipos de dados que serão utilizados além de
definir os mecanismos de acesso a esses dados e como eles
serão manipulados;
• Implementação ou codificação: Nesta atividade o
programa ou código (ou seja, conjunto de instruções) é escrito,
implementando as funcionalidades especificadas;
• Testes: Etapa onde o software é testado procurando-se
avaliar se ele atende as especificações criadas anteriormente;
• Implantação ou entrega do software: Envolve a entrega
oficial do produto ao cliente, apresentando-o, ou colocando-o
no mercado;
Manutenção e/ou evolução: Visa melhorar o software
desenvolvido podendo ser corretiva (corrigir defeitos
encontrados), quando ocorre durante as atividades de testes ou
a partir de reclamações de usuários, ou visando adicionar novas
funcionalidades ou de alterar alguma já existente, quando é
identificada a necessidade por parte dos usuários;
Do ponto de vista gerencial, um projeto de desenvolvimento
de software apresenta desafios únicos, pois possui um ambiente
de alta volatilidade em que os requisitos solicitados sofrem
constantes alterações e devido a natureza intangível dos seus
produtos, todos os elementos do chamado “Triângulo de ferro”
(escopo, tempo, custos e qualidade) são de difícil planejamento.
Especificamente no que tange a estimativa dos esforços que
serão necessários para completar o projeto de forma a atender
os requisitos estabelecidos, há a necessidade de realizar
previsões acuradas, já que erros nesta etapa irão proporcionar
enormes dificuldades durante a execução do projeto [9].
Considerando este cenário, a próxima seção aborda uma
técnica de previsão que pode ser utilizada para a realização de
estimativas de forma acurada e indicando um intervalo de
probabilidade que pode auxiliar os gerentes de projetos deste
tipo a melhorarem a acurácia de seu planejamento.
III. ESTIMAÇÃO DE CUSTOS EM PROJETOS E SIMULAÇÃO DE
MONTE CARLO (SMC)
A determinação dos custos é um processo fundamental para
o desenvolvimento de projetos, por três razões fundamentais: a
primeira é estabelecer uma linha de base que integre o escopo
do projeto e os requisitos de qualidade dentro dos limites
financeiros do patrocinador, a segunda é constituir uma medida
de desempenho durante o ciclo de vida de um projeto e a
terceira é estabelecer competitividade em termos de preço do
produto final [10]. A realização de previsões não realistas pode
eventualmente conduzir o projeto ao seu fracasso [11].
O objetivo de uma estimativa de custos é realizar uma
PACAGNELLA JÚNIOR et al.: COST ESTIMATION IN
predição e a qualidade de um método de estimação é
determinada por sua precisão em prever um valor
desconhecido. Segundo Wysocki e Mcgary [12], em geral, os
custos de um projeto podem ser estimados segundo quatro
abordagens:
• Estimativa “top-down”: é tida como a menos precisa e é
obtida realizando-se uma aproximação do tempo, custos e
riscos de um projeto como um todo (sem detalhá-lo);
• Estimativa “bottom-up”: ao contrário da anterior é
realizada a partir do detalhamento de todas as atividades de
trabalho e dos recursos necessários para executá-las, permitindo
identificar seu custo individual e, consequentemente, o custo
total do projeto. É a mais precisa das estimativas, mas exige
mais tempo, recursos e informações;
• Estimativa análoga: é realizada tomando-se por base um
projeto de características semelhantes a aquele que é objeto da
avaliação. Neste caso, quanto mais parecido com o projeto
anterior, mais precisa será a estimativa;
• Estimativa paramétrica: baseia-se em análises
quantitativas de dados de projetos anteriores para realizar uma
previsão dos custos do projeto atual, utilizando técnicas
estatísticas e simulação.
Para Touran [13], os métodos de estimação dos custos
variam em termos de complexidade e precisão, mas mais
importante, na forma como permitem estabelecer reservas de
contingência para o orçamento final do projeto. Isto pode ser
realizado a partir da incerteza associada a predição do valor da
estimativa.
Para Jorgensen [14], diversos estudos realizados sobre
métodos de estimação de custos utilizados em projetos de
desenvolvimento de software possuem como enfoque a
precisão. Entretanto, os autores afirmam que, embora um
método possa ser mais preciso do que outro em um determinado
contexto, a precisão será significativamente afetada pela
quantidade de dados históricos disponíveis e pelas opiniões
técnicas especializadas, utilizadas na estimação.
Uma abordagem que é amplamente adotada quando se trata
de estabelecer previsões, seja em projetos ou em outras áreas, é
a simulação.
A simulação consiste de uma representação de um sistema
real em um determinado período de tempo, desenvolvendo a
geração de uma versão artificial deste sistema e sua
subsequente observação com o objetivo de realizar inferências
sobre suas características reais [15].
Hillier e Lieberman [15] afirmam que a simulação inicia-se
com o desenvolvimento de um modelo que represente o sistema
a ser investigado que consiste em uma representação explícita
e externa de um extrato parcial da realidade. Esta, por sua vez,
serve para mudar, gerenciar, indicar políticas e controlar parte
desta realidade. Cabe ressaltar que apesar de se originarem de
modelos matemáticos, os modelos de simulação possuem uma
natureza diferente dos mesmos, uma vez que se baseiam em
aproximações de tempo discreto [16].
Na engenharia a simulação tem sido utilizada para tratar
situações onde se tenta compreender as características de um
sistema pelo conhecimento de outro que lhe é similar, sendo
especialmente útil em situações que envolvem análise de riscos.
Authorized licensed use limited to: Universidade Estadual de Campinas. Downloaded on May 01,2023 at 22:05:13 UTC from IEEE Xplore. Restrictions apply.
3053
Para Chou [2], o uso de simulação dos custos oferece uma
ferramenta simplificada para a tomada de decisão baseada nas
incertezas e na experiência da avaliação de gestores de projeto.
Trata-se, portanto de um elemento bastante útil para avaliar os
custos, desde o início do ciclo de vida do projeto, permitindo
que o gerente reserve os recursos financeiros necessários para
o empreendimento.
De acordo com Evans e Olson [18], a SMC apresenta as
seguintes vantagens em relação a outras técnicas:
• Permite a representação descritiva e análise do sistema
estudado por meio de um processo experimental, sem afetar o
sistema em si;
• Permite melhor compreensão dos cálculos, comparando-
se com outros métodos analíticos;
• Quantifica o risco do modelo, na forma de uma
distribuição de probabilidade.
Ainda segundo Evans e Olson [18], a principal desvantagem
de todos os métodos de simulação é a necessidade de uma
quantidade grande de dados sobre o fenômeno simulado, sendo
que muitas vezes não há a possibilidade de obtê-los ou é
necessário um longo tempo para essa obtenção.
Vencido este obstáculo inerente aos modelos de simulação,
a Simulação de Monte Carlo consiste em uma das ferramentas
mais úteis e práticas para a estimação de custos em projetos. O
método da SMC envolve a utilização de números aleatórios e
probabilidades para analisar e solucionar problemas de diversas
naturezas.
Sua origem remonta ao Projeto Manhattan do laboratório de
armas nucleares de Los Alamos nos Estados Unidos, sendo o
termo “Monte Carlo” atribuído em referência aos jogos de azar
em que ocorrem situações onde existe aleatoriedade de eventos,
como os jogos de cartas e de dados [19].
A SMC é utilizada quando se deseja estimar uma saída Y
para uma função (H) que possui variáveis aleatórias de entrada
(A1, A2,...An) conforme apresentado na figura 1.
A1
A2
Variáveis .
aleatórias . H Y
.
An
Figura 1. Operação da SMC.
O objetivo da SMC é descrever a distribuição de
probabilidade da variável dependente estudada, a partir do
comportamento das variáveis independentes que a afetam. O
resultado gerado não é um único valor, mas uma amostra de
valores obtidos por meio de um conjunto aleatório de dados
gerados, a partir de suas respectivas probabilidades de
ocorrência e medidas, como média, desvio padrão, assimetria e
percentual de números acima ou abaixo de determinado valor
[20].
O método utiliza a geração iterativa de números aleatórios,
para atribuir valores às variáveis do sistema que se deseja
investigar. A cada iteração, o resultado é armazenado e ao
término das repetições, a sequência de resultados obtidos é
transformada em uma distribuição de frequência que permite
3054
calcular o valor esperado e projetar cenários futuros de
operação do sistema em análise.
Segundo Kennedy, McComb e Vozdolska [21], o princípio
por trás da simulação de Monte Carlo é que o processo desenha
amostras aleatórias e observa se o comportamento destas
amostras é capaz de explicar os valores das variáveis de
interesse.
Quanto mais aderência as amostras aleatórias demonstrarem
em relação aos valores das variáveis de interesse, mais acurada
será a simulação.
De acordo com Wang [22] a SMC tem um processo típico
de modelagem estocástica que segue os seguintes passos:
1) Identifique as variáveis de entrada, as variáveis de saída e
designe valores ou defina o modelo;
2) Defina uma distribuição de probabilidade associada para
cada variável de entrada;
3) Ajuste as variáveis a serem previstas e defina os modelos
matemáticos ou fórmulas para as variáveis de saída;
4) Defina um número de tentativas para a simulação;
5) Simule os dados e analise as estatísticas de previsão,
subsidiando a tomada de decisão.
Um dos benefícios que podem ser apontados sobre o uso
deste método é a criação de bases de dados por meio do uso
ativo de dados coletados empiricamente em laboratórios ou no
ambiente das organizações.
Isto permite que os pesquisadores mantenham uma conexão
com o mundo real que fortalece a capacidade de generalização
dos resultados. Por isso, a utilização da simulação de Monte
Carlo pode ser útil para estudar uma ampla variedade de
aspectos comportamentais das organizações [23].
Por fim, destaca-se que a SMC é uma das mais poderosas
ferramentas utilizadas na criação de estimativas, sendo
extremamente relevante para a avaliação de incertezas e
oferecendo aos gerentes de projeto, modelos que ilustram várias
combinações de fatores e seus consequentes resultados. Isto
permite experimentar o efeito de intervenções, planos de
contingência e suportar decisões tomadas pelos mesmos [24].
IV. ASPECTOS METODOLÓGICOS
Esta seção visa classificar a pesquisa realizada e apresentar
suas etapas e procedimentos metodológicos, buscando
aproximar o estudo de seu objeto e permitir reprodutibilidade.
Do ponto de vista do objetivo, este trabalho pode ser
caracterizado como uma pesquisa com fins exploratórios, de
natureza qualitativa, apesar de o objeto de estudo ser de
natureza quantitativa. Quanto aos meios, ela se utiliza de um
estudo de caso que, de acordo com Yin [25], consiste em uma
abordagem adequada para a execução de estudos com os fins
propostos.
O estudo de caso pode ser definido, segundo Cooper e
Schindler [26], como uma análise contextual completa de
poucos fatos ou condições e suas inter-relações.
Pode-se dizer que se trata de um estudo empírico que
geralmente investiga um determinado fenômeno, usualmente
contemporâneo, dentro de um contexto geral de vida, quando
as fronteiras entre o fenômeno e o contexto no qual ele se insere
não são claramente definidas [27].
Authorized licensed use limited to: Universidade Estadual de Campinas. Downloaded on May 01,2023 at 22:05:13 UTC from IEEE Xplore. Restrictions apply.
IEEE LATIN AMERICA TRANSACTIONS, VOL. 13, NO. 9, SEPTEMBER 2015
Devido a estas características, esta abordagem foi utilizada
para compreender os benefícios da aplicação da SMC na
previsão de custos em projetos de software, em uma
organização que realiza projetos deste tipo.
Para realização do estudo foi selecionada uma empresa
desenvolvedora de softwares e websites que possui 10 anos de
mercado e 34 funcionários, operando principalmente com
produtos empresariais, como sistemas de controle de estoques,
vendas e cadastros de clientes. A seleção do caso se deu pelo
fato de a empresa recentemente ter utilizado pela primeira vez
a estimação de custos por meio de SMC, visto que até então esta
realizava este procedimento por meio da contagem do número
de linhas de código.
A coleta dados foi realizada por meio das entrevistas
semiestruturadas, onde foi possível identificar as etapas do
projeto de desenvolvimento e principalmente a forma como a
SMC foi utilizada na empresa. Além disso, foi realizada uma
análise dos documentos do projeto onde o método foi utilizado
e a observação por parte dos pesquisadores, em relação ao
ambiente de trabalho durante as visitas.
Com o objetivo de analisar a objetividade e clareza do
roteiro de entrevistas, inicialmente foi realizado um pré-teste
com o diretor da empresa selecionada. A partir do pré-teste,
decidiu-se investigar o projeto piloto que utilizou-se do método
da SMC, por já ter sido concluído e haver grande quantidade de
informações a respeito dos custos orçados e dos valores reais
obtidos ao final do projeto.
Após a aprovação do instrumento, foram realizadas 6
entrevistas com membros da equipe do projeto piloto que
podem ser consideradas como “peças-chave” para compreender
o fenômeno: o gerente de projeto, dois analistas, o gerente
comercial da empresa e dois programadores. Foram também
realizadas duas visitas para investigar o ambiente de trabalho e
analisar a documentação do projeto.
As respostas obtidas a partir das entrevistas foram
submetidas a aprovação de cada respondente, como forma de
aprimorar a fidedignidade, visando assegurar que as respostas
sejam verdadeiras e não influenciadas pelo contexto.
Os dados colhidos foram tratados com base na análise de
conteúdo, que é utilizada para medir o conteúdo semântico de
um grupo de discussão [26].
Além disso, os resultados dos métodos de previsão de custos,
realizados pela SMC, foram comparados tomando como base a
clássica abordagem que leva em conta a totalidade do projeto e
a abordagem que subdivide a estimativa pelas fases do projeto,
visando identificar a técnica que apresentava o resultado mais
aderente.
Os principais resultados encontrados no estudo de caso são
apresentados na seção a seguir.
V. APLICAÇÃO DA SMC NA ESTIMAÇÃO DOS CUSTOS DE UM
PROJETO DE SOFTWARE.
Com o objetivo de compreender a estimação dos custos de
um projeto de desenvolvimento de software, é preciso
identificar suas etapas e os correspondentes custos incorridos.
A figura 2 mostra que o desenvolvimento de software na
empresa estudada possui nove etapas, que vão do “start do
PACAGNELLA JÚNIOR et al.: COST ESTIMATION IN
projeto”, onde os primeiros contatos com o cliente são
estabelecidos e são definidos os requisitos funcionais do
produto, até a “formalização da entrega”, na qual o produto é
formalmente entregue ao usuário final, ocorrendo um
encerramento administrativo e também um registro de lições
aprendidas para projetos futuros.
1. Start 2. Briefing
do projeto
3. Planejamento
4. Criação de
Layout
5. Programação
6. Testes de
7. Implantação do
Qualidade
software
8. Treinamento 9. Formalização
no software da entrega
Figura 2. Etapas de um projeto de desenvolvimento na empresa estudada.
O ciclo de vida do representado na figura 2 apresenta um
conjunto de etapas relativamente simples, porém estruturado,
que demonstra razoável maturidade em gerenciamento de
projetos, por parte da empresa estudada. Assim como é usual
em empresas desenvolvedoras de software, os maiores esforços
estão alocados nas etapas, associadas à execução do projeto
(Criação do layout, Programação, Testes de qualidade e
Implantação do software), porém, especificamente nesta
empresa, também há uma atenção significativa ao
planejamento, em especial sobre o chamado “triângulo de
ferro” (escopo, tempo, qualidade e os custos).
No que tange ao processo de estimação de custos, a empresa
utiliza tradicionalmente uma abordagem conhecida como
“Bottom-up”, onde o cálculo é realizado a partir das atividades
de trabalho definidas no escopo. Cada atividade é avaliada
individualmente quanto aos recursos (neste caso, linhas de
código fonte e horas de trabalho especializado, como
programação, gerenciamento e etc.) que devem ser atribuídos
para sua conclusão.
De posse de seu custo individual é realizado o somatório
para os artefatos que compõem o produto final (cada artefato
recebe um valor caracterizado como “conta de controle”) e com
isso é possível chegar na estimativa de custos de cada etapa e
do projeto na sua totalidade. Além disso, este processo de
estimação ainda pode ser enriquecido por meio de reservas ou
cortes sugeridos em coletas de opiniões técnicas especializadas,
coletadas junto a profissionais com experiência em
desenvolvimento.
Embora se trate de um processo bem estruturado e
relativamente preciso, são necessárias várias horas de
planejamento para sua realização, o que tem sido visto pela
Authorized licensed use limited to: Universidade Estadual de Campinas. Downloaded on May 01,2023 at 22:05:13 UTC from IEEE Xplore. Restrictions apply.
3055
empresa (que já utiliza a metodologia de gestão ágil conhecida
como Scrum em seus projetos), como uma fonte de desperdício,
posto que não agrega valor ao produto e nem eleva a satisfação
do cliente.
Considerando este cenário e de posse de um conjunto de
dados históricos de exatamente 100 projetos anteriores, a
empresa decidiu fazer uso de outra forma de estabelecer os
custos de seus projetos, trata-se da “estimativa paramétrica”.
Como apresentado anteriormente, tal estimativa utiliza valores
anteriores para realizar a previsão dos custos de projetos por
meio de técnicas de análise estatística.
Para realizar tal análise a empresa optou pela Simulação de
Monte Carlo, utilizando o software @RISK 6.0 da empresa
PALISADE®. Inicialmente foi realizada uma simulação que
tomou por base apenas os custos totais (finais) de projetos
anteriores e estabeleceu-se a distribuição de probabilidade mais
adequada para esta variável (distribuição de Laplace), por meio
de um teste Chi-quadrado.
Segundo a empresa, o uso do teste se justifica porque a
técnica requer que cada uma das variáveis seja associada a uma
distribuição de probabilidade e quanto mais ajustados os dados
em relação a esta distribuição melhor será o resultado da
previsão, o que é corroborado por Wang [22].
O objetivo desta primeira simulação era estabelecer um valor
provável de custos totais (custo ao término do projeto) para
estabelecer o preço do produto ao cliente, portanto, trata-se de
uma simulação básica com apenas uma variável (custo total)
que subsidia apenas a proposta de fornecimento.
Ao realizar a simulação, obteve-se como resultado o gráfico
apresentado na figura 3. Observa-se na mesma que o valor
mínimo previsto foi de R$ 4.445,57, o valor máximo foi de R$
36.662,30 e o valor médio R$ 22.088,03. A simulação também
permitiu identificar uma faixa de valores associados a sua
respectiva probabilidade de ocorrência, onde gráfico indicou
uma probabilidade de 89,4% de que o custo total do projeto
ficasse entre R$ 15.024,00 e R$ 28.606,00.
Figura 3. Simulação baseada nos custos totais de projetos anteriores.
Em um segundo momento a SMC foi conduzida de maneira
individual para cada uma das 9 etapas do projeto (onde cada
uma se tornou uma variável, que somadas compunham o custo
total) identificando novamente valores mínimos, médios e
máximos, com o objetivo de estabelecer referências, não só
para a construção do orçamento final, mas também de limites
de controle em cada etapa do projeto.
Todas as nove simulações foram realizadas da mesma forma
3056 IEEE LATIN AMERICA TRANSACTIONS, VOL. 13, NO. 9, SEPTEMBER 2015

que a primeira, ou seja, estabelecendo-se inicialmente qual era uma análise de sensibilidade, isso não aconteceu para o projeto
a distribuição de probabilidade mais adequada a cada uma das em questão. As justificativas da empresa baseiam-se no fato de
variáveis (custo de cada etapa), por meio de um teste Chi- que se tratava de um projeto piloto onde o método estava sendo
quadrado. Os resultados gerados foram análogos ao primeiro, testado e também na própria abordagem de simulação utilizada
entretanto, como forma de sintetizá-los, os mesmos são que tomou por base cada etapa do projeto individualmente,
apresentados na tabela 1, junto com os valores reais do projeto: tendo como variáveis os valores dessa mesma etapa em projetos
anteriores. Assim sendo, acabou por não trazer informações
TABELA I. SIMULAÇÕES OBTIDAS PARA OS CUSTOS DE CADA ETAPA DO relevantes para este tipo de análise visto que a mesma
PROJETO (EM R$).
normalmente é utilizada para observar a contribuição de cada
variável no resultado obtido, o que gera subsídios para decisões
Etapas Distribuição Min. Média Máx. Real futuras, principalmente sobre onde reduzir custos, o que não
seria possível para o caso em questão.
Start do Os valores simulados orientaram a etapa de planejamento no
Ext. value 40,37 255,17 696,67 401,33
Projeto
que tange aos custos, de forma a estabelecer valores limites de
Briefing Normal 88,79 876,77 1.256,03 501,68 controle para este item. Com base neles a equipe de projeto
elaborou a chamada curva “S”, que apresenta os valores de
Planejamento Laplace 583,22 743,43 913,41 1.140,00 custos acumulados em cada uma das 9 etapas do
desenvolvimento, conforme apresentado no gráfico 1.
Criação do
Laplace 103,74 1.756,08 2.654,29 860,20
Layout

Programação Loglogistic 5.092,03 8.982,02 11.747,78 13.131,20

Testes de
Triangular 6.907,45 9.462,16 12.569,27 12.090,15
qualidade

Implantação do
Beta General 1.990,41 2.201,97 4.004,42 3.540,22
software

Treinamento Levy 653,32 765,34 1.201,02 2.318,87

Formalização
Normal 100,01 127,35 720,43 907,78
da entrega

O primeiro aspecto a ser apontado com relação a tabela 1 são

as diferentes distribuições de probabilidade identificadas como
mais adequadas para cada uma das etapas do projeto (Ext.
value, Normal, Laplace, Loglogistic, Triangular, Beta General
Levy, Normal) mostrando que o comportamento dos custos das
etapas difere significativamente entre si.
Outro aspecto apontado pela SMC é que as maiores
variações apresentadas são nas etapas de menor custo, como o
Start do projeto ou a Formalização da entrega, sendo que as
etapas mais dispendiosas, como a Programação e os Testes de
qualidade, apresentaram variações menores em termos
percentuais.
Além disso, com a simulação considerando os valores
individuais de cada etapa, o valor máximo total simulado para
o projeto, ficou superior ao valor total simulado com base nos
valores totais de projetos anteriores (R$ 34.891,43 contra R$
28.606,00). Provavelmente isto se deve ao melhor ajuste
conseguido quando são consideradas as distribuições de
probabilidade de cada uma das nove etapas do projeto de
desenvolvimento, e não dos custos totais dos projetos
anteriores, como ocorreu na primeira previsão.
A tabela I também apresenta os valores reais incorridos em
cada etapa do projeto. É possível perceber que a maioria dos
custos esteve dentro das faixas de valores calculadas, porém
algumas delas superaram os limites, caso das etapas de
Planejamento e de Programação.
Embora seja usual na utilização da SMC, a utilização de
Gráfico 1. Curva “S” para os valores simulados e custos reais incorridos.
O gráfico 1 apresenta quatro curvas: a primeira, na parte
inferior, representa a simulação para os custos mínimos
acumulados das etapas, a segunda, na faixa central, representa
a simulação para os valores médios acumulados, a terceira, na
parte superior, representa a simulação para os valores máximos
acumulados e a quarta, tracejada, representa os custos reais
incorridos ao longo do ciclo de vida do projeto considerado.
Destaca-se que o gráfico original, utilizada pela empresa,
trazia a curva de custos mínimos em verde, a de curva de
valores médios em amarelo e a curva de valores máximos em
vermelho, facilitando a visualização.
Observando o gráfico 1 é possível verificar também que os
custos incorridos nas nove etapas do projeto de
desenvolvimento estiveram sempre dentro da faixa de valores
calculados na Simulação de Monte Carlo, sugerindo sua
adequação para a realização de estimativas paramétricas.
Entretanto, deve ser observado que a partir da quarta etapa,
quando a execução do produto se inicia, há uma proximidade
perigosa dos custos incorridos com os limites máximos
estabelecidos para o projeto, embora em nenhum momento
estes tivessem sido ultrapassados.
Sob este aspecto, deve ser considerado também que a
despeito do projeto analisado ser semelhante a projetos

Authorized licensed use limited to: Universidade Estadual de Campinas. Downloaded on May 01,2023 at 22:05:13 UTC from IEEE Xplore. Restrictions apply.
PACAGNELLA JÚNIOR et al.: COST ESTIMATION IN
anteriores, cada projeto é único e neste projeto em particular
houve solicitações de mudanças recorrentes, advindas do
cliente, o que exigiu mais esforço de programação e testes de
qualidade, mas que estavam provisionados adequadamente,
devido aos valores encontrados na simulação.
É importante destacar que tal gráfico proveu a equipe com
uma forma rápida e visual de observar o comportamento dos
custos, poupando tempo e facilitando a análise sobre a
capacidade de cumpri-los, o que auxiliou, segundo os membros
da mesma, a manutenção controle sobre os custos. Sob este
aspecto, também foi destacado que todos os membros tinham
poder para interromper o processo, caso fossem identificadas
causas de elevação de custo e propor soluções para reduzi-lo.
De forma geral, o uso da SMC teve uma avaliação
fortemente positiva por parte da empresa, que aponta não só a
capacidade de previsão e a rapidez na definição dos custos, mas
também outros três aspectos relevantes: o primeiro diz respeito
à confiança gerada na equipe pela introdução do método e o seu
comprometimento em manter os custos de acordo com o
planejamento; o segundo foi o aprendizado organizacional
proporcionado pela nova abordagem; já o terceiro e mais
significativo, é a robustez do método, principalmente no que diz
respeito a precisão e capacidade de considerar incertezas e
riscos do projeto na estimação dos custos.
Outro aspecto mencionado foi que a SMC é de caráter
orientativo e não prescritivo, permitindo que sirva de base para
as decisões, mas também podendo ser enriquecida (ou refinada)
por opiniões técnicas especializadas, como já acontece no
processo de estimação tradicional da empresa.
Quanto aos problemas encontrados, deve ser destacado que
a SMC demanda uma grande quantidade de dados históricos, os
quais foram recuperados com muito esforço pela empresa que
até então não possuía um registro detalhado.
Outro desafio foi a necessidade de selecionar apenas
projetos compatíveis com o que se desejava simular, gerando
um esforço extra (pelo menos neste primeiro projeto) que
aumentou inicialmente os custos de planejamento, justamente o
oposto do que se pretendia com a adoção da técnica.
Segundo a empresa, a partir desta experiência, a SMC está
sendo utilizada em todos os projetos realizados. Após esta
iniciativa, os entrevistados esperam que haverá um esforço
menor de aquisição de dados e de análise da simulação, além
de uma elevação na sua precisão, devido ao aumento dos dados
históricos disponíveis.
VI. CONSIDERAÇÕES FINAIS
Este trabalho buscou explorar a melhor abordagem para o
uso da Simulação de Monte Carlo na estimação de custos em
projetos de desenvolvimento de software, e identificar os
benefícios de sua utilização. sendo para isso conduzido um
estudo de caso em uma empresa que utiliza o método e realiza
projetos com estas características.
Os resultados encontrados mostram que a empresa
subdivide este tipo de projeto em nove etapas:
“Start do Projeto”, Briefing, Planejamento, Criação do
Layout, Programação, Testes de qualidade, Implantação do
software, Treinamento e Formalização da entrega.
Authorized licensed use limited to: Universidade Estadual de Campinas. Downloaded on May 01,2023 at 22:05:13 UTC from IEEE Xplore. Restrictions apply.
3057
No que se refere ao cálculo das estimativas de custo, estas
vinham sendo baseadas na quantidade de linhas de
programação de código fonte e o nível de experiência e
quantidade de trabalho dos envolvidos no projeto, o que
normalmente exige grande esforço de planejamento.
Em relação ao projeto estudado, o uso da SMC foi feito em
dois momentos em que era necessário estimar os custos: no
primeiro (no início do projeto) os custos totais de projetos
anteriores foram tomados como base para embasar o preço que
seria cobrado pelo produto do projeto; no segundo,
(contemplado na etapa de planejamento), foram realizadas
simulações para cada etapa do projeto, visando maior precisão
para subsidiar as decisões e controlar os custos durante a
execução do mesmo.
Em ambas as situações, a SMC se mostrou capaz de estimar
os custos de maneira potencialmente superior ao método
utilizado até então pela empresa, destacando-se a rapidez, a
precisão, a facilidade de interpretação e as lições aprendidas.
É preciso destacar também que os resultados obtidos com a
simulação permitiram a realização de um controle efetivo dos
custos de projeto, por meio da construção de um gráfico com
três curvas “S” em uma abordagem de semáforo (verde para
valores mínimos, amarelo para valores médios e vermelhos
para valores máximos, similar a uma abordagem comumente
utilizada no controle de estoques em indústrias). Isto permitiu a
gestão visual dos custos do projeto e que fosse dada autonomia
no que tange ao gerenciamento desta variável, para os
envolvidos no projeto.
Os resultados também permitiram verificar que a SMC
provê não só vantagens em relação aos métodos tradicionais,
mas também em relação a outros como os baseados em
regressão, pois além de realizar a previsão dos valores em si,
ela apresenta uma margem de incerteza sobre a qual os gerentes
de projeto podem basear suas decisões, provisionando reservas
e orientando o uso dos recursos para “faixas” prováveis de custo
(conforme foi observado no caso estudado).
Outro ponto a ser destacado é que a organização estudada
demonstrou um bom nível de maturidade no gerenciamento de
seus projetos, pois já possuía grande experiência no
desenvolvimento de software o que obviamente facilitou a
assimilação do método. Além disso, sua equipe demonstrou
grande interesse em utilizar um método novo que deixasse mais
preciso e fácil o processo de estimação de custos o que se
configurou em um facilitador para a implementação da técnica.
Entre as limitações da pesquisa destaca-se que não foram
disponibilizados dados de projetos anteriores ou posteriores ao
estudado para fins de comparação, ou de uma confirmação dos
resultados encontrados pela realização de outra simulação com
o mesmo software.
Como sugestões de trabalhos futuros, é possível apontar a
realização de estudos por meio de pesquisas-ação onde o uso do
método e suas contribuições para o processo de estimação dos
custos de um projeto de desenvolvimento de software possam
ser detectadas “in loco” controlando as variáveis e testando
novas abordagens de utilização que constituam boas práticas
utilizáveis pelas empresas do setor.
3058 IEEE LATIN AMERICA TRANSACTIONS, VOL. 13, NO. 9, SEPTEMBER 2015

REFERÊNCIAS Antônio Carlos Pacagnella Júnior possui graduação em

Engenharia Mecânica pela Universidade Estadual de
[1] Z. Zia, A. Rashid, K. Zaman, “Software cost estimation for component Campinas (UNICAMP), mestrado em Administração de
based fourth-generation-language software applications”, IET Software Organizações pela Faculdade de Economia Administração e
v.5, n.1, p.103-110, 2010. Contabilidade da Universidade de São Paulo (FEARP/USP)
[2] J.S. Chou, “Cost simulation in an item-based project involving e doutorado em Engenharia de Produção pela Universidade
construction engineering and management”, International Journal of Atualmente é professor adjunto da Faculdade de Ciências
Project Management, v.29, p.706–717, 2005. Aplicadas - FCA da Universidade Estadual de Campinas –
[3] M. Elkjaer, “Stochastic Budget Simulation”, International Journal of UNICAMP. Tem como principal área de docência e pesquisa o gerenciamento
Project Management, v.18, p.139-147, 2000. de projetos, tema de sua tese de doutorado e onde possui a certificação Project
[4] W.C., Wang, “Impact of soft logic on the probabilistic duration of Management Professional - PMP. Também possui experiência em Gestão de
construction projects”, International Journal of Project Management, operações e Gestão da cadeia de suprimentos.
v.23, n.600-610, 2005.
[5] K. Rezaiea, M.S. Amalnik, A. Gereie , B.Ostadi, M. Shakhseniaee, Ornella Pacífico possui graduação em Administração de
Empresas pelo Instituto Municipal de Ensino Superior de
“Using extended Monte Carlo simulation method for the improvement
Bebedouro Victorio Cardassi (1998) e mestrado em
of risk management: Consideration of relationships between Engenharia de Produção pela Escola de Engenharia de São
uncertainties”, Applied Mathematics and Computation, n.190, v.2, Carlos (EESC/USP). Atualmente é professora e
p.1492-1501. coordenadora do Curso de Administração e do Curso
[6] M. Olarua, M. Şandrua, I.C. Pirneab, “Monte Carlo Method Application Superior de Tecnologia em Gestão Financeira da EAD do
for Environmental Risks Impact Assessment in Investment Projects”, Centro Universitário Uniseb.
Procedia - Social and Behavioral Sciences, v.109, n.8, p.940-943, 2014.
[7] P.A.O. Tamaki, “Uma extensão do RUP com ênfase no Gerenciamento Leonardo Augusto Amaral Terra é Bacharel em
de Projetos do PMBOK baseada em Process Patterns”. Dissertação de Administração de Empresas pela Universidade de São
Mestrado, Universidade de São Paulo. 2007. Paulo, com MBA Executivo em Gerenciamento de Projetos
[8] A.M.S. Filho, “Desenvolvimento de software requer processo e gestão”, pela Fundação Getúlio Vargas, Mestrado e Doutorado em
Revista Espaço Acadêmico, v.123, n.1, p.46-57. 2011. Ciências no programa de Administração de Organizações da
[9] A. Sharma, D.S. Kushwaha, “Estimation of Software Development Universidade de São Paulo (FEARP-USP). Atualmente é
Effort from Requirements Based Complexity”, Procedia Technology, v professor na Universidade de Ribeirão Preto, onde atua nas
4, p. 716-722, 2012 áreas de Economia de Empresas e Estratégia, Dinâmica
[10] Y. Xenedis, E. Stavrakas “Risk based Budgeting of Infrastructure Socioeconômica, Processos de Interação Humana e Comunicação e Enfoque
Projects”, Procedia - Social and Behavioral Sciences, v.74, n.29, p.78- Sistêmico na Administração e na Economia.
487, 2013.
[11] M.A. Azman, Z.A. Samad and S.Ismail, “The accuracy of preliminary Alexandre Pereira Salgado Júnior é Professor Associado
cost estimates in Public Works Department (PWD) of Peninsular do Departamento de Administração da Faculdade de
Economia, Administração e Contabilidade de Ribeirão Preto
Malaysia” International Journal of Project Management, v.31, n.7,
da Universidade de São Paulo (FEARP-USP). Possui Livre-
p.994-1005. docência em Administração pela Universidade de São Paulo
[12] R. Wysocki, R. Mcgary, Effective Project Management: traditional, (FEARP-USP), Doutorado em Administração pela
adaptive, extreme, Indiana: Wiley Publishing, 2003. Universidade de São Paulo (FEA-USP), Mestrado em
[13] A. Touran, “Calculation of contingency in construction projects”. IEEE Engenharia de Produção pela Universidade de São Paulo
Transactions on Engineering Management, v.50, n.2, p.135-140, 2003. (EESC-USP), MBA em Administração pela Universidade de São Paulo
[14] M. Jorgensen, “What We Do and Don't Know about Software (FEARP-USP) e Graduação em Engenharia de Produção Mecânica pela
Development Effort Estimation”, IEEE Software, v.31, n.2, p.27-40, Universidade de São Paulo (EESC-USP). Coordenador do GREFIC - Grupo de
2014. Estudos em Eficiência. Pesquisador em Análise Envoltória de Dados (DEA)
[15] F.S. Hillier, G.J. Lieberman, Introduction to Operations Research. New aplicada à Gestão da Educação, Bancos e ao Setor Energético.
York: McGraw-Hill, Inc. 9th edition, 2009.
[16] J. Banks, J.S. Carson, B.L. Nelson, D.M. Nicol, Discrete-Event System
Simulation -5th Edition, Prentice Hall, 2009.
[17] H. Klee, R. Allen, Simulation of dynamic systems with MATLAB and
Simulink 2 ed. Boca Raton: CRC Press, 2011.
[18] J. R. Evans, D. L. Olson, Introduction to Simulation and Risk Analysis
Prentice-Hall, Inc.,1998.
[19] N. Metropolis, S. Ulam, “The Monte Carlo method”. Journal of the
American Statistical Association, v. 44, n. 247, p.335-341, 1949.
[20] A. Doucet, Sequential Monte Carlo methods. In: (Ed.). Encyclopedia of
statistical sciences: John Wiley & Sons, Inc. 2004.
[21] M.D. Kennedy, S.A. McComb, R.R. Vozdolska, “An investigation of
project complexity's influence on team communication using Monte
Carlo simulation”, Journal of Engineering and Technology
Management, v.28, n.3, p.109-127, 2011.
[22] Z. Wang, Engineering project risk management-theory: methods and
application, Beijing: Press of Chinese water conservancy and
hydropower, 2003.
[23] J.M. Charnes, P.P. Shenoy, “Multistage Monte Carlo Method for Solving
Influence” Journal Management Science. v.50, n.3, p.405-418, 2004.
[24] W. Yang, C. Tian “Monte-Carlo simulation of information system
project performance” Systems Engineering Procedia, v.3,n.1, p.340-345,
2012.
[25] R.K. Yin, Estudo de caso: Planejamento e métodos. 2. Porto Alegre:
Bookman, 2001.
[26] D.R. Cooper, P.S. Schindler, Métodos de pesquisa em administração.
Porto Alegre: Bookman, 2003.
[27] P.AC. Miguel, “Estudo de caso na engenharia de produção: estruturação
e recomendações para sua condução” Revista Produção, v.17, n.1, p.
216-229.

Authorized licensed use limited to: Universidade Estadual de Campinas. Downloaded on May 01,2023 at 22:05:13 UTC from IEEE Xplore. Restrictions apply.