fMoses T.

Adoko

Trabalha atualmente na Nasa como Vice-chefe de conhecimento da NASA. Como sua Ele apóia
o engenheiro-chefe da Nasa e o diretor de conhecimento da agência

É responsável por um conjunto de programas no exterior voltados ao cultivo de talentos

técnicos e ao aprimoramento de equipes

Resumo:

Enquanto a complexidade do sistema está aumentando em muitas linhas de produtos, os

recursos necessários projetar e implementar com sucesso sistemas complexos, permanecem
restritos. Porque financiadores de desenvolvimento de sistemas complexos esforços
monitoram ativamente o custo de implementação do projeto, os modelos de desempenho do
projeto são necessários para ajudar os gerentes de projeto a prever sua conformidade de
custos e evitar execuções de custo excedente. Este artigo descreve pesquisas recentes
conduzido pelos autores para desenvolver um custo superação do modelo preditivo usando
cinco drivers de desenvolvimento de sistemas complexos de custo. O estudo identifica
cronograma e confiabilidade, como os principais determinantes de se um grande projeto de
desenvolvimento de sistemas complexos sofrerá ou não estouro de custos

Introdução:

O crescimento exponencial de aplicativos de software, expectativas do cliente e tecnologia de

computador contribuiu para um aumento na complexidade de projetos de engenharia e,
subsequentemente, estendeu os ciclos de vida desses projetos (Blanchard, 2003). O complexo
ambiente de desenvolvimento de sistemas enfrenta pressões de cronograma e orçamento de
patrocinadores e financiadores. Muitos projetos de desenvolvimento de sistemas complexos
em grande escala experimentam custos persistentes e estouros de cronograma (U.S. Gov
ernment Accountability Office [GAO], 2013). Patrocinadores e desenvolvedores de projetos
atribuem esses excessos a expectativas imprecisas sobre riscos, custos e cronograma (U.S.
Government Accountability Office [GAO], 2009). Fatores como tecnologia imatura e
engenharia de sistemas inadequada também foram citados como causas de estouros de custo
de projetos em grande escala (Meier, 2008). Em um esforço para ajudar a gerenciar o
crescimento dos custos do projeto, o governo dos EUA instituiu um regime de estouro de
custos para projetos aeroespaciais e de defesa em grande escala. O regime de estouro de
custos e seus requisitos foram contidos em uma lei chamada Nunn McCurdy Act (Schwartz,
2010).

Este estudo foi projetado para desenvolver um modelo empírico para prever a probabilidade
de estouro de custos durante a implementação do projeto. Os dados de desempenho do
projeto sobre os principais drivers de desenvolvimento do sistema podem ser aproveitados
para percepções críticas sobre estouros de custo. Um uso inovador para os dados de
desempenho do projeto seria utilizá-los para prever a conformidade com as expectativas de
custo ou metas. Os autores usaram análise de regressão logística para desenvolver um modelo
que prevê a probabilidade de estouro de custos em projetos aeroespaciais e de defesa em
grande escala.

Assim, este estudo enfoca a capacidade do setor aeroespacial em grande escala e projetos de
defesa para prever sua conformidade com a métrica de estouro de custos Nunn McCurdy
instituída pelo governo dos EUA. O modelo preditivo proposto analisa o impacto do
desempenho do sistema, Nível de preparação da tecnologia (TRL), cronograma, risco e
confiabilidade nas diretrizes de estouro de custo significativo da Nunn-McCurdy.

O estudo apresentado neste artigo contribuirá para a conversa sobre estouros de custo
experimentados por projetos de desenvolvimento de sistemas complexos, para as análises em
andamento de fatores frequentemente apontados como causas do crescimento de custos e
para a discussão sobre estratégias para aquisição bem-sucedida de sistemas complexos

dentro do custo e do cronograma. O trabalho também destaca a relação entre os indicadores

de desempenho do projeto e as restrições de custo. Os resultados do estudo identificaram
cronograma e confiabilidade como os principais determinantes de se um projeto de
desenvolvimento de sistemas complexos sofrerá estouro de custos ou não. Este achado e o
recomendado as etapas descritas neste artigo são consistentes com as melhores práticas
descritas pelo Government Accountability Office (GAO) e pela National Aeronautics and Space
Administration (NASA) para o desenvolvimento bem-sucedido de sistemas complexos dentro
do custo (GAO, 2013; NASA NPR 7123.1).

Outros projetos de grande escala financiados pelo governo em energia e telecomunicações

também podem alavancar a estrutura do estudo para monitorar o cumprimento da meta de
custo. Além disso, empresas do setor privado e projetos de desenvolvimento podem adaptar o
modelo preditivo em seus esforços para gerenciar custos. Flyvbjerg (2014) apontou identificou
as características e atributos definidores dos megaprojetos e identificou o estouro de custos e
o crescimento do cronograma, frequentemente denominados “a lei de ferro dos
megaprojetos”, como alguns dos principais elementos definidores. Em sua análise histórica de
megaprojetos, ele demonstrou que o estouro de custos é um desafio de gerenciamento de
projetos para empresas de tecnologia e engenharia públicas e privadas em todo o mundo. O
desafio exige que a comunidade de gerenciamento de projetos se engaje na busca por
ferramentas inovadoras e práticas de mitigação. A política de estouro de custos significativa da
Nunn-McCurdy pode ser adaptada como uma estratégia de gerenciamento de orçamento e
implementada em megaprojetos em todo o mundo. No entanto, métodos de estudo científico
devem ser usados para orientar a aplicação da política, a fim de torná-lo prático nesses
ambientes de megaprojetos.

Além disso, pesquisas anteriores documentam claramente que os excessos de custo dos
chamados "megaprojetos" estão acontecendo em muitos países (Brady & Davies, 2014;
Flyvbjerg, 2014; Molloy & Chetty, 2015) e, portanto, não se restringem a projetos financiados
pelo governo nos Estados Unidos. Assim, os usuários em outros países também podem
aproveitar e adaptar nosso modelo preditivo para gerenciar desafios de estouro de custos. No
entanto, outras questões importantes projetos, como “fazer a inovação acontecer” (Davies,
MacAulay, DeBarro, & Thurston, 2014) ou “melhores estratégias de conhecimento” (Molloy &
Chetty, 2015; Turner et al., 2014) requerem medidas adicionais.

Na seção a seguir, revisamos os critérios de avaliação do sucesso do projeto cobertos na

literatura e discutimos sua relevância para o nosso estudo. Em seguida, descrevemos as
características dos projetos de desenvolvimento de sistemas aeroespaciais e de defesa,
incluindo parâmetros de sucesso de projeto estabelecidos para esses dois setores, bem como
desafios de derrapagem de custos. Tentamos demonstrar a necessidade de um

modelo preditivo de estouro de custo com base nos parâmetros de sucesso do projeto
estabelecidos e para descrever como nosso modelo foi desenvolvido. O artigo conclui com os
insights do estudo, incluindo a aplicação do modelo, contribuições para a pesquisa e a prática
e sugestões para estudos futuros.

Sistemas Complexos
Projeto de desenvolvimento
Fatores de Desempenho

Nesta seção, revisamos a literatura relevante sobre o desempenho do projeto avaliações e

projetos de desenvolvimento de sistemas complexos. Descrevemos análises contínuas dos
fatores de sucesso do projeto por vários colaboradores na tentativa de contextualizar este
estudo.

A avaliação do desempenho do projeto é uma tarefa complicada com muitos desafios.

Gemuenden e Lechler (1997) apontam que o desafio com a avaliação do desempenho do
projeto ou medição do sucesso do projeto é multidimensional, porque existem muitos fatores
que impactam os resultados do projeto bem-sucedidos e devem ser considerados nas análises
de sucesso. Thamhain (2013) argumenta que os modelos analíticos não podem capturar
adequadamente as complexidades e dinâmicas dos riscos do projeto. O desafio de "medição"
do desempenho do projeto é ainda mais agravado quando o projeto envolve várias
organizações, contratados e subcontratados com diferentes processos de execução,
financiamento mecanismos, comunidades de partes interessadas e interesses concorrentes.

Thamhain (2013) indica ainda que parte do desafio da avaliação do projeto é que os gerentes
de projeto e gerentes seniores muitas vezes discordam sobre as causas reais das deficiências
de desempenho do projeto. Pode-se argumentar que a avaliação do desempenho do projeto
não trata de medições de desempenho, mas sim de uma tentativa de usar as análises para
determinar as causas do estado atual e usar os indicadores de desempenho para informar as
decisões de gerenciamento do projeto, como conformidade de custos. A definição da medição
do sucesso do projeto é o assunto de um debate contínuo dentro da comunidade de
gerenciamento de projetos.

A avaliação convencional do sucesso do projeto, que muitas vezes é baseada em critérios de

desempenho, cronograma e custo (também chamado de triângulo de ferro), agora está
recebendo análise crítica da academia e praticantes. Gemünden (2015) aponta três áreas que
o método convencional falho em capturar em sua avaliação do sucesso do projeto: benefícios
para as partes interessadas, valor de exploração da produção e contribuições estratégicas. No
entanto, os patrocinadores de projetos de desenvolvimento de sistemas complexos nos
setores aeroespacial e de defesa continuam a depender da avaliação convencional como a
principal medida do sucesso do projeto (GAO, 2013). Serrador e Turner (2015) demonstram a
estreita relação entre o sucesso do projeto (ou seja, a eficiência do projeto) que é definido por
desempenho, cronograma e metas de custo por um lado e pelo sucesso geral do projeto, que
tenta quantificar a satisfação das partes interessadas nas realizações estratégicas do projeto ,
por outro lado. No setor aeroespacial e setores de defesa, a eficiência do projeto é
principalmente informada por quão bem o projeto atingiu os requisitos de desempenho do
sistema, metas de cronograma e custo e fatores de confiabilidade (GAO, 2013; Malone &

Wolfarth, 2012). Williams, Klakegg, Walker, Andersen e Magnussen (2012) aconselham os

gerentes de projeto a aprender com o projeto indicadores de desempenho que significam
resultados inaceitáveis. Eles chamaram esses indicadores de desempenho de sinais de alerta
precoce relevantes e, ainda, afirmaram que esses sinais podem ser aproveitados por projetos
para evitar o fracasso do projeto ou para mitigar o estouro de custos. A fim de avaliar a
significância dos indicadores e impactos de custo e desempenho do sistema, estudos analíticos
devem ser realizados no início do ciclo de vida (Meier, 2008). Os resultados da avaliação da
linha de base do projeto devem informar a tomada de decisão subsequente dentro da
estrutura de gerenciamento do projeto e da implementação da engenharia de sistemas.
Sharon, De Weck e Dori (2011) apontam a importância das interações entre a estrutura do
produto e as atividades de gerenciamento de projetos durante o desenvolvimento e
implementação do sistema.

As interações e processos iterativos entre a estrutura do produto e as atividades de

gerenciamento de projetos são projetadas para manter a rastreabilidade e consistência em
todos os níveis do sistema (Sharon et al., 2011). Como um processo de desenvolvimento de
produto, a engenharia de sistemas traduz os requisitos do sistema em arquitetura de design,
funcional e física, o que acaba resultando no produto de interesse (Sage & Lynch, 1998).
Atividades de desenvolvimento de sistema, eventos de gerenciamento de projeto e equipes de
projeto devem ser todos alinhados para alcançar resultados de projeto bem-sucedidos
(Eppinger & Salminen, 2001; Sharon et al., 2011). Além disso, a capacidade de gerenciar
complexidades de projetos por meio de mecanismos de controle de estado futuro é crítica
para a prática de gerenciamento de projetos (Caron, Ruggeri, & Merli, 2012). A capacidade
pode incluir ferramentas para prever resultados possíveis, incluindo custo e cronograma, que
podem impactar o projeto de forma negativa ou positiva. Modelos preditivos e outras
ferramentas analíticas podem ajudar a promover uma melhor compreensão dos fatores que
afetam os resultados de desempenho do projeto e, ao fazê-lo, facilitar o alinhamento entre o
desenvolvimento do sistema e as atividades de gerenciamento do projeto. A medição geral do
sucesso do projeto é importante (Turner & Zolin, 2012). No entanto, os patrocinadores do
governo dos EUA de projetos de desenvolvimento de sistemas complexos estão interessados
na capacidade dos projetos de atender aos requisitos de desempenho do sistema, cronograma
e metas de custo (GAO, 2013). Na verdade, o GAO tem continuamente expressado
preocupação com a incapacidade dos projetos aeroespaciais e de defesa de atender às
expectativas de custo e cronograma. A diretriz de estouro de custo Nunn-McCurdy foi
promulgada para ajudar no desafio. Para atender a esse requisito de estouro de custo, são
necessárias ferramentas e técnicas inovadoras que ajudem os gerentes de projeto a prever seu
nível de conformidade, bem como determinar os critérios relevantes responsáveis pelo
cumprimento do requisito. No entanto, práticas e métodos inovadores para gerenciar desafios
de desenvolvimento de sistemas complexos devem ser baseados em análises empíricas
(Berggren, Jarkvik, & Soderlund, 2008). Meier (2008) afirma que muitos fatores críticos
precisam ser investigados a fim de compreender os drivers de desempenho do projeto que são
responsáveis pelos custos excessivos significativos experimentados por projetos de defesa em
grande escala do governo dos EUA.

Estudos anteriores de desempenho de projeto e engenharia de sistemas também sugerem que

um modelo preditivo quantitativo multivariado seria uma ferramenta eficaz para prever
estouros de custo e entender os critérios relevantes com respeito a estouros de custo.
Shenhar e Dvir (2007) modelaram o sucesso do projeto usando cinco preditores,
incluindo eficiência do projeto, satisfação da equipe, impacto no cliente, sucesso nos negócios
e preparação. Turner e Zolin (2012) também desenvolveram um modelo de sucesso
de projeto que captura as percepções das partes interessadas sobre produtos, resultados e
impactos em diferentes períodos de tempo.
Com relação às variáveis relevantes a serem incluídas em um modelo preditivo de estouro de
custos, Jackson, Vanek e Grzybowski (2008) definem “métricas” relevantes como
aqueles elementos que quantificam o impacto dos principais processos de engenharia de
sistemas e eventos de marco. Biltgen, Ender e Mavris (2006) argumentaram que as
métricas baseadas em tecnologia e métricas de desempenho do sistema também devem ser
consideradas. Bearden, Yoshida e Cowdin (2012) e Bitten, Bearden e
Emmons (2005) demonstraram quantitativamente que o cronograma é uma função de
custo e complexidade do sistema. Malone e Wolfarth (2012) apontaram que estimativas de
custo do ciclo de vida irrealistas e muitas vezes otimistas resultaram em muitas violações de
custo e cronograma do NunnMcCurdy. Além disso, o GAO (2009) indicou que muitos esforços
de desenvolvimento de sistemas do DoD são cancelados devido ao aumento de custo e
cronograma. Sauser, Magnaye, Patanakul, Nowicki e Randall (2013) destacaram a importância
da maturidade da tecnologia para projetos de desenvolvimento de sistemas complexos,
propondo um gerenciamento de projeto técnica que é impulsionada por um roteiro de
maturidade de tecnologia. Essa abordagem, chamada “Earned Readiness Management”, tenta
impulsionar todo o processo de desenvolvimento do sistema, incluindo agendamento,
monitoramento e avaliação, com base no estado de maturidade da tecnologia. Finalmente,
Volkert, Stracener e Yu (2014) indicaram que o pessoal de gerenciamento de projetos de
aquisição de defesa dos EUA demonstrou a importância de monitorar seus projetos complexos
através do uso de modelagem de risco e ferramentas de quantificação de desempenho. Assim,
a pesquisa sugere que as métricas relacionadas ao desempenho do sistema, TRL ou
maturidade, confiabilidade, cronograma e risco da tecnologia seriam as mais úteis. Como
resultado desta revisão dos fatores de desempenho do projeto e da literatura de engenharia
de sistemas, os autores estabeleceram um modelo preditivo de cinco fatores que apoiaria
pessoal do projeto e engenheiros de sistema enquanto tomam decisões de conformidade que
excedem os custos.

Nosso estudo segue trabalhos anteriores sobre avaliações de sucesso de projetos em geral e
projetos de desenvolvimento de sistemas complexos em particular. Conforme ilustrado por
meio da revisão da literatura, vários estudos e autores forneceram percepções sobre os
indicadores de desempenho do projeto e modelos para analisar os critérios de sucesso do
projeto (Gemuenden & Lechler, 1997; Gemünden, 2015; Meier, 2008; Serrador & Turner, 015;
Thamhain, 2013; Turner & Zolin, 2012). Nosso trabalho contribui para a discussão examinando
o impacto relativo de cinco parâmetros de sucesso estabelecidos em estouros de custo
significativos em projetos de desenvolvimento de sistemas complexos. O estudo fornece
insights sobre critérios de sucesso que são mais críticos para gerenciamento de estouro de
custos por meio do uso de um modelo desenvolvido empiricamente. O esforço contribui para a
busca de ferramentas eficazes e práticas inovadoras para enfrentar o desafio da superação de
custos. Outro benefício da investigação é a compreensão da relação entre os cinco parâmetros
usados por patrocinadores de projetos complexos como critérios de sucesso e o limite de
estouro de custo de Nunn-McCurdy. No restante deste artigo, os autores discutem
características de projetos de desenvolvimento de sistemas complexos; descrever o contexto
legislativo e da indústria, gerando a necessidade de modelo preditivo; definir o modelo
preditivo; e descrever seu desenvolvimento, aplicação e uso.

Aeroespaciais e Sistemas de Defesa

Nesta subseção, revisamos as características, expectativas e fatores de sucesso do projeto de
desenvolvimento de sistemas complexos, incluindo requisitos de estouro de custos instituídos
pelo governo dos Estados Unidos. O GAO captura dados de avaliação de desempenho de
projetos da NASA como "Avaliações de Projetos de Grande Escala Selecionados", mas se refere
aos dados de desempenho de projetos do DoD como "Avaliação de Programas de Arma
Selecionados". Neste estudo, estamos usando o termo “projeto” para empreendimentos de
desenvolvimento de sistemas da NASA e do DoD avaliados pelo GAO com base nos critérios do
estudo.

As indústrias aeroespacial e de defesa são caracterizadas por projetos grandes e complexos. Os

gerentes de projeto e engenheiros de sistema que operam nesses setores devem abordar os
desafios de desempenho exclusivos de seus projetos no contexto mais amplo da
regulamentação do governo dos EUA de seus projetos. Especificamente, a Lei Nunn-McCurdy
define limites de estouro de custos, que acionam automaticamente uma ação do Congresso
dos EUA que pode resultar no encerramento de projetos financiados pelo governo federal. Um
modelo preditivo de estouro de custos pode ajudar a orientar gerentes de projeto e
engenheiros de sistemas enquanto buscam conformidade.

Mais importante ainda, os gerentes de projeto precisam verificar os fatores relevantes que, se
não controlados, podem resultar em estouros de custo. Projetos nesses setores enfrentaram
muitos estouros de custo nos últimos tempos (GAO, 2013) e, portanto, apresentam
oportunidades para investigar os indicadores de desempenho do projeto para as causas
relevantes. O aeroespacial e os setores de defesa representam domínios de produtos onde os
sistemas são caracterizados por altos níveis de complexidade e altos custos de
desenvolvimento. Por exemplo, os limites de custo do ciclo de vida dos sistemas de defesa
podem chegar a milhões de dólares (Departamento de Defesa dos EUA Selecionado

Relatório de Aquisição, 2012). Os sistemas de armas e recursos aeronáuticos que operam em

áreas povoadas por civis requerem configurações de projeto sofisticadas para atingir os
objetivos operacionais e a eficiência exigidos. Como resultado das demandas técnicas de seus
ambientes operacionais, cada sistema aeroespacial e de defesa requer várias análises para
explorar e compreender com precisão todas as opções disponíveis que são tecnicamente
viáveis dentro de um determinado restrições que incluem custo, operações, confiabilidade,
segurança e cronograma (National Aeronautics & Space Administration [NASA], 2007).

Nos setores aeroespacial e de defesa, diferentes cenários de projeto envolvendo desempenho

do sistema, TRL ou requisitos de tecnologia, fatores de confiabilidade, cronograma de
desenvolvimento, risco e custo são explorados para determinar a configuração ideal desses
parâmetros que podem resultar em um sistema que atenda aos requisitos do cliente. Esses
cinco parâmetros são importantes para os sistemas de defesa e aeroespacial porque têm
impactos diretos na eficácia do sistema, nas operações e no custo do projeto (U.S.
Government Accountability Office [GAO], 2012; Malone & Wolfarth, 2012).

É ainda mais importante entender como esses parâmetros afetam ou impactam os excessos de
custo. Uma tentativa de modelar essas variáveis preditivas usando um grande conjunto de
dados de resultados de desempenho do projeto contribuirá para a discussão e fornecerá
informações valiosas para gerentes de projeto e engenheiros de sistema durante a
implementação do projeto.

A superação dos custos de projetos de desenvolvimento de sistemas complexos é um desafio

tanto para o governo quanto para o setor privado. Flyvbjerg (2014) aponta que um extenso
registro de dados sobre projetos de desenvolvimento de sistemas em grande escala mostra
que os excessos de custos têm sido altos e constantes, sem sinais de melhoria coletiva.
Historicamente, muitos projetos de desenvolvimento de sistemas aeroespaciais e de defesa
enfrentaram dificuldades porque aceitaram prematuramente desafios de engenharia como
tecnicamente viáveis e, portanto, forneceram expectativas imprecisas sobre riscos, custos,
cronograma e confiabilidade para patrocinadores e tomadores (GAO, 2009).

A Lei Nunn-McCurdy sobre Saturação do custo

A Lei Nunn-McCurdy foi aprovada pelo Congresso dos Estados Unidos em 1983 para exigir que
os programas de aquisição do DoD e outros projetos do governo federal em grande escala
reportassem ao Congresso quando excedessem certos limites estabelecidos de estouro de
custo (Schwartz, 2010). A lei foi emendada várias vezes ao longo dos anos para afetar o
gerenciamento de projetos federais em evolução e as regras de relatórios. A intenção inicial da
lei era ajudar a controlar estouros de custos persistentes associados a muitos esforços de
desenvolvimento de sistemas de defesa. A lei trata especificamente de dois casos: verrun de
custo significativo (ou seja, violação) e estouro de custo crítico. De acordo com a lei, um
estouro de custo significativo ocorreu quando a aquisição do programa

o custo aumenta 15% ou mais em relação à linha de base atual ou 30% ou minério em relação
à linha de base original. Um estouro de custo crítico ocorre quando o custo de aquisição do
programa aumenta 25% ou mais em relação à estimativa da linha de base atual ou 50% ou
mais em relação à linha de base original (Schwartz, 2010).

A lei permitiu ao Congresso exercer supervisão eficaz sobre os excessos de custo de aquisição
do sistema DoD e outros esforços de desenvolvimento de sistema em grande escala do
governo, incluindo sistemas aeroespaciais complexos desenvolvidos pela NASA. Os autores
decidiram usar as estimativas de limite de estouro de custo significativo para seu modelo. Em
outras palavras, o modelo preditivo desenvolvido tem como objetivo orientar projetos para a
tomada de decisões que levariam a aumentos de custo de aquisição que não excedem 15% de
sua linha de base atual ou 30% de sua linha de base original. O limite de estouro de custo
significativo foi escolhido para a análise, porque projetos que evitam estouro de custo
significativo também evitam estouro de custo crítico.

Desenvolvendo uma ultrapassagem de custos

Modelo preditivo
Esta seção descreve os dados que foram aproveitados para a análise e apresenta as definições
operacionais dos parâmetros. A análise envolveu dados obtidos nas Avaliações de Projetos de
Grande Escala do GAO. Sessenta e nove projetos individuais de desenvolvimento de sistemas
aeroespaciais e de defesa que atenderam aos critérios para a pesquisa foram selecionados
para a análise. Os resultados de desempenho do projeto em termos de desempenho do
sistema, TRL, confiabilidade, risco e cronograma foram revisados e preparados para a
construção do modelo, regressão logística e saída e aplicação do modelo subsequente. Os
autores decidiram usar os critérios de avaliação de projetos complexos do GAO dos EUA para
medir cada um dos parâmetros. Esses critérios têm sido usados pelo GAO como melhores
práticas desde 2009 para avaliar projetos complexos em marcos importantes (GAO, 2014).
Aproveitamos esses elementos para avaliar os parâmetros a fim de garantir consistência com a
fonte de dados, e também com base no reconhecimento de que o GAO, como entidade
independente, tem validou os critérios e madureceu seus elementos por meio de avaliações de
projetos complexos financiados pelo governo dos EUA. A relação entre os parâmetros e seus
respectivos critérios de avaliação é explicada na próxima seção.

Parâmetros e Avaliação
Critério
1 Performance de sistema: refere-se aos requisitos de desempenho técnico do sistema
de interesse, conforme refletido nos indicadores de estabilidade do projeto. A avaliação desta
variável é um indicador de se os critérios de estabilidade do projeto definidos, conforme
refletido nas informações de linha de base, foram "alcançados" ou "não alcançados". O GAO
usa a estabilidade do projeto como indicador da capacidade de um projeto para demonstrar
que é capaz de atender aos requisitos de desempenho do sistema (GAO, 2009, p. 7; GAO,
2010, p. 8) dentro do custo e do cronograma. Este estudo usa essa definição como base para a
avaliação dos parâmetros de desempenho do sistema e subsequente codificação. Embora o
design amadureça com o tempo, o GAO estabeleceu por meio de suas várias avaliações que os
projetos do DoD e da NASA que atenderam aos critérios de estabilidade de design conforme
definidos, alcançaram os requisitos de desempenho do sistema dentro de determinadas
restrições de custo e cronograma (GAO, 2010). A estabilidade do projeto pode melhorar com o
tempo e atender aos requisitos de desempenho do sistema, mas a que custo? O U.S.
Government Accountability Office (GAO, 2015) afirma que os projetos de aquisição de
sistemas complexos devem demonstrar que seus projetos de sistema atendem aos requisitos
de desempenho e podem ser produzidos dentro do custo e cronograma em níveis de
qualidade especificados. O design deve ser demonstrado para mostrar que funciona conforme
necessário por meio de testes realistas em nível de sistema antes de tomar decisões de
produção (GAO, 2015, p. 87). Em outras palavras, os projetos podem considerar a estabilidade
do projeto como um indicador de desempenho do sistema em uma determinada meta de
custo e cronograma. A escala utilizada para a pontuação e os critérios alavancados para as
avaliações são apresentados a seguir:

Escala: 0 ou 1:

• Pontuação = 1: pelo menos 90% de todos os desenhos / modelos de engenharia foram

liberados pela Critical Design Review (CDR). Ou seja, todos os modelos de engenharia para o
projeto estavam em um estado maduro no marco do CDR. Projetos que geraram engenharia
tridimensional os modelos de produtos do CDR também foram considerados como atendendo
ao requisito.

• Pontuação = 0: o critério acima não é conheceu.

2 TRL ou maturidade de tecnologia: refere-se aos requisitos de tecnologia do
sistema de interesse, que inclui tecnologias críticas e herdadas. A avaliação da variável TRL é
um indicador de que todas as tecnologias críticas do sistema de interesse atingiram a
maturidade do TRL 6 pela Preliminary Design Review (PDR) ou antes de serem integradas ao
desenvolvimento do produto / sistema. Com base nos resultados de sua avaliação, o GAO
(2011) recomenda que os projetos devem amadurecer suas tecnologias para TRL de 6 por PDR,
a fim de evitar atrasos e trabalhos de reprojeto onerosos. A política de engenharia de sistemas
da NASA (NPR 7123.1) também recomenda TRL de 6 por PDR. Essas melhores práticas foram
alavancadas para definir a avaliação dos critérios de parâmetros TRL usados em nossa
pontuação e análise.

Escala: 0 ou 1:

• Pontuação = 1: tecnologias críticas alcançaram maturidade TRL 6 pelo PDR ou antes de serem
integradas ao desenvolvimento de produto / sistema.

• Pontuação = 0: o critério acima não foi atendido

3. Cronograma refere-se à capacidade de um projeto de manter sua duração /

cronograma de desenvolvimento estimado em menos de seis meses ao longo do cronograma
de linha de base durante a implementação. A avaliação desta variável é uma indicação de que
o projeto não experimentou um crescimento de cronograma superior a seis meses em relação
à linha de base. Os projetos da NASA são obrigados a apresentar relatórios ao Congresso
quando um marco é susceptível de ser atrasado por seis meses ou mais. Isso é considerado
linha de base do cronograma para todos os projetos da NASA com custos de ciclo de vida
estimados de pelo menos US $ 250 milhões. A Agência também deve informar ao Congresso
quando o custo de desenvolvimento provavelmente excederá a estimativa de linha de base em
15% ou mais (GAO, 2009). A análise do GAO indica que o custo significativo e o crescimento do
cronograma ocorrem quando o custo de um projeto ou o crescimento do cronograma excede
os limites estabelecidos para relatórios do Congresso (GAO, 2009, p. 11). Esses fatores
informaram o uso da linha de base do cronograma de seis meses como os critérios de
avaliação dos parâmetros.

Escala: 0 ou 1:

• Pontuação = 1: Projeto é menor que seis meses além da linha de base

cronograma.

• Pontuação = 0: o critério acima não é conheceu.

4. Confiabilidade se refere à confiabilidade técnica e de desempenho do sistema,

conforme demonstrado durante os testes e análises de projeto. A avaliação desta variável
estabelece se o projeto atendeu ou não aos requisitos de confiabilidade observados na
estabilidade técnica do sistema em desenvolvimento. O GAO afirma que, a fim de evitar falhas
dispendiosas do sistema durante os estágios finais de desenvolvimento, a confiabilidade do
sistema deve ser demonstrada por meio de testes realistas no nível do sistema e análises de
design antes de tomar decisões de produção ou entrar na fase de implementação (GAO, 2009,
p. 7) . De acordo com o GAO, os projetos que apresentam problemas de design, falhas de teste
de subsistema ou problemas de teste e integração não conseguem produzir com êxito os
sistemas necessários dentro dos limites de custo e cronograma fornecidos.

Escala: 0 ou 1:

• Pontuação = 1: O projeto não tem nenhum dos seguintes: (1) problemas de design; (2) falhas
de teste de peças ou subsistema; e (3) problemas de teste e integração, conforme indicado
pela seção Atualização do Projeto do Relatório GAO anual intitulado Avaliações de Projetos
Selecionados de Grande Escala.
• Pontuação = 0: o critério acima não foi atendido.

5. Risco se refere a desafios e problemas significativos do projeto identificados e capturados

nas métricas de linha de base. A avaliação desta variável indica se o projeto enfrentou desafios
significativos que poderiam impactar ou ameaçar o sucesso da implementação do sistema ou
não. O risco, conforme usado neste estudo, refere-se a desafios e problemas significativos do
projeto identificados e capturados nas métricas de linha de base. Esses são desafios que
podem impactar a implementação bem-sucedida de um sistema que atenda aos requisitos de
desempenho, custo, cronograma e confiabilidade do sistema. De acordo com o GAO, projetos
que passaram por gerenciamento de aquisição; Problemas de desempenho do contratado,
problemas técnicos ou de confiabilidade de peças, problemas de parceiros externos ou
problemas de financiamento não produziram com sucesso os sistemas necessários dentro dos
limites de custo e cronograma fornecidos.

Escala: 0 ou 1:

• Pontuação = 1: O projeto não tem nenhum dos seguintes: (1) gerenciamento de aquisição ou
problemas de desempenho do contratado; (2) questões técnicas ou de confiabilidade das
peças; (3) questões de parceiros externos; e (4) questões de financiamento conforme indicado
pela seção Atualização do Projeto do Relatório GAO anual intitulado Avaliações de Projetos
Selecionados de Grande Escala.

• Pontuação = 0: o critério acima não foi atendido.

Construção de modelo e análise de dados

O modelo preditivo apresentado neste artigo foi desenvolvido usando dados de projetos do
DoD e da NASA financiados pelo governo dos EUA entre 2009 e 2014. Os dados para a análise
foram obtidos de relatórios do GAO capturados como "Avaliação de Projetos de Grande Escala
Selecionados". Os relatórios foram baseados em avaliações de desempenho de projetos
realizadas pelo GAO em sistemas complexos desenvolvidos e implementados pela NASA e pelo
DoD.

Esses documentos fornecem informações detalhadas sobre o desempenho do projeto em

linhas de base de marcos importantes, incluindo o desempenho de custo e cronograma desses
projetos.

Os dados incluíram informações sobre o custo de desenvolvimento do projeto, cronograma,

maturidade da tecnologia ou TRL, estabilidade e problemas de design, desafios técnicos,
desafios de confiabilidade do sistema e deltas subsequentes, entre outros indicadores de
desempenho do projeto. Os autores de seu artigo revisaram esses detalhes técnicos e do
projeto para identificar os indicadores de desempenho e os resultados do projeto, conforme
refletido nos dados da linha de base do projeto.

Para serem selecionados para inclusão em nosso conjunto de dados, os projetos foram
avaliados usando os seguintes critérios: (1) o projeto era de alto custo (ou seja, orçamento de
US $ 250 milhões ou mais) ?; (2) o projeto estava em fase de desenvolvimento (para projetos
DoD) ou em fase de implementação (para projetos da NASA) ?; e (3) os dados para todas as
cinco variáveis (ou seja, desempenho do sistema, TRL, risco, cronograma e confiabilidade)
estavam disponíveis para o projeto? A pesquisa começou com 38 projetos da NASA e 56 do
DoD. Três dos 38 projetos da NASA estavam em organização e, portanto, não atendiam aos
critérios para inclusão no conjunto de dados. Sete foram removidos do conjunto de dados
porque estavam faltando uma ou mais das variáveis críticas; portanto, um total de 28 projetos
da NASA foram incluídos no conjunto de dados para análise. Da mesma forma, 15 dos 56
projetos do DoD foram eliminados do conjunto de dados final porque estavam faltando uma
ou mais das variáveis críticas. Usando esses critérios, 69 projetos de desenvolvimento de
sistemas da NASA e DoD foram selecionados como a amostra para esta pesquisa, e seus
resultados de desempenho em termos de desempenho do sistema, TRL, confiabilidade, risco e
cronograma foram anotados e codificados para análise estatística.

Captura e codificação de dados

Os dados do projeto foram capturados pelo GAO em relatórios narrativos sob os seguintes
legendas: estabilidade do projeto, maturidade da tecnologia, cronograma de desenvolvimento,
custo de desenvolvimento, confiabilidade e questões de financiamento. Por exemplo, a
estabilidade do projeto, que é usada nesta pesquisa como um indicador de desempenho do
sistema, foi determinada pela porcentagem de modelos de engenharia ou desenhos
concluídos pelo marco CDR. O GAO usou uma estrutura que indicava que os projetos com pelo
menos 90% de todos os desenhos de engenharia concluídos pelo CDR foram considerados
como tendo projetos maduros que garantiam o desempenho do sistema estável (GAO, 2013).

Da mesma forma, havia critérios de avaliação para os outros parâmetros do modelo. Esses
critérios estabelecidos pelo GAO foram usados para avaliar o resultado de cada parâmetro
para todos os 69 projetos.

Os resultados da avaliação nos cinco parâmetros conforme capturados nas informações de

linha de base do projeto (por exemplo, design, questões de tecnologia, financiamento,
cronograma, risco e narrativas de confiabilidade) foram codificados em duas categorias:
"alcançado" ou "não alcançado". Usando este protocolo de análise binária, os valores de 1 ou 0
foram atribuídos a cada um dos parâmetros de interesse (desempenho, TRL, risco, cronograma
e confiabilidade), com "1" sendo atribuído aos casos em que os critérios foram alcançados
conforme indicado por o resultado dos critérios avaliados e “0” atribuído aos casos em que os
critérios não foram alcançados. Para determinar se um projeto atingiu os critérios definidos ou
não, os critérios de avaliação do GAO foram aproveitados para estabelecer o resultado de
desempenho de cada área.

Usando uma escala binária para Codificação

Uma escala binária é utilizada para a pontuação porque trabalha com a informação disponível
e corresponde ao tipo de dado que está sendo medido e, portanto, tem menos viés neste
contexto (International Business Machines [IBM], 2013, p. 55). Este método foi adotado para
reduzir o viés não intencional que poderia acompanhar a classificação relativa. Essa
abordagem garantiu consistência e uma estrutura de avaliação comum, e reduziu o nível de
subjetividade que poderia impactar conclusões pessoais ou uma gama de valores. Essa técnica
também foi informada pelo fato de que os critérios utilizados para a avaliação dos parâmetros
foram simplificados em limiares / pontos de corte específicos, definidos por atingidos ou não
atingidos. Por exemplo, os projetos avaliados com pelo menos 90% dos modelos de
engenharia concluídos no CDR foram designados como "alcançados", enquanto aqueles com
80% foram designados como "não alcançados".

Também é importante observar que o método de pontuação binária tem limitações. As etapas
de preparação de dados, como o método de pontuação binária para análise estatística, podem
ser influenciadas por vieses (IBM, 2013) e ajustes de julgamento individual (Eroglu & Croxton,
2010). A fim de mitigar a possibilidade de viés de entrada, validamos as pontuações em relação
aos indicadores de resultados de desempenho do projeto documentados pelo GAO e
garantimos a consistência entre a estrutura de avaliação de critérios e a interpretação dos
resultados de desempenho para pontuação.

A objetividade ou subjetividade do processo GAO pode ser debatida; no entanto, está

registrado que o GAO ofereceu aos projetos do DoD e da NASA a oportunidade de fornecer
informações e respostas à avaliação. Em muitas das avaliações do GAO, os projetos relataram
seus indicadores de desempenho ao fornecer razões para desafios e projeções. Confiar nos
resultados já avaliados e aplicá-los de forma consistente mitiga a questão de quem decide uma
pontuação de 1 ou 0. Por exemplo, ao longo do estudo "problema de design" é definido,
interpretado e pontuado de forma consistente em todos os projetos avaliados usando a
mesma definição de critérios.

Uma gama de valores intermediários ou uma abordagem granular também poderia ter sido
usada para pontuar os resultados de desempenho; entretanto, este método exigirá um ponto
de linha de base para a faixa de valores e interpretações associadas. É importante notar que os
autores decidiram usar a escala binária principalmente porque ela corresponde às informações
originadas do GAO sendo analisadas (IBM, 2013, p. 55) e também para garantir a consistência
com a estrutura de avaliação de critérios do conjunto de dados GAO.

Regressão Logística e Validação cruzada

Para esta pesquisa, os autores empregaram regressão logística para a análise porque é eficaz
para situações que requerem a capacidade de prever resultados dicotômicos e é útil para
examinar relações entre variáveis preditoras múltiplas e antecipadas resposta binária (IBM,
2013). Peng, Lee e Ingersoll (2002) também indicam que a regressão logística é um método
analítico útil para problemas que envolvem resultados de respostas binárias. O conjunto de
dados é composto de indicadores de desempenho de linha de base de desenvolvimento de
projetos. Esses indicadores refletem os resultados de desempenho do projeto que foram
capturados como “alcançados” ou “não alcançados” para a análise estatística. As variáveis
independentes foram codificadas como 1 e 0 para análise. A variável dependente dicotômica
foi determinada pela ocorrência ou não de um estouro de custo significativo, conforme
definido pelos requisitos de Nunn-McCurdy (Schwartz, 2010).

O Statistical Analysis System (SAS) versão 9.3 foi usado para conduzir a análise de regressão
logística no conjunto de dados. Uma validação cruzada de 10 vezes foi empregada para provar
que o modelo não foi super ajustado e que o modelo faria previsões precisas em novos
conjuntos de dados. Para executar a modelagem de validação cruzada de 10 vezes, o conjunto
de dados foi dividido aleatoriamente em 10 subgrupos. Uma abordagem iterativa foi então
empregada para ajustar o modelo a 9/10 dos elementos em cada um dos 10 subgrupos, cada
vez deixando 1/10 dos dados fora do esforço de construção do modelo. O modelo foi então
aplicado aos dados de teste de validação e probabilidades previstas das observações de teste
feitas. Depois de repetir o procedimento para todos os 10 subgrupos, a precisão do modelo e
as estatísticas de ajuste foram calculadas com base na área sob a curva Receiver Operating
Characteristic (ROC) gerada. Um ROC é um gráfico de sensibilidade contra 1-especificidade,
que descreve a significância estatística da capacidade do modelo de prever observações
futuras. O ROC também indica que o modelo não está sobreajustado. Para nossa pesquisa, a
área sob a curva ROC foi estimada em 0,7402% ou 74,02%.

Precisão do modelo
O processo de validação cruzada delineado deu uma avaliação mais precisa da capacidade do
modelo de prever resultados em novos conjuntos de dados, confirmando que o modelo não
foi superdimensionado. A fim de determinar a significância estatística da predição do modelo,
testes de sensibilidade e especificidade foram realizados para descartar cenários de predições
falso-negativas e falso-positivas. A sensibilidade é uma probabilidade calculada de que o teste
de um modelo estatístico resultará em positivo para uma estatística verdadeira, enquanto a
especificidade é a probabilidade calculada de que o teste do modelo produzirá negativo para
uma estatística verdadeira negativa.

Usando os valores de previsão de validação cruzada, uma regra de decisão de dois pontos de
corte foi adotada em que a taxa de falsos positivos (FPR) e a taxa de falsos negativos (FNR)
eram igualmente pequenas, o que corresponde à seleção de dois pontos de corte com valores
igualmente grandes de sensibilidade e especificidade. Um conceito estatístico de p-hat foi
empregado para apoiar a regra de decisão de dois pontos de corte. Um p-hat, neste contexto,
é definido como a proporção do tamanho total da amostra que é usada como representativa
da amostra em estudo; para nossa análise, os valores de p-hat são 0,6 e 0,4, respectivamente.
Portanto, nossos dois pontos de corte foram p-hat> 0,6 e p-hat <0,4, com valores de FPR e FNR
de 0,359 e 0,400, respectivamente. Os pontos de corte foram então usados para estabelecer o
força do modelo, incluindo previsões de falsos positivos e falsos negativos:

• Em p-hat> 0,6, haverá estouro de custos.

• A 0,4 ≤ p-hat <0,6, há incerteza sobre o status de estouro de custo final.

• No p-hat ≤ 0,4, não haverá estouro de custos

As seguintes conclusões foram feitas em relação à precisão da previsão do modelo:

1. Sensibilidade (taxa positiva verdadeira): 60,0% dos casos de estouro de custo são
identificados corretamente como violação do requisito de estouro de custo significativo da
Nunn-McCurdy.

2. Especificidade (taxa negativa verdadeira): 64,1% dos projetos que não sofreram estouro de
custo significativo são corretamente identificados como atendendo ao requisito de estouro de
custo significativo da NunnMcCurdy.

3. Valor preditivo positivo (PPV): Cerca de 62,1% dos estouros de custo significativos previstos
são, na verdade, casos de estouro de custo significativo, uma condição da precisão do PPV.

4. Valor preditivo negativo (NPV): Aproximadamente 83,3% dos casos não previstos de estouro
de custo significativo, na verdade, não experimentaram um estouro de custo significativo, uma
condição de precisão do NPV.
A precisão da previsibilidade do modelo final foi de 62,1% para estouros de custo significativos
e 83,3% para estouros de custo não significativos, respectivamente, dentro dos limites
estatísticos descritos.

Derivação da equação do modelo

O modelo preditivo foi baseado em uma equação original (Equação 1) gerada durante a
análise:

E(Log(pi /(1 – pi)) = μ + β2T + β4S + β5Re + β12P*T

onde a resposta de estouro de custo é expressa como E (Log (pi / (1 - pi)). Os demais termos da
equação são:

µ = interceptar

β2 = Coeficiente de regressão de T ou TRL

β4 = Coeficiente de regressão de S ou Cronograma

β5 = Coeficiente de Regressão de Re ou Confiabilidade

β12 = Coeficiente de regressão de P * T ou desempenho do sistema interagindo com TRL

pi = Probabilidade de estouro de custo significativo

Usando esta equação original e as estimativas na Tabela 2, uma expressão logit para o modelo
final é definida como:

ogit (pi) = Log(pi/(1 – pi) = 0.4454 + 3.1182 T – 2.6413S – 1.3014Re – 2.2134(T*P)

Onde:

Pi = Probabilidade de estouro de custo significativo

P = Desempenho do Sistema (0/1)

T = TRL (0/1)

Ri = Risco (0/1)

S = Cronograma (0/1)

Re = Confiabilidade (0/1)

Durante o processo de modelagem, todas as variáveis foram fatoradas na análise. * dod foi
usado como indicador para as variáveis do projeto de defesa. A Tabela 1 representa o
resultado da atividade de seleção de modelo inicial usando SAS 9.3.

No entanto, usando um processo de eliminação gradual para trás e iteração, variáveis

insignificantes com grandes valores de p foram excluídas em busca de um modelo mais
parcimonioso. A saída para o modelo final é capturada na Tabela 2. A saída mostra que as
variáveis de defesa foram eliminadas do modelo final com base em seus grandes valores de p.
Usando a expressão logit, logit (pi)  = 0.4454 + 3.1182T − 2.6413S − 1.3014 Re − 2.2134(T*P), os
seguintes valores de interceptação e coeficiente são obtidos:

• A interceptação é 0,4454.

• O coeficiente T é 3,1182.

• O coeficiente S é -2,6413.

• O coeficiente Re é -1,3014.

• O coeficiente T * P é -2,2134.

Esses valores são então usados para calcular pi as pi = exp(logit(pi))/[1 + exp(logit(pi)].

Achados Significativos
A Tabela 2, a saída do modelo final, mostra que os coeficientes para cronograma e
confiabilidade têm o maior impacto na diminuição da probabilidade de um estouro de custo
(ou seja, uma pontuação de 1 para essas variáveis levará a uma probabilidade menor de
estouro de custo). Na verdade, atingir tanto o cronograma quanto a condição de confiabilidade
conduzirá a probabilidade do modelo de estouro de custo para o nível mais baixo possível.
Um resultado curioso é o efeito reverso que a variável TRL tem sobre a probabilidade de
estouro de custos. A Tabela 2 também indica que quando o TRL é introduzido como uma
entrada variável “autônoma” com um valor de 1, isso fará com que a probabilidade de um
estouro de custo seja muito alta. Esta observação pode sugerir que ultrapassar com sucesso o
limite de TRL especificado por si só não é adequado para evitar um estouro de custo (isso pode
ser atribuído à natureza subjetiva do TRL), e que há uma necessidade de corroboração de
outros limites especificados, como confiabilidade, cronograma, ou desempenho conforme
indicado por seus valores variáveis. Esta observação é um bom assunto para trabalhos futuros.

Representação de interceptação e Explicação

A interceptação do modelo final tem um grande valor p, o que o torna estatisticamente

insignificante em termos de seu impacto no modelo. No entanto, os autores decidiram
representá-lo no logit expressão para maior clareza. O único objetivo de representar a
interceptação é que ela indica as chances médias de um over run, em todos os casos. Deve-se
notar que, ao calcular os odds ratios,

a expressão de interceptação (constante) pode desaparecer no ponto de obter a diferença nos

logits e, portanto, não tem efeito residual. Além disso, foi obtido um teste de Hosmer e
Lemeshow (L-H) Goodness-of-Fit com um valor de Qui-quadrado de 3,8065 em DF 5 e Pr>
ChiSq 0,5776. O grande valor p sugere que o modelo se ajusta bem.

Resultados, percepções e Discussão

O modelo gerou percepções estatísticas críticas sobre as previsões de estouro de custos. Uma
matriz de correlação de modelo foi gerada com base nos pontos de corte de 0,4 e 0,6. No
geral, o modelo é inconclusivo em 10 casos, prevê 29 casos como estouros de custo
significativos e mostra 30 casos como dentro do orçamento. Para os projetos aeroespaciais, o
modelo é inconclusivo em 7,14% dos casos, prevê 35,71% dos casos como estouro de custo
significativo e prevê 57,14% dos casos como nenhum resultado de estouro significativo. Para
os projetos de defesa, o modelo é inconclusivo em 19,51% dos casos, prevê 46,34% dos casos
como estouros de custo significativos e 34,15% dos casos como nenhum resultado de estouro
de custo significativo.

Portanto, o modelo prevê mais estouros de custo para os projetos de defesa do que para os
projetos aeroespaciais. Especificamente, o modelo prevê estouros de custo significativos de
aproximadamente 36% para a indústria aeroespacial projetos e 46% para projetos de defesa.

A diferença nas taxas de previsão de estouro de custos entre os projetos aeroespaciais e de

defesa pode ser atribuída aos seguintes fatores:

1. O conjunto de dados usado para a análise mostra que, em média, os projetos do DoD
experimentaram mais estouros de custo do que os projetos da NASA.

2. Havia um total de 41 projetos do DoD contra 28 projetos da NASA no conjunto de dados que
foi analisado. Essa diferença numérica também pode impactar a produção estatística.

3. Em média, os projetos do DoD eram maiores, com cronogramas de desenvolvimento de

sistema mais longos e custos relativos de desenvolvimento mais elevados.
Deve-se notar que pode haver outros fatores responsáveis pelas diferenças na previsão, mas
eles estão fora do escopo e dos limites dos objetivos da pesquisa.

Os resultados do estudo identificaram o cronograma e a confiabilidade como os principais

determinantes de se um projeto de desenvolvimento de sistemas complexos sofrerá estouros
de custo ou não. Os projetos que alcançam o cronograma definido e os limites de
confiabilidade terão o nível mais baixo de probabilidade de um resultado de estouro de custo.
Ou seja, os projetos que não atendem aos requisitos do cronograma e aos critérios de
confiabilidade têm maior probabilidade de sofrer estouros de custo significativos, dentro dos
limites estatísticos do modelo. Conforme observado, o limite de TRL por si só não é adequado
para evitar um estouro de custos. No entanto, a interação entre o TRL e o desempenho do
sistema (consulte a Tabela 2) diminui a probabilidade de um estouro de custos.

Impacto do modelo do regressor e Interpretação

Os coeficientes dos parâmetros do modelo e os odds ratios são indicadores usados para
demonstrar os impactos do regressor do modelo e as forças relativas de associação entre as
variáveis preditoras e a resposta desejada (Seibel, Mazzuchi, & Sarkani, 2006). Para esta
pesquisa, as estimativas dos coeficientes dos parâmetros foram obtidas a partir da expressão
logit do modelo. A seguir está uma interpretação resumida dos coeficientes dos parâmetros
obtidos a partir da regressão logística análise e o modelo final.

 O parâmetro Schedule (S) tem o impacto mais significativo na probabilidade de

ocorrência de estouro de custo significativo. Isso é indicado por seu valor de
coeficiente de parâmetro de -2,6413, que tem o maior impacto na diminuição da
probabilidade de um estouro de custo (ou seja, uma pontuação de 1 para a variável de
cronograma levará a uma probabilidade menor de estouro de custo). Na verdade, foi
observado que atingir os critérios de cronograma e confiabilidade leva a probabilidade
de um estouro de custos ao nível mais baixo possível. Isso implica que o cronograma é
um fator determinante para determinar se um projeto de desenvolvimento de
sistemas complexos sofrerá ou não estouros de custo, dentro das restrições dos dados
usados.
 O parâmetro de confiabilidade (Re) tem um impacto relativamente significativo na
probabilidade de ocorrência de estouro de custo significativo, o que é indicado por seu
valor de coeficiente de parâmetro de -1,3014 (ou seja, uma pontuação de 1 para a
variável de confiabilidade levará a uma probabilidade menor de saturação do custo).
Na verdade, foi observado que atingir os critérios de confiabilidade e cronograma leva
a probabilidade de um estouro de custos ao nível mais baixo possível. A confiabilidade
é um fator determinante para determinar se um projeto de desenvolvimento de
sistemas complexos experimentará estouros de custo ou não, dentro das restrições
dos dados usados.
 O limite para a maturidade da tecnologia ou parâmetro de valor TRL mais alto (T) tem
um impacto significativo na probabilidade de ocorrência de estouro de custo. Isso é
indicado por um valor de coeficiente de 3,1182. Quando o TRL é introduzido como
uma entrada variável “autônoma” com um valor de 1, ele faz com que a probabilidade
de um estouro de custo seja alta. Esta observação pode sugerir que atingir com
sucesso o limite de TRL especificado por si só não é adequado para evitar um estouro
de custo (isso pode ser atribuído à natureza subjetiva do TRL), e que há uma
 necessidade de corroboração de outros limites especificados, como confiabilidade,
cronograma , ou desempenho conforme indicado por seus valores de variáveis. Esta
observação é um bom assunto para trabalhos futuros.
 A interação entre T e P (T * P) resulta em um impacto significativo na probabilidade de
ocorrência de estouro de custo significativo. A interação (T * P) tem um valor de
coeficiente de -2,2134. É interessante notar que T (TRL) como uma variável
“autônoma” de entrada com um valor de 1, aumenta a probabilidade de um estouro
de custo, no entanto, a função de interação (T * P) diminui a probabilidade de um
estouro de custo significativo. Essa observação pode sugerir que o TRL é um preditor
eficaz de estouro de custos apenas quando é corroborado com outros limites, como
confiabilidade, cronograma ou desempenho. No entanto, pesquisas adicionais são
necessárias para compreender a dinâmica.
 O valor da interceptação, uma constante, é 0,4454

Esses detalhes do modelo demonstram o impacto geral de cada parâmetro na probabilidade

de ocorrência de estouro de custo significativo de acordo com o limite de estouro de custo
significativo de Nunn McCurdy. A precisão da previsibilidade do modelo final foi de 68,2% para
estouro de custo significativo e 75,0% para nenhum estouro de custo significativo.

Aplicação e uso do modelo

Para usar o modelo, os gerentes de projeto devem criar uma estrutura para pontuar o status
da linha de base de seus projetos. A análise deve começar com os indicadores de desempenho
do projeto de linha de base pontuados conforme descrito na seção Captura e codificação de
dados deste artigo. A próxima etapa é calcular a probabilidade de saída do modelo, inserindo
as entradas binárias correspondentes de 0 e 1 da pontuação na equação. Deve-se observar
que o modelo é baseado em dados de diferentes fases do ciclo de vida do programa. Isso
apresenta um desafio no que diz respeito a preencher o modelo para uso por projetos nos
estágios iniciais do ciclo de vida. No entanto, mesmo com observações parciais, a faixa de
produtos potenciais para o resto dos parâmetros pode ser calculada usando a estrutura de
estudo delineada para identificar a probabilidade de um estouro de custos. O modelo pode ser
aplicado em qualquer fase do ciclo de vida após o PDR. Os gerentes de projeto e engenheiros
de sistema podem usar a probabilidade de projeções de estouro de custos em qualquer fase
do ciclo de vida após o PDR para planejar ou redirecionar o foco nos principais fatores que
podem impactar os resultados dos custos. Os gerentes de projeto podem usar previsões do
modelo para se comunicar com as partes interessadas sobre suas projeções de estouro de
custos.

Uma saída de probabilidade do modelo maior ou igual a 0,6% ou 60% é uma forte indicação de
que o projeto que está sendo analisado violará o limite de estouro de custo significativo da
Nunn-McCurdy. Por outro lado, uma saída de probabilidade menor ou igual a 0,4% ou 40% é
uma forte indicação de que o projeto que está sendo analisado não violará o limite de estouro
de custo significativo da Nunn-McCurdy. Se a saída do modelo cair entre 0,4 (ou 40%) e 0,6 (ou
60%), há incerteza se o modelo pode prever com precisão o desempenho do projeto com
relação ao excesso de custo significativo de Nunn-McCurdy.

Durante a aplicação do modelo, os gerentes de projeto podem focar mais atenção em

parâmetros específicos, uma vez que uma probabilidade de ocorrência de estouro de custo
significativo ou risco é prevista. Por exemplo, uma vez que o cronograma e a confiabilidade são
os principais determinantes de se um projeto de desenvolvimento de sistemas complexos
sofrerá ou não aumentos de custo, os projetos em andamento devem aumentar os recursos e
os esforços destinados a atingir as metas de cronograma e confiabilidade.

Além disso, os projetos na fase de formulação do ciclo de vida podem usar as previsões para
prever onde direcionar os esforços máximos a fim de evitar estouros de custo significativos. Os
projetos devem gerenciar ativamente as atividades de desenvolvimento de tecnologia para
garantir que, PDR suas tecnologias alcançaram TRL de 6 ou mais maturidade e fidelidade. No
entanto, esses esforços de maturação de tecnologia devem ser acompanhados por um foco
igual em metas de confiabilidade ou limites de desempenho do sistema. Além disso, os
esforços de engenharia devem ser estrategicamente monitorados e medidos para que pelo
menos 90% de todos os modelos de engenharia sejam concluídos pelo CDR, conforme
recomendado pelo GAO. Como uma ferramenta de comunicação, os resultados preditivos do
modelo também podem ser usados por projetos para informar seus patrocinadores, partes
interessadas e tomadores de decisão sobre os riscos em termos de desempenho do sistema,
maturidade da tecnologia, cronograma e problemas de confiabilidade que afetam os custos.
Consequentemente, o modelo pode ser usado como uma ferramenta de apoio à tomada de
decisões para cancelamento de projetos, ajustes e alocação de recursos.

Esta pesquisa foi projetada para desenvolver um modelo preditivo de estouro de custos para
projetos complexos de grande escala. O amplo contexto do tema e as limitações da
metodologia utilizada devem ser apontados:

1. Projetos de diferente escopo, orçamento, cronograma e complexidade técnica podem

ter diferentes dinâmicas de estouro de custos.
2. Outros parâmetros preditivos além dos cinco explorados neste estudo poderiam ter
sido usados.
3. Outros critérios de avaliação de parâmetro, além daqueles alavancados do GAO,
poderiam ter sido usados.
4. Domínios de produtos diferentes terão estimativas de linha de base de desempenho
de projeto exclusivas e exigirão que atenção seja dada a diferentes conjuntos de
questões do ponto de vista de custo excedente. No entanto, a estrutura de estouro de
custo usada para desenvolver o modelo preditivo pode ser adaptada e aplicada por
empresas e outras entidades para garantir a conformidade com as metas de custo.

Estrutura do modelo

Esta pesquisa foi conduzida dentro de uma estrutura limitada pelos seguintes fatores:

● 1. Avaliação de critérios — Os parâmetros foram avaliados com base em critérios

definidos por uma estrutura do GAO.

● 2. Aplicação — Os critérios de desempenho do projeto discutidos, analisados e

modelados são baseados nas atividades de desenvolvimento de sistemas aeroespaciais
e de defesa. Eles se destinam a orientar os projetos para garantir o cumprimento das
metas de estouro de custos

● 3. Parâmetros de interesse — Os parâmetros preditivos foram limitados ao

desempenho do sistema, TRL ou maturidade da tecnologia, risco, confiabilidade e
cronograma (Malone & Wolfarth, 2012; GAO, 2013)
● 4. Domínio do produto — Os sistemas complexos utilizados para desenvolver o modelo
foram selecionados nas indústrias aeroespacial e de defesa, duas fontes estabelecidas
de desenvolvimento de sistemas complexos.

● 5. Regime de custo do ciclo de vida - Os projetos selecionados para a análise foram

avaliados usando o limite do GAO de US $ 250 milhões (GAO, 2013) para garantir que
fossem relevantes em termos de comparação de custo relativo.

● 6. Custo - A métrica de estouro de custo foi baseada no limite de estouro de custo

significativo da Nunn-McCurdy de ≥ 15% da linha de base atual ou ≥ 30% da linha de
base original conforme capturado nos relatórios de avaliação do GAO citados para
2009, 2010, 2011 e 2013 (Schwartz , 2010).

● 7. Fase do ciclo de vida - Os projetos que foram alavancados para a análise estavam na
fase de desenvolvimento (para os sistemas de defesa) e na fase de implementação
(para os sistemas aeroespaciais).

● 8. Definições impostas - Esta pesquisa usou relatórios de desempenho de projeto de

linha de base capturados pelas avaliações do GAO de projetos de grande escala
selecionados, com foco no desenvolvimento de sistemas aeroespaciais e de defesa
complexos.

● 9. Tamanho dos dados - Sessenta e nove projetos diferentes que atenderam aos
critérios da pesquisa foram aproveitados para o estudo.

Essas restrições e limites devem ser considerados ao empregar ou interpretar o modelo.

Conclusões

Este artigo discutiu um modelo preditivo de estouro de custo que foi desenvolvido usando
análise de regressão logística. O modelo foi baseado na análise de dados de 69 projetos de
desenvolvimento de sistemas complexos aeroespaciais e de defesa. Os dados foram
obtidos nas Avaliações do GAO dos EUA de Projetos Selecionados em Grande Escala. O
modelo final proposto consiste no desempenho do sistema e estabilidade do projeto,
maturidade da tecnologia ou nível de TRL, risco, cronograma e confiabilidade. O modelo
foi validado usando um método de validação cruzada de 10 vezes, incluindo o uso de
sensibilidade, especificidade e avaliações da curva ROC para verificar sua precisão de
predição. Essas etapas de validação e avaliação confirmaram que o modelo prevê com
precisão e é mais eficaz do que adivinhar dentro das restrições das estatísticas. O modelo
produziu valores preditivos positivos e negativos (PPV e NPV) de 62,1% e 83,3%,
respectivamente.

Desde 2009, o GAO, em seus relatórios de avaliação, tem consistentemente apontado que
a maturidade da tecnologia, a estabilidade do projeto e a complexidade da tecnologia de
herança são fatores críticos de desempenho do projeto do ponto de vista do cumprimento
do custo e do cronograma e recomendou um conjunto de melhores práticas para DoD e
NASA (GAO, 2009). O estudo identifica cronograma e confiabilidade, como a chave
determinantes de se um grande projeto de desenvolvimento de sistemas complexos
sofrerá ou não estouro de custos. O estudo indica que atingir os limites de cronograma e
confiabilidade levará a probabilidade de um estouro de custo ao nível mais baixo possível.
O resultado deste estudo concorda com a intenção geral das recomendações do GAO
sobre o desenvolvimento e aquisição de sistemas complexos (GAO, 2009).
A saída do modelo é interpretada observando o resultado da probabilidade da função do
modelo expressa como logit (pi) = 0,4454 + 3,1182T - 2,6413S - 1,3014Re - 2,2134 (T * P).
Um resultado de probabilidade maior que 0,6% ou 60% é uma forte indicação de que o
projeto em análise violará o limite de estouro de custo significativo da Nunn-McCurdy, ao
passo que um resultado de probabilidade menor que 0,40% ou 40% é um forte indicação
de que o projeto que está sendo analisado não violará o limite de estouro de custo
significativo da Nunn McCurdy. Se o resultado do modelo cair entre 0,4 (ou 40%) e 0,6 (ou
60%), há incerteza sobre o status final do projeto no que diz respeito à conformidade
significativa de estouro de custos de Nunn-McCurdy

Contribuições, limitações e sugestões para trabalhos futuros

Este estudo fornece insights sobre a relevância do desempenho do sistema, maturidade da

tecnologia, cronograma, risco e confiabilidade como agentes causadores de estouro de
custos usando metodologia de análise de regressão.

Contribuições

A principal contribuição deste estudo é um modelo preditivo e uma estrutura de análise

que busca entender os principais parâmetros que geram um estouro de custo significativo
em projetos de desenvolvimento de sistemas complexos. O estudo examina fatores de
desenvolvimento de projetos complexos, muitas vezes estabelecidos como “parâmetros
de sucesso do projeto” por patrocinadores e financiadores. Nosso trabalho identificou o
cronograma e a confiabilidade como os principais determinantes de se um projeto de
desenvolvimento de sistemas complexos sofrerá ou não estouro de custos. O estudo indica
que atingir os limites de cronograma e confiabilidade levará a probabilidade de um estouro
de custo ao nível mais baixo possível e, portanto, aumenta nosso entendimento da
importância relativa dessas duas variáveis no desenvolvimento de sistemas complexos.
Este trabalho também contribui para a discussão contínua da dinâmica de estouro de
custos e a busca ativa por ferramentas e estratégias de gestão inovadoras para ajudar a
mitigar o desafio. Estudos de acompanhamento das comunidades de gerenciamento de
projetos e engenharia de sistemas irão aprimorar ainda mais a prática e o gerenciamento
de desenvolvimento e aquisição de sistemas complexos.

Limitações

Além das restrições de pesquisa e dados descritas anteriormente na seção "Estrutura do

Modelo", as seguintes limitações também devem ser observadas ao aplicar o modelo:

1. O GAO foi a única fonte explorada para os dados usados na análise. Os resultados
podem ter sido diferentes se os dados tivessem sido obtidos nos diferentes projetos
avaliados no estudo.
 2. Os cinco parâmetros investigados neste estudo não são os únicos fatores que
podem impactar os resultados de desempenho do projeto e, subsequentemente, estouros
de custo.

3. O método de codificação binária limita a gama de percepções que podem ser

obtidas quando comparado a uma abordagem que usa uma gama de valores
intermediários ou estratificados.

4. O modelo é baseado em dados de diferentes fases do ciclo de vida ou linha do

tempo. Isso apresenta um desafio no que diz respeito a preencher o modelo para uso por
projetos nos estágios iniciais. No entanto, mesmo com observações parciais, a faixa de
resultados potenciais pode ser computada usando a estrutura delineada para identificar a
probabilidade de um estouro de custo.

5.Este modelo se destina a prever a probabilidade de custos significativos sobre

execuções durante a implementação de projetos de desenvolvimento de sistemas
complexos. Aplicar o modelo em outros contextos sem adaptá-lo adequadamente para as
novas restrições podem afetar sua eficácia.

6. A aplicabilidade direta do modelo a projetos nos estágios iniciais de planejamento é

limitada. No entanto, projetos dentro do mesmo domínio (por exemplo, aeroespacial) com
estrutura de custo semelhante, cronograma e requisitos de tecnologia crítica podem usar
previsões semelhantes para prever onde direcionar os esforços máximos, a fim de evitar
custos significativos sobre as execuções. O modelo desenvolvido prevê a probabilidade de
estouro de custos em projetos aeroespaciais e de defesa de grande escala durante a
implementação do projeto. Deve-se notar que tentativas de extrair valores quantitativos
do estudo podem levar a falsas conclusões e interpretações fora dos limites e do escopo
desta pesquisa.

Sugestões para estudos futuros

Trabalhos futuros podem considerar sistemas de outros domínios de produto e,

subsequentemente, determinar se há uma correlação entre o tipo de produto e os resultados
de desempenho do projeto. O trabalho de pesquisa também é necessário para determinar o
custo sobre os drivers de execução usando diferentes variáveis preditivas além das cinco
exploradas nesta pesquisa. Por exemplo, a comunidade de gerenciamento de projetos de
desenvolvimento de sistemas complexos se beneficiará de insights sobre fatores de estouro de
custos a partir de uma perspectiva de projeto.

Uma comparação de um resultado baseado em GAO e um resultado baseado em projeto

aumentará a base de conhecimento de aquisição de sistemas complexos. Os setores
aeroespacial e de defesa gastam quantias significativas de seus orçamentos de projeto com o
apoio de contratados. Os estudos que investigam as correlações entre o desempenho do
empreiteiro e os excessos de custo contribuirão para a busca de estratégias eficazes para a
aquisição bem-sucedida de sistemas complexos. Qualquer trabalho futuro também deve
incluir uma investigação sobre a relação entre sistemas complexos, estruturas de
financiamento e sucesso do projeto.

Uma das principais descobertas deste estudo é que o TRL como uma entrada variável
“autônoma” na verdade aumenta a probabilidade de um estouro de custo, dentro dos limites
estatísticos dos dados. No entanto, quando o TRL é corroborado com outras variáveis - como
confiabilidade, cronograma ou desempenho - a interação resulta no efeito oposto ou um
cenário de menor probabilidade de estouro de custos. Trabalhos futuros também podem
incluir uma investigação sobre as especificidades desta dinâmica.

Reconhecimento

A análise de dados para este artigo foi gerada usando o software SAS 9.3. Copyright, SAS
Institute Inc. SAS e todos os outros nomes de produtos ou serviços SAS Institute Inc. são
marcas registradas ou marcas comerciais da SAS Institute Inc., Cary, NC, EUA.