A ascenso e queda dos nmeros de Chaos Report

Por muitos anos, pesquisadores e profissionais tm analisado como ter sucesso na gerncia de projetos de TI. Entre eles est o Standish Group, que publica regularmente seus resultados em relatrios chamados de Chaos Report. Em 1994, Standish Group relatou uma taxa chocante (preocupante) com 16 % de projetos bem sucedidos, outros 53 % com projetos que sofreram mudanas e 31 % no concludos (com falha). Nos relatrios posteriores do Standish Group os resultados foram atualizados, entretanto, os nmeros permaneceram problemticos. Estes relatrios, obtidos (derivados) de dados do Standish Group longitudinal, sugerem que, com muitos esforos e melhores prticas para melhorar gesto de projetos, contriburam para o aumento de projetos bem sucedidos. Ao longo dos anos, esses valores tm chamado grande ateno. Contudo, questionamos a validade desses valores, Robert Glass e Magne Jorgensen e seus Robert Glass e Magne Jrgensen e seus colegas indicaram que a nica maneira de avaliar a credibilidade dos resultados do Chaos Report a utilizao de dados do Standish Group e reiterar suas anlises. Mas h outra maneira: obter seus prprios dados e reproduzir a pesquisa do Standish para avaliar a sua validade. Aplicamos as definies do Standish Group para os nossos dados extensivos compostos por 5.457 previses de 1.211 projetos do mundo real, totalizando centenas de milhes de euros. Nossa pesquisa mostra que as

definies do Standish Group de sucesso e mudana (desafio) possuem quatro problemas principais: enganosa, unilateral, perverte a prtica de estimativa e resulta em valores sem sentido. Definies Enganosas (Equivocadas) O Standish Group publicou o primeiro Chaos Report em 1994, no qual resume os resultados de sua pesquisa e tem como objetivo investigar as causas da falha de projetos de software e encontrar maneiras para reduzir tais falhas. O grupo tambm se destina a identificar o escopo de falhas de projeto de software por definindo trs categorias de projeto que recordamos verbatim: (este aqui iria traduzir que chamamos de verbatim)

Resoluo Tipo 1 ou projeto com sucesso: O projeto est concludo no prazo e dentro do oramento, oferecendo todas as funes e recursos, como especificados inicialmente. Resoluo Tipo 2 ou projeto mudado: O projeto est concludo e operacional, mas est acima do tempo e oramento estimado. Oferece menos funes e recursos como especificado inicialmente. Resoluo Tipo 3 ou projeto fracassado (prejudicado): O projeto cancelado em algum momento durante o seu ciclo de desenvolvimento.

Para encontrar respostas para as questes da pesquisa, o Standish Group enviou questionrios. Sua amostra teve um total de 365 entrevistados representando 8.380 aplicaes. Com base nas repostas, o Standish Group publicou percentuais globais para cada categoria de projeto. O Standish Group atualizou estes valores nos anos seguintes (Tabela 1). Alguns autores publicaram estes valores em vrios jornais (usei jornais, no encontrei traduo) TABELA 1 VALORES DOS PROJETOS STANDISH AO LONGO DOS ANOS
Ano 1994 1996 1998 2000 2004 2006 2009 Sucesso % 16 27 26 28 29 35 32 Mudado % 53 33 46 49 53 46 44 Falho % 31 40 28 23 18 19 24

Os nmeros indicam grandes problemas com projetos de engenharia de software e um enorme impacto no desenvolvimento de aplicaes de software. Eles sugerem propostas com mais esforos e melhores prticas para melhorar a forma que as empresas desenvolvem software com sucesso. Artigos cientficos e relatrios de mdia citam amplamente esses nmeros. Muitos autores usam os nmeros para mostrar que o software desenvolvimento de gerenciamento de projetos est em crise. Esses nmeros serviram como relatrio ao Presidente dos Estados Unidos para justificar a alegao de que os produtos de software americano e seus processos so inadequados.

O impacto dos nmeros e seu uso generalizado indicam que vrios autores aceitaram os resultados do Standish Group. Eles o consideram como impecvel e inquestionvel. Contudo, as definies de projeto bem sucedidos e desafiados do Standish Group so problemticas. O Standish Group define um projeto de sucesso exclusivamente pela adeso a uma previso inicial de custo, tempo e funcionalidade. Esta ltima definida apenas pela quantidade de recursos e funes, no a funcionalidade em si. De fato, o Standish Group discutiu isto em seu relatrio: "Para projetos mudados, mais de um quarto foram concludos com apenas 25 por cento a 49 por cento dos recursos originalmente especificados e funes.. Desse modo, o Standish Group define um projeto como um sucesso baseado sobre a forma como o fez com relao sua estimativa inicial da quantidade de custo, tempo e funcionalidade. Portanto, as definies do Standish Group de "sucesso" e "mudado" so equivalentes ao seguinte: Resoluo do tipo 1, ou o sucesso do projeto. O projeto est completo, a previso para ndices reais (f / a) de custo e tempo so 1, e o ndice f/a da quantidade de funcionalidade 1. Resoluo do tipo 2, ou projeto mudado. O projeto est concludo e operacional, mas f/a <1 para o custo e tempo e f/a > 1 para a quantidade de funcionalidade. As definies reformuladas ilustram que as definies so apenas sobre desvio de estimao.

Jorgensen e seus colegas mostram que as definies no cobrem todas as possibilidades. Por exemplo, um projeto que est dentro do oramento e tempo, mas que tem menor funcionalidade no se enquadra em nenhuma categoria. Neste artigo, assumimos que um projeto que no cumprimos com um ou mais critrios de sucesso pertence categoria de projeto mudado. O Standish Group calcula este sucesso medindo o nmero de projetos que possuem uma previso inicial maior que o custo e tempo atual, e um que possui menor funcionalidade. Este dividido pelo nmero total de projetos para calcular as taxas de sucesso. O Standish Group define sua medida (mtrica) de sucesso como uma medida de preciso da estimativa de custo, tempo e funcionalidade. Na realidade, a parte de um projeto de sucesso que est associado ao desvio de estimativa depende muito do contexto. Em alguns contextos, a estimativa de 25 % de erro no faz mal ( ou causa dano algum) e no tem impacto sobre o que normalmente considerado um projeto de sucesso. Em outros contextos, apenas 5 por cento fariam o projeto ser mudado. Nesse sentido, no h modo de incluir mais contexto (ou definies totalmente diferentes) ao avaliar projetos como de sucesso e mudados. No entanto, as definies do Standish Group no consideram o contexto de um projeto de desenvolvimento de software, tais como utilidade, lucro e satisfao do usurio.
[P1] Comentrio: In reality, the part of a projects success that s related to estimation deviation is highly context dependent. In some contexts, 25 percent estimation error does no harm and doesnt impact what we would normally consider project success. In other contexts, only 5 percent overrun would cause much harm and make the project challenged. In that sense, theres no way around including more context (or totally different definitions) when assessing successful and challenged projects.

Isso ilustra o primeiro problema com as definies. Elas so enganosas, pois so baseadas somente na estimativa de custo, tempo e funcionalidade. Mas os rtulos (classificaes) do Standish Group de projetos de sucesso e mudado sugerem muito mais do que desvios de suas estimativas iniciais. ndices Irreais A prxima questo se a estimativa das definies de preciso do Standish Group vlida (slidas). Elas no so. As medidas do Standish Group so unilaterais, pois negligenciam os dficits (underruns) de custo e tempo e excede (overruns) a quantidade de funcionalidade. Ns avaliamos a preciso das estimativas com duas ferramentas. A primeira obtida do agora famoso cone da incerteza(?) Barry Boehm, um valor (parcela) mostra a previso de ndices reais contra o pregresso do projeto. Este valor mostra como as previses so feitas, os desvios que possuem e se existem tendncias (desvios - biases) institucionais. A segunda a estimativa de fator de qualidade (EQF) de Tom DeMarco, uma medida de estimativa ponderada de tempo proposta por ele em 1982. Quanto maior for o valor da estimativa EQF, maior ser a sua qualidade. Um valor 5 do EQF significa que as previses ponderadas de tempo de um nico projeto sofrem um desvio (alteram, desviam, mudana),em mdia, 1/5 ou 20% do atual. Ns aplicamos o trabalho de Boehm e Marco para os nossos prprios dados e detectamos grandes desvios das quais as organizaes no tinham conhecimento

(conscincia).Introduzimos dois conjuntos de dados de uma corporao multinacional annima para provar que as definies do Standish Group so unilaterais e levam a taxas irreais. Custo O primeiro estudo de caso diz respeito a um grande fornecedor (provedor) de servios financeiros. Desta organizao, Y, obtivemos dados de 140 projetos de desenvolvimento de software realizados de 2004 a 2006. A organizao fez 667 previses para o custo total desses projetos. Dividimos o custo previsto com o custo do projeto atual e os ndices inseridos como mostrado na figura 1. O eixo horizontal representa o progresso do projeto. A figura mostra o inicio de um projeto do zero e representa sua concluso por 1.0. O eixo vertical mostra o valor da taxa f/a. Por exemplo, um dado ponto da concluso do projeto 0.2 e uma taxa f/a de 2 indica uma previso que foi feita quando um quinto do projeto estava completo. Esta previso duas vezes o tempo real, significando que o projeto acabou com 50 % alm do custo inicial. A proporo f/a se assemelha a forma cnica de Boehm, com as previses centradas em torno do valor real, a proporo mdia de 1.0 apoia est concluso. Qualidade das previses relativamente alta, com um valor mdio de 8,5 EQF. Isto indica que metade dos projetos tem um timeweighted desvio mdio de 12 por cento ou menos a partir do real. Comparados com os resultados da literatura, esta organizao faz previses best-in-class.

[P2] Comentrio: Como seria esta traduo?

[P3] Comentrio: Como seria esta traduo?

Descobriu-se que um grupo de mtricas independentes avaliadas as previses desta organizao. Este grupo fez seus clculos de custo prprio prximos aos dos gerentes de projeto. Se surgem grandes discrepncias, estas precisam ser resolvida antes de qualquer oramento ser aprovado. Estas previses causados a visar a previso o valor real. No entanto, apesar das previses de custos desta organizao ser precisos, quando aplicamos as definies do Standish Group s previses iniciais, encontramos apenas uma taxa de sucesso de 59 por cento.

[P4] Comentrio: This caused forecasts to aim at predicting the actual value.

Funcionalidade Da mesma organizao Y, foram obtidos dados para 83 projetos de desenvolvimento de software a partir de 2003 a 2005. No total, os estimadores (avaliadores) da organizao fizeram 100 previses para a funcionalidade do projeto, calculado em funo de pontos. A funcionalidade f/a trama na Figura 2 mostra uma situao semelhante da f/a valor (proporo) de custos. A inclinao (tendncia) insignificante baseada na figura e uma mediana de valor f/a de 1.0. Exceto por alguns valor atpicos, o valor f/a converge para o valor atual. As previses de funcionalidade tem uma EQF mediana de 6,4. Isto significa que as previses em funo dos pontos tem um desvio de tempomdio de 16 por cento ou menos da quantidade real. Vrios (Multiplos) contadores experientes calcularam a funcionalidade dos projetos. Pois no estavam envolvidos com o a execuo dos projetos, o incentivo era apenas para prever o valor real. Contudo, apesar da preciso das previses, quando aplicamos as

definies do Standish Group s previses iniciais encontramos apenas uma taxa de 55 por cento de sucesso. Combinado Cinquenta e cinco projetos de desenvolvimento de software continham previses de custo e funcionalidade. Havia 231 previses de custo e 69 de funcionalidade. Ambas as previses de custo e funcionalidade foram imparciais e convergiram para ao valor real. A mediana EQF para as previses de custo de 9.0, para as previses de funcionalidade, 5.0. Assim, metade dos projetos tem um desvio mdio de tempo de 11 por cento para o custo e de 20 por cento para a funcionalidade. Aplicamos as definies reformuladas do Standish Group s previses iniciais dos dados combinados. Mesmo sem levar em conta a quantidade de projetos falhos e a dimenso do tempo, o best-in-class da organizao Y obteve uma taxa de sucesso de 35 por cento. J a mediana EQF de ambas as previses de custo e funcionalidade 6.5, mostrando que metade dos projetos tem uma mdia de desvio de tempo de somente 15 por cento em relao ao atual. Se nesta organizao j to mal sucedida em duas dimenses de acordo com o Standish Group, surpreendente que o Standih Group encontre somente 16 por cento de taxa de sucesso em seu primeiro relatrio. Estes estudos de caso mostram que a organizao Y obteve uma irreal taxa de sucesso para as previses de custo e funcionalidade devido as definies unilaterais. Combinando estas com as taxas ainda baixas, degradam ainda mais a taxa de sucesso. Claramente, as taxas de sucesso do Standish Group no do uma indicao precisa da estimativa real de custo e

funcionalidade no caso de uma organizao imparcial best-inthe-class. Preciso Distorcida O terceiro problema presente que na direo do Standish Group, suas definies causam estimativas exageradas de custo e tempo ( e grande subestimativa de funcionalidade), que distorce e no melhora a previso estimada. Obtivemos dados a partir de uma grande organizao multinacional, X, composto por 867 projetos intensivos de TI que comearam e terminaram em 2005 ou 2006. No total, a organizao fez 3.767 previses de custos de projetos. As taxas f/a na figura 3 mostram que as previses da organizao eram geralmente mais altas que os dados atuais. Alm disso, os dados no mostram uma forma cnica como seria de esperar do cone de Boehm de incerteza. Os projetos ainda tiveram um supervit oramentrio aps a concluso. Aps uma discusso com a organizao, encontramos indicadores que conduziam ao sucesso do projeto do Standish Group. A organizao adotou as definies do Standish Group para estabelecer quando os projetos fossem bem sucedidos. Isto fez com que os gerenciadores de projetos exagerassem no pedido de oramento para aumentar a margem de segurana do sucesso. No entanto, essa prtica distorceu a qualidade das previses, tornando-a baixa com uma mediana de 0,43 EQF. Desse modo, 50 por cento dos projetos tem um tempo de desvio mdio de 233 por cento ou mais que o atual.

Nmeros sem sentido O quarto maior problema que os nmeros do Standish Group so sem sentido. A organizao X mostrou que grandes desvios ocorrem na prtica. Mesmo se um empresa no for orientada pelos indicadores chave de performance do Standish Group, desvios existem. Mostramos isso atravs da introduo de outro estudo de caso de um livro do IEEE Software. (Achei q ficou sem sentido). Comparando todos os estudos de caso juntos, mostramos que, sem levar em conta os desvios da previso, quase impossvel fazer qualquer afirmao geral sobre a estimativa de preciso atravs dos limites institucionais. Tempo Landmark Graphics um fornecedor de software para produo e explorao de leo e gs. Obtivemos dados de Todd Little da Landmark Graphics, que relatou no IEEE Software, composto de 121 projetos de desenvolvimento de software realizados no perodo de 1999 a 2002. Little forneceu 923 previses distintas que previam a durao destes 121 projetos. Realizamos a mesma anlise de antes traando a previso com os ndices reais. (veja figura 4). A maioria das previses feitas por esta organizao est abaixo da atual. Ento. Os projetos levam mais tempo do que o previsto inicialmente. A mdia EQF de 4,7. Isto significa que metade dos projetos tem um desvio mdio de tempo para as suas previses de 21 por cento ou abaixo do valor real. Isto fez com que a maiorias das previses fossem menores que as atuais.

[P5] Comentrio: We show this by introducing another case study from an earlier IEEE Software paper.

[P6] Comentrio: Comparing all the case studies together, we show that without taking forecasting biases into account, its almost impossible to make any general statement about estimation accuracy across institutional boundaries.

Aplicando as Definies do Standish Group

Em duas de trs organizaes, as previses foram significantemente tendenciosas (comprometidas). Com a organizao Y determinamos que o desvio foi insignificante. Na organizao X, as previses foram muito maiores do que os valores reais, porque os estimadores tomaram em considerao larga margem de segurana. Com a Landmark Graphics, a maioria das previses foram inferiores aos valores reais, porque a empresa previu o mnimo de tempo necessrio para terminar o projeto. Para ilustrar como previses tendenciosas introduzidas por diferentes processos de estimativas subjacentes afetam os nmeros do Chaos Report, aplicamos as definies do Standish Group em todos os casos. Como o Standish Group lida com previses iniciais, nos tambm usamos as previses iniciais de cada projeto. Este um subconjunto de todos os pontos de dados mostrados nas parcelas f/a nas Figuras de 1 a 4. Alm disso, nossos nmeros resultantes foram de um limite superior em relao aos nmeros de projetos de sucesso (completados) do Chaos Report. Primeiro, nossos nmeros no incluem projetos fracassados. Se levssemos em conta os projetos fracassados nos nossos estudos de caso, as taxas de sucesso sempre seriam iguais ou menores que as porcentagens atuais. Segundo, em cada estudo de caso, apresentamos apenas custo, tempo ou a funcionalidade, exceto em um exemplo, onde apresentamos o custo e funcionalidade. Em nossa anlise, assumimos que as medidas (grandezas, dimenses) restantes so de 100 por cento bem sucedidos, ou seja, nossos percentuais so influenciados por apenas um ou duas medida (grandezas,

[P7] Comentrio: (a traduo porque, mas achei que ficaria melhor como no sentindo de explicar)

dimenses). Se os dados de todas as trs medidas (Custo, tempo e funcionalidade) esto disponveis e forem levadas em conta, as taxas de sucesso sero sempre iguais ou inferiores aos percentuais de sucesso calculados para apenas uma ou duas medidas. Ainda assim, estas taxas so suficientes para provar que as taxas de sucesso e mudana(de projeto) no refletem a realidade. A Tabela 2 mostra os nmeros calculados de acordo com as definies do Standish Group para os nossos estudos de caso juntamente com uma organizao fictcia tendo o desvio oposto da Landmark Graphics. A tabela fornece uma viso interessante sobre os nmeros do Standish Group. A organizao X muito bem sucedida em comparao aos outros estudos de caso. Quase 70 por cento dos projetos so bem sucedidos de acordo com as definies do Standish Group. Na outra ponta, a Landmark Graphics, tem apenas 6 por cento de sucesso. A Organizao Y esta no meio com 59 por cento de sucesso para custos, 55 por cento de sucesso para a funcionalidade e 35 por cento de sucesso para ambos. TABELA 2 VALORES DOS PROJETOS STANDISH AO LONGO DOS ANOS
Origem Sucesso % Mudado % Estimativa mdia do fator qualidade das previses iniciais % 1.1 2.3 6.4 5.7 6.5 2.3

Organzao X Landmark Graphics Organization Y cost Organization Y functionality Organization Y combined 1/Landmark Graphics

67 5.8 59 55 35 94.2

33 94.2 41 45 65 5.8

No entanto, as parcelas f/a e suas medianas EQF mostram claramente que isso est foram da realidade. As previses iniciais da Landmark Graphics e Organizao Y desviam muito menos que as atuais do que no caso da Organizao X, que superestima de dez para 100 como a figura 3 mostra. Alm disso, a qualidade da estimativa de outras organizaes supera a organizao X, cuja media EQF de suas previses iniciais mostra: 2.3 para Landmark Graphics, 6.4 para os custos e 5.7 para a funcionalidade da organizao Y, contra 1.1 da organizao X. Desse modo, metade das previses iniciais da Landmark Graphics desviam apenas 43 por cento do valor real, 16 por cento para custos e 18 por cento para funcionalidade da organizao Y, contra 91 por cento para organizao X. Mesmo assim, o Standish Group considera a Organizao X altamente bem sucedida comparada com as outras organizaes. Para mostrar ainda mais o quanto fcil torna-se um bem sucedido nas condies do Standish Group, apresentamos tambm 1/Landmark Graphics. Esta organizao fictcia representa o oposto da Landmark Graphics, ou seja, os desvios para os dados atuais continuam os mesmos, mas um supera o outro e vice-versa. De repente, 1/Landmark Graphics torna-se altamente bem sucedida com uma taxa de 94 por cento de sucesso. Ento, com o desvio da instituio oposta, a Landmark Graphics melhoraria sua taxa de sucesso de 6 por cento para 94 por cento. Estes estudos de caso mostram que os nmeros do Standish Group para organizaes individuais no refletem a realidade e so altamente influenciados pelo desvio de previso,

[P8] Comentrio: but an overrun becomes an underrun and vice versa

pois os dados subjacentes tem um desvio desconhecido, qualquer agregao dos dados no confivel e sem sentido. A influncia das previses tendenciosas sobre os nmeros do Standish Group no so evidentes somente a partir de nossos nmeros. O presidente do Standish Group, Jim Jonhson indica claramente que a manipulao dos nmeros fcil: Em 1998, eles (os entevistados) tinham mudados seus processos ( estimativa, avaliao) de modo que eles tornaram a sua melhor estimativa(avaliao), em seguida, dobrando-a e adicionando novamente a metade. Johnson fez esta declarao no que diz respeito a queda na mdia excedida de custos relatada entre 1997 (142 por cento) e 1998 (69 por cento). No artigo, Johnson diz que ele no acredita que esta mudana de processo a causa da queda. No entanto, nossos estudos de caso mostram que os desvios de previso tem grande influncia sobre esses nmeros. Deste modo, acreditamos que a mudana no processo de estimativa (avaliao) a causa mais provvel da queda dos relatos de excesso de custos. Desenvolvemos mtodos baseados nos trabalhos de Boehm e DeMarco que matematicamente contam os desvios de previso. No nosso outro papel (artigo eu acho) contem mais informao sobre os estudos de caso (totalizando 1.824 projetos, 12.287 previses e mais de 1.059 milhes de euros). Propomos larguras de banda (leque) em torno do valor real para determinar se as previses so precisas. Essas bandas mostram que o projeto com dficits ou excessos relativamente pequenos tem previses precisas, enquanto os projetos com grande dficit ou excessos tiveram as suas previses imprevistas.

[P9] Comentrio: In 1998, they [the respondents] had changed their [estimating] process so that they were then taking their best estimate, and then doubling it and adding half again.

As implicaes matemticas so mltiplas e esto fora desde artigo. Mas fomos capazes de obter dados que foram exatamente dentro da realidade de nossos estudos de caso. Esperamos que o Standish Group adote nossas propostas de definies e mtodos para a ascenso e ressureio de seus relatrios. Ao ignorar o desvio potencial e a qualidade de previso, os nmeros do Standish Group no indicam adequadamente, de acordo com suas definies, um projeto bem sucedido ou projeto mudado. Algumas organizao tendem a superestimar enquanto outras subestimam, ento as taxas de sucesso e mudana so sem sentido porque o Standish Group no leva em conta claramente estes desvios.