XXIV Simpósio Brasileiro de Engenharia de Software
Um Estudo Experimental sobre a Relação entre o Uso de Práticas Ágeis e o
Sucesso de Projetos de Software que utilizam Scrum
Leila M. R. de Souza Mariz, A. César C. França, Fabio Q. B. da Silva,
Centro de Informática – Universidade Federal de Pernambuco (UFPE)
Cidade Universitária – 50.540-740 – Recife, PE
leilamariz@yahoo.com.br, cesarfranca@gmail.com, fabio@cin.ufpe.br
Resumo— Este trabalho teve como objetivo investigar a
relação entre a aplicação de práticas ágeis e o sucesso de
projetos de desenvolvimento de software que utilizam
Scrum. O método utilizado na investigação foi uma
pesquisa de campo, que teve a participação de 62
engenheiros de software associados a 11 projetos de 9
empresas, o que corresponde a 75% da população total
dos projetos estudados. Os resultados mostraram que
somente 8 entre 25 atributos associados a práticas ágeis
possuem correlação estatística significativa com o sucesso
dos projetos. Estes resultados sugerem que é importante
considerar cuidadosamente quais práticas devem ser
priorizadas de forma a maximizar a efetividade da
implantação de metodologias ágeis na prática da indústria
de software.
Abstract — This work has the goal of investigating the
relationship between the use of agile practices and the
success of software projects that use Scrum. The method
used in the investigation was a cross-sectional survey that
collected data from 62 software engineers associated to 11
projects in 9 different software firms, representing 75% of
the population in the studied projects. The results show
that only 8 of the 25 attributes associated with agile
practices have significant correlation with project success.
These results suggest that it is important to consider
carefully which agile practices must be prioritized in order
to increase the effectiveness of the deployment of agile
methodologies in the software industry.
Keywords-Scrum; desenvolvimento ágil; engenharia de
software experimental; pesquisa de campo.
I. INTRODUÇÃO
Scrum [21][20] vem cada vez mais ganhando espaço
entre as empresas de desenvolvimento de software que
buscam aumentar as chances de sucesso dos seus
projetos através da adoção de metodologias, métodos,
processos e práticas ágeis. No entanto, para Jugdev e
Muller [11], a palavra sucesso pode não somente ser
interpretada de diferentes maneiras por indivíduos
diferentes, mas também assumir conotações distintas
dependendo do contexto.
No contexto dos projetos ágeis, “sucesso de
projetos” tem sido tratado como a efetividade de uso de
práticas ágeis. A adoção efetiva de práticas ágeis de
desenvolvimento de software é considerada por vários
autores como um fator crítico de sucesso de
projetos[1][2][5][6][7][10][15][16][17].
Porém, nove anos após a publicação do Manifesto
para Desenvolvimento Ágil de Software [3], ainda são
poucos os estudos que apresentam evidências empíricas
ou experimentais sobre os efeitos da adoção de métodos
ágeis no sucesso do projeto como um todo [6].
111
O objetivo geral desta pesquisa é avaliar a relação
entre o uso de práticas ágeis e o sucesso de projetos de
software que utilizam Scrum. Segundo a literatura
revisada neste artigo, a adoção das práticas ágeis, por si
só, determinaria o sucesso de um projeto ágil de
desenvolvimento de software. No entanto, este artigo
pretende buscar uma resposta para a seguinte questão de
pesquisa:
• QP: existe, de fato, relação entre a adoção de
práticas ágeis com o sucesso de projetos de
desenvolvimento de software que utilizam
Scrum?
Para tanto, foi realizado uma pesquisa de campo com
a participação de 62 engenheiros de software que
trabalharam em projetos utilizando Scrum, entre
desenvolvedores e Scrum Masters, cobrindo 75% da
população envolvida no total dos projetos estudados. Os
participantes responderam um questionário objetivo
abordando a sua percepção sobre o grau de sucesso geral
do projeto e sobre o grau de adoção de cada prática ágil
do conjunto das 25 práticas ágeis definidas por Chow e
Cao em [6]. A correlação entre sucesso do projeto e o
uso das práticas ágeis foi calculada utilizando o teste de
correlação por postos de Spearman. Os resultados desta
pesquisa apontaram que apenas oito dentre as 25 práticas
ágeis estariam relacionadas positivamente com o sucesso
dos projetos pesquisados, o que levanta dúvidas sobre se
todas as práticas ágeis são realmente fatores críticos para
o sucesso de projetos de software que utilizam Scrum,
suposição esta que é largamente utilizada na literatura.
Este artigo está organizado da seguinte forma: Na
Seção II, os principais conceitos que envolvem Scrum e
as práticas definidas pelo Manifesto Ágil são
apresentados, juntamente com os estudos que
consideram as práticas ágeis como fatores de sucesso de
projetos. Na Seção III, o método de pesquisa é
apresentado. Na Seção IV, os resultados obtidos da
pesquisa e uma breve análise destes resultados são
apresentados. Por fim, na Seção V, são feitas
considerações finais sobre o trabalho, incluindo
limitações, ameaças à validade e trabalhos futuros.
II. REFERENCIAL TEÓRICO E TRABALHOS
RELACIONADOS
Scrum é um esqueleto de processo composto de um
conjunto de práticas e papéis que pode ser usado para
gerenciar e controlar desenvolvimento de sistemas e
produtos, de forma iterativa e incremental [20]. O
enfoque foi descrito inicialmente por Takeuchi e Nonaka
[22], que notaram que projetos usando equipes pequenas
e multidisciplinares, conhecidas como cross-functional,
geravam resultados superiores. Então, associaram estes
 XXIV Simpósio Brasileiro de Engenharia de Software

times de grande desempenho a um time de rúgbi, no tem como objetivo apresentar ao cliente as realizações
qual todos agem em conjunto para mover a bola através de cada Sprint no momento da entrega. Na reunião de
do campo. O time age unido, com um foco em comum, retrospectiva, são avaliados os erros e acertos no
mas cada um realizando um papel bem definido, que desenvolvimento da Sprint e o que pode ser melhorado
pode mudar de acordo com as necessidades do projeto. para aumentar a produtividade para a Sprint seguinte.
Em [20], Schwaber sumariza os princípios básicos
de Scrum da seguinte forma: A. Práticas Ágeis e Sucesso de Projetos
1. Equipes pequenas de trabalho, buscando a Em 2007, Chow e Cao [6] realizaram uma pesquisa
maximização da comunicação e da troca de objetivando relacionar as metas de sucesso de um
conhecimento tácito e informal, e minimização projeto (definidas como tempo, custo, qualidade e
de overhead. escopo) com o conjunto de práticas descritas pelo
2. Adaptação às solicitações de mudanças técnicas Manifesto Ágil [3]. Após a aplicação de métodos
ou de cliente/usuário, assegurando a entrega do estatísticos para avaliação de tal correlação, os
melhor software possível. pesquisadores chegaram a uma lista de 12 fatores que,
3. Entregas freqüentes de versões que podem ser hipoteticamente, corresponderiam aos fatores afetados
testadas, ajustadas, executadas, documentadas e pelas práticas definidas pelo Manifesto Ágil e que
liberadas para produção. seriam os causadores do sucesso em projetos ágeis.
4. Divisão do trabalho e das responsabilidades da Após análises mais profundas, apenas seis destes fatores
equipe de projeto em pequenas entregas. foram considerados como tendo realmente algum
5. Habilidade em entregar um software pronto, relacionamento com o sucesso de projetos ágeis de
quando da necessidade do cliente ou do desenvolvimento de software. A TABELA I exibe a
negócio. distribuição das práticas ágeis nos fatores encontrados e
Estes princípios estão alinhados aos princípios a possível relação destes fatores causadores de sucesso
declarados no Manifesto para Desenvolvimento Ágil de com as metas de sucesso de um projeto.
Software [3], que direcionam o foco do gerenciamento
dos projetos para: comunicação eficaz entre os TABELA I. PRÁTICAS ÁGEIS, FATORES CAUSADORES
integrantes da equipe e entre a equipe e os clientes e DE SUCESSO E METAS DE SUCESSO (FONTE:[6])
usuários; escopo variável, onde as mudanças de
requisitos durante o projeto passam a ser aceitas como Fatores Metas de
Práticas descritas no Manifesto
algo intrínseco ao desenvolvimento de software; Ágil
Causadores de Sucesso de
entregas rápidas de software para o cliente; e Sucesso Projeto
autogerenciamento da equipe. • Nossa prioridade é satisfazer o Estratégias de Escopo,
cliente através da entrega Entrega Tempo, Custo
Em Scrum, existem três papéis principais assumidos rápida e contínua de um
no desenvolvimento do software: o Scrum Master, o software de valor.
Product Owner e o Team. O Scrum Master é • Entregue novas versões de
responsável por manter o processo, assegurando que a software freqüentemente.
equipe respeite e siga seus valores e práticas. O Product • A atenção contínua na Práticas Ágeis de Qualidade,
Owner representa os interesses de todos que direta ou excelência técnica e num bom Desenv. de Escopo
projeto acelera a agilidade Software
indiretamente serão beneficiados com o sucesso do
• Simplicidade é essencial.
projeto. O Team corresponde a uma equipe pequena e • Construa projetos com pessoas Capacidade do Tempo, Custo
multifuncional, com diferentes habilidades e motivadas. Ofereça a elas o Time
conhecimentos técnicos. Não existe hierarquia dentro do ambiente e todo o apoio
Team e cada membro seleciona as atividades que deseja necessário e acredite em sua
executar de acordo com o plano da iteração, gerenciando capacidade de realização do
desta forma o seu próprio trabalho e responsabilizando- trabalho.
• O método mais eficiente e Processo de Qualidade
se pelo sucesso do projeto perante o restante do grupo. efetivo de distribuir a Gerenciamento
Scrum divide o desenvolvimento em ciclos informação para e entre uma de Projetos
iterativos, que são curtas janelas de tempo de até 30 dias, equipe de desenvolvimento é a
denominados Sprints, As equipes devem ser pequenas, comunicação face a face.
entre seis e 10 pessoas, e são formadas por projetistas, • Construa projetos com pessoas Ambiente do Qualidade
programadores, engenheiros e gerentes de qualidade. motivadas. Ofereça a elas o Time
ambiente e todo o apoio
Estas equipes trabalham orientadas às funcionalidades e necessário e acredite em sua
atividades definidas no início de cada Sprint. Com capacidade de realização do
duração bem definida e objetivos claros, um ponto de trabalho.
destaque em um desenvolvimento utilizando Scrum são • Nossa prioridade é satisfazer o Envolvimento do Escopo
as reuniões de planejamento, acompanhamento, revisão cliente através da entrega Cliente
e retrospectiva. Nas reuniões de planejamento são rápida e contínua de um
software de valor.
definidas as funcionalidades que serão implementadas
• Pessoas de negócio e
na Sprint seguinte, além do plano de trabalho a ser programadores devem
seguido. As reuniões de acompanhamento são realizadas trabalhar juntos, diariamente,
diariamente, com duração de 15 minutos e servem para ao longo de todo projeto.
acompanhamento do andamento do projeto e
alinhamento da equipe. A reunião de revisão da Sprint

112

Em [17], Misra também buscou identificar fatores
causadores de sucesso em projetos que adotam práticas
ágeis de desenvolvimento de software, através de uma
pesquisa ex-post-facto com participantes de projetos. A
partir da análise das pesquisas citadas, é possível
observar que existe um consenso no sentido de que os
fatores causadores de sucesso apresentados convergem
para as práticas ágeis definidas no Manifesto Ágil,
indicando que, em projetos ágeis, a aderência às práticas
ágeis contribui de forma significativa para o sucesso.
Buscando viabilizar a verificação da existência de
efeito dos “fatores causadores de sucesso” sobre o
sucesso real de projetos que utilizam métodos ágeis,
Chow e Cao [6] ainda descrevem um conjunto de
atributos que correspondem à operacionalização de cada
um dos fatores. Estes atributos são exibidos na
TABELA II.
III. MÉTODO
Cinco passos foram seguidos no desenvolvimento
desta pesquisa de campo: desenho do estudo; preparação
para a coleta de dados; coleta de dados; análise dos
dados coletados e apresentação dos resultados.
TABELA II. OPERACIONALIZAÇÃO DOS FATORES
CAUSADORES DE SUCESSO (FONTE:[6])
Fatores
Causadores de Atributos ágeis
Sucesso
Estratégias de A01 Entregas regulares do software
Entrega A02 Entrega primeiramente das funcionalidades
mais importantes
Práticas Ágeis de A03 Normas de codificação bem definidas
Desenvolvimento A04 Aplicando “Design” simples
de Software A05 Rigorosas atividades de “Refactoring”
A06 Correta quantidade de documentação
A07 Correto mecanismos de testes de integração
Capacidade do A08 Membros do time com alta competência e
Time experiência
A09 Membros do time com grande motivação
A10 Gerentes com conhecimento em métodos
ágeis
A11 Gerentes com estilo adaptativo de
gerenciamento
A12 Treinamento técnico apropriado para a
equipe
Processo de A13 Seguindo processo de gerenciamento ágil
Gerenciamento de de requisitos
Projetos A14 Seguindo processo de gerenciamento ágil
de projetos
A15 Seguindo processo de gerenciamento ágil
de configuração
A16 Bom progresso do mecanismo de tracking
A17 Forte foco em comunicação, como reuniões
diárias face a face
A18 Cumprimento regular do cronograma
Ambiente do A19 Colocação de todo time em um mesmo
Time ambiente
A20 Coerência, time auto-organizado
A21 Projetos com times pequenos
A22 Projetos com múltiplos times
independentes
Envolvimento do A23 Bom relacionamento com o cliente
Cliente A24 Forte compromisso e presença do cliente
A25 Cliente com grande autoridade
113
XXIV Simpósio Brasileiro de Engenharia de Software
A. Desenho do estudo
Nesta pesquisa, o método de pesquisa de campo
(survey) foi escolhido com o objetivo de responder a
seguinte questão de pesquisa:
• QP: existe, de fato, relação entre a adoção de
práticas ágeis e o sucesso de projetos de
desenvolvimento de software que utilizam
Scrum?
Usando a categorização apresentada em [8], esta
questão de pesquisa é escrita no formato relacional, entre
uma variável independente e uma dependente: o uso de
práticas ágeis está relacionado com o sucesso de projetos
Scrum?
A variável independente “uso de práticas ágeis” é
operacionalizada através da medida da percepção de
engenheiros de software, que haviam trabalhado em
projetos Scrum já concluídos, sobre o grau de adoção
dos atributos (A01... A25) definidos na TABELA II,
descritos como potenciais causadores do sucesso em
projetos ágeis de desenvolvimento de software. A
variável dependente “sucesso do projeto Scrum” é
operacionalizada através da avaliação da percepção dos
integrantes das equipes dos projetos abordados sobre o
grau de sucesso (S) atingido pelo projeto em questão.
Sendo assim, a partir da pergunta de pesquisa, as
seguintes hipóteses são construídas:
• H1(n): Existe correlação entre o uso do atributo
ágil An (01 ≤ n ≤ 25) e o sucesso do projeto (S).
Conseqüentemente, a hipótese nula tem a seguinte
forma:
• H0(n): Não existe correlação significativa entre o
uso do atributo ágil An (01 ≤ n ≤ 25) e o sucesso do
projeto (S).
A operacionalização das variáveis é ilustrada na
Figura 1 e o resumo do desenho experimental é
apresentado na TABELA III.
Figura 1. Variáveis no Estudo
TABELA III. RESUMO DO DESENHO DA PESQUISA DE
CAMPO
Objeto de O uso de práticas ágeis em projetos Scrum
estudo concluídos.
Propósito Avaliar o nível de adoção de atributos ágeis (A01...
A25) nos projetos Scrum concluídos e sua relação
com o sucesso do projeto.
Foco de Percepção de sucesso dos projetos (S) e do nível de
qualidade adoção das práticas ágeis (A01... A25), baseada na
avaliação dos integrantes da equipe.
Perspectiva Integrantes dos projetos Scrum estudados.
Contexto Empresas em Recife-PE, Brasil.

B. Ferramenta de coleta de dados
O instrumento de coleta utilizado é um questionário
estruturado, que se caracteriza por uma série de questões
apresentadas ao respondente por escrito e que devem ser
respondidos sem a presença do investigador. No
questionário estruturado ou fechado, o respondente
limita suas respostas as escolha de uma das alternativas
apresentadas para cada questão.
Para fins de caracterização da amostra, foram
solicitados dados sobre o gênero, faixa etária e grau de
instrução dos respondentes. Para medir a percepção dos
integrantes de equipes sobre o nível de aderência a
práticas ágeis cada um dos 25 atributos (A01... A25)
descritos na TABELA II, considerados variáveis
independentes, foram avaliados utilizando um escala
Likert de cinco valores. Para cada um dos 25 atributos, o
respondente deveria marcar a alternativa que, na sua
visão, melhor expressasse a realidade do projeto em
questão, de acordo com os cinco níveis: (DT) Discordo
Totalmente, (DP) Discordo Parcialmente, (N) Neutro,
(CP) Concordo Parcialmente e (CT) Concordo
Totalmente. A partir desses atrubutos foi desenvolvido
um questionário, onde os atributos foram apresentados
numa ordem aleatória, diferente da ordem visualizada na
TABELA II, numa tentativa de eliminar a percepção dos
respondentes sobre a existência do agrupamento de
fatores. A Figura 2, abaixo, retrata um trecho do
questionário (a numeração à esquerda é apresentada na
figura para facilitar o entendimento, mas não aparece no
questionário).
Para avaliar a percepção dos integrantes das equipes
dos projetos abordados sobre o grau de sucesso
atingido pelo projeto em questão (S), foi incluída uma
questão na qual o respondente deveria fazer esta
avaliação também baseada numa escala Likert com
cinco valores, porém com o seguinte significado:
Insucesso (I), Quase Insucesso (QI), Sucesso Parcial
(SP), Quase Sucesso Total (QST) e Sucesso Total (ST).
Esta avaliação baseou-se em [14][24] que utilizaram
exatamente o mesmo desenho de questão/escala/valores
em seus estudos.
Finalmente, o questionário passou por um pré-teste,
que é uma forma de fornecer maior rigor à pesquisa,
pois possibilita verificar se o questionário apresenta três
características importantes: fidedignidade, validade e
operatividade [16]. Neste pré-teste, quatro exemplares
foram respondidos e revisados por Scrum Masters pré-
selecionados, cujas repostas não fizeram parte da análise
dos resultados desta pesquisa. As revisões e observações
acerca do questionário foram cuidadosamente avaliadas
e geraram melhorias no conteúdo e na forma, que
resultaram na versão final utilizada.
Figura 2. Trecho do Questionário da Pesquisa
114
XXIV Simpósio Brasileiro de Engenharia de Software
C. Procedimento de seleção da amostra e coleta dos
dados
O universo da pesquisa consiste em projetos Scrum
concluídos, realizados por empresas de desenvolvimento
de software sediadas em Recife/PE. Inicialmente, um
convite foi enviado por e-mail para 14 Scrum Masters,
de 10 empresas sediadas no Parque Tecnológico Porto
Digital de Recife [18]. Embora as empresas tenham sido
selecionadas por conveniência, a amostra de projetos e
integrantes da equipe que participaram da pesquisa de
campo foi selecionada de forma aleatória, a partir da
lista de membros de cada Scrum Team fornecida pelos
Scrum Masters.
No convite, um termo de consentimento livre e
esclarecido (TCLE) foi utilizado no qual foram
apresentados os objetivos da pesquisa, a garantia de
confidencialidade dos respondentes e empresas, e o
sigilo das informações. O TCLE também convidou os
Scrum Masters a verificarem junto a suas equipes a
possibilidade de contribuírem com a pesquisa. Uma vez
aceito o convite, informações preliminares foram
levantas junto aos Scrum Masters: nome do projeto,
quantidade de integrantes da equipe, quantidade de
integrantes que seria possível contactar e o tempo de
duração do projeto, de maneira a traçar um perfil inicial
dos projetos e equipes, bem como selecionar,
aleatoriamente, os participantes. Baseado na experiência
de dois dos co-autores na pesquisa apresentada em [9],
objetivando alcançar uma alta taxa de resposta, os
questionários foram, por fim, impressos e entregues aos
entrevistados selecionados. O prazo para devolução dos
questionários foi fixado em sete dias. No entanto, para
os componentes que, apesar de terem trabalhado no
projeto, não se encontrassem mais na empresa, seriam
geradas versões digitais dos questionários.
Vale salientar que os questionários foram entregues
em envelopes e dentre as instruções de preenchimento,
havia a orientação de lacrá-los antes de devolvê-los aos
Scrum Masters, garantindo, assim, a confidencialidade
das informações fornecidas.Os dados coletados foram
tabulados utilizando Microsoft Office Excel na medida
em que os questionários respondidos eram recolhidos.
Questionários não respondidos e/ou rasurados foram
invalidados e descartados.
D. Procedimento de análise dos dados
De acordo com Trochim [23], as escalas Likert são
vantajosas por poderem ser mapeadas em uma escala
ordinal, para que sejam utilizados testes estatísticos mais
potentes do que aqueles realizados com escalas ordinais.
Sendo assim, as respostas resultantes do questionário
foram devidamente mapeadas numa escala intervalar
(neste caso, de 0 a 4), como mostra a Figura 3.
 XXIV Simpósio Brasileiro de Engenharia de Software

TABELA IV. DESCRIÇÃO DA AMOSTRA

(a)
Gênero
Masculino 51/62 82%
Feminino 11/62 18%
(b)
Faixa Etária (em anos)
Até 20 1/62 2%
20 a 25 26/62 42%
26 a 30 28/62 46%
> 30 7/62 11%
(c)
Grau de Instrução
Figura 3. Operacionalização das Variáveis do Superior Incompleto 12/62 19%
Experimento Superior Completo 29/62 47%
Espec./Mestrado 21/62 34%
Para determinar a correlação existente entre a (d)
variável dependente (percepção dos integrantes das Papel na equipe
equipes dos projetos abordados sobre o grau de sucesso Scrum Master 10/62 16%
Product Owner 4/62 6%
atingido pelo projeto em questão) e as variáveis Time (Analista) 3/62 5%
independentes (percepção dos integrantes de equipes Time (Projetista) 6/62 10%
sobre o nível de aderência à cada uma das 25 práticas Time (Desenv.) 33/62 53%
ágeis) utilizou-se o coeficiente de postos de Spearman Time (Testador) 6/62 10%
ou simplesmente ! (rho) de Spearman. O método baseia-
se no ranking dos valores coletados em seu conjunto, TABELA V. SUCESSO DOS PROJETOS
não nos valores propriamente ditos, sem fazer nenhuma I QI SP QST ST
suposição sobre a distribuição de freqüências das Sucesso 0 0 4 26 32
variáveis. Não requer que a relação entre as variáveis TOTAL 0% 0% 6% 42% 52%
seja linear e nem que as variáveis sejam medidas em
intervalos de classe. O cálculo da correlação de TABELA VI. USO DE ATRIBUTOS ÁGEIS
Spearman foi realizado utilizando o software PASW Atributos
DT DP N CP CT
Statistic versão 17.0. A análise da correlação foi Ágeis
realizada, através da verificação dos coeficientes de A01 8 3 19 15 17
significância dados pela ferramenta, considerando nível A02 2 3 3 15 39
A03 4 7 16 18 17
de significância de 1% e 5%. A04 1 10 8 25 18
A05 4 4 11 23 20
IV. RESULTADOS A06 7 11 7 22 15
A. Estatística Descritiva A07 5 8 12 17 20
A08 0 5 0 16 41
A coleta de dados realizou-se entre os dias A09 0 9 8 26 19
27/07/2009 à 07/08/2009. Dos 14 Scrum Masters A10 1 0 3 17 41
convidados, 12 aceitaram participar da pesquisa, porém A11 1 4 8 15 34
um deles extrapolou a data limite dedicada a esta fase da A12 1 4 9 23 25
pesquisa e sua participação foi invalidada. No total, 62 A13 3 2 10 15 32
questionários válidos foram retornados, de profissionais A14 1 1 6 18 36
A15 5 5 12 25 15
distribuídos em 11 projetos de nove empresas (o que A16 3 15 14 15 15
corresponde a 75% da população total dos projetos A17 1 3 4 13 41
estudados). As TABELA IV (a-d) apresentam a A18 1 8 6 30 17
caracterização dos participantes. A19 4 1 3 9 45
A20 0 4 4 31 23
B. Testes de Hipóteses A21 2 4 6 14 36
A TABELA VI apresenta a freqüência de ocorrência A22 0 2 9 17 34
de cada avaliação (DT, DC, N, CP, CT) em relação aos A2\3 2 1 11 17 31
25 atributos ágeis. A TABELA V descreve a freqüência A24 10 15 15 16 6
A25 3 8 13 20 18
de ocorrência de cada avaliação em relação ao sucesso TOTAL 69 137 217 472 655
do projeto (I, QI, SP, QST, ST). (4,5%) (8,8%) (14%) (30,5%) (42,3%)

115

TABELA VII. RESULTADOS DOS TESTES DE HIPÓTESES
Atributos Ágeis S de que eles teriam efeito no sucesso dos projetos.
A01 Entregas regulares do software
A02 Entrega primeiramente das funcionalidades mais
importantes
A03 Normas de codificação bem definidas
A04 Aplicando “Design” simples
A05 Rigorosas atividades de “Refactoring”
A06 Correta quantidade de documentação
A07 Correto mecanismos de testes de integração
A08 Membros do time com alta competência e
experiência
A09 Membros do time com grande motivação
A10 Gerentes com conhecimento em métodos ágeis
A11 Gerentes com estilo adaptativo de gerenciamento
A12 Treinamento técnico apropriado para a equipe
A13 Seguindo processo de gerenciamento ágil de
requisitos
A14 Seguindo processo de gerenciamento ágil de
projetos
A15 Seguindo processo de gerenciamento ágil de
configuração
A16 Bom progresso do mecanismo de tracking
A17 Forte foco em comunicação, como reuniões
diárias face a face
A18 Cumprimento regular do cronograma
A19 Colocação de todo time em um mesmo ambiente
A20 Coerência, time auto-organizado
A21 Projetos com times pequenos
A22 Projetos com múltiplos times independentes
A23 Bom relacionamento com o cliente
A24 Forte compromisso e presença do cliente
A25 Cliente com grande autoridade
∗
Significativo a p=0,05
∗∗
Significativo a p=0,01;
A TABELA VII apresenta o resultado do teste de
correlação aplicado entre as variáveis independentes
(A01...A25) e a variável dependente (S).
Como é possível observar na TABELA V, nenhum
dos projetos estudados foi avaliado como tendo
Insucesso (I) ou Quase Insucesso (QI). No entanto, a
amostra apresenta-se equilibrada entre os dois graus de
sucesso Quase Sucesso Total (QST) e Sucesso Total
(ST). Na TABELA VI é possível observar um uso
consistente dos atributos ágeis, visto que apenas 4,5%
das avaliações indicam uma discordância total (DT) e
8,8% indicam discordância parcial (DP) sobre o uso
geral dos atributos ágeis.
Depois de devidamente testados todos os
pareamentos entre a variável dependente (S) e as
variáveis independentes (A01...A25), percebe-se que os
atributos A01 – Entregas regulares do software e A07 –
Correto mecanismo de testes de integração apresentam
o maior nível de correlação positivo estatisticamente
significativo (p < 0,01).
Os atributos A02 – Entrega primeiramente das
funcionalidades mais importantes, A08 – Membros do
time com alta competência e experiência, A13 – Seguindo
processo de gerenciamento ágil de requisitos, A15 –
Seguindo processo de gerenciamento ágil de
configuração, A20 – Coerência, time auto-organizado e
A23 – Bom relacionamento com o cliente, também
apresentam nível de correlação positivo, porém com
menor significância (p < 0,05). Nenhum dos outros
atributos apresentou um grau de correlação
XXIV Simpósio Brasileiro de Engenharia de Software
suficientemente significativo para justificar a afirmação
,441∗∗ É importante dizer que o teste de correlação não
implica, nem explica, uma relação de causa e efeito entre
,306∗ as variáveis, tampouco exclui a possibilidade de
,165 existência de outras variáveis que possam interagir ao
,117 mesmo tempo com as variáveis independentes e
,120 dependentes, influenciando nas correlações. Porém,
,211 neste estudo, os atributos relacionados às práticas ágeis
,316∗∗ (variáveis independentes) são executados
,283∗ necessariamente antes que seja possível obter qualquer
avaliação sobre o sucesso do projeto. Portanto, é
,154 razoável afirmar que o teste de correlação pode indicar
,228 uma relação de causa/efeito.
,136
,135 C. Discussões sobre os Resultados
Seguem algumas análises que podem ser deduzidas
,298∗
acerca das correlações significativas:
,184 • O atributo A01 – Entregas regulares do software
é o que apresentou maior correlação com o
,326∗ sucesso percebido dos projetos (S). Este
,034 resultado está de acordo com um dos princípios
básicos do Scrum, que prega “entregas
,238
freqüentes de versões, que podem ser testadas,
,246 ajustadas, executadas, documentadas e liberadas
-,150 para produção” [20]. As entregas freqüentes
,322∗ antecipam riscos e permitem aos clientes e
-,058 usuários terem um contato com porções do
,038 software funcionando, desde as primeiras
,316∗ Sprints. Adicionalmente, esta prática pode
,083 contribuir para a qualidade do produto de
-,191
software, visto que o software estaria sendo
constantemente testado, e ainda minimizaria as
chances de um software ser desenvolvido, em
desacordo com as necessidades, expectativas e
objetivos de clientes e usuários. O primeiro e
quarto princípio do Manifesto Ágil referem-se a
satisfação do cliente devido a entrega rápida,
freqüente e de valor ao cliente, enquanto o
quinto princípio menciona que a entrega do
software em funcionamento é a medida primária
do progresso do projeto. Highsmith, em [11],
também ressalta a importância de se agregar
valor ao cliente, através de entregas iterativas
baseadas em funcionalidades. Este ponto é
reforçado pela correlação significativa dos
atributos A02 e A23, que também enfatizam a
relação com o cliente.
• O atributo A07 – Correto mecanismo de testes de
integração é uma prática ágil associada ao
processo desenvolvimento do software, assim
como as práticas A08, A13, e A15, também
significativamente correlacionadas com sucesso.
Este resultado faz sentido uma vez que, sendo o
software desenvolvido de forma incremental, ao
final de cada Sprint são necessárias atividades
de integração, a fim de possibilitar uma nova
entrega ao cliente de um software funcionando e
com mais funcionalidades.
• Os atributos A08 – Membros do time com alta
competência e experiência e A20 – Coerência,
time auto-organizado mostram que a ênfase no
time desenvolvimento apresenta resultado
116

positivo. Este resultado reforça as tendências
atuais de estudos sobre a influência dos fatores
humanos na engenharia de software. Além
disso, o resultado é consistente com os achados
de França e Da Silva em [9], que demonstram
que o trabalho em equipe é um dos principais
fatores motivacionais para engenheiros de
software.
V. CONSIDERAÇÕES FINAIS
Este trabalho teve como objetivo principal investigar
a existência da correlação entre o uso de práticas ágeis e
o sucesso de projetos de desenvolvimento de software
que utilizam a metodologia Scrum. Para tanto, foi
realizado uma pesquisa de campo com 62 engenheiros
de software que já haviam participado de projetos que
utilizaram Scrum no seu desenvolvimento. A pesquisa
levantou a opinião dos participantes sobre o nível de
aderência dos projetos ao conjunto de atributos de
práticas ágeis definido por Chow e Cao em [6], bem
como sobre o grau de sucesso atingido pelo projeto em
questão, utilizando um mecanismo semelhante ao de
Villas Bôas [24] e Lazarevic [14]. Finalmente, utilizou-
se o teste de correlação de Spearman para avaliar a
existência da correlação entre cada um dos atributos e o
sucesso do projeto.
Os resultados apresentados indicam que apenas
oito atributos de práticas ágeis possuem relação
significativa com o sucesso de projetos de
desenvolvimento de software que utilizam Scrum, sendo
Entregas regulares do software e Correto mecanismo de
testes de integração, os mais significativamente
correlacionados. Os outros 17 atributos não
apresentaram correlação significativa.
A. Limitações e Ameaças à Validade
Este trabalho apresenta algumas limitações que se
refletem em ameaças à validade dos resultados, que
devem ser explicitadas para permitir a sua avaliação
crítica:
• Validade interna: alguns fatores (ex. experiência
dos integrantes da equipe, tipo de projeto, etc.)
não foram controlados nesta primeira
investigação. É possível que estes fatores
possam influenciar as correlações.
• Validade de externa: os resultados têm
generalização estatística limitada para a
população dos projetos e empresas envolvidos
na pesquisa. Porém, o resultado é uma
importante evidência experimental de que
existem casos reais nos quais a utilização de
diversas práticas ágeis não tem efeito sobre o
sucesso dos projetos de software. Novas
pesquisas devem procurar definir com maior
amplitude e precisão o contexto para o qual
estes resultados são válidos.
• Validade de construto: nesta pesquisa as
variáveis independentes e dependentes foram
operacionalizadas através de uma avaliação
subjetiva feita pelos participantes do projeto.
Apesar de pesquisas, como a de França, Lucena
e da Silva apresentada em [10] indicarem que a
percepção dos participantes do projeto se
117
XXIV Simpósio Brasileiro de Engenharia de Software
aproxima da realidade, outra operacionalização
das variáveis em pesquisas futuras pode utilizar
mecanismos mais sofisticados para verificação
da adequação das práticas ágeis e verificação do
sucesso do projeto, por exemplo, baseando-se
em documentos e artefatos do projeto.
B. Trabalhos Futuros
Três linhas de pesquisas futuras, de natureza
complementar, podem ser seguidas:
• Realizar uma pesquisa de natureza qualitativa
que possa explicar porque certos fatores estão
associados ao sucesso de projetos, enquanto
outros aparentemente não afetam sucesso. Neste
caso, seria relevante realizar pesquisas que
tentassem avaliar cada fator de forma isolada ou
agregar fatores de alguma forma significativa.
Um mecanismo que pode ser utilizado para este
agrupamento seria realizar uma análise fatorial
ou de componente principal sobre os fatores.
• Desenvolver replicações literais (externas ou
internas) do experimento para buscar um
aumento do poder estatístico dos resultados,
contribuindo com o aumento da força da
evidência da correlação entre as variáveis.
• Realizar replicações teóricas, com outros
métodos de pesquisa, para buscar explicações
complementares para os achados.
Finalmente, o caráter explanatório desta pesquisa
precisa ser complementado por estudos que tenham
como objetivo quantificar os efeitos observados. Ou
seja, dimensionar o tamanho do impacto das práticas
ágeis no sucesso dos projetos.
C. Conclusões
As metodologias, métodos, processos e práticas ágeis
representam importantes propostas na direção de
suportes técnicos e gerenciais mais efetivos no
desenvolvimento de software. No entanto, são poucos os
estudos empíricos e experimentais que tenham como
resultado evidências concretas do efeito destas
metodologias no sucesso de projetos. Esta pesquisa teve
como objetivo iniciar uma linha de estudos na direção de
entender o efeito do uso de práticas ágeis no resultado
dos projetos de software. Os resultados apresentados
demonstram que certas práticas possuem relação com o
sucesso dos projetos, enquanto certas práticas
aparentemente não possuem tal relação. Do ponto de
vista acadêmico, os resultados apontam para a
necessidade de novos estudos e de replicações para um
melhor entendimento do fenômeno observado. Do ponto
de vista prático, a indústria de software pode utilizar
estes resultados na tomada de decisão sobre que práticas
devem ser priorizadas para aumentar a efetividade da
introdução de metodologias ágeis no processo de
desenvolvimento de software. Considerando os
resultados e as limitações dessa pesquisa, acredita-se que
pesquisas alternativas e análises mais profundas e
qualitativas devem ser realizadas em trabalhos futuros, a
fim de prover um maior entendimento da real influência
de práticas ágeis no sucesso de projetos de software que
utilizam Scrum.
AGRADECIMENTOS
 XXIV Simpósio Brasileiro de Engenharia de Software

Prof. Fabio Q. B. da Silva recebe uma bolsa de [23] W. M. K. Trochim, "Research Methods Knowledge Base.", ,
Desenvolvimento Tecnológico e Gestão Inovadora (DT- 2006. Disponível em: <http://www.socialresearchmethods.net/>.
Acessado em: 5/2010.
1D) do CNPq. A. César C. França recebe bolsa de
[24] M. Villas Bôas, "Um Novo Enfoque para o Gerenciamento de
doutorado do CNPq. Projeto de Desenvolvimento de Software", Dissertação de
Mestrado do Departamento de Administração da Universidade
REFERÊNCIAS de São Paulo, 2005.
[1] N. Agarwal, e U. Rathod, "Defining Success for Software [25] S. C. Vergara, "Projetos e Relatórios de Pesquisa em
Projects: An Exploratory Revelation.", The Journal of Systems Administração.", São Paulo: Atlas S.A. 10a. ed., 2009.
and Software, n. 24, 2005.
[2] L. A. Albertin, "Valor Estratégico dos Projetos de Tecnologia da
Informação.", Revista de Administração de Empresas, vol. 41,
n. 3, 2001, pp. 42-50.
[3] K. Beck et al., "Manifesto for Agile Software Development.",
2001. Disponível em: <http://agilemanifesto.org/>. Acessado
em: 5/2010.
[4] C. Bullen, e J. Rockhart, "A Primer on Critical Success
Factors.", Massachusetts Institute of Technology, Sloan School
of Management, Center for Information systems Research,
Cambridge, Massachusetts, ( Working Paper Nº 69) .
[5] A. Cockburn, e J. Highsmith, "Agile Software Development:
The People Factor.", Computer, vol. 34, n. 11,2001, pp. 131-
133.
[6] T. Chow, e D. Cao, "A Survey Study of Critical Success Factors
in Agile Software Projects.", The Journal of Systems and
Software, n. 81, 2007, pp. 961–971.
[7] D. Cohen, M. Lindal, e P. Costa, "Agile Software Development:
A DACS State-of-the-Art Report.", Data Analysis Center for
Process, 2003.
[8] S. M. Easterbrook et al., "Selecting Empirical Methods for
Software Engineering Research.", In: F. Shull, J. Singer and D.
Sjøberg(eds) Guide to Advanced Empirical Software
Engineering. Springer, 2007.
[9] A. C. França, e F. Q. B. da Silva, "Designing Motivation
Strategies for Software Engineering Teams: an Empirical
Study.", Cooperative and Human Aspects of Software
Engineering - Workshop at the ICSE 2010. Cape Town., 2010.
[10] A. C. França, E. F. Lucena, e F. Q. B. da Silva, "A Quantitative
Assessment on Team Building Criteria for Software Project
Teams.", ESELAW - Experimental Software Engineering Latin
American Workshop. São Carlos, SP., 2009.
[11] J. Highsmith, "Agile Project Management - Creating Innovative
Products.", Boston: Addison- Wesley, 2004.
[12] K. Jugdev, e R. Müller, "A retrospective look at our evolving
understanding of project success.", Project Management
Journal, vol. 36, n. 4, 2005, pp. 19-31.
[13] H. Kerzner, "Gestão de Projetos. As melhores Práticas.", 2a. ed.
Tradução: L. B. Ribeiro. Porto Alegre: Bookman, 2006.
[14] C. Lazarevic, "An Exploratory Study of the New Product
Development Process Utilized by Software Companies Using
Agile Product Development Approach.", Golden Gate
University of San Francisco, 2003.
[15] K. R. Linberg, "Software Developer Perceptions about Software
Project Failure: a case study.", The Journal of Systems and
Software, 1999.
[16] M. A. Marconi, e E. M. Lakatos, "Metodologia Científica.", São
Paulo: Editora Atlas S.A.4a. ed., 2006.
[17] Misra et al., "Identifying some important success factors in
adopting agile software development practices.", The Journal of
Systems and Software, 2009.
[18] Porto Digital. Disponível em: <http://www.portodigital.org/>.
Acessado em: 7/2009.
[19] J. D. Procaccino et al., "What do software practitioners really
think about project success: an exploratory study.", The Journal
of Systems and Software, 2005.
[20] K. Schwaber, "Agile Project Management with Scrum.",
Redmond: Microsoft Press., 2004.
[21] K. Schwaber, e M. Beedle, "Agile Software Development with
Scrum.", New Jersey: Pretince Hall, 2001.
[22] H. Takeuchi, e I. Nonaka, "The new new Product Development
Game", Harvard Business Review, 1986.

118