Você está na página 1de 20

ModelosdeEvaluacinyMejoradeProcesos:Anlisis

Comparativo 1

ManueldelaVilla1,MercedesRuiz2eIsabelRamos3
1
Depto.deIng.Electr.,SistemasInformticosyAutomtica.UniversidaddeHuelva
manuel.villa@diesia.uhu.es
2
DepartamentodeLenguajesySistemasInformticos.UniversidaddeCdiz
mercedes.ruiz@uca.es
3
DepartamentodeLenguajesySistemasInformticos.UniversidaddeSevilla
isabel.ramos@lsi.us.es

Resumen. Desde los albores de la disciplina de la ingeniera del software,


quedapatenteladificultadparaquelosartefactosgeneradosalcancenunnivel
decalidadptimodentrodeunoslmitesdetiempoycoste.Dadalanaturaleza
lgicadelproducto,seasumequelacalidaddeunsistemasoftwaredepende
sobremaneradelacalidaddelprocesousadoparadesarrollarlo.Losmodelosde
evaluacinymejoradeprocesosysuestandarizacin,hantomadounpapel
determinanteenlaidentificacin,integracin,medicinyoptimizacindelas
buenasprcticasexistentesenlaorganizacinydesarrollosoftware.Elpresente
trabajopretenderepasaraquellosmodelosdemayordifusin(ISO9001,CMMI
ySPICE),centrndoseensuevolucinyestructura,aspectosclave,aplicando
comparativas y comentando el estado actual de cada estndar. Por ltimo
intentaremosdestacarlasaportacionesdelmodeladoysimulacindelproceso
softwareconsistemasdinmicoscomoherramientademejoradelosprocesos
deunaorganizacindentrodelosanterioresestndares.

1. Introduccinymotivacin

En1968,secelebrabaenGarmish(Alemania)laprimeraconferenciasobreIngeniera
delSoftware,laNATOSEC,dondeyaseponademanifiestoelrudimentarioestado
dedesarrolloencomparacinconotrasdisciplinasysudifcilcrecimientoenun
entornodedemandacrecientedesistemasmayoresymssofisticados.Seacuabael
famosotrminocrisisdelsoftwareocrisisgapparareferirsealagrancantidadde
recursos malgastados en la produccin de software [43]. Un objetivo claro es la
mejora de la calidad, el movimiento TQM fundamenta la afirmacin de que La
calidad de un sistema software se rige por la calidad del proceso usado para
desarrollarlo [28]. Han sido varias las instituciones y consorcios desarrollados
teniendo como motivacin la mejora de esta situacin a travs de la mejora del

1 Lainvestigacinasociadaaestearticulohasidoposiblegraciasalafinanciacinporparte
delMinisteriodeCienciayTecnologadelproyectoCICYTTIN200406689C0303.
proceso. Entre los resultados de estas entidades se encuentran recapitulaciones y
catlogosdebuenasprcticasymodelosdeprocesobasadosenesasbuenasprcticas,
dandolugaraunaramadeinvestigacincomoeslaevaluacinymejoradelproceso
software.

Laevaluacindeunproceso[31]sedefinecomoelexamendisciplinadodelos
procesos usados en una organizacin junto a un conjunto de criterios para
determinar la capacidad de esos procesos para ser realizados dentro de los
objetivos de calidad, coste y planificacin. El propsito es caracterizar la
prcticaactual,identificandodebilidadesyfortalezasylahabilidaddelproceso
para controlar o evitar las causas de baja calidad, desviaciones en coste o
planificacin.

As,en1984,elDepto.deDefensa(DoD)delosEstadosUnidosestablecealSEI
(Software Engineering Institute) de la Univ. Carnegie Mellon como Centro de
InvestigacinyDesarrollofinanciadoconlamisindeliderarlosavancesparala
mejoradelacalidaddelossistemasdependientesdelsoftware [35].ISOplasmalos
estndaresdecalidadydesarrolloen1987conlanormaISO9000,unconjunto.de
estndaresinternacionalesparasistemasdecalidad; enparticularISO9001eISO
90003sonaplicablesalprocesosoftwareyaorganizacionesdedesarrollosoftware
[42].LanecesidaddelDoDdedeterminarlacapacidaddesuscontratistasantesdel
contratollevaalSEI,bajoladireccindeW.Humphreyaldesarrollodetcnicasde
evaluacinyvaloracindelacapacidadquedanlugaraldesarrolloypublicacin,en
agosto de 1991, del Capability Maturity Model para software (CMM 1.0). Antes
haba publicado [27] y [28]. Durante el mismo intervalo de tiempo, la Comisin
EuropeaesponsorizunproyectollamadoBOOTSTRAP,conelobjetivodeacelerar
la aplicacin de tcnicas de ingeniera del software a la industria del software
europea. Por su parte, ISO e IEC crean un Joint Technical Commitee (JTC1) en
Tecnologas de la Informacin, en junio de 1989. El proyecto SPICE (Software
ProcessImprovementandCapabilitydEtermination)esunaactividaddelWG10del
Subcomit7delISO/IECJTC1, un estndar internacional para procesos
de desarrollo software que provea de un marco de trabajo uniforme
para gestin e ingeniera del software. El nmero de modelos y
estndares ha seguido creciendo, dando lugar a un panorama
fangoso [55]para una empresa que tuviera que escoger un modelo
para la evaluacin y mejora de su proceso de desarrollo (Fig. 1). Y
faltan algunos como Trillium o BOOTSTRAP!
ModelosdeEvaluacinyMejoradeProcesos:AnlisisComparativo3

Fig.1.www.software.org/quagmire.EllodazaldelosModelosdeProceso.

Deacuerdoconinspeccionesyencuestasrecientesentodoelmundo [60],elestndar
ISO9001eselmspopularenelmundodelaingenieradelsoftware,seguidode
CMMeISO/IEC15504(SPICE),yenesos(yporestemotivo) vamosacentrar
nuestroestudio.

Elpresentetrabajopretendeplasmar,dentrodesusposibilidades,elestadoactualyla
reciente evolucin (y la futura, cuando sea posible) de los estndares ms
significativos,unestadodelartequeserlabasedefuturostrabajos.

2. ISO9001

ISO 9000 es un conjunto de estndares internacionales para sistemas de calidad.


Diseado para la gestin y aseguramiento de la calidad, especifica los requisitos
bsicosparaeldesarrollo,produccin,instalacinyservicioaniveldesistemaya
niveldeproducto.

2.1 Evolucindelestndar

Fueprimeramentepublicadoen1987,revisadoen1994yactualizadonuevamenteen
elao2000(conuncompromisodeserrevisadocada5aos).Laversindel94
estableca un conjunto bsico mnimo de requisitos para el establecimiento y
mantenimientodelagestindelsistemadegestinyaseguramientodelacalidadpara
laingenieradelsoftware.Identificaba20reasprincipales(MTAs)y177resultados
degestin.Seconcibecomounametodologadeprocesosbasadaenunalistade
comprobacionesorequisitosacumplir,umbraldecalidad,valoradoaptoonoapto.Y
estasimplicidadeslaquelahahechomundialmenteextendida.

Laretroalimentacindelosusuarios,eldesarrollodelosmodelosdeevaluaciny
mejoracontinuaylascrticasespecializadashacenqueserequieraunestndarque:
Empleeunaaproximacindegestinbasadaenelproceso.
Seacompatibleconotrossistemasdegestin(p.ej.ISO14000).
Incluyarequisitosparalamejoracontinuadelsistemadecalidad.
Coincida con las necesidades de los participantes externos (p.ej. clientes,
proveedores,)
Seaamigablealusuarioyalcliente.

EstasmejorassonrecogidasenlaISO9001:2000,dondeseproduceunmovimiento
desdeunaaproximacinprescriptiva,basadaenelprocedimientoaunasprcticasde
gestindelacalidadmodernasbasadasenunaaproximacinorientadaelproceso,en
labsquedadelasatisfaccindelclienteylamejoracontinua.

2.2 Estructuradelestndar

Lanuevafamiliadeestndareseslasiguiente:
ISO9000,Fundamentosyvocabulario.
ISO9001,Requisitosparaaseguramientodelacalidad.
ISO9004,Directricesparalamejoradelrendimiento.
ISO9011,Directricesparalaauditoradelossistemasdegestindelacalidady/o
ambiental.
ISO 9001 e ISO 9004 se han desarrollado como un par coherente de normas,
complementndose.MientrasISO9001secentraenlaeficaciadelsistemadegestin
de la calidad para dar cumplimiento a los requisitos del cliente, ISO 9004 se
recomienda para organizaciones que persiguen la mejora continua, sin afn
certificador.

ElestndarsebasaenunconjuntodePrincipiosdeGestindelaCalidad:
Enfoquealcliente,Liderazgo,Implicacindetodoelpersonal,Enfoquea
procesos, Enfoquedelsistemahacialagestin,Mejoracontinua,Enfoque
objetivohacialatomadedecisionesyRelacionesmutuamentebeneficiosas
conlosproveedores.

LascincoseccionesenquesedivideISO9001:2000son:
4. QMSSistemadeGestindelaCalidad(RequisitosgeneralesyRequisitosdela
documentacin).
5. ResponsabilidaddelaGestin(Compromisodeladireccin,Enfoquealcliente,
Polticadelacalidad,Planificacin,).
6. Gestin de los Recursos (Provisin de recursos, Recursos humanos,
Infraestructura,Ambientedetrabajo).
7. RealizacindelProducto(Planificacindelarealizacindelproducto,Procesos
relacionados con los clientes, Diseo y desarrollo, Compras, Prestacin del
servicio,).
ModelosdeEvaluacinyMejoradeProcesos:AnlisisComparativo5

8. Medicin,AnlisisyMejora(Generalidades,SupervisinyMedicin,Controlde
servicionoconforme,Anlisisdedatos,Mejora).

2.3 Puntosfuertesydbiles

En la literatura cientfica, podemos encontrar considerable informacin sobre las


motivacionesybeneficioscualitativosdelaadopcindeISO,comoseenumeraen
[59]o[7].
Sepodraconcluirquelamotivacinsebasaenlassiguientes4razones:mejoradela
imagenydelareputacindelacompaa,satisfacerrequisitosexternosypresindel
mercado,facilitarysimplificarlarelacinconclienteymejoradelaproductividad,
organizacinyoperativadelsistemadegestindelacalidad.

DeISO9001:2000podramosdestacarpositivamente,segn[42]:
Ampliaaplicabilidad,encualquierindustriayentorno.
Afectalamayoradelasreasfuncionalesdeunaorganizacin,estoes,gestin,
recursoshumanos,produccin,ingenieraycalidad.
Reconocimientoyaparienciainternacional,marcadereconocidoprestigio.
Libertaddeimplementacinydeinterpretacindelosrequisitos.
Incrementa las oportunidades de negocio en ciertos mercados y mejora la
satisfaccindelcliente.

DosestudiosclsicossobrelosbeneficiosparalaorganizacindeimplantarISO9001
son[29]y[30]quereconocenentreotros,lossiguientes:
Incrementodelaproductividad.
Menosrepeticionesdetrabajootrabajosenbalde.
Incrementodelasatisfaccindelempleado.
Mejoracontinua.
Incrementoenlosmrgenes.

AISO9001:2000selecritica:
Esmuygeneral, noproporciona informacin decmo aplicarlo aempresas de
menortamao,tampocoproporcionadirectricesparasuimplementacinenvarias
industrias.
AcausadelaampliaaplicabilidaddelestndarISO,haypocasdirectricesparasu
implementacin en algunas industrias o campos especficos. Tampoco existen
directrices para su aplicacin en una divisin o en una sucursal de una gran
empresa.ParaISO9001:1994,otroestndar,ISO90003,sepubliccomouna
guaparainterpretarISO9001paraelsoftware.
A pesar de estar ISO 9004:2000 dedicado a la mejora del proceso, sigue la
estructuradeISO9001yapuntaalgunaexplicacindeloqueseespera,perose
quedacortoenentregarunmapaparaimplementarelprocesodemejora.Cuando
seleeISO9004,unonosabequereasdirigirprimeroyculesdespus.
En cuanto a pruebas empricas, slo hemos podido encontrar
encuestas de satisfaccin entre usuarios [4], que revelan, p.ej., que
los ms importantes beneficios como resultado de la aplicacin de
ISO 9000:2000 como herramienta de mejora:
Usodelosdatosmedidoscomoherramientadegestindenegocio(45.6%).
Msefectivasrevisionesalmododegestionar(41.9%).
Incrementodelcompromisodegestin(39.2%).
Mejoradelasatisfaccindelcliente(30.4%).

El propio ISO Technical Comittee TC176 est realizando en su web


una encuesta para recoger la experiencia de los usuarios con las
ediciones del ao 2000 de los distintos estndares, para publicarlos
en su encuentro anual, en diciembre de 2004.

Destacamos un estudio emprico interesante [10], que concluye que


el trabajo de certificarse lleva a una mejora sustancial del
rendimiento, (medible en ROA, return on assets) pero difcil de
justificar la mejora interna financiera, usando herramientas
financieras clsicas como anlisis coste-beneficio, o sea, ganancia
en aspectos cualitativos ms que ahorro monetario directo. Tambin
destacar que empresas que fallan en la certificacin, obtienen un
empeoramiento paulatino de sus resultados.

En el apartado ms crtico, [63] critica los resultados de anteriores


trabajos cuantitativos y afirma que la evaluacin de la significancia
estadstica entre costes y beneficios del registro ISO 9000 muestra
que la influencia en resultados financieros es baja a corto plazo, no
inmediato pues se compensa con los altos costes de implantacin y
slo planteable a largo plazo (ms largo, cuanto ms pequea sea la
empresa).

3. CMMI

El modelo CMMI constituye un marco de referencia de la capacidad de las


organizacionesdedesarrollodesoftwareeneldesempeodesusdiferentesprocesos,
proporcionandounabaseparalaevaluacindelamadurezdelasmismasyunagua
paraimplementarunaestrategiaparalamejoracontinuadelosmismos.

3.1 Evolucindelestndar

LaprimeraaproximacinalamejoradeprocesosapareceeneltrabajodeWalter
Shewhart[56],consusprincipiosdecontrolestadsticodelacalidad.Estosprincipios
ModelosdeEvaluacinyMejoradeProcesos:AnlisisComparativo7

fueronrefinadosporW.E.Deming [11]yJ.Juran[34].W.Humphrey,R.Radicey
otros,desarrollaronanmsestosprincipiosyempezaronaaplicarlosalsoftwareen
sutrabajoenIBMyelSEI.Humphreyproporcionaunadescripcindelosprincipios
yconceptosbsicosenquesebasanlamayoradelosmodelosdemadurezen [28].
MarkPaulkyotrosenelSEIcrearonelprimermodelodemadurezdecapacidad,
diseadoparaorganizacionesdedesarrollosoftwareylopublicanen[57].

CMMdirigesuenfoquealamejoradeprocesosenunaorganizacin,estudialos
procesosdedesarrolloyproduceunaevaluacindelamadurez(indicadorparamedir
lacapacidad para construirunsoftware decalidad) delaorganizacin segnuna
escala de cinco niveles (inicial, repetible, definido, dirigido y optimizado). Los
modeloscontienenloselementosesencialesdeprocesosefectivosparaunaoms
disciplinas y describen el camino para evolucionar y mejorar desde procesos
inmaduros aprocesosdisciplinados,madurosconcalidad yeficiencia mejorada y
probada.

Propiciadoporsurpidoxitoypordemandademodelosenotrosmbitos,sepublica
unaplyade de modelospara otrasdisciplinasyfunciones: PeopleCMM(1995),
Systems Engineering CMM (1995), Integrated Product Development (1996),
SoftwareAcquisitionCMM,FAACMM,Trillium,

Mientras algunas organizaciones encontraban estos modelos tiles, tambin


encontraban que se solapaban sobremanera, que a veces eran contradictorios,
escasamentelimpiosconinterfacesininteligibles,escasaestandarizacinymezclando
diferentesnivelesdedetalle.

ElproyectodeintegracindeCMMoCMMIfuepuestoenmarchaparadesarrollar
un marco de trabajo simple para la mejora de procesos, para organizaciones que
persiguenlamejoraentodoslosmbitosynivelesdelaempresa.

3.2 Estructuradelestndar

BasndoseenSECMMyEIA731(querecoganlarepresentacincontinuadelos
borradoresdelmodeloSPICE[2]),CMMIpresentadosrepresentacionesdelmodelo:
continua (capacidad de cada rea de proceso) y/o por etapas (madurez
organizacional).

Enlarepresentacinporetapas,sedaunmapapredefinido,divididoenetapas(los
nivelesde madurez), para lamejora organizacional basadoen procesos probados,
agrupadosyordenadosysusrelacionesasociadas.Cadaniveldemadureztieneun
conjuntodereasdeprocesoqueindicandondeunaorganizacindeberaenfocarla
mejoradesuproceso.Cadareadeprocesosedescribeentrminosdeprcticasque
contribuyenasatisfacersusobjetivos.Lasprcticasdescribenlasactividadesquems
contribuyenalaimplementacineficientedeunreadeproceso;seaumentaelnivel
demadurezcuandosesatisfacenlosobjetivosdetodaslasreasdeprocesodeun
determinadoniveldemadurez.

Tabla1.reasenrepresentacinporetapasyenrepresentacincontinua
N. de madurez Centradoen AreasdeProceso Categora
delaorganiz.
5.Optimizado Mejora continua Anlisisyresolucindecausasde Soporte
delproceso desviaciones.
Innovacinydespliegueatodala G.Proceso
organizacin
4. Gestionado Control Gestincuantitativadelosproyectos. G.Proyecto
cuantitativamente cuantitativo del Entendimientocuantitativodelrendimiento G.Proceso
proceso delosprocesosdelaorganizacin.
3.Definido Proceso Desarrollodelosrequisitos Ingeniera
caracterizado por Solucionestcnicas Ingeniera
la organizacin y Integracindeproductos Ingeniera
Verificacin Ingeniera
proactivo
Validacin Ingeniera
Enfoquedeprocesosenorganizacin G.Proceso
Definicindeprocesosenorganizacin. G.Proceso
Entrenamientoyformacin G.Proceso
Gestinintegradadeproyectos G.Proyecto
Gestindelriesgo G.Proyecto
Anlisisyresolucindelasdecisiones Soporte
Entornoorganizativoparalaintegracin Soporte
Equipoparadesarrollointegrado G.Proyecto
2.Gestionado Gestinbsicadel Gestinderequisitos Ingeniera
proyecto Planificacindeproyectos G.Proyecto
Monitorizacinycontroldeproyectos G.Proyecto
Gestindeacuerdosconproveedores. G.Proyecto
Medicinyanlisis Soporte
Aseguramientodelacalidaddelproductoy Soporte
delproceso
Gestindelaconfiguracin Soporte

1.Inicial Proc.
impredecible,
controlreactivo

Enlarepresentacincontinua,enfocamoslacapacidaddecadareadeprocesopara
establecerunalneaapartirdelaquemedirlamejoraindividual,encada rea.Al
igual que el modelo por etapas, el modelo continuo tiene reas de proceso que
contienenprcticas,perostasseorganizandemaneraquesoportanelcrecimientoy
lamejoradeunreadeprocesoindividual.

Ambas representaciones incluyen Metas (Genricas y Especficas, definiciones de


resultadosaobtenerporlaimplementacin efectiva delosgruposdeprcticas)y
Prcticas(GenricasyEspecficas,accionesarealizarparacumplirobjetivosderea
deproceso).ElmodelodeprogramademejoracontinuadeprocesosqueproponeSEI
sellamaIDEAL(Initiating,Diagnosing,Establishing,Action,Learning).
ModelosdeEvaluacinyMejoradeProcesos:AnlisisComparativo9

3.3 Puntosfuertesydbiles

NocabedudadequeCMM,tantoporsudifusinyresultadosreportados,hasidoun
modeloexitoso.Porello,apriori,dadaslassimilitudes,debemosesperarqueCMMI
ofrezcatambinbrillantesresultadosenincrementodelaproductividad,msrpida
respuestaalmercado,reduccindedefectos,disminucindecostes,planificaciones
fiables,

Son numerosos los casos de estudio, p.ej. [6][17][24][40][41], y los estudios


sistemticos basados en ellos, [32][9][15][16][18][19][22][25][36][37][48] probando la
mejorasustancialquesuponelaparticipacinenunainiciativademejoradeprocesos
basado en modelos de madurez y realizando interesantes comparativas entre
metodologas.

Sinembargo,porlorecientedelosnuevosestndaresqueestamosrevisando,han
quedado anticuados y an hay pocos resultados cuantitativos publicados sobre
CMMI.SEIpublicuninformeespecial[17]ysuactualizacin[20]que,sibiennoes
estadsticamentesignificativo,presentaevidenciacuantitativacrebledelasmejoras
enrendimientoycalidadobtenidasen12casosdeestudio,tantoencoste(ahorrosy
disminucinencostedeencontraryrepararerrores),planificacin(disminucindel
tiemponecesarioparaterminartareasyaumentodelafiabilidaddelaspredicciones
sobeestimaciones),calidad(reduccindetasadedefectos),satisfaccindelcliente
comoretornodelainversin.

Entresusfortalezaspodramosdestacar[42]:
Inclusindelasprcticasdeinstitucionalizacin,quepermitenasegurarquelos
procesos asociados con cada rea de proceso sern efectivos, repetibles y
duraderos.
Guapasoapasoparalamejora,atravsdenivelesdemadurezycapacidad(frente
aISO).
Transicin del aprendizaje individual al aprendizaje de la organizacin por
mejoracontinua,leccionesaprendidasyusodebibliotecasybasesdedatosde
proyectosmejorados.

En[35]podemosverinfluenciaspositivasdeCMMIenelprocesodemejora,como
quprcticasgenricasyreasdeprocesodeingenieraaportanuncaminodemejora
de lacapacidad de cada rea de proceso en la representacin continua, respuesta
rpida y guiada a nuevas demandas de las necesidades del negocio, o la inicial
priorizacin de los esfuerzos, o la puesta en marcha de funciones de gestin de
proyectos,quedarnsoportealrestodelproceso.

Algunasdesusdebilidadesson:
ElCMMIpuedellegaraserexcesivamentedetalladoparaalgunasorganizaciones.
Puedeserconsideradoprescriptivo.
Requieremayorinversinparasercompletamenteimplementado.
Puedeserdifcildeentender.

En[35]tambinserecogeninfluenciasnegativasdeCMMIenelprocesodemejora,
ensusdosrepresentaciones,como,p.ej.,darlaideadequeslosepuedenmejorar
reasdeprocesodelactualniveldemadurez,centrarsemsenalcanzarelsiguiente
nivel de madurez, ms que la mejora medible de los objetivos de negocia de la
organizacin,oquesepresteexcesivaatencinaaspectosdegestin,dejandoaun
ladoaspectostcnicos,oquepodamosmejorarreasdeprocesosegnnuestrointers
obviandolasrelacionesydependenciasentreellas.

En[39]losautoresdiscutenprosycontrasdelaaplicacinenpequeasempresas:
Noexistenciadeunaguaamedidadepequeasorganizaciones.Reconocenque
inicialmentesedirigaagrandescorporaciones,perolarepresentacincontinua
permite seleccionar slo aquellas reas de proceso de inters (asumible por
pequeasempresas).
Simplementedemasiadograndeparapequeasorganizaciones.Crecimientocuasi
exponencialdelnmerodereasyprcticas,tiempo,recursosycostes,perosise
alineanlosprocesosalasnecesidadesdelaorganizacin,sebeneficiarndeun
procesoestructurado.
ROI(Retornodelainversin)nohasidovalidadoanenCMMI.
CMMIresaltalaingenieradesistemasfrentealaingenieradelsoftware.SW
CMMexitoso,mercado esempresasdesoftware, perolosinterfaces conotros
sistemas,conhardwareoconresponsablesdeotrapartedelsistemamejoranel
esfuerzoeningenieradelsoftware.
CMMI es demasiado normativo, en especial con pequeas organizaciones que,
adems,funcionanyevolucionandedistintamaneraquelasgrandes.
CMMIpareceescritoparaorganizacionesyamadurasyvagamenteescritoparaser
usadoenvaloraciones.

En [23][39][35][62],serecopilanysedesmontanmitosytpicossobreCMMIque
circulanporlacomunidaddelaingenieradelsoftware,generadospormarketing,
percepcioneserrneas,frasescontrovertidasocontradictoriasenforospblicos,etc.

En[8]serecogenelestudioprcticodeuncasoascomolasleccionesaprendidasen
suaplicacin.
En[46]serecogeunejerciciodeestimacindeROIqueotorgaaCMMIunatasade
5:1,queeslamediaquereconoceelSEIenlasevaluacionesrealizadas,aunqueen
[47],elmismoautorconunmtodoeinformacinalgomselaborada,sequedaenel
173%.

Encuantoaltrabajoactualenesteestndar [45],cabeindicarquesetrabajaen:el
desarrollodelModulodeAdquisicin,brevesinopsisdeelementoscrticosenlas
relacionesconcontratistas;enelestablecimientodeuncompromisodeestabilidad,no
cambiarlosmodelosen3aosyestablecerunperiododecambionominalde5aos;
ModelosdeEvaluacinyMejoradeProcesos:AnlisisComparativo11

enlaplanificacindeCMMIv.1.2(recepcindepeticionesdecambio,procesode
revisinydesarrollodeactualizacin)previstoparafinalesde2006(aunquesloest
previstocambiosenaspectodeseguridad,adquisicin,diseohardware,elmtodode
evaluacin basado en CMMI (SCAMPI), training, pero no cambios
estructurales);esfuerzoderecoleccindedatoscuantitativoseconmicos(p.ej.ROI,
returnoninvestment)delosbeneficiosdelaimplantacindeCMMI.

En[2]serecogecmopiensanlosautoresquevaaevolucionarenelfuturoCMMI
(Soporte a Innovacin, UniversalCMM, Representacin nica parcialmente por
etapas,)

4. ISO 15504 (SPICE, Software Process Improvement and


CapabilitydEtermination)

ISO/IEC15504esunemergenteestndarinternacionaldeevaluacinydeterminacin
delacapacidad ymejora continuadeprocesos deingeniera delsoftware, conla
filosofadedesarrollarunconjuntodemedidasdecapacidadestructuradasparatodos
losprocesosdelciclodevidayparatodoslosparticipantes.Eselresultadodeun
esfuerzo internacional de trabajo y colaboracin y tiene la innovacin, en
comparacin con otros modelos, del proceso paralelo de evaluacin emprica del
resultado.

4.1 Evolucindelestndar

En1991[49],ISO/IECJTC1/SC7apruebaunestudioparainvestigarlanecesidady
los requisitos para un estndar de evaluacin del proceso software, llegando a la
conclusin(1992)dequehabaconsensointernacional.Elprocesodedesarrolloy
validacinemprica(proyectoSPICE)sehaalargadodiezaos.En1998sepublicala
primera versin del estndar como Informe Tcnico (en 1995 se publica como
borrador), evolucionando posteriormente hasta Estndar Internacional, con la
realizacin de tres fases de pruebas, la Fase 1 (1995) con la idea de validar la
decisionesdediseoyusabilidaddel borrador, laFase2(19961998)quealos
objetivos anteriores sumaba proveer de una gua de aplicacin y revisar la
consistencia, validez, adecuacin, usabilidad y portabilidad de SPICE. La Fase 3
(hastamarzode2003,enquesecierraelproyectoSPICE)serealizaconlaideade
aportar entradas y publicar el estndar ISO. Tras los Trials comienza la fase de
Benchmarking (actual fase), con la idea de recolectar datos de los procesos de
evaluacinyanalizarlosycomienzalapublicacindepartesdelestndar.

ISO/IEC15504inicialmenteabsorbelaescaladepuntuacindecapacidaddeCMM,
las actividades de proceso de ingeniera de ISO/IEC 12207, Trillium y CMM, la
representacindecapacidadbasadaenperfilesdeatributosdeBOOTSTRAPyla
experienciadelsistemadegestindelacalidadgeneraldeISO9001[61].

4.2 Estructuradelestndar

ISO/IECdesarrollaunmodelo2Ddeevaluacindelacapacidaddelproceso,donde
sevaloralaorganizacindedesarrollosoftwareenladimensindelprocesocontra
los atributos del proceso en la dimensin de capacidad. La primera versin
estructurabaelmodeloennuevepartes,peroenelcursodelosdebatesyvotaciones,
enarasdereducireltamaodelestndar,sedecidequesedividaencincopartes:
Parte1.ConceptosyVocabulario.Enpublicacin(7/10/04)
Parte 2. Realizando una Evaluacin (Requisitos, normativa). Publicado
(30/10/03).
Parte3.GuaparaRealizacindeEvaluaciones.Publicada(6/1/04)
Parte4.GuaparaelUsodeResultadosdeEvaluaciones.Publicada(6/7/04)
Parte5.UnModelodeEvaluacindeProcesosEjemplar.SuperavotacinCD2
(Sep.04),votacinFDIS(estimadodiciembrede2004)
ISO/IEC12207AMD2.Enpublicacin(enerode2004)

La versin 1.0 inicialmente recoga treinta y cinco procesos agrupados en cinco


categoras (ClienteProveedor, Ingeniera, Proyecto, Soporte y Organizacin). Sin
embargo, la idea de expandir el mbito de aplicacin del estndar evitando
restringirloaundeterminadociclodevida,lacompatibilidadconISO/IEC12207e
ISO/IEC15288yconcualquiermodeloposterior,permitelaevolucindelestndar
para aceptar Modelos de Referencia de Procesos (PRMs) eliminando la inicial
dimensin de procesos. La medida de capacidad (vase tabla 4), es aplicable a
cualquiermodelodeprocesosplasmadoenunPRMcompatibleconISO12207.Esto
leconfiereunainfraestructuramuchomsabierta,facilitandolacompatibilidad.

Tabla2.ModelodeCapacidaddeProcesos[49]
Id. Nivel de AtributosdeProcesoyDescripcin
Capacidad
CL[0] Incompleto Elprocesonoestimplementadoofallaenalcanzarsuproposito.No
esfcilidentificarlosproductososalidasdelosprocesos.
CL[1] Realizado El proposito del proceso se logra generalmente, aunque no sea
rigurosamente planificado ni llevado a cabo. Hay productos
identificablesquetestificanelalcancedelproposito.
PA.1.1 RealizacindelProceso.
CL[2] Gestionado El proceso es gestionado y los entregables resultado de
procedimientosespecficos,planificadosyseguidos,conrequisitos
decalidad,tiempoyrecursos.
PA.2.1 GestindelaRealizacin.
PA.2.2 GestindelosProductosdeltrabajo.
CL[3] Establecido Un proceso realizado y gestionado usado un proceso definido,
ModelosdeEvaluacinyMejoradeProcesos:AnlisisComparativo13

basado en un principios de buenas prcticas de ingeniera del


software.
PA.3.1 DefinicindelProceso.
PA.3.2 DesplieguedelProceso.
CL[4] Predecible Elprocesodefinidoespuestoconsistentementeenprcticadentrode
lmitesdecontrolestablecidosparaalcanzarmetasdelprocesoya
definidas.Entendimientocuantitativodelacapacidaddelprocesoy
habilidadmejoradadepredecirygestionarelrendimiento.
PA.4.1 MedicindelProceso.
PA.4.2 ControldelProceso.
CL[5] En Realizacin del proceso optimizada en la busqueda de las
optimizacin necesidadesactualesyfuturasdelnegocio.Objetivoscuantitativos
deeficienciayefectividadseestablecenenfuncindelosobjetivos
delaorganizacin.Optimizacinpuedellevaraestudiaryadoptar
ideasinnovadorasoproductostecnolgicosnovedososqueincluyan
ymodifiquenelprocesodefinido.
PA.5.1 InnovacindelProceso.
PA.5.2 Optimizacindelproceso.

4.3 Puntosfuertesypuntosdbiles

Comohaquedadorecogidoenlosapartadosanteriores,SPICEhasidounproyectode
lentamaduracin,quehavariadomuchodesdesuborradorinicialen1995,hastalos
modelosqueestn acabando de ser publicados. Muchas delascrticas omejoras
propuestasalolargodeestosaospordiversosautores,hansidorecogidasascomo
ciertos aspectos positivos (como la representacin continua del modelo) han sido
adoptadasporotros.

Cabedestacarelconsiderablenmerodeestudiosdeevaluacinempricarealizados,
pudiendo revisar sus conclusiones ms significativas en [33], en cuanto a validez
predictiva, veracidad de la capacidad, demostracin de su capacidad para
identificacindefuerzas,debilidadesyriesgosascomodirigirypriorizarelproceso
demejora.Trabajospreviosenlamismalneapuedenrevisarseen[13][14].

Segn[61],evaluandosuversin1.0,susmayorescontribucioneshansido:
Primermodelodeprocesosde2dimensiones,dimensionesindependientesparalos
procesosylacapacidad.
Elresultadodeunaevaluacindeprocesopuedeserrepresentadoporunperfilde
proceso,unagrficade2dimensiones.
Inicialmenterecogaunaescalarefinadadeprocesosde9atributosy6niveles,que
posteriormentefuemejoradaconladesaparicindedelaescaladeprocesosyla
adopcindelosPRMs.
Defineunconjuntodecriteriosdeconformidadparapermitirlacomparacinde
modelosexternosdeprocesosyencontrarrequisitoscomunes.
Porelcontrario,temasabiertoseran:
Pensabaqueeldominiodeprocesosdeberasermsamplioparaabarcartodoslos
posiblesciclosdevida(algononecesarioporlaadopcindemodelosexternos,los
PRMs) yqueera difcil que todoslosatributosde proceso fueran universales,
aplicablesatodoslosprocesosyprcticasbase.
La dimensin capacidad ha alcanzado un alto grado de dificultad y existen
solapamientosconladimensinprocesos.
La complejidad de las evaluaciones (y por consiguiente el costo) es
significativamentemsaltaqueenotrosmodelos.

Por ltimo, en sus conclusiones, al valorar el panorama de distintos estndares


existentes, afirma la necesidad de pruebas de la efectividad y el impacto de la
adopcindeestosmodelosdemejoratantoenlaingenieradelsoftwarecomoen
otroscamposyresaltalanecesidaddebsquedadeintegracinyfacilidadparala
evolucinquedebenadoptarlosestndares,aspectosque,aunque nolorecoja el
autor,estnresueltosporSPICEfrenteaotrosmodelos.

En [49] seafirmaqueel desarrollo deISO15504haacercado alomejordelos


expertosinternacionalesenevaluacindeprocesos,yatravsdelasinergiadeestas
relaciones ha llevado a significativos avances en el estado del arte y en la
argumentacintericadelproceso[33].As,en[12]encontramosunreconocimientoa
lainfluenciadeSPICEeneldesarrollodeCMMI.

Merecen ser destacados los estudios sobre implantacin de SPICE en pequeas


empresas[58],ydeloinadecuadodelusodeSPICEparametodologasgiles[38].

5. Aspectoscomunesycomparativasdemodelos

Aqupretendemosreflexionarsobrelaesclavitudcreativadelosestndares,labase
tericaorigurosidadformaldelosmodelos,sobrelascomparativasexistentesentre
modelos,ascomorecogerdocumentosquerealizanmapeosentremodelos.

Hayunacorrientedeautores,p.ej.[5],queconsideranquelosestndaresreducenla
autonoma de los desarrolladores, siendo experimentada como una carga,
restricciones coercitivas, ahogando la creatividad requerida en el desarrollo de
software innovador, veneran al proceso, ignorando a las personas. Frente a esta
postura,estlaquedefiendequeestainterdependencia(frentealtrabajoautnomo)
tomaunaformacolaborativa[1],nivelesdeprocesomadurosllevanaunprocesode
desarrollo ms socializado, el esfuerzo colaborativo aumenta la eficiencia y
efectividad.

Otracrticahabitualesquemuchasvecesenelmbitodelamejoradeprocesos,los
mediosseolvidandelfin.Debe evitarsequeel verdadero objetivodemejorarel
procesosedesplacealamisinartificialdealcanzarunmayorniveldemadurez.
ModelosdeEvaluacinyMejoradeProcesos:AnlisisComparativo15

Tambin se critica la ausencia de base terica formal y la vaguedad del soporte


emprico.AunquelaaparicindelaTeoradelaEvaluacin,unmarcotericode
propsitogeneral que define los diferentes tipos de mtodosde evaluacin y sus
parmetros [54],haaportadoresultadosinicialesesperanzadores [3],ningunodelos
actuales mtodos de evaluacin, la siguen. En este ltimo estudio aparece una
comparativa de rigurosidad formal de los modelos ms difundidos as como un
experimentodeaplicacincomparativa.

Porotrolado,esdifcildiscernirenelestudiodelosresultadosempricos,laparte
correspondientedelamejoraalaaplicacindeunestndar,enlugardeotro.

Noexistencomparativasactualizadasentrelosmodelosestudiados,porloque,como
referencia,seaportanunataxonomacomparativa[21]yunarecopilacindeestudios
comparativos, tanto cuantitativos como cualitativos, econmicos y tcnicos de
diferentesestndares[48].

En cuanto a comparativas y mapeos entre reas clave, con la desaparicin de la


dimensinProceso,estacarecedesentidoconSPICEporloqueentreISO9001y
CMMdestacaremos[42]y[44].[42]destacalasinergiaentreambosy[55]elquecada
vezmscompaasconsiderenelusoconjuntodeCMMIeISO9000paraaumentar
laeficaciadelprocesodemejora.

A modo de resumen, presentamos un cuadro comparativo con las principales


caractersticasdecadamodelo:

Tabla3.Comparativaentremodelosanalizados
ISO9001:2000 CMMI ISO15504
mbito de Genrico Software y Software y
aplicacin Sistemas Sistemas
Ensufavor Elmsextendido El de mayor Ms
ysencillo prestigio consensuado y
probado
Ensucontra Simple, general, Difcil de Difcil en
no gua paso a entender, mayor capacidad,
paso inversin, complejo para
prescriptivo evaluar
Procesos Estructurapropia Estructura Delega en ISO
propia 12207, por
mayor
aplicabilidad
Validacin Encuestas Encuestas Trials y
satisfaccin satisfaccin y esfuerzo
casosdeestudio emprico
Objetivo Cumplimientode Mejora del Valoracin del
requisitos de proceso, proceso y gua
calidad por determinacin paralamejora.
procesos capacidad
contratista
Representacin Plana Continua y por Continua (por
etapas etapasanivelde
proceso)
Tcnicasanlisis Guasylistasde Cuestionariosde Varios
comprobacin evaluacin
Mtodo para Ninguno, gua IDEAL, mapa SPICE4Parte
mejora de ISO9004 guiado
procesos

6. Conclusionesyfuturostrabajos

Sin duda, el campo de la mejora y evaluacin de procesos es muy prolfico y


emergente,uncampomuyactivodetrabajo.Caberesaltarcmolasevolucionesde
losprincipalesestndaressiguenlneasqueparecenconfluir,ySPICEparecehaber
sidoeldesencadenantedeestapuestaencomndesoluciones.

Peroquedanimportantestemasabiertos,comoelacercamientodeestosestndaresa
las pequeas y medianas empresas, como la adecuacin para dar soporte a
metodologasdedesarrolloligeras,comolacrecientenecesidaddeevidenciasqueden
sostn a la eficacia e impacto de la ingeniera del software y en la industria de
softwarenoconvencional.Unodelosmayoresproblemasparalacuantificacinde
losresultadosdeunSPI(oSPA)eslanaturalezadelprocesodedesarrollosoftware,
amalgamatecnolgicosocialintelectualdedifcilexpresintericomatemtica.

Por esta propia naturaleza parece justificado apostar por el uso del modelado de
sistemasdinmicosparalaexpresinformaldeestosmodelostancomplejos.

Lasimulacindelprocesodedesarrollodesoftwareseutilizaenlaactualidadcomo
unaherramientadeayudaenlaresolucindeproblemasendistintasactividadesdela
ingeniera del software, como la gestin estratgica del desarrollo [51], la
investigacin en la mejora de procesos [52][53] o la formacin en gestin de
proyectos.

Entrabajospreviossehadesarrolladounmarcodinmicointegradoparalamejorade
procesossoftware(DIFSPI)[50],pretendiendoofrecerunametodologayunentorno
detrabajoquecombinelasventajasdelastcnicasdeestimacintradicionalesydel
usodemodelosdinmicosparaasesorarenlosprocesosdeevolucindelamadurez
deunaorganizacindeacuerdoconCMM.
ModelosdeEvaluacinyMejoradeProcesos:AnlisisComparativo17

Laevolucinseguidaenlosltimosaosporlosestndaresdemayordifusin,la
convergenciaenlaimportanciadelosmodeloscontinuosdeproceso(frentealos
modelosporetapas),laseparacinendosdimensiones,delacapacidadydelproceso,
y la posibilidad de adopcin de Modelos externos de Referencia de Proceso,
compatibles con estndares de ciclos de vida, que permitir la comparacin de
distintosmodelos,abrennuevasvasdeinvestigacinparafuturostrabajos.

Referencias

1. Adler P.S.: Practice and Process: The Socialization of Software Development. MOR
Working Paper Series 0312. Univ. Southern California
http://www.si.umich.edu/ICOS/adlerpaper.pdf(2003)
2. Ahern D., Clouse A., Turner R.: CMMI(R) Distilled: A Practical Introduction to
IntegratedProcessImprovement,SecondEdition.AddisonWesley(Sep.2003)
3. Ares J. et al.: A more Rigorous and Comprehensive Approach to Software Process
Assessment.SoftwareProcess:ImprovementandPractice.5:330(2000)
4. ASQStandardsGroup:ISO9000:2000ProductSupportInitiative.WebSurveyresultsin
http://qualitypress.asq.org/iso9000/ISO_Curves.pdf(2004)
5. BachJ.:TheInmaturiryofCMM.AmericanProgrammer(Sept.94)
6. ButlerK.:TheEconomicBenefitsofSoftwareProcessImprovement.CrossTalk8,7:14
17(Jul.95)
7. CasadesusM.,GimnezG.:ThebenefitsoftheimplementationoftheISO9000standard:
empiricalresearchin288Spanishcompanies.TheTQMMagazine,vol12issue6,432
441(2000)
8. ChrissisM.B.,KonradM.,ShrumS.:CMMI:GuidelinesforProcessIntegrationand
ProductImprovement.AddisonWesley(Feb.2003)
9. ClarkB.:TheEffectsofSoftwareProcessMaturityonSoftwareDevelopmentEffort.PhD
Thesis,UniversityofSouthernCalifornia(Abril1997)
10. CorbettC.J.,MontesM.J.,KirschD.A.,AlvarezGilM.J.:DoesISO9000certification
pay?ISOManagementSystems.SpecialReport:3140(JulAgo2002)
11. Deming,W.E.:OutoftheCrisis.Cambridge,MA:MITCenterforAdvancedEngineering
(1986)
12. Dorling A., Kitson D.H.: The Impact of ISO/IEC 15504 on CMM Integration Effort.
TickITInternational.2Q99.Pag.9(1999)
13. ElEmamK.,BirkA.:ValidatingtheISO/IEC15504MeasureofSoftwareRequirements
AnalysisProcessCapability.IEEETransactionsonSoftwareEngineering.Vol.26,N6
(Jun.2000)
14. ElEmamK.,BirkA.:ValidatingtheISO/IEC15504MeasureofSoftwareDevelopment
ProcessCapability.TheJournalofSystemsandSoftware,51119149(2000)
15. ElEmam K., Goldenson D., McCurley J., Herbsleb J.: Modeling the Likelihood of
SoftwareProcessImprovement:AnExploratoryStudy.EmpiricalSoftwareEngineering6,
3.207229(Sep.2001)
16. ElEmam K., Goldenson D.: An Empirical Review of Software Process Assessments.
AdvancesinComputers53:319423(2000)
17. Goldenson D.R.,GibsonD.L.:DemonstratingtheImpactandBenefitsofCMMI:An
UpdateandPreliminaryResults.CMU/SEI2003SR009(Oct.2003)
18. GoldensonD.,ElEmamK.,HerbslebJ.,DeephouseC.:EmpiricalStudiesofSoftware
ProcessAssessmentMethods.inK.ElEmamandN.H.Madhavji(eds.): Elementsof
Software Process Assessment and Improvement. Los Alamitos, CA: IEEE Computer
SocietyPress(1999)
19. Goldenson D., Herbsleb J.: After the Appraisal: A Systematic Survey of Process
Improvement, Its Benefits, and Factors that Influence Success. CMU/SEI95TR009
(1995)
20. GoldensonD.R.,GibsonD.L.,FergusonR.W.:WhyShouldISwitchtoCMMI?Initial
EvidenceaboutImpactandValueAdded.3rd.AnnualCMMITechnologyConferenceand
UserGroup:TrackonImpactandBenefitsofCMMI.Pittsburgh(Nov.2003).
21. HalvorsenC.P.,ConradiR.:ATaxonomytoCompareSPIFrameworks.LectureNotesIn
Computer Sciencearchive. Proceedings of the 8th European Workshop on Software
ProcessTechnologycitation(Jun.2001)
22. HarterD.E.,KrishnanM.S.,SlaughterS.A.:EffectsofProcessMaturityonQuality,
CycleTime,andEffortinSoftwareProductDevelopment. ManagementScience46,4:
451466(Abr.2000)
23. HeinzL.:CMMIMythsandRealities.CrossTalk(Jun.2004)
24. Herbslebetal.:BenefitsofCMMBasedSoftwareProcessImprovement:InitialResults.
CMUSEI94TR13.SEICMU(1994)
25. HerbslebJ.,ZubrowD.,GoldensonD.,HayesW.,PaulkM.:SoftwareQualityandthe
CapabilityMaturityModel.CommunicationsoftheACM40,6:3040(Jun1997)
27. HumphreyW.,SweetW.:AMethodforAssessingtheSoftwareEngineeringCapabilityof
Contractors(Tech.Rpt.CMU/SEI87TR23).SoftwareEngineeringInstitute,Carnegie
MellonUniversity,Pittsburgh,PA,USA(1987)
28. Humphrey,W.S.:ManagingtheSoftwareProcess.Reading,MA:AddisonWesley(1989)
29. ISO 9000 Survey: Chicago, IL: Irwin Professional Publishing and Dun & Bradstreet
InformationServices(1996).
30. ISO9000Survey:NewYork,NY:PlexusCorporationandMcGrawHill(1999).
31. ISO/IECTR155041:1998InformationTechnologySoftwareProcessAssesmentPart
1:ConceptsandIntroductoryGuide.
32. JonesC.:SoftwareAssesments,BenchmarksandBestPractices.AddisonWesley.(Dic.
99)
33. JungHW.,HunterR.,GoldensonDR.,ElEmanK.:FindingsfromPhase2oftheSPICE
Trials.SoftwareProcessImprovementandPractice.6:205242(2001)
34. JuranJ.M.:PlanningforQuality.NewYork:Macmillan(1988)
35. Kasse,T.:PracticalinsightintoCMMI.ArtechHousePublishers.(Mayo2004).
36. Krasner,H.:ThePayoffforSoftwareProcessImprovement:WhatItIsandHowtoGetIt.
inK.ElEmamandN.H.Madhavji(eds.):ElementsofSoftwareProcessAssessmentand
Improvement,LosAlamitos,CA:IEEEComputerSocietyPress,1999.
37. KrishnanM.S.,KellnerM.I.:MeasuringProcessConsistency:ImplicationsforReducing
SoftwareDefects.IEEETransactionsonSoftwareEngineering25,6:800815(Nov/Dec
1999)
38. KrumsV.,PatovaaraM.,DorlingA.:SPICEintheeXtremeacaseofagility.JointESA
3rd International SPICE Conference on Process Assessment and Improvement (Mar.
2003)
39. KulpaM.K.,JohnsonK.A.:InterpretingtheCMMI:AProcessImprovementApproach.
AuerbachPublications(2003)
40. Lebsanft L.: Bootstrap: Experiences with Europes Software Process Assesment and
ImprovementMethod.SoftwareProcessNewsletter5:610(1996)
ModelosdeEvaluacinyMejoradeProcesos:AnlisisComparativo19

41. McGarryF.,BurkeS.,DeckerB.:MeasuringtheImpactsIndividualProcessMaturity
AttributesHaveonSoftwareProjects5260.Proceedingsofthe5 thInternationalSoftware
MetricsSymposium.IEEEComputerSocietyPress,1998.
42. MutafelijaB.,StrombergH.:SystematicProcessImprovementusingISO9001:2000and
CMMI.ArtechHouseComputingLibrary.(2003)
43. NaurP.,RandellB.(Eds.):SoftwareEngineering:Reportofaconferencesponsoredby
theNATOScienceCommittee,Garmisch,Germany,711Oct.1968,Brussels,Scientific
AffairsDivision,NATO(1969)
44. PaulkM.C.:HowISO9001CompareswiththeCMM.IEEESoftware(Ene.1995)
45. RassaB.,ChittisterC.:CMMIToday:TheCurrentState.3rd.AnnualCMMITechnology
ConferenceandUserGroup:TrackonImpactandBenefitsofCMMI.Pittsburgh.(Nov.
2003).
46. RicoD.F.:HowtoEstimateROIforInspections,PSP,TSP,SWCMM,ISO9000,and
CMMI. DoD Software Tech News. Volume 5, number 4. (Nov. 2002)
http://www.softwaretechnews.com/stn54/inspections.html
47. RicoD.F.:ROIofSoftwareProcessImprovement:MetricsforProjectManagersand
SoftwareEngineers.J.RossPublishing(2004)
48. RicoD.F.:UsingCostBenefitAnalysestoDevelopSoftwareProcessImprovement(SPI)
Strategies [DACS Technical Report]. Rome, NY: Air Force Research
Laboratory/InformationDirectorate(AFRL/IF), DataandAnalysisCenterforSoftware
(DACS).(2000) http://www.dacs.dtic.mil/techs/abstracts/rico.html
49. RoutT.P.:ISO/IEC15504EvolutiontoanInternationalStandard.SoftwareProcess
ImprovementandPractice.8:2740(2003)
50. Ruiz M., Ramos I., Toro M. A dynamic integrated framework for software process
improvement. Software Quality Journal, 10, pp.181194. Kluwer Academic Publishers
(2002)
51. RuizM., RamosI., ToroM.ASimplifiedModelofSoftwareProjectDynamics.The
JournalofSystemsandSoftware59/3,29309(2001)
52. RuizM.,RamosI.,ToroM.SoftwareProcessImprovementAchievementthroughProcess
Simulation. X Software Quality Management, pp. 2741. Eds. G. King, M. Ross, G.
StaplesandT.Twomey.Limerick(Ireland)(Mar.2002)
53. Ruiz M.,RamosI., Toro M.:UsingDynamicModelingandSimulationtoImprovethe
COTSSoftwareProcess.PROFES2004:568581(2004)
54. ScrivenM.:EvaluationThesaurus.SagePublications:NewburyPark,CA(1991)
55. Sheard,S.:EvolutionoftheFrameworksQuagmire.IEEEComputerMagazine
V34n7(Jul.2001)pp9698
56. Shewhart,W.A.:EconomicControlofQualityofManufacturedProduct.NewYork:Van
Nostrand(1931)
57. SoftwareEngineeringInstitute:TheCapabilityMaturityModel:GuidelinesforImproving
theSoftwareProcess.Reading,MA:AddisionWesley(1995)
58. Tuffley A., Grove B., McNair G.: SPICE for Small Organizations. Software Process:
ImprovementandPractice.Vol.9Issue1.2331(Sep2004).
59. Ussahawanitchakit W., Tansujah P.: Effectiveness of ISO 9000 Adoption, Export
MarketingStrategy,andPerformance:ACaseStudyofThaiandU.S.Firms.TheSeventh
InternationalConferenceonGlobalBusinessandEconomicDevelopment(2003)
60. WangY., CourtI., RossM., StaplesG., KingG. and DorlingA.:Towards Software
ProcessExcellence:Asurveyreportonthebestpracticesinthesoftwareindustry,ASQ
JournalofSoftwareQualityProfessional,Vol.2,No.1,Dec.,pp.3443(1999)
61. WangY.:SoftwareEngineeringStandards:ReviewandPerspectives.WorldScientific
Publishing(Ene2002)
62. WestM.:RealProcessImprovementUsingtheCMMI.AuerbachPublications(2004)
63. WilsonJ.P.:AnExaminationoftheEconomicBenefitsofIso9000andtheBaldridge
AwardtoManufacturingFirms.PhDThesis,UniversityofPittsburgh(2004)