DEBILIDADES PRESENTADAS POR LA NORMA ISO/IEC 9126/(1991) RESPECTO

A LA EVALUACIÓN DE LA CALIDAD DEL SOFTWARE

EDGAR MANUEL RODRÍGUEZ PÉREZ

EVALUACIÓN DE LA CALIDAD DE LA TECNOLOGÍA EDUCATIVA

UNIVERSIDAD DE SANTANDER

MAESTRÍA EN GESTIÓN DE LA TECNOLOGÍA EDUCATIVA

PEREIRA – RISARALDA

MAYO DE 2014
 ¿PRESENTA DEBILIDADES EL ESTANDAR ISO/IEC 9126 EN LO REFERENTE A
LA EVALUACIÓN DE LA CALIDAD DEL SOFTWARE?

Tres estándares han sido propuestos por la ISO (International Organization of

Standardization) en conjunto con la IEC (International Electrotechnical Comission) para
evaluar la calidad del software: ISO/IEC 9126/1991, más tarde dividida en ISO/IEC
9126 para calidad de producto software (ISO/IEC 9126-1:2001, ISO/IEC 9126-2:2003,
ISO/IEC 9126-3:2003, ISO/IEC 9126-4:2004) e ISO/IEC 14598 (ISO/IEC 14598-1:1999,
ISO/IEC 14598-2:2000, ISO/IEC 14598-3:2000, ISO/IEC 14598-4:1999, ISO/IEC
14598-5:1998, ISO/IEC 14598-6:2001) para la evaluación del producto software; dos
normas que serían revisadas en 2005 dentro del proyecto SQuaRE (Software Product
Quality Requirements and Evaluation) de la ISO/IEC para emitirse la tercera norma
ISO/IEC 25000:2005 con actualizaciones en 2006, 2007, 2008 y 2011, que terminaría
reemplazando las dos primeras. A continuación se entenderá la importancia de los
elementos estructurales de las dos primeras, cómo se complementan y qué
fundamentos aún vigentes de ellas permiten justificar la serie ISO/IEC 25000; norma
que aparte de especificar requisitos de calidad y evaluación de calidad, incluye el
proceso de medición de calidad de software.

En la norma ISO/IEC 9126:1991 se propone un modelo de evaluación de calidad de

software para cubrir las necesidades de usuarios, desarrolladores y productos. Para
ello el concepto de calidad se descompone en calidad interna, calidad externa y calidad
de uso, analizados en cuatro partes: 9126-1 (Modelo de calidad), 9126-2 (Métricas
externas), 9126-3 (Métricas internas) y 9126-4 (Métricas de calidad en uso). La parte
ISO/IEC 9126-1/(2001) plantea los conceptos básicos que conforman la norma:
características, sub-características, atributos (internos, externos) y métricas. Propone
dos modelos de calidad: El modelo de calidad interna y externa conformado por 6
características principales (funcionalidad, fiabilidad, usabilidad, eficiencia,
mantenibilidad y portabilidad), cada una de ellas dividida en sub-características;
y un modelo de calidad de uso conformado por 4 características (eficacia,
productividad, seguridad y satisfacción) con sus respectivas sub-características. La
parte ISO/IEC 9126-2/(2001) propone métricas externas con escala cuantitativa y una
forma de medir las características dinámicas del código cuando se ejecuta en una
computadora o entorno requerido, para medir características de calidad del software,
observables en las etapas finales del ciclo de vida del producto software. La parte
ISO/IEC 9126-3/(2001) brinda métricas internas que establecen una escala cuantitativa
para medir características de calidad del software que se relacionan con las etapas
tempranas del proceso de desarrollo o su ciclo de vida. Se mide y evalúa atributos
estáticos que se pueden consultar de documentos o artefactos generados en el
proceso de desarrollo del producto. Y la parte ISO/IEC 9126-4/(2001) presenta el
concepto de calidad en uso con un modelo de calidad para visualizar la interrelación
usuario-producto desde la óptica de la eficiencia y satisfacción.

Todo cambia y más cuando de desarrollos científico-tecnológicos se trata. Por tanto no

ha de extrañar que deba modificarse, complementarse y/o ampliarse la normatividad
referente a la calidad de software en todas sus facetas (desarrollo, producto,
necesidades del usuario, evaluación de calidad,…, entre otras) cuando los desafíos
tecnológicos así lo ameriten. Lo que sí es claro es que para la época en que se publicó
el estándar ISO/IEC 9126, año 1991; respondió plenamente a los requerimientos de
calidad de software existentes. Muchas son las bondades que se le reconocen a este
modelo de calidad, sobre todo después de su actualización en 2001: Presenta una
jerarquía ascendente (los atributos de calidad definidos para productos software se
clasifican en sub-características y estas en características que equivalen a factores de
calidad); puede aplicarse a cualquier tipo de software, incluido el desarrollado para el
ámbito educativo; goza de gran reconocimiento dentro de la comunidad por
fundamentarse en modelos de calidad aportados por diversas investigaciones
realizadas en los últimos 30 años para la caracterización de la calidad del producto
software; se complementa con el estándar ISO/IEC 14598 que considera recursos,
entorno, procesos y métricas de calidad in uso, para evaluar la calidad del software;

y además, busca que al mejorar la calidad del proceso se mejore la calidad del
producto, algo que a su vez contribuya a mejorar la calidad en uso, siendo todo esto
posible al realizar la evaluación.

La norma ISO/IEC 14598 brinda pautas para evaluar la calidad del producto software
considerando los posibles actores (desarrolladores, evaluadores, compradores), para lo
cual se halla estructurada en seis partes: ISO/IEC 14598-1, la visión general que
indica su relación con el modelo de calidad ISO/IEC 9126, términos técnicos usados,
requisitos para especificar y evaluar calidad de software, y las características de
repetición, reproducción, imparcialidad y objetividad como fundamentos para la
evaluación; ISO/IEC 14598-2 sobre gestión & planificación de la evaluación;
ISO/IEC 14598-3 sobre proceso para desarrolladores; ISO/IEC 14598-4 sobre
proceso para compradores (Empresas, usuarios); ISO/IEC 14598-5 para
evaluadores e ISO/IEC 14598-6 sobre documentación de los módulos de
evaluación. Esta norma también propone cinco etapas para realizar el proceso de
evaluación del software: Establecer los requerimientos de evaluación (propósito,
tipo de producto, modelo de calidad, características), especificación de la evaluación
(métricas para el modelo de calidad, escala de medición, criterios de evaluación),
diseño de la evaluación (plan de acción, procedimientos de medición y recursos),
ejecución del plan de evaluación (mediciones y registro de todas las acciones
ejecutadas con sus resultados) y conclusión de la evaluación (reporte de la
evaluación del producto).

Ambos estándares, ISO/IEC 9126 e ISO/IEC 14598 son la base para el diseño de la
norma ISO/IEC 25000 dentro del proyecto SQuaRE:
El estándar ISO/IEC 25000 guía el desarrollo de los productos de software con la
especificación y evaluación de requisitos de calidad; categoriza la calidad del software
en características, sub-características y atributos de calidad; considera los dos modelos
de calidad propuestos en ISO/IEC 9126 (Modelo de calidad interna y externa:
Funcionalidad, Fiabilidad, Usabilidad, Rendimiento, Mantenibilidad, Portabilidad,
adicionando Compatibilidad y Seguridad; Modelo de calidad de uso: Efectividad,
Productividad, Seguridad, Satisfacción adicionando Contexto de uso); se centra en
tres fases principales del ciclo de vida del producto software: Producto bajo desarrollo,
producto en operación y producto en uso; y explicita el concepto de calidad en varios
componentes (gestión de calidad en ISO/IEC 2500n, modelo de calidad en ISO/IEC
2501n, medición de calidad en ISO/IEC 2502n, requisitos de calidad en ISO/IEC 2503n
y evaluación de calidad en ISO/IEC 2504n).

De lo anterior puede concluirse que el estándar ISO/IEC 9126 ha sido superado por los
desafíos impuestos por la tecnología actual en materia de calidad de software; que el
estándar ISO/IEC 25000 describe mejor la calidad de software en sus diferentes fases
(desarrollo, producto, evaluación), y que si alguna empresa aún hace uso de dicha
norma, deben considerarse muy seriamente sus limitaciones. Algunas de dichas
limitaciones fueron esclarecidas por Al-qutaish (2009), entre ellas se tiene:

1. La terminología necesita ser armonizada con el vocabulario internacional ISO de

términos básicos y generales en metrología.
2. Las métricas en las partes 2, 3 y 4 de ISO 9126 están completamente
fusionadas y necesitan ser clasificadas en métricas fundamentales y derivadas
para ser alineadas con la ISO 15939.
3. Los rangos de resultados de muchas métricas que en ISO 9126 están entre 0 y
1, de fácil conversión a valores de porcentaje, también deben clasificarse en
forma cualitativa para facilitar su comprensión: una tarea completa cuyo valor es
100%, etiquetar como excelente; si el resultado es 80%, muy buena, etc.
4. Al mapear de la norma ISO 9126 a la ISO 12207, muchas de las métricas de
calidad de la primera se refieren a procesos de la segunda. Sin embargo, cada
 proceso en ISO 12207 contiene un número de actividades diferentes. Por tanto,
es más útil para los usuarios de ISO 9126 referirse a las actividades de la ISO
12207.

Otros investigadores señalan las siguientes:

5. Jung et al (2004) revelan ambigüedades en la forma que ISO 9126 es

estructurada en términos de características y sub-características.
6. Chua and Dyson (2004) descubrieron debilidad con respecto a la característica
de usabilidad. Hacer el modelo más simple para uso por educadores, quienes
pueden no ser expertos en usabilidad; extendiendo el criterio a otros factores
como consistencia, simplicidad, legibilidad y uso de color. Sugirieron incluir la
sub-característica Help (ayuda) como parte de la usabilidad, para asegurar que
este importante factor no sea descuidado.
7. También Abran et al. (2003) establecieron que se necesita proponer una nueva
estructura para el modelo de usabilidad. Adicionan dos características al
estándar ISO 9126: Facilidad de aprendizaje y seguridad, con la métrica
específica para cada característica.
8. Bøegh (2006) estableció que existen imprecisiones en las métricas de la ISO
9126 que no permiten su aplicación directa. Propone redefinir las métricas, con
reglas de conteo y perfiles.
9. Koscianski and Costa (1999) establecen que la normalización de métricas y
puntajes deben cumplir lo siguiente: Cada métrica usada debe ser mapeada a la
misma escala de referencia. Además, como Al-qutaish (ver punto 3), proponen
usar métricas cualitativas y,
10. Behkamala et al. (2009) establecen que el modelo de calidad ISO 9126 es
general y necesita ser personalizado. Se requiere trabajo empírico adicional para
clarificar y validar la estructura del modelo de calidad ISO 9126 en términos de
características y sub-características.
BIBLIOGRAFÍA

(1). AL-QUTAISH, R. (2009). An investigation of the weaknesses of the ISO 9126

International Standard. Second International Conference on Computer and Electrical
Engineering.

(2). Abran, A.; Khelifi, A.; Suryn, W. and Seffah, A. (2003). "Consolidating the ISO
Usability Models," Proc. of 11th International Software Quality Management Conference.
UK: Glasgow, Scotland.

(3). Behkamala, B., Kahanib, M. and Akbar, M. K. (2009). "Customizing ISO 9126
quality model for evaluation of B2B applications, "Information and Software Technology,
Vol. 51, No. 3.

(4). Boegh, J. (2006). "Certifying Software Component Attributes," IEEESoftware, Vol.

23, No. 3.

(5). Chua, B. B. & Dyson, L. E. (2004). "Applying the ISO 9126 Modelto the Evaluation
of an e-Learning System," Proc. of the 21stConference of the Australasian Society for
Computers inLearning in Tertiary Education (ASCILITE'04), Perth, Australia.

(6). Koscianski, A. and Bracarense Costa, J.C. (1999). "Combining Analytical

Hierarchical Analysis with ISO/IEC 9126 for a Complete Quality Evaluation Framework,"
Proc. of the 4th IEEE International Symposium and Forum on Software Engineering
Standards (ISESS'99). Curitiba, Brazil.

(7). Jung, H. W., Kim, S. G. and Chung, C. S. (2004). "MeasuringSoftware Product

Quality: A Survey of ISO/IEC 9126," IEEE Software, Vol. 21, No. 5.

(8). REY P., Andrés. (2013). Evaluación de la calidad de la tecnología educativa.

Bucaramanga: CVUdes.