Evaluacin de

Productos

Grupo 2

Agenda
Introduccin
Norma ISO/IEC 14598
Proceso para Evaluadores

Grupo 2

Evaluacin de Productos
Importancia de evaluar productos
Para la evaluacin de calidad:

Modelo de calidad
Mtodo de evaluacin
Medicin del software
Herramientas de soporte

Grupo 2

Norma ISO/IEC 14598

Conformada por:

1: Descripcin General
2: Planificacin y gerenciamiento
3: Proceso para Desarrolladores
4: Proceso para Adquirientes
5: Proceso para Evaluadores
6: Documentacin de Mdulos de evaluacin

Grupo 2

Norma ISO/IEC 14598-1

Descripcin General
Descripcin de las partes que conforman la norma
Quienes la pueden usar
Desarrolladores
Adquirientes
Evaluadores

Grupo 2

Norma ISO/IEC 14598-2

Planificacin y Gerenciamiento
Determinar requerimientos para asegurar el xito de la
evaluacin
Funcin de soporte al proceso de evaluacin:
Adquisicin de estandares nacionales e internacionales
Desarrollo de estandares internos y herramientas que se
adecuan a los requerimientos de la organizacin

Grupo 2

Norma ISO/IEC 14598-3

Define Proceso de evaluacin de producto para
Desarrolladores

Evaluacin para Desarrollo y Mantenimiento

Aplica a todas las fases del desarrollo
Se realiza por miembros de la propia empresa
Se evala productos intermedios y finales

Grupo 2

Norma ISO/IEC 14598-4

Define Proceso de evaluacin de producto para
Adquirientes
Evaluacin de productos ya desarrollados
La evaluacin resultante de este proceso se aplica
para la toma de decisiones de la adquisicin del
producto.

Grupo 2

Norma ISO/IEC 14598-5

Define Proceso de evaluacin de producto para
Evaluadores
Realizado por personal independiente
Evaluacin de productos intermedios y finales

Grupo 2

Norma ISO/IEC 14598-6

Gua para Documentacin de Mdulos de
evaluacin
Modulo de evaluacin: estandarizacin para
documentar nuevas mtricas y guias de uso
Se documentan las tcnicas, mtricas y mtodos del
proceso de evaluacin
Ej.;Definicin de Templates

Grupo 2

ISO/IEC 14598 - ISO/IEC 9126

Recursos y
entorno

Apoyo a la
evaluacin

Producto de
software

Proceso de
evaluacin

Proceso de
evaluacin

Mtricas
Internas

Mtricas
externas

Efecto del
producto
software

Mtricas de
calidad en
uso

14598-1
14598-2

14598-3

9126-1

14598-4
14598-6

14598-5

9126-3

9126-2

9126-4

Grupo 2

Agenda
Introduccin
Norma ISO/IEC 14598

Proceso para Evaluadores

Grupo 2

Proceso para evaluadores

Define un proceso de evaluacin
Actividades
Entregables

Debera ser usado por:

Laboratorios evaluadores
Empresas desarrolladoras de software
Adquirientes de software
Usuarios de un producto
Entidades certificadoras

Grupo 2

Proceso para evaluadores (2)

Promueve las siguientes caractersticas:

Repetible
Reproducible
Imparcial
Objetivo

Grupo 2

Establecimiento de los
a
Requerimientos

Grupo 2

Establecimiento de los
Requerimientos
Propsito
Definir los objetivos de la evaluacin.
- Proyectar uso del producto de software y
riesgos asociados.
- Puede ser interesante considerar diferentes
puntos de vista (desarrollador, proveedor,
encargado de mantenimiento, etc)

Grupo 2

Establecimiento
Caja
Ampliada de los
Requerimientos

Grupo 2

Entradas
Requerimientos del Solicitante
Aspectos del producto a gran escala que el Solicitante
quiere evaluar.

Grupo 2

Actividades a desarrollar
Planteo de requerimientos del Solicitante.
Definicin del cubrimiento de la evaluacin por
parte del Solicitante.
Orientacin del Evaluador hacia el Solicitante en
la definicin de requerimientos.
Acuerdo mutuo en la definicin de
requerimientos.

Grupo 2

Salidas
Requerimientos de la Evaluacin
Descripcin general del dominio de la aplicacin
Listado de requerimientos de calidad a evaluar (se
recomienda basarse en ISO/IEC 9126-1)
Ponderar reqs. de calidad en funcin del tipo de
aplicacin a evaluar

Grupo 2

Ejemplo: Reqs de la Evaluacin

Producto a Evaluar: Gmail
Evaluacin de Interfaz en las sig. tareas

Envio de mail
Uso de Chat
Armado de grupos
Redireccionamiento a otra casilla de correo

Atributos de calidad
Efectividad
Productividad
Satisfaccion

Grupo 2

Especificacin de la Evaluacin

Grupo 2

Especificacin de la Evaluacin
Propsito
Especificar las mediciones a realizar acerca de los
atributos anteriormente seleccionados.
Brindar un nivel de detalle suficiente como para
asegurar que el proceso sea repetible y reproducible.

Grupo 2

Especificacin de la Evaluacin

Grupo 2

Entradas
Requerimientos de Evaluacin (etapa anterior)
Descripcin del Producto (Solicitante)
Especificaciones Predefinidas (Evaluador)
Conjunto de posibles mediciones a realizar sobre un
cierto atributo de calidad

Grupo 2

Actividades a desarrollar
Anlisis de la descripcin del producto
Determinacin de los componentes a ser evaluados y
estudio de factibilidad.

Especificacin de las evaluaciones

Especificacin de que atributos de calidad van a ser
evaluados por componente.
Especificacin de las mtricas a ser utilizadas en
ciertos componentes (Evalo midiendo).
Determinacin de requerimientos a ser testados.
(Evalo testeando).

Grupo 2

Actividades a desarrollar (2)

Verificacin de la Especificacin de la Evaluacin

Verificar el cubrimiento de los Reqs. de evaluacin con
respecto a la Especificacin de la Evaluacin.

Grupo 2

Salidas
Especificacin de la Evaluacin
Resultado de las actividades anteriormente
mencionadas.

Grupo 2

Ejemplo: Esp. de la Evaluacin

Evaluaremos los siguientes atributos de calidad:
Efectividad
Productividad
Satisfaccin

Grupo 2

Ejemplo: Esp. de la Evaluacin

Efectividad
% funciones relevantes usadas
% de usuarios capaces de completar cada tarea
% de usuarios capaces de completar una tarea sin
capacitacin

Grupo 2

Ejemplo: Esp. de la Evaluacin

Productividad
Tiempo insumido en primer intento
Tiempo insumido normalmente
Cantidad de clicks necesarios

Grupo 2

Ejemplo: Esp. de la Evaluacin

Satisfaccin
Relacin entre opiniones positivas y negativas de los
usuarios
% de usuarios que recomendaran el producto
% de usuarios que lo califican de fcil uso en
comparacin con otro competidor

Grupo 2

Diseo de la Evaluacin

Grupo 2

Diseo de la Evaluacin
Propsito
Documentar los mtodos y procedimientos a ser
usados en la evaluacin
Identificar los recursos a ser utilizados en la evaluacin

Grupo 2

Diseo de la Evaluacin

Grupo 2

Entradas
Especificacin de la Evaluacin (etapa anterior)
Descripcin del Producto (Solicitante)
Mtodos de Evaluacin (Evaluador)
Conjunto de tcnicas y procedimientos conocidos por
el Evaluador.

Grupo 2

Actividades a desarrollar
Documentacin de los mtodos y
procedimientos en un plan inicial.
Para cada evaluacin a realizar, se deber describir en
forma detallada el mtodo a ser usado y como este va
a ser instancido.

Agendar las actividades a realizar de acuerdo a

los recursos disponibles.
Optimizacin del plan inicial.

Grupo 2

Salidas
Plan de la Evaluacin
Mtodos a seguir
Agenda.

Grupo 2

Ejemplo: Diseo de la Evaluacin

Plan de Evaluacin
Encuestas
% de usuarios que recomendaran el producto.

Cronmetro
Tiempo insumido en primer intento.

Contar clicks
Cantidad de clicks necesarios.

Grupo 2

Ejecucin de la Evaluacin

Grupo 2

Ejecucin de la Evaluacin
Propsito
Llevar a cabo el plan definido en el diseo registrando
los resultados obtenidos y las acciones tomadas.

Grupo 2

Ejecucin de la Evaluacin

Grupo 2

Entradas
Plan de la Evaluacin (etapa anterior)
Componentes del Producto (Solicitante)
Herramientas de Evaluacin (Evaluador)

Grupo 2

Actividades a desarrollar
Gestin de los componentes del producto
Llevar registro de los componentes de producto
recibidos.

Identificador nico de componente o documento

Nombre del documento o componente
Estado del documento (en buen estado, daado, etc)
Versin
Fecha de recibido

En caso de ser necesario se podra usar Gestin de la

Configuracin

Grupo 2

Actividades a desarrollar (2)

Gestin de resultados obtenidos

Manejo ordenado
Prevencin de modificaciones accidentales
Manejo de la confidencialidad
Tener en cuenta el lugar de desarrollo de la evaluacin

Grupo 2

Actividades a desarrollar (3)

Gestin del uso de herramientas
Inclusin en el Informe borrador de la evaluacin
informacin acerca de las herramientas utilizadas
Inclusin en el registro de acciones de informacin
detallada sobre el uso de herramientas
Verificacin del correcto funcionamiento de las
herramientas
Capacitacin (en caso de ser necesario) en el uso de
las herramientas.

Grupo 2

Actividades a desarrollar (4)

Revisin de los datos obtenidos y generacin de
reportes
Todos los resultados deben ser analizados
Participacin de integrantes no involucrados
directamente en la medicin de los resultados
Resultados de la revisin se deben incluir en el
Informe Borrador de la Evaluacin

Grupo 2

Salidas
Plan de la Evaluacin
Informe Borrador de la Evaluacin
Registros de Acciones

Grupo 2

Conclusin de la Evaluacin

Grupo 2

Conclusin de la Evaluacin
Propsito
Revisin conjunta (Solicitante, Evaluador) del Informe
Borrador de la Evaluacin
Eliminacin de los datos no relevantes de la
evaluacin

Grupo 2

Conclusin de la Evaluacin

Grupo 2

Entradas
Requerimientos de la Evaluacin (etapas
anteriores)
Especificacin de la Evaluacin(etapas
anteriores)
Informe Borrador de la Evaluacin(etapa
anterior)
Componentes del Producto (Solicitante)

Grupo 2

Actividades a desarrollar
Revisin conjunta
Puesta en comn de los resultados documentados
Comentarios del solicitante
Generacin del Informe Final de la Evaluacin, la cual
incluye la integracin de los documentos de entrada

Cierre de la evaluacin
Destino de los datos, documentos, componentes,
herramientas, hw, etc.

Grupo 2

Salidas del Proceso

Informe Final de la Evaluacin
Resultado de las actividades anteriormente mencionadas.
Entregado al Solicitante y almacenado por parte del
Evaluador

Grupo 2

Salidas del Proceso

Registros de la Evaluacin
Almacenado solo por el Evaluador
Es lo permite que el proceso sea repetible y
reproducible.

Grupo 2

Preguntas

Grupo 2