4.

4 Validación de un simulador

4.4.1 Pruebas Paramétricas (Validación Del Modelo, Pruebas de Hipótesis Y Pruebas

de Estimación)

Validación del modelo

Etapas en el desarrollo de un simulador.
Recordemos que las etapas nombradas para desarrollar un simulador son:
1) Identificación del problema
2) Delimitación del sistema
3) Formulación del modelo
4) Preparación de datos
5) Construcción del modelo
6) Validación
7) Diseño de experimentos
8) Ejecución de experimentos
9) Interpretación (Inferencia)
10) Documentación
IV) Etapa IV: Preparación de datos, o bien obtención de datos.

 Consiste en la identificación y captación de los datos que requiere el modelo, de

acuerdo a la formulación que se haya hecho en las etapas anteriores del diseño.
 Los datos son para:
 Las relaciones funcionales, ya sea para determinar la forma de éstas, completar su
forma o expresión, o para precisar algún parámetro que en ella se tenga.
 Las variables estocásticas, que de ellas se deberá determinar su función de
distribución de probabilidades, tanto para variables continuas como discretas.
 Las relaciones funcionales podrían ser, rectas obtenidas por regresión lineal o ajuste
de curvas.
 En las relaciones funcionales se debe fijar todos los parámetros que tenga; a menos
que se haya dejado como una variable de entrada al simulador.
Los datos a usar pueden ser:
Datos empíricos
Datos obtenidos con distribución teóricas.
El usar datos empíricos es en general más conveniente, pero puede implicar que el modelo
quede influido por factores que se dieron en el tiempo de gestación de ellos y no vuelvan a
repetirse.
V. Construcción del modelo
Es llevar el modelo que se tiene del simulador a un lenguaje de programación disponible en
el computador a usar o en las configuraciones disponibles, y que debe conocer su
programación. Luego que se tiene el programa fuente del modelo, escrito en el lenguaje
elegido, probarlo y depurarlo desde el punto de vista computacional, hasta obtener una
versión satisfactoria.
VI. Validación
Es esta etapa se trata de establecer, y si es posible aumentar, el nivel aceptable de
confiabilidad de las inferencias efectuadas sobre el sistema real.
La validación tiene el concepto de grado, no es un resultado dicotómico, no es un si o no,
no es válido o inválido, no es correcto o incorrecto.
Fuentes de error
En la formulación del modelo:
Que se excluya variables relevantes, o un atributo (esto es más dramático).
Que se incluya variables irrelevantes (es menos dramático).
Mala elección de una función de distribución de probabilidad para una variable.
Mal establecimiento de alguna relación funcional o de los parámetros del modelo.
En los datos usados
Toma de datos con margen de error relativo importante.
Técnica de muestreo mal aplicada. Ejemplo: Tomar todos los datos de un sector no
representativo.
Datos mal digitados o mal almacenados.
El analista hace un acto de confianza en el equipo que tenía los datos.
En la construcción
Errores en los programas (de lógica, mal uso del lenguaje).
El tiempo real se simula mal.
Uso de una imagen no adecuada del mundo real. (Usar matrices de punto para territorios,
lagos, bosque, cardumen, conglomerados; en lugar del espacio R2 por ej.)
La validación consiste en 2 etapas:
Validación de los modelos de procesos simples; esto es validar la estructura interna del
modelo.
Se valida la salida de los procesos simples y en ello se hace uso de técnicas de estadística.
Las relaciones funcionales también deben validarse. Puede hacerse cuando se establece
el modelo o en la toma de datos .No debe tomarse relaciones funcionales desconocidas, o
que no tengan ya un grado de validez aceptable. Siempre será posible validar las
componentes o subsistemas porque se habrán construido de manera modular para formar
el modelo. En esta etapa se observará el comportamiento del modelo en cada uno de esos
procesos simples para asegurarse que cada componente o subsistema esta bien simulado.
Validar el modelo de simulación en su entorno, esto es validar los datos de salida.
Puede ser que la validez de la estructura sea buena, pero el resultado combinado de los
procesos simples sea casi mala.
Confrontar los resultados de la simulación con las experiencias pasadas y con teorías
existentes al respecto:
No tomar posturas como: los resultados no me parecen correctos, pero si el modelo lo dice
yo lo acepto.
Si los resultados son absurdos, no tiene sentido continuar; cualquier otro análisis no
convencerá a los usuarios. Ningún modelo se ha aceptado si los resultados van contra la
teoría.
Para modelos de importancia, de envergadura deberá consultarse la opinión de expertos.
Análisis de sensibilidad
En las 2 etapas de la validación (de estructura y de los datos de salida) se debe hacer
análisis de sensibilidad.
Para ello, se varía los valores de 1 o 2 variables de entrada y se observa la respuesta del
modelo. Es de cuidado cuando el modelo es muy sensible a una pequeña variación de una
variable, y en general el modelo no es bueno cuando ello ocurre.
Efectuar análisis de sensibilidad de las variables dependientes ante cambios de las
variables independientes.
Con un simulador se puede realizar muchos análisis de sensibilidad por el grado de control
sobre las variables de entrada (Método Turing ). Luego consultar a expertos, si es posible.
Análisis de la capacidad de replicar los datos que se usó en su construcción. Esta réplica
no es tan importante ya que si replica los datos usados no significa que el modelo sea
bueno; y, si ni siquiera replica los datos usados es porque el modelo de simulación obtenido,
es malo.
Análisis de la capacidad de predecir usando datos críticos no incluidos en los datos, o usar
datos históricos o datos que se obtienen del sistema real o de otro simulador ya probado.
Se espera que estas salidas no sean absurdas comparadas con la experiencia y la teoría.
Se consulta la opinión de expertos en esta confrontación del modelo con la realidad
presente.
Ej. Simular la evolución de una población de chinchillas dándole población máxima altísima,
y datos de población existentes. Consulta a expertos en chinchillas.
El modelo debe correrse muchas veces antes de llegar a tener una probabilidad de
distribución de la respuesta de un variable de salida.
VII Diseño de experimentos
Aquí se usan las reglas y los procedimientos que la estadística considera para el diseño de
experimentos en general y que se aplica a diseñar experimentos a efectuar con el
simulador.
El diseño se hará orientado principalmente a los objetos que tiene el estudio o el programa
en que se inserta la construcción del simulador, o los objetivos de los usuarios que utilizarán
el simulador, y para lo cual éste fue diseñado.
Se puede distinguir una etapa estratégica donde se decide el diseño de experimentos a
usar por ser el más adecuado, y la etapa táctica donde se decide el cómo se llevará a la
práctica los experimentos del diseño a aplicar. Se ve aquí la distribución de recursos, el uso
del tiempo y del personal.
VIII Ejecución de los experimentos
Corresponde a la etapa operacional del diseño de experimentos.
IX Interpretación
Se hacen las inferencias sobre el sistema real de los datos generados por el simulador.
X. Documentación
Se debe indicar por escrito puntos tales como: los objetivos, las componentes y
subsistemas, variables de entrada y de salida, relaciones funcionales, el modelo formulado,
la función de desempeño, y lo pertinente hasta aquí (Diseño lógico del simulador).
Se debe documentar el programa computacional, los módulos o las subrutinas, las inter-
relaciones entre módulos y las conclusiones de la etapa de validación (Diseño físico del
simulador).
Confeccionar un manual de procedimiento para el uso del simulador. Este resultará más
breve cuanto más amigable sea el ingreso y manejo del simulador. Deberá contener
alcances que faciliten la inferencia al sistema real.
XII. Explotación
Es dejar el simulador con los manuales y documentación a disposición del o los usuarios.
Pruebas de hipótesis
Una
Al realizar pruebas de hipótesis, se parte de un valor supuesto (hipotético) en parámetro
poblacional. Después de recolectar una muestra aleatoria, se compara
la estadística muestral, así como la media (x), con el parámetro hipotético, se compara con
una supuesta media poblacional. Después se acepta o se rechaza el valor hipotético, según
proceda. Se rechaza el valor hipotético sólo si el resultado muestral
resulta muy poco probable cuando la hipótesis es cierta.
Etapas Para La Prueba De Hipótesis.
Etapa 1.- Planear la hipótesis nula y la hipótesis alternativa. La hipótesis nula (H0) es el
valor hipotético del parámetro que se compra con el resultado muestral resulta muy poco
probable cuando la hipótesis es cierta.
Etapa 2.- Especificar el nivel de significancia que se va a utilizar. El nivel de significancia
del 5%, entonces se rechaza la hipótesis nula solamente si el resultado muestral es tan
diferente del valor hipotético que una diferencia de esa magnitud o mayor, pudiera ocurrir
aleatoria mente con una probabilidad de 1.05 o menos.
Etapa 3.- Elegir la estadística de prueba. La estadística de prueba puede ser la estadística
muestral (el estimador no segado del parámetro que se prueba) o una versión transformada
de esa estadística muestral. Por ejemplo, para probar el valor hipotético de una media
poblacional, se toma la media de una muestra aleatoria de esa distribución normal,
entonces es común que se transforme la media en un valor z el cual, a su vez, sirve como
estadística de prueba.
Etapa 4.- Establecer el valor o valores críticos de la estadística de prueba. Habiendo
especificado la hipótesis nula, el nivel de significancia y la estadística de prueba que
se van a utilizar, se produce a establecer el o los valores críticos de estadística de prueba.
Puede haber uno o más de esos valores, dependiendo de si se va a realizar una prueba de
uno o dos extremos.
Etapa 5.- Determinar el valor real de la estadística de prueba. Por ejemplo, al probar un
valor hipotético de la media poblacional, se toma una muestra aleatoria y se determina el
valor de la media muestral. Si el valor crítico que se establece es un valor de z, entonces
se transforma la media muestral en un valor de z.
Etapa 6.- Tomar la decisión. Se compara el valor observado de la estadística muestral con
el valor (o valores) críticos de la estadística de prueba. Después se acepta o se rechaza la
hipótesis nula. Si se rechaza ésta, se acepta la alternativa; a su vez, esta decisión tendrá
efecto sobre otras decisiones de los administradores operativos, como por ejemplo,
mantener o no un estándar de desempeño o cuál de
dos estrategias de mercadotecnia utilizar.
La distribución apropiada de la prueba estadística se divide en dos regiones: una región
de rechazo y una de no rechazo. Si la prueba estadística cae en esta última región no se
puede rechazar la hipótesis nula y se llega a la conclusión de que el proceso funciona
correctamente.
Al tomar la decisión con respecto a la hipótesis nula, se debe determinar el valor crítico en
la distribución estadística que divide la región del rechazo (en la cual la hipótesis nula no se
puede rechazar) de la región de rechazo. A hora bien el valor crítico depende del tamaño
de la región de rechazo.
PASOS DE LA PRUEBA DE HIPÓTESIS
1. Expresar la hipótesis nula
2. Expresar la hipótesis alternativa
3. Especificar el nivel de significancia
4. Determinar el tamaño de la muestra
5. Establecer los valores críticos que establecen las regiones de rechazo de las de
no rechazo.
6. Determinar la prueba estadística.
7. Coleccionar los datos y calcular el valor de la muestra de la prueba estadística
apropiada.
8. Determinar si la prueba estadística ha sido en la zona de rechazo a una de no rechazo.
9. Determinar la decisión estadística.
10 Expresar la decisión estadística en términos del problema.

Errores de tipo I y de tipo II.

Si rechazamos una hipótesis cuando debiera ser aceptada, diremos que se ha cometido un
error de tipo I. Por otra parte, si aceptamos una hipótesis que debiera ser rechazada,
diremos que se cometió un error de tipo II. En ambos casos, se ha producido
un juicio erróneo.
Para que las reglas de decisión (o no contraste de hipótesis) sean buenos, deben diseñarse
de modo que minimicen los errores de la decisión; y no es una cuestión sencilla, porque
para cualquier tamaño de la muestra, un intento de disminuir un tipo de error suele ir
acompañado de un crecimiento del otro tipo. En la práctica, un tipo de error puede ser
más grave que el otro, y debe alcanzarse un compromiso que disminuya el error más grave.
La única forma de disminuir ambos a la vez es aumentar el tamaño de la muestra que no
siempre es posible.

4.4.2 pruebas no paramétricas.

Cuando se analizan datos medidos por una variable cuantitativa continua, las
pruebas estadísticas de estimación y contraste frecuentemente empleadas se
basan en suponer que se ha obtenido una muestra aleatoria de una distribución de
probabilidad de tipo normal o de Gauss. Pero en muchas ocasiones esta suposición
no resulta válida, y en otras la sospecha de que no sea adecuada no resulta fácil de
comprobar, por tratarse de muestras pequeñas. En estos casos disponemos de dos
posibles mecanismos: los datos se pueden transformar de tal manera que sigan una
distribución normal, o bien se puede acudir a pruebas estadísticas que no se basan
en ninguna suposición en cuanto a la distribución de probabilidad a partir de la que
fueron obtenidos los datos, y por ello se denominan pruebas no paramétricas
(distribución free), mientras que las pruebas que suponen una distribución de
probabilidad determinada para los datos se denominan pruebas paramétricas.
Dentro de las pruebas paramétricas, las más habituales se basan en la distribución
de probabilidad normal, y al estimar los parámetros del modelo se supone que los
datos constituyen una muestra aleatoria de esa distribución, por lo que la elección
del estimador y el cálculo de la precisión de la estimación, elementos básicos para
construir intervalos de confianza y contrastar hipótesis, dependen del modelo
probabilístico supuesto.
Referencias:
Bu, R. C. (2003). Simulacion, Un enfoque Practico. Mexico,DF: LIMUSA, S.A DE C.V.

Dominguez, I. S. (17 de Septiembre de 2016). SIMULACION. Obtenido de SIMULACION:

https://www.academia.edu/7207310/Librodesimulacion?auto