Você está na página 1de 16
UNIVERSIDADE FEDERAL DE UBERLÂNDIA FACULDADE DE ENGENHARIA MECÂNICA FEMEC 42083 SIMULAÇÃO DE SISTEMAS AUTOMATIZADOS
UNIVERSIDADE FEDERAL DE UBERLÂNDIA
FACULDADE DE ENGENHARIA MECÂNICA
FEMEC 42083 SIMULAÇÃO DE SISTEMAS
AUTOMATIZADOS

Módulo 4: Validação Operacional de Modelos e Análise de Resultados

Prof. Dr. José Jean-Paul Zanlucchi de Souza Tavares

Data

Autor

Revisor

Revisão

16/06/2015

Jean Tavares

Jean Tavares

0

16/11/2015

Jean Tavares

Jean Tavares

1

02/06/2016

Jean Tavares

Jean Tavares

2

10/11/2016

Jean Tavares

Jean Tavares

3

2016

UNIVERSIDADE FEDERAL DE UBERLÂNDIA FACULDADE DE ENGENHARIA MECÂNICA FEMEC 42083 SIMULAÇÃO DE SISTEMAS AUTOMATIZADOS
UNIVERSIDADE FEDERAL DE UBERLÂNDIA
FACULDADE DE ENGENHARIA MECÂNICA
FEMEC 42083 SIMULAÇÃO DE SISTEMAS
AUTOMATIZADOS

Sumário

Agradecimento

3

  • 1. Introdução

4

  • 2. Objetivos .........................................................................................................................

5

  • 3. Validação de Dados

6

  • 4. Análise dos Resultados

.....................................................................................................

7

  • 5. Atividades

13

Relatório Impresso (7 pontos)

.................................................................................................

13

Apresentação Oral (3 pontos)

......................................................Erro!

Indicador não definido.

Referências Bibliográficas

..................................................................................................

16

Agradecimento

Agradeço o discente Marco Vinícius Muniz Ferreira pelos dados reais capturados na bancada e disponibilizados para realização dos exercícios propostos nesse módulo.

1. Introdução

O assunto validação e verificação de modelos de simulação PE fundamental para que o simulador seja bem sucedido. Apesar dessas atividades advirem depois da construção do modelo computacional, na realizada deve ser realizado ao longo do desenvolvimento do mesmo. O termo validação está relacionado com o modelo conceitual, nesse caso o objetivo de validar o modelo é avaliar se o foi implementado representa adequadamente o sistema a ser simulado. A verificação, por sua vez, está relacionada com o modelo computacional em si. O que se questiona nessa fase é se o modelo foi implementado corretamente. Isso inclui a retirada de bugs, por exemplo. Nesse sentido pode existir um modelo que foi verificado mas é inválido pois não representa adequadamente o sistema a ser simulado. Não há como validar um modelo 100%, apenas garantir que ele seja 100% válido, o que quer dizer aumentar nossa confiança no modelo. Da mesma maneira não há como garantir que um modelo seja livre de bugs. A verificação depende dos testes que foram realizados e esses apenas verificam parcialmente o modelo computacional. Um modelo é certificado quando o mesmo é aceitável para uma aplicação específica, o que envolve processos de verificação e validação. Outra questão importante é a validade dos dados que podem ser utilizados para construção do modelo conceitual (módulo 1), validação de dados e experimentação. Normalmente se utiliza dados históricos para calibrar o modelo. Consequentemente a saída do modelo deve ser compatível com o desempenho verificado no sistema. Uma fonte de problemas são valores discrepantes ou outliers nos dados colhidos do sistema real. Terminando a verificação e validação conceitual o modelo de simulação torna-se operacional e fonte de experimentos estatísticos no processo de análise do comportamento do sistema.

2. Objetivos

Esta atividade prática tem como objetivo familiarizar o aluno com a validação operacional e a análise de resultados de modelos de simulação.

3. Validação Operacional de Dados

Uma forma de avaliar se o resultado do sistema de simulação está adequado com o sistema real é comparar saídas. O teste estatístico proposto por Kleijnen (1995) estabelece se o intervalo de confiança contém o zero, pode-se afirmar com (1-α).100% que as respostas são equivalentes. O intervalo de confiança é calculado de acordo com a Equação 1.

x

S

x

R

±t

2n2,

α

/2

2 2 s +s S R n
2
2
s
+s
S
R
n

(1)

Onde

x

S

é a média do resultado obtido a partir da simulação,

x

R

é a média do

resultado obtido pelo sistema real,

s é o desvio padrão do resultado obtido a partir da

S

simulação,

R

observações e

s é o desvio padrão do resultado obtido pelo sistema real, n é o número de

t é a distribuição t de Student para 2n-2 graus de liberdade em um

2n2,/ 2

nível de significância α/2. Caso o intervalo de confiança contenha o número zero, pode-se afirmar com α% de

confiança que o modelo é equivalente ao sistema real para essa medida de desempenho (média do nível de atendimento). Dessa forma é necessário verificar a validade operacional de todas as medidas de desempenho que se achar necessário. Sendo assim, para se validar operacionalmente um modelo computacional de um sistema deve-se:

1)

Definir a(s) medida(s) de desempenho a serem analisadas.

2)

Obter dados reais.

3) Replicar o modelo computacional no mesmo número de vezes que o item 2, para

a(s) medida(s) de desempenho definidas no item 1. 4) Calcular a média e desvio padrão da diferença dos dados real e simulado para toda(s) a(s) medida(s) de desempenho determinadas anteriormente.

5)

Gerar o intervalo de confiança de acordo o teste de Kleijnen (Equação 1).

6) Caso o intervalo de confiança do item 5 contenha o 0, pode-se afirmar com α% de confiança que o modelo é equivalente ao sistema real para essa(s) medida(s)

de desempenho.

.

4. Análise dos Resultados

O processo de análise de resultados é menos dispendioso que os anteriores. É momento do modelo trabalhar! É importante avaliar qual o regime que o sistema atua, transitório ou permanente. No caso de regime transitório, os valores da(s) medida(s) de desempenho oscilam por um determinado período de tempo, podendo, depois desse período específico convergirem, atingindo assim um regime permanente. Como exemplo temos a média acumulada do número obtido no lançamento de dados. Teoricamente, como a possibilidade de ocorrência de cada face é 1/6, a média dos valores obtidos será dada pela Equação 2.

6

i 1

(1/ 6)* i

(2)

A Tabela 1 apresenta os resultados dos 10 primeiros lançamentos de dados. Tabela 1: Média Acumulada de 10 lançamentos de dados

Lançamento

Número Obtido

Média Acumulada

  • 1 1

1/1=1,0

  • 2 1

(1+1)/2=1,0

  • 3 4

(1+1+4)/3=2,0

  • 4 6

(1+1+4+6)/4=3,0

  • 5 6

3,6

  • 6 5

3,8

  • 7 2

3,6

  • 8 1

3,5

  • 9 2

3,3

10

1

3,1

As Figuras 1 e 2 apresentam o resultado dos 10 primeiros lançamentos e o resultado para 150 lançamentos, respectivamente. Nota-se, na Figura 2, como a média dos primeiros 50 lançamentos é influenciada pelo comportamento inicial do sistema

representando um regime transitório, enquanto, a partir desse ponto, pode-se dizer que o sistema se encontra em regime permanente

6 Média Acumulada dos Lançamentos 5 4 3,5 3 2 1 12 34 56 78 9
6
Média Acumulada
dos Lançamentos
5
4
3,5
3
2
1
12
34
56
78
9
10
Lançamentos
Figura 1: Comportamento da
lançamentos de dados
média acumulada dos valores
obtidos
após
10
 

6,0

Média Acumulada

dos Lançamentos

5,5

5,0

4,5

4,0

3,5

3,0

2,5

2,0

1,5

1,0

Regime Transitório Regim e Permanente 0 20 40 60 80 100 120 140
Regime Transitório
Regim e Permanente
0
20
40
60
80
100
120
140

Lançamentos

Figura 2: Comportamento da média acumulada dos valores obtidos após 150 lançamentos de dados.

Também podemos analisar os sistemas em função do tempo de simulação, nesse caso, separa-se os sistemas em terminais, que tem tempo conhecido de execução dos não terminais, os quais não se sabe com certeza qual o momento do término da simulação. Exemplo de simulação terminal é a simulação de número de atendimentos efetivos em um Call Center que trabalha 8h por dia, 20 dias por mês. Um exemplo de simulação não terminal a produção de ferro gusa de um alto forno de usina siderúrgica que opera 24h por dia, todos os dias do mês. A identificação de qual tipo de simulação implica em metodologias distintas na análise da saída dos dados. Deve-se, a seguir, definir as medidas de desempenho adequadas, que varia de sistema para sistema. A comparação será realizada com o resultado da(s) medida(s) de desempenho obtidas pelo simulador em função de cada replicação ou rodada. Uma rodada pode envolver diversas replicações. A replicação é a repetição da simulação do modelo, de mesma configuração, mesma duração e parâmetros de entrada, mas com uma semente de geração dos números aleatórios diferentes. Cada rodada pode ter configurações, duração e parâmetros de entrada distintos, e pode ser entendida como um novo “experimento”. A análise dos resultados da(s) rodada(s) e ou replicação(ões) varia de acordo com a confiança estatística desejado e apresenta diferentes precisões. A confiança estatística está relacionada com o intervalo de confiança, um intervalo de valores que contém a média da população com uma certa probabilidade. A precisão refere-se ao tamanho desse intervalo. De nada adianta uma confiança estatística elevada para um tamanho de intervalo tão grande que nada se pode concluir sobre a média da população. .Um intervalo de confiança 100 (1-α) % para a média de uma população é construído através da equação de Devore (2000), de acordo com as Equações 3 e 4.

P(x h x h)) 1s

h

t

n1,/ 2

n
n

(3)

(4)

Onde

x

é a média das amostras, h é a precisão,

t

n1,/ 2

é o (1-α/2) percentil da

distribuição t de Student com n-1 graus de liberdade, s é o desvio padrão da amostra e n é o número de dados da amostra.

Como exemplo, a partir da Tabela 2 de média de pessoas em fila para cada replicação realizada, pode-se obter os intervalos de confiança apresentados na Tabela 3. Nota-se que quanto maior a confiança, maior o intervalo, o que significa um sistema menos preciso. Tabela 2: Média de pessoas em fila por replicação

Replicação

Média de Pessoas em Fila

1

6,72

2

2,00

3

0,38

4

1,28

5

0,46

6

0,19

7

0,14

8

1,30

9

0,12

10

2,85

Média de 10 replicações

1,54

Desvio Padrão

2,03

Tabela 3: Intervalos de Confiança

n

Confiança

100(1)%

t

n1,α /2

Precisão (metade do intervalo)

h= t n1,α/ 2

s

n
n

Intervalo de

Confiança da

Média(x=1,54)

  • 10 3,25

99%

0,01

  • 10 2,26

95%

0,05

  • 10 1,83

90%

0,10

  • 10 1,38

80%

0,20

2,09

1,45

1,18

0,89

0,55 μ 3,63 0,09 μ 3,00

0,37

0,65

μ 2,72 μ 2,43

É possível descobrir o número necessário de replicações n* para se obter uma

precisão desejada h* dado um número conhecido de replicações n e uma precisão

calculada h. A Equação 5 apresenta a fórmula para se definir o número de replicações

necessárias.

*

n

 

n

h

h

*

2

 

(5)

Em síntese, a análise de dados para sistemas terminais deve passar pelos seguintes

passos:

  • 1. Estabelecer as medidas de desempenho adequadas;

  • 2. Escolher a confiança estatística e a precisão com que se pretende trabalhar;

  • 3. Definir, a partir da observação do sistema real, o tempo de simulação;

  • 4. Construir a “amostra piloto”;

  • 5. Determinar o número de replicações necessárias;

  • 6. Rodar o modelo novamente;

  • 7. Calcular o novo intervalo de confiança.

Para sistemas não terminais pode-se utilizar três técnicas distintas, a saber:

Começar a simulação em um estado próximo daquele esperado em regime

permanente;

Rodar o modelo por um tempo de simulação longo;

Eliminar, dos dados de saída, todos os valores gerados durante o período

transitório.

A seguir, deve-se utilizar os seguintes quatro passos para análise de dados de

sistemas não terminais:

  • 1. Estabelecer as medidas de desempenho adequadas;

  • 2. Escolher a confiança estatística e a precisão com que se pretende trabalhar;

  • 3. Identificar o período de aquecimento (warm-up);

  • 4. Determinar o tempo de duração da simulação;

    • a. O tempo de execução é curto: construir os intervalos de confiança a partir de um conjunto de replicações;

    • b. O tempo de execução é longo: construir lotes a partir de uma única replicação de longa duração e construir os intervalos de segurança.

A comparação de resultados pode ser realizada para alternativas com mesmo

número de replicações ou não. No caso de mesmo número de replicações deve-se

realizar o teste estático entre duas médias x ji , onde x ji é a observação obtida pela iésima

replicação da alternativa j. A seguir, deve-se:

Calcular as diferenças entre x 1i e x 2i ;

Calcular a média e desvio das diferenças;

Construir o intervalo de confiança [1 , 2 ] para a média das diferenças;

Se o intervalo de confiança contiver o 0 nada se pode concluir. Se for totalmente

a direita do 0, então a alternativa 1 tem maior média. Se for totalmente a

esquerda do 0, então a alternativa 2 tem maior média.

No caso de comparação o teste é semelhante ao anterior, mas a média e variância

são calculadas para cada alternativa separadamente. O intervalo de confiança com

100(1-)% é dado por:

Diferença das médias t v,2 .(s1^2 n1 + s2^2 n2)^0.5 , onde v é o número de

graus de liberdade que pode ser obtido pela expressão (arredondado para o

inteiro acima) v = (s 1 ^2 n 1 + s 2 ^2 n 2 )^2 [(s 1 ^2 n 1 ) ^2(n 1 -1) + (s 2 ^2 n 2 ) ^2

(n 2 -1)]

5. Atividades

Relatório (10 pontos)

1) Com base no modelo computacional realizado no MATLAB e ARENA (Módulo 3),

corrija os tempos e percentuais de separação de peça acordo com a Tabela 4, mantendo

a sequência de separação começando com peças pequenas, médias e grandes, para

depois retirar as peças metálicas (refugo). Refaça as 10 replicações para uma entrada

com média de 5 segundos, exponencialmente distribuída; e avalie a diferença

encontrada no relatório do módulo 3.

Tabela 4: Tempo de separação e percentual por tipo de peça

Tipo de Peça

Tempo de Separação (ms)

Percentual de Peça

Pequena

  • 2400 ± 250 (distr. Normal)

25%

Média

  • 4400 ± 250 (distr. Normal)

25%

Grande

  • 6000 ± 250 (distr. Normal)

25%

Refugo (Metálica)

  • 6400 ± 250 (distr. Normal)

25%

2) Efetue a validação operacional dos dados do MATLAB e do ARENA atualizados,

mas para uma rodada cujo modelo primeiro refugue as peças para, em seguida, separar

grandes, médias e pequenas. As Tabelas 5 a 8 mostram o número de peças e os tempos

de cada caso real a ser considerado. Defina a(s) medida(s) de desempenho que achar

conveniente(s). Teste as nove medidas listadas no exercício 3.

Tabela 5: Dados do primeiro caso real

5. Atividades Relatório (10 pontos) 1) Com base no modelo computacional realizado no MATLAB e ARENA

Tabela 6: Dados do segundo caso real

Tabela 6: Dados do segundo caso real Tabela 7: Dados do terceiro caso real Tabela 8:

Tabela 7: Dados do terceiro caso real

Tabela 6: Dados do segundo caso real Tabela 7: Dados do terceiro caso real Tabela 8:

Tabela 8: Dados do quarto caso real

Tabela 6: Dados do segundo caso real Tabela 7: Dados do terceiro caso real Tabela 8:

3) Realize o cálculo da precisão para 20 replicações do caso em que as peças são

refugadas primeiro por um período de 20 dias úteis de trabalho, 8 horas por dia, com α

de 95%. Calcule o número de replicações para reduzir a precisão para metade do valor

encontrado inicialmente. Realize as replicações necessárias e recalcule a precisão até

que a mesma seja realmente menor que metade da precisão com 20 replicações

4) Refaça o exercício anterior para uma rodada em que as peças são refugadas ao final e

compare os resultados com o exercício 3, para 20 replicações, nas mesmas condições.

Informe qual dos dois cenários (refugo ao final e refugo no início) tem maior

produtividade, ou seja, compare os resultados e informe qual tem maior média de item

totais processados no período.

Referências Bibliográficas

Chwif, L, Medina, A.,C.

Modelagem e simulação de eventos discretos: Teoria e

Prática. 2ª. Edição, São Paulo, Ed. Dos Autores, 2006.

Devore, J.

Probability and statistics for engineering and sciences. 5ª. ed. Pacific

Grove: Duxbury Press, 2000.

 

Kleijnen, J.P.C.

Verification

and

validation

of

simulation

models.

European

Journal of Operational Research, v. 82, n.1, p. 145-162, 1995.