Meta-heurísticas em

Otimização Combinatória
Tema 13
Avaliação de Heurísticas
e Meta-heurísticas

Profª Laura Bahiense

 Contexto

• Os métodos heurísticos são desenvolvidos para resolver, de maneira

aproximada e rápida, problemas difíceis de otimização para os quais os
métodos exatos necessitariam de um tempo computacional impraticável

• Os algoritmos heurísticos utilizam conhecimento sobre o problema ou sobre

as soluções do problema com o objetivo de encontrar, rapidamente,
soluções de boa qualidade, não necessariamente ótimas

• Dessa forma, as heurísticas representam um equilíbrio entre o esforço

computacional e qualidade da solução que se busca

• Para obter esse equilíbrio, é importante que se tenha um bom

conhecimento sobre o problema, para melhor explorar seu espaço de busca

Profa Laura Bahiense 2/18 Meta-heurísticas em Otimização Combinatória Avaliação de Heurísticas e Meta-heurísticas
 A análise de resultados
e a dependência das soluções iniciais
• As meta-heurísticas são, em geral, baseadas em alguma solução inicial e na
aplicação de métodos de melhoria
• A análise dos resultados de uma MH não é uma tarefa trivial, já que as MH
são altamente dependentes do conjunto de soluções iniciais
• Uma solução inicial distante do ótimo global pode fazer com que a MH
necessite de mais tempo para atingi-lo, o que reduz a probabilidade de que
o ótimo global seja encontrado
• Por outro lado, se a solução inicial estiver próxima ao ótimo global, as
chances de que ele seja encontrado aumentam, além de reduzir a
quantidade de avaliações necessárias
• Devido a esta dependência, a análise da qualidade de uma MH em geral é
realizada a partir de métricas calculadas sobre várias execuções da MH,
com um mesmo conjunto de parâmetros, sobre um mesmo problema,
porém com diferentes soluções iniciais
Profa Laura Bahiense 3/18 Meta-heurísticas em Otimização Combinatória Avaliação de Heurísticas e Meta-heurísticas
 Comparação entre MHs

• Não existe uma norma geral sobre como as comparações entre as MH

devem ser realizadas, nem sobre quais testes estatísticos devem ser
aplicados

• Geralmente, cada pesquisador escolhe as métricas mais comumente

aplicadas na literatura, ou aquelas utilizadas no trabalho anterior dos
pesquisadores com quem ele deseja se comparar

• A aplicação de métricas de uma maneira inadequada e a falta de

comparações por meio de testes estatísticos dificultam uma comparação
justa entre trabalhos distintos

Profa Laura Bahiense 4/18 Meta-heurísticas em Otimização Combinatória Avaliação de Heurísticas e Meta-heurísticas
 Comparação entre MHs:
métricas
• Existem várias métricas de avaliação do desempenho de uma MH:
quantidade de avaliações, tempo de processamento, valor da melhor
solução encontrada, valor médio das melhores soluções encontradas, taxa
de sucesso, desempenho de sucesso
• A comparação baseada nessas métricas é realizada, em geral, através da
média e do desvio padrão
• Por não haver um padrão ou norma adotado pela comunidade acadêmica,
a comparação dos resultados entre duas publicações pode ser impossível,
uma vez que os resultados apresentados por um pesquisador podem estar
incompletos
• Outra característica muito comum consiste na comparação desleal entre
um novo método, contendo os mais recentes avanços no estado-da-arte,
com um método clássico e de mais baixo desempenho. Por isso, é
importante que se façam sempre comparações justas, entre algoritmos de
características similares
Profa Laura Bahiense 5/18 Meta-heurísticas em Otimização Combinatória Avaliação de Heurísticas e Meta-heurísticas
 Comparação entre MHs:
métrica quantidade de avaliações
• Trata-se da quantidade de avaliações da função objetivo (a ser otimizada) que
o algoritmo necessita efetuar para encontrar a melhor solução
• Seja Avalia o conjunto formado por todos os valores de “quantidade de
avaliações” para cada execução do algoritmo. Avalia pode não possuir uma
distribuição normal, por isso, deve-se evitar a apresentação apenas do valor
de sua média
• Para realizar uma comparação adequada com outros algoritmos, essa métrica
deve ser apresentada junto com algumas estatísticas do conjunto Avalia :
mínimo, máximo, média, mediana, desvio padrão, 1º quartil (valor abaixo do
qual estão ¼ dos dados) e 3º quartil (valor abaixo do qual estão ¾ dos dados)
• Prós: essa métrica é importante pois fornece um indicativo do custo
computacional do algoritmo, já que este custo está diretamente relacionado
ao tempo de cálculo da função objetivo
• Contras: o custo final do algoritmo pode ser muito subestimado se ele utilizar
alguma técnica com alto custo computacional que extraia informações dos
dados para guiar a busca, sem a necessidade de muitas avaliações da F.O.
Profa Laura Bahiense 6/18 Meta-heurísticas em Otimização Combinatória Avaliação de Heurísticas e Meta-heurísticas
 Comparação entre MHs:
métrica tempo de processamento
• Trata-se da medida de tempo físico que o algoritmo requer para encontrar
a melhor solução em um certo computador
• Em geral, são informadas apenas média e desvio padrão de um conjunto de
repetições do algoritmo
• Prós:
 Em problemas em que o tempo computacional é crítico, como na tomada de
decisão em tempo real, p.ex., essa métrica possui uma relevância muito grande
 Ela pode ser usada para comparar (diferenciar) algoritmos com quantidade de
avaliações muito similares
 É a única métrica que leva em consideração o custo computacional completo
do algoritmo (e não apenas da função objetivo)

• Contras: deve-se tomar cuidado especial na comparação entre trabalhos

executados em plataformas computacionais diferentes. Nestes casos
devem-se comparar os tempos ponderados pelos Mflops dos
computadores envolvidos
Profa Laura Bahiense 7/18 Meta-heurísticas em Otimização Combinatória Avaliação de Heurísticas e Meta-heurísticas
 Comparação entre MHs:
métrica valor da melhor solução encontrada
• Trata-se da melhor valor de função objetivo alcançado pelo algoritmo nas
iterações

• Prós:
 É muito utilizada para comparar algoritmos que não chegam ao ótimo
ou alvo conhecido para o problema, para ver quem chega mais perto
deste alvo
 Ela pode ser útil em problemas reais quando existe um limite de tempo
de processamento: que solução (qualidade) conseguimos obter com
esse tempo?

• Contras: publicações que utilizam essa métrica costumam apresentar

apenas o melhor resultado encontrado, sem qualquer outra informação
como: quantidade de vezes que o valor foi alcançado, o valor médio
encontrado, o desvio padrão, etc

Profa Laura Bahiense 8/18 Meta-heurísticas em Otimização Combinatória Avaliação de Heurísticas e Meta-heurísticas
 Comparação entre MHs:
métrica valor médio das melhores soluções encontradas
• Com essa métrica em geral apresentam-se apenas estimadores de média e
desvio padrão
• Como, em geral, o conjunto formado pelas melhores soluções encontradas pode
não possuir uma distribuição normal, deve-se evitar a apresentação desses
dados isoladamente
• Para possibilitar uma comparação adequada com outros algoritmos, essa
métrica deve ser apresentada junto com outras informações, tais como:
mínimo, máximo, média, mediana, desvio padrão, 1º quartil e 3º quartil
• Prós:
 É uma métrica importante pois está relacionada à eficácia do algoritmo
 Com ela é possível concluir se o algoritmo é capaz de fornecer, na média, soluções
de boa qualidade ou se o algoritmo é inadequado para o problema
• Contras: as comparações diretas entre médias e medianas devem ser evitadas,
uma vez que algoritmos com comportamentos (funções de distribuição)
consideravelmente diferentes podem apresentar médias similares
Profa Laura Bahiense 9/18 Meta-heurísticas em Otimização Combinatória Avaliação de Heurísticas e Meta-heurísticas
 Comparação entre MHs:
métrica taxa de sucesso
• A taxa de sucesso indica quantas vezes a solução ótima (ou o alvo) foi
encontrado nas repetições do algoritmo

• Prós: essa métrica possibilita uma avaliação da robustez do algoritmo em

termos de porcentagem de sucesso

• Contras:
 Essa métrica precisa ser combinada com uma medida de custo
computacional, preferencialmente com as estatísticas relacionadas à
quantidade de avaliações, para que uma análise adequada possa ser
realizada
 Isso para evitar, p.ex., que um algoritmo que possua 100% de sucesso
utilizando muitas avaliações seja considerado melhor do que um outro
algoritmo que possua 90% de sucesso utilizando significativamente menos
avaliações

Profa Laura Bahiense 10/18 Meta-heurísticas em Otimização Combinatória Avaliação de Heurísticas e Meta-heurísticas
 Comparação entre MHs:
métrica desempenho de sucesso
• Em 2005 Suganthan et. al. Introduziram a métrica desempenho de sucesso, que
combina a taxa de sucesso (TS) com a média da quantidade de avaliações (QA)
necessárias para se atingir a solução ótima (ou o alvo): QAO *
DS 
TS
• Em alguns trabalhos os autores apresentam a média de avaliações de todos os testes e
não apenas os que obtiveram sucesso. Mas, para calcular DS deve-se calcular a média
de avaliações realizadas apenas quando o algoritmo encontrou o ótimo ou o alvo
conhecido
• Para garantir esse cálculo de maneira correta quando se está comparando com outro
artigo onde não sabemos se os autores calcularam assim ou não, basta calcular (onde
r=número de repetições):
QAO* 
QA r  1  TS  MAX aval 100
TS  r
• Prós: comparação mais justa do que utilizar apenas a TS
• Contras: não existem testes estatísticos para comparar valores de DS entre dois ou
mais algoritmos, sendo necessárias comparações diretas

Profa Laura Bahiense 11/18 Meta-heurísticas em Otimização Combinatória Avaliação de Heurísticas e Meta-heurísticas
 Comparação estatística entre MHs:
necessidade de testes estatísticos
• Ao realizar experimentos computacionais com uma H ou MH é importante
seguir uma metodologia para validar os resultados e determinar se existe
uma diferença significativa entre as várias abordagens investigadas, ou se a
diferença entre elas é insignificante, o que nos impede de afirmar se uma é
superior à outra

• Os resultados de uma MH que é executada várias vezes sobre o mesmo

problema podem variar bastante, devido aos distintos pontos de partida e
às decisões estocásticas subseqüentes

• Por isso, os trabalhos nessa área costumam apresentar estatísticas como

média e desvio padrão obtidos a partir dos resultados das execuções, para
determinar a superioridade de uma H ou MH sobre outra(s)

• De modo a realizar comparações justas, é interessante utilizar testes de

hipótese para a verificação da igualdade entre as médias e medianas

Profa Laura Bahiense 12/18 Meta-heurísticas em Otimização Combinatória Avaliação de Heurísticas e Meta-heurísticas
 Comparação estatística entre MHs:
testes de hipótese (1/3)
• O teste de hipótese é uma técnica aplicada na inferência estatística sobre a
população de soluções a partir de um subconjunto desta população
denominado de amostra

• Este teste é um procedimento utilizado para aceitar ou não uma hipótese

estatística com base nas amostras e pode ser de dois tipos:
 Paramétrico: quando a amostra segue um comportamento conhecido
 Não-paramétrico: quando a amostra não segue um comportamento
conhecido

• Destacam-se os seguintes componentes:

 Hipótese estatística: suposição quanto ao valor de um dos parâmetros
da população, ou quanto à natureza da distribuição de probabilidade
de uma determinada variável
Profa Laura Bahiense 13/18 Meta-heurísticas em Otimização Combinatória Avaliação de Heurísticas e Meta-heurísticas
 Comparação estatística entre MHs:
testes de hipótese (2/3)
• ... destacam-se os seguintes componentes:

 Tipos de hipótese:

o H0 é denominada hipótese nula (a hipótese estatística a ser testada,

p.ex., se as médias de duas amostras são iguais)

o H1 é denominada hipótese alternativa (p.ex., se as médias de duas

amostras são diferentes)

o H0 expressa uma igualdade (H0 : μ1 ˗ μ2 = 0)

o H1 expressa uma desigualdade (H1 : μ1 ˗ μ2 ≠ 0)

Profa Laura Bahiense 14/18 Meta-heurísticas em Otimização Combinatória Avaliação de Heurísticas e Meta-heurísticas
 Comparação estatística entre MHs:
testes de hipótese (3/3)
• ... destacam-se os seguintes componentes:
 Tipos de erro hipótese:
o Erro1 : rejeição de uma hipótese quando ela é verdadeira
o Erro2 : aceitação de uma hipótese quando ela é falsa
o As probabilidades dos erros dos tipos 1 e 2 são designadas por α e β
o A probabilidade α é conhecida como nível de significância do teste
o Como foi dito antes, o objetivo do teste de hipótese é determinar, por
meio de uma estatística, se a hipótese nula deve ou não ser aceita
o Essa decisão é tomada considerando-se uma região de rejeição ou
região crítica. Caso o valor observado da estatística pertença à região
de rejeição, H0 deve ser rejeitada e diz-se que não há informações
suficientes para aceitar a hipótese nula. Caso contrário, H0 não deve
ser rejeitada e diz-se que não há informações suficientes para rejeitar
a hipótese nula
Profa Laura Bahiense 15/18 Meta-heurísticas em Otimização Combinatória Avaliação de Heurísticas e Meta-heurísticas
 Comparação entre MHs:
como funciona o teste de significância
• Em geral são atribuídos valores pequenos para α (a probabilidade de
rejeição de uma hipótese quando ela é verdadeira), entre 1% e 10%, sendo
mais comum o valor α=5%

• A hipótese H0 é formulada justamente com o intuito de que seja rejeitada,

por isso o nome de hipótese nula

• O teste de significância não elimina a probabilidade de erro, mas fornece o

valor de probabilidade p-valor que permite decidir, em relação a α, se
existe evidência suficiente para rejeitar ( p-valor < α ) H0

• Podemos ter confiança em rejeitar H0 (assumir que existe a diferença

procurada) quando o p-valor é pequeno

• Se o teste indicar a aceitação de H0 , diz-se que, com o nível de significância

α, não se pode rejeitar H0

Profa Laura Bahiense 16/18 Meta-heurísticas em Otimização Combinatória Avaliação de Heurísticas e Meta-heurísticas
 Comparação entre MHs:
estatística paramétrica para testes de média
• A variação natural de muitos processos industriais é considerada aleatória. Embora
as distribuições de muitos processos possam assumir uma variedade de formas,
muitas variáveis observadas possuem uma distribuição de freqüências que é,
aproximadamente, uma distribuição de probabilidade normal
• Para determinar a área sob uma curva de distribuição normal deve-se conhecer dois
estimadores estatísticos: a média μ e o desvio padrão σ
• O gráfico da figura abaixo mostra algumas áreas importantes: a média mais ou
menos três vezes o desvio padrão cobre 99,73% dos dados. Por isso é comum este
limite ser adotado para identificar ruído nos dados ou erros de medição (só vale
para a distribuição normal)

Profa Laura Bahiense 17/18 Meta-heurísticas em Otimização Combinatória Avaliação de Heurísticas e Meta-heurísticas
 Comparação entre MHs:
estatística não-paramétrica para testes de média
• A análise de uma distribuição não-normal por meio da média e do desvio
padrão não é adequado. Por isso, para conjuntos de dados em que não há
uma aderência adequada de funções de distribuição de probabilidades a
partir dos parâmetros μ e σ, como a normal, devem ser utilizados testes
estatísticos não-paramétricos
• As técnicas estatísticas não-paramétricas podem ser aplicadas a dados
contínuos de qualquer natureza, uma vez que não exigem suposições
quanto à distribuição da população da qual se tenha retirado amostras para
as análises. Essa característica as torna mais indicadas para a análise de
dados qualitativos
• Características importantes da estatística não-paramétrica:
 Elas exigem poucos cálculos, o que as torna aplicáveis para análises de
pequenas amostras
 Elas independem dos parâmetros populacionais e amostrais, como
média, variância e desvio padrão

Profa Laura Bahiense 18/18 Meta-heurísticas em Otimização Combinatória Avaliação de Heurísticas e Meta-heurísticas