Você está na página 1de 30

Thiago Christiano Silva

Contedo
Conceitos Relevantes Problemas de Otimizao Conceitos de Estabilidade e Convergncia Teoremas de Lyapunov Rede Neural de Hopfield Aplicaes do modelo de Hopfield Clusterizao de Pixels em Imagens Nvel de Cinza Roteamento em Grafos Consideraes Finais
2

Problemas de Otimizao
Um problema de otimizao geralmente pode ser descrito por uma funo de energia decomposta em duas partes: a funo de custo associada ao problema e suas restries

= +
=1

Restries So incorporadas funo de energia descritora do problema com a seguinte ideia: se as restries forem obedecidas, ento a funo de energia minimizada
Khalil, H.K., Nonlinear Systems, Englewood Cliffs, NJ, Prentice Hall, 1992

Conceitos de Estabilidade e Convergncia


Estabilidade O ponto estvel se > 0, de tal forma que = > 0: se 0 < implica que < , 0 Convergncia O ponto convergente se > 0: 0 < implica que , conforme

Estabilidade Assinttica O ponto estvel assintoticamente se convergente e estvel, no importando a condio inicial
Khalil, H.K., Nonlinear Systems, Englewood Cliffs, NJ, Prentice Hall, 1992
4

Ilustrao dos conceitos de estabilidade

Khalil, H.K., Nonlinear Systems, Englewood Cliffs, NJ, Prentice Hall, 1992

Teorema de Lyapunov
De maneira geral, o teorema de Lyapunov apresenta apenas

condio suficiente para a estabilidade de sistemas dinmicos Uma funo de energia Lyapunov se as seguintes propriedades so satisfeitas concomitantemente
1.
2. 3.

A funo () tem derivadas parciais contnuas = 0, sendo um ponto de equilbrio (estvel) > 0, se no representar um ponto estvel

Ademais,

se estvel, ento

()

0
()

se assintoticamente estvel, ento

<0

Haddad, W.M., Chellaboina V., Nonlinear Dynamical Systems and Control: A Lyapunov-based Approach, Princeton University Press, 2008
6

Rede Neural de Hopfield


uma rede recorrente de uma nica camada usualmente inicializada com valores adequados

ao problema No modelo discreto, o domnio de estados de cada neurnio abrange *1, 1+ Na sua forma mais simples, a funo de ativao utilizada a funo degrau
Limitaes: presena de estados esprios, baixa

capacidade de armazenamento quando utilizada para CAM

um sistema dinmico regido por uma Lyapunov


Haykin, S., Neural Networks and Learning Machines, Terceira Edio, Prentice Hall, 2008.
7

Clusterizao de Pixels em Imagens


Clusterizao: consiste em agrupar um conjunto de itens de

dados de tal forma que:


dados pertencentes a um mesmo grupo compartilham alguma

similaridade dados pertencentes a grupos distintos so diferentes de acordo com uma funo de similaridade

Duas abordagens: Hard-labeling Soft-labeling (fuzzy)


Kazemi, F., Akbarzadeh-T, M.-R., Rahati, S., e Rajabi, H, Fast image Clusterization using C-Means Based Fuzzy Hopfield Neural Network, Electrical and Computer Engineering 2008, 2008. 8

Clusterizao de Pixels em Imagens


Cada pixel representado por um neurnio, o qual

denotado por (, ) A matriz = , - de dimenses representa as parties fuzzy (onde denota o nmero de neurnios e , o nmero de clusters desejados) Restries:
0,1 , 1 e 1 c

=1

Ex: Matriz ( = 2, = 2)

= 1, 1 , 1 c

Cluster 1 Cluster 2 Dado 1 0.2 0.8 Dado 2 0.6 0.4

=1

Clusterizao de Pixels em Imagens


O algoritmo Fuzzy C-Means baseado na minimizao da

seguinte funo de custo:


, , =
=1 =1

( )

onde = 1 , 2 , , indica o vetor de centrides dos clusters, representa o item de dado e > 1 denota um parmetro denominado fator de fuzzification

10

Clusterizao de Pixels em Imagens


Rede de Hopfield Fuzzy A principal motivao para o uso do algoritmo Fuzzy CMeans de eliminar a necessidade de encontrar os fatores ponderadores da funo de energia A rede completamente interconectada, inclusive com autorealimentao A funo de ativao utilizada a funo logstica (sigmide) Sero mostradas simplificaes da funo de energia 2 usualmente utilizada na literatura, at que se consiga uma parecida com o algoritmo Fuzzy C-Means

11

Clusterizao de Pixels em Imagens


A funo de Lyapunov para o problema pode ser definida

por:
= 2
, =1 =1


=1

, =1 ,

+ 2

,
=1 =1

O primeiro termo modela a distncia dos pixels ao centro do

cluster
O segundo termo responsvel pela restrio do problema

12

Clusterizao de Pixels em Imagens


A qualidade do resultado de clusterizao muito sensvel aos

fatores ponderadores e
Buscar valores timos de e pode constituir uma tarefa lenta, sendo

que algumas vezes computacionalmente invivel

Para amenizar este problema, utiliza-se uma rede neural de Hopfield

Fuzzy C-Means Simplificaes na funo de energia:


Sabe-se que a soma de cada linha da matriz deve valer 1, pois

estamos considerando uma classificao fuzzy Por consequncia, a soma de todos os elementos de U deve valer N, pois existem N itens de dados

13

Clusterizao de Pixels em Imagens


Portanto, luz das consideraes anteriores, o segundo termo

resulta em zero e a funo de energia associada ao problema fica:


= 2
, =1 =1 =1 , , =1 2

Como h somente um termo, no h a necessidade de

contrabalancear os termos da funo de energia. Portanto, toma-se = 1


14

Clusterizao de Pixels em Imagens


A sada lquida no corpo celular do neurnio (, ) dada por:

t , =
=1

, , =1

2 = ,

A dominncia do cluster sobre o vrtice foi definida como:

, =
=1

, ,

=
=1

, ,

15

Clusterizao de Pixels em Imagens


Portanto, a funo de energia simplificada, levando em

consideraes as equaes anteriores, descrita por:


2 (, ) , =1 =1

A expresso acima se assemelha muito com a funo custo do

algoritmo Fuzzy C-Means

16

Clusterizao de Pixels em Imagens


Sumrio do Algoritmo 1. 2. 3. 4.

5.
6. 7.

8.

Escolha , > 1 e > 0 Normalize os pixels da imagem Determine os centrides primrios (dispostos aleatoriamente) Calcule os valores iniciais dos nveis de dominao , Compute os valores dos novos centrides Compute os valores dos novos , Compute +1 Se +1 < , pare. Caso contrrio, volte ao passo (5)
17

Simulaes Computacionais

(a) Imagem Original (b) c = 3 (c) c = 5 (d) c = 7

18

Simulaes Computacionais

(a) Imagem Original (b) c = 3 (c) c = 5 (d) c = 7

19

Roteamento em Grafos
O problema a ser considerado o de roteamento com

mltiplos destinos, partindo-se de um vrtice-fonte Sejam o vrtice-fonte e = ,1 , 2 , , - os destinos que se desejam atingir, j ordenados O problema de otimizao formulado a seguir:
= 1 + 1 2 + + 1
Tcnicas de reduo do espao de vrtices da rede sero

elaboradas para permitir a aplicao do algoritmo para redes de larga escala


Park, D.-C. e Choi, S.-E. A Neural Network Based Multi-destination Routing Algorithm for Communication Network, 20 In IEEE World Congress on Computational Intelligence, volume 2, pages 1673-1678, 2002.

Roteamento em Grafos
Mtodo de Reduo do Espao de Vrtices (Screening) Encontre a aresta de mnimo custo, , e a de maior custo, Comeando de um valor de threshold = , eliminam-se todas as arestas cujo custo exceda o valor Se no existir ainda um caminho da fonte ao destino, incrementa-se o threshold at tal caminho existir
= + 1 , 1 = ( ) 1

21

Procedimento de Screening

22

Roteamento em Grafos
Considere as seguintes variveis
Custo:
=

, se uma conexo entre o vrtice x e i existe , caso contrrio

Caminho escolhido pela soluo:


=

1, se a aresta do vrtice x para o i existe na soluo final 0, caso contrrio

Indicador estrutural do grafo :


=

1, se NO existe uma conexo entre o vrtice x e i 0, caso contrrio

23

Problema de Otimizao

24

Funo de Energia

25

Roteamento em Grafos
A minimizao da funo de energia anterior leva o

processo a um estado atrator, o qual constitudo por um mnimo local ou global de energia
Quando o processo estiver neste estado estvel, o mesmo

ir corresponder rota de custo possivelmente timo entre a fonte e os destinos

26

Simulaes Computacionais

= 11 = 961
27

Simulaes Computacionais

28

Simulaes Computacionais

29

Consideraes Finais
As redes neurais apresentam vantagens na resoluo de

problemas complexos em relao aos processos computacionais convencionais A rede neural de Hopfield um exemplo vivo disso, pois permite a resoluo de vrios problemas combinatoriais NP-completos com timas referncias na literatura Ademais, o modelo de Hopfield passvel de aplicaes em vrios ramos da cincia
Este trabalho uma tentativa de provar exatamente isso, uma

vez que aplica o modelo de Hopfield no campo de roteamento e clusterizao de pixels


30

Você também pode gostar