Escolar Documentos
Profissional Documentos
Cultura Documentos
Redes Neurais Artificiais E Algoritmos Geneticos
Redes Neurais Artificiais E Algoritmos Geneticos
Introdução
Redes Neurais Artificiais e Áreas de aplicação
Arquitetura e aprendizado
Algoritmos Genéticos
Alguns modelos
Algoritmos Genéticos
Sistemas Inteligentes Híbridos
Prof. André de Carvalho
LABIC - Universidade de São Paulo Conclusão
LABIC Por que Redes Neurais? LABIC O que são Redes Neurais
1
1
LABIC Neurônio Natural LABIC Neurônio artificial
Um neurônio simplificado:
Modelo de um neurônio (nodo) abstrato
Dendritos
Axônio
Entradas Pesos Saída
w
w f
w
w
Sinal
Corpo w f
Sinal w
Sinapse
André de Carvalho André de Carvalho
7 8
(1943) McCulloch & Pitts desenvolvem modelo (1949) Hebb desenvolve algoritmo para treinar
matemático de RNAs RNA (aprendizado Hebbiano)
Combinação de vários nodos em sistemas neurais produz Se dois neurônios estão simultaneamente ativos, a
um elevado poder computacional conexão entre eles deve ser reforçada
y Nodos executavam funções lógicas simples
• Cada nodo podia executar uma função diferente (1958) Von Neumann mostra interesse na
y Mostraram que ualquer função que pudesse ser representada por modelagem do cérebro (RNA)
uma combinação de funções lógicas podia ser modelada por uma
rede de nodos
The Computer and the Brain, Yale University Press
y Provam, teoricamente, que qualquer função matemática ou lógica
pode ser implementada utilizando unidades “soma de produtos”
André de Carvalho André de Carvalho
11 12
2
2
LABIC
História das RNAs LABIC História das RNAs
(1959) Rosenblatt implementa primeira RNA, a rede (1982) Hopfield mostra que Redes Neurais podem
Perceptron ser tratadas como sistemas dinâmicos
Ajuste iterativo de pesos (1986) Hinton, Rumelhart e Williams, propõem
Prova teorema da convergência algorítmo de aprendizagem para redes multi-
(1969) Minsky & Papert analisam Perceptron e camadas
mostram suas limitações Parallel Distributed Processing
Não podem aprender funções lógicas simples (XOR)
Bryson e Ho (1959), Werbos (1974), Parker (1985) e
Por muito tempo foi assumido que este trabalho Le Cun (1985)
desacreditava RNA, embora não fosse esta a intenção
André de Carvalho André de Carvalho
13 14
Encontrar uma estimativa f’ de uma função Rede classifica novas entradas em uma
desconhecida f entre várias categorias discretas
Conhece conjunto de pares de entrada-saída Saídas são variáveis binárias
{(x1, y1), (x2, y2), ..., (xn, yn)} Exemplos
Pode ser: Reconhecimento de promotores, análise de
Classificação crédito, reconhecimento de caracteres
Regressão
3
3
LABIC Regressão LABIC Previsão
Rede associa novas entradas a uma valor Tarefa: dado um conjunto de exemplos {y(t1),
contínuo y(t2),..., y(tn)}, prever a saída y(tn+1) no instante
Aprende uma função definida em termos de de tempo tn+1
uma média sobre uma quantidade randômica Caso especial de regressão
Saídas são variáveis contínuas Exemplos
Exemplos Previsão estrutura secundária de proteínas, de tempo,
Aproximação de funções, fusão de sensores vendas, de preço de ações na bolsa, de desgaste de
peças, etc.
Rede gera entrada de controle para que um Rede associa um dado padrão de entrada a
sistema siga uma trajetória especificada por um um padrão de saída
modelo de referência Hetero-associativa
Modelo definido por conjunto de tuplas {x(t), y(t)} Auto-associativa
Exemplo y Associa um padrão a ele mesmo
Rede explora semelhanças entre padrões e Tarefa: encontrar solução que satisfaça um
agrupar padrões parecidos conjunto de restrições
Também conhecido como aprendizado não Maximização / minimização de uma função objetivo
supervisionado Exemplos
Análise de dados Alinhamento de seqüências
y Extrai informações de um conjunto de dados
Problema de corte
Exemplos
Problema do caixeiro viajante (NP completo)
y Mineração de dados, compressão de dados
Problema do container
André de Carvalho André de Carvalho
23 24
4
4
LABIC Conceitos básicos LABIC Unidades de processamento
Aprendizado N x2 w2 f f(∑xjw j)
(∑xw) y
y Algoritmos u = ∑ x jwj wN
j =1
y Paradigmas
xN
André de Carvalho André de Carvalho
25 26
camadas Representação
intermediárias
camada de
camada Local: unidades representam objetos bem definidos
de (Ex. letras, palavras, faces, ...)
entrada
saída
Distribuída: unidades representam elementos
abstratos
Localização das unidades
Intermediária (escondida)
Saída
conexões
André de Carvalho André de Carvalho
27 28
5
5
LABIC Completamente conectada LABIC Parcialmente conectada
Sinais seguem em uma única direção Possuem conexões ligando saída da rede a
sua entrada
OU RN
RN
6
6
LABIC Aprendizado LABIC Aprendizado
7
7
LABIC Treinamento LABIC Treinamento
Vetor peso ideal 3
2
6
5
1
3 4
5
2 4
8 6 7
1
André de Carvalho André de Carvalho
43 44
a) Treinar a rede
x0 w0 a.1) Para o padrão ⇔ -1-1-1 (d = -1)
Passo 1: definir a saída da rede
w1 u = (-1)(0.4) + (-1)(-0.8) + (-1)(0.3) = 0.1
d
x1 y = u = +1 (uma vez que 0.1 ≥ 0)
w2 Como (d ≠ y), atualizar pesos
N Passo 2: atualizar pesos
u = ∑ x jwj
x2 N
u = ∑ x jwj
w0 = 0.4 + 0.2(-1)(-1 - (+1)) = 0.8
j =1 w1 = -0.8 + 0.2(-1)(-1 - (+1)) = -0.4
j =1 w2 = 0.3 + 0.2(-1)(-1 - (+1)) = 0.7
∆wij = ηxi(dj - yj)
André de Carvalho André de Carvalho
47 48
8
8
LABIC Exemplo 1 - treinamento LABIC Exemplo 1 - teste
N
a) Treinar a rede b) Testar a rede u = ∑ x jwj
j =1
a.2) Para o padrão ⇔ 111 (d = 1) b.2) Para o padrão (-11-1)
Passo 1: definir a saída da rede u = (-1)(0.8) + (1)(-0.4) + (-1)(0.7) = -1.9 (classe 1)
u = (1)(0.8) + (1)(-0.4) + (1)(0.7) = 1.1
y = u = +1 (uma vez que 1.1 ≥ 0)
b.3) Para o padrão (1-11)
Como (d = y), não precisa atualizar pesos u = (1)(0.8) + (-1)(-0.4) + (1)(0.7) = 1.9 (classe 2)
N b.1) Para o padrão (1-1-1)
u = ∑ x jwj
j =1 u = (1)(0.8) + (-1)(-0.4) + (-1)(0.7) = 0.5 (classe 2)
LABIC Problemas com rede Perceptron LABIC Problemas com rede Perceptron
LABIC Problemas com rede Perceptron LABIC Problemas com rede Perceptron
9
9
LABIC Rede MLP LABIC Rede MLP
camadas intermediárias
Multi-Layer Perceptron
camada de camada de
Arquitetura de RNA mais utilizada entrada saída
Possui uma ou mais camadas intermediárias de nós
Grande Funcionalidade
Uma camada intermediária: qualquer função
contínua ou Booleana
Duas camadas intermediárias: qualquer função
conexões
Algoritmo Backpropagation
André de Carvalho André de Carvalho
55 56
10
10
LABIC Aplicações de RNA LABIC Aplicações em Bioinformática
11
11
LABIC Algoritmos Genéticos LABIC Evolução natural
12
12
LABIC Algoritmos Genéticos LABIC Um Algoritmo Genético
13
13
LABIC Seleção LABIC Seleção
14
14
LABIC Exemplo: preparo de café LABIC Referências
15
15
LABIC Codificação LABIC Codificação
Existem vários parâmetros que podem ser Representação da rede é um aspecto chave
considerados para a otimização de redes para sua otimização por AGs
Número de camadas
Uma boa representação deve:
Números de unidades em cada camada
Ser capaz de gerar redes potencialmente
Grau de conectividade de uma camada para eficientes
outra
Excluir redes não factíveis
Taxa de aprendizado
Reduzir espaço de busca
5
Unidade de origem
Matriz de Conectividade
1 - Presença de conexão
par. de rede camadas
1 2 3 4 5 bias 0 – Ausência de conexão 3 4
Unidade destino
1 0 0 0 0 0 0
2 0 0 0 0 0 0
3 1 1 0 0 0 0 1 Rede 2
Neural
4 1 1 0 0 0 0
ou
5 0 0 1 1 0 1 Fenótipo
000000 000000 110000 110000 001101 Taxa de Termo tamanho tamanho tamanho
cromossomo
aprendizado momentum da da da
camada 1 camada 2 camada 3
16
16
LABIC Extração de conhecimento LABIC Extração de conhecimento
Para sua maior aceitação, é desejável que Parcela significativa deste esforço tem sido
uma capacidade de explicação seja parte da orientado ao desenvolvimento de técnicas de
funcionalidade de RNAs treinadas extração de regras
Caso contrário, os usuários podem não confiar Conjunto de regras simbólicas que representem o
nas decisões da rede conhecimento adquirido por uma RNA treinada
Várias pesquisas têm sido realizadas para Outros formatos também têm sido utilizados para
proporcionar às RNAS capacidade de representar o conhecimento extraído
explicação do conhecimento adquirido y Árvores de Decisão, Regras Fuzzy
17
17
LABIC Extração de conhecimento LABIC Extração de conhecimento
18
18
LABIC Algoritmo TREPAN LABIC Algoritmo TREPAN
Inadimpl. Adimplente
André de Carvalho André de Carvalho
109 110
Bioinformática
Redes Neurais, Algorítmos genéticos
Pesquisa e desenvolvimento de ferramentas
computacionais para a resolução de problemas
da Biologia
BIOLOGIA
COMPUTAÇÃO y Biologia molecular
Nos últimos anos, diversos laboratórios têm Ênfase está se deslocando progressivamente
trabalhado no seqüenciamento de vários genomas da acumulação de dados para a sua
Até o ano 2000: interpretação
y Mais que 30 organismos tinham sido seqüenciados Com os seqüenciamentos realizados, uma grande
y Cerca de 150 organismos estavam sendo seqüenciados quantidade de dados tem sido gerada
Determinação da seqüência de nucleotídeos em Estes dados precisam agora ser analisados
uma molécula é o primeiro passo para: Análise laboratorial destes dados é difícil e cara
Entender o funcionamento e y Ferramentas computacionais sofisticadas são
Conhecer as localizações de todos os genes e sítios necessárias para a análise dos dados obtidos
André de Carvalho regulatórios nas moléculas André de Carvalho
113 114
19
19
LABIC IA em Bioinformática LABIC Biologia Molecular
Replicação DNA
Transcrição
RNA
Tradução
20
20
LABIC Biologia Molecular LABIC Biologia Molecular
Genes Proteínas
Subseqüências de DNA Definem estrutura, função e mecanismos
y Localizados no cromossomo regulatórios das células
Servem como molde para a produção de y Exemplos de mecanismos regulatórios: controle do
proteínas ciclo celular, transcrição gênica
Expressão gênica
Processo pelo qual genes são usados para
produzir proteínas
Mecanismos são diferentes para organismos:
y Eucariotos
• Material genético difuso nas células (Ex.: bactérias)
y Procariotos
• Material genético em um núcleo (Ex.: seres humanos)
DNA DNA
RNA Polimerase RNA Polimerase
T GCAGCTCCGGACTCCAT... TGCAGCTCCGGACTCCAT...
A ACGUCGAGGCCUGAGGUA...
21
21
LABIC Processo de expressão gênica LABIC Processo de expressão gênica
DNA
DNA RNA Polimerase
RNA Polimerase
TGCAGCTCCGGACTCCAT...
TGCAGCTCCGGACTCCAT...
promotor Transcrição mRNA
promotor
Transcrição
mRNA
Ribossomo ACGUCGAGGCCUGAGGUA...
ACGUCGAGGCCUGAGGUA...
Tradução
Ribossomo
Tradução Ser His
Ser
Cys Gly Leu
His
André de Carvalho André de Carvalho
127 128
22
22
LABIC Processo de expressão gênica LABIC Splice-junctions
DNA
doador
aceptor Transcrição
mRNA
exon
intron Splicing
mRNA
23
23
LABIC Reconhecimento de genes LABIC Reconhecimento de genes
24
24
LABIC Rec. de início da tradução LABIC Reconhecimento de promotores
Identifica genes reconhecendo padrões que que Busca por conteúdo procura responder as
ocorrem na sua seqüência de nucleotídeos seguintes perguntas:
Regiões do DNA que serão traduzidas em proteínas Quais são as regiões codificadoras
y Organismos procariotos: distinguir genes de regiões
Para uma dada região, que faixa e qual estrutura
não codificadoras
de leitura codifica a proteína
y Organismos eucariotos: distinguir também introns
de exons Várias propriedades podem ser exploradas
Janelas de tamanho fixo também são utilizadas para para distinguir regiões codificadoras de não
esta previsão codificadoras
André de Carvalho André de Carvalho
147 148
25
25
LABIC Árvores de Decisão LABIC Árvores de Decisão
Entrada: Cadeia de nucleotídeos
Organizam informações em estrutura composta
Posição 8 = ? Regiões
RegiõesDoadoras
Doadoras
de nós e ramificações
Nós: testes sobre atributos; A C G T
26
26
LABIC Algoritmos Genéticos LABIC Raciocínio Baseado em Casos
27
27
LABIC Agradecimentos
André de Carvalho
163
28
28