Inteligência Artificial

Redes Neurais
IA, Redes Neurais, Parte1

Sistemas com inspiração biológica

Rede de Neurônios
PARTE 1
Sistemas com inspiração biológica
neurônios: sinais são transmitidos pela rede
 Sistemas com inspiração biológica
Ref: Quasar (talk) 19:59, 11 August 2009 (UTC)

Crestock: nerve cell Neurônio

Sistemas com inspiração biológica

Esquema do Neurônio

Transmissão de sinais
Sistemas com inspiração biológica

Esquema do Neurônio

Terminais do axônio
Dentritos
Saída de sinais
Corpo
Entrada de celular
sinais
Axônio

Transmissão de sinais
Sistemas com inspiração biológica

Modelagem computacional do Neurônio: Neurônio artificial

𝑥1 𝑦1 𝑦2 𝒚𝟏 , 𝒚𝟐 , … , 𝒚𝑵
𝒙 𝟏 , 𝒙𝟐 , … , 𝒙𝑵 𝑥2
⋮

⋮ Saída de sinais
Entrada de
sinais 𝑦𝑀

𝑥𝑛

Fluxo de informação
Sistemas com inspiração biológica Modelo perceptron

Neurônio Artificial: Modelo perceptron

𝒙𝟏 , 𝒙𝟐 , … , 𝒙𝑵 𝑥1

𝑥2
Entrada de 𝑦 Sinal de saída
sinais

𝑥𝑛

Fluxo de informação
Sistemas com inspiração biológica Modelo perceptron

Neurônio Artificial: Peso para as conexões

Pesos :
𝒘𝟏 , 𝒘𝟐 , … , 𝒘𝑵 Dão um “valor” ou “peso” para cada entrada
Sinais de entrada:
𝒙 𝟏 , 𝒙𝟐 , … , 𝒙𝑵 𝑥1
𝑤1

𝑥2 𝑤2
Entrada de 𝑦 Sinal de saída
sinais

𝑤𝑛

𝑥𝑛

Fluxo de informação
Sistemas com inspiração biológica Modelo perceptron

Neurônio Artificial: Soma dos sinais de entrada

Pesos : 𝒘𝟏 , 𝒘𝟐 , … , 𝒘𝑵
Sinais de entrada:
𝒙 𝟏 , 𝒙𝟐 , … , 𝒙𝑵 𝑥1
𝑤1

𝑤2 Sinal de saída
𝑥2
Entrada de ෍ 𝑥𝑖 𝑤𝑖 𝑦
sinais

𝑤𝑛 Junção de soma

𝑥𝑛
𝑁
Soma dos sinais de
entrada mediados 𝑆 = 𝑥1 𝑤1 + 𝑥2 𝑤2 + ⋯ + 𝑥𝑁 𝑤𝑁 = ෍ 𝑥𝑖 𝑤𝑖
pelos pesos 𝑖=1
Sistemas com inspiração biológica Modelo perceptron

Neurônio Artificial. Função de ativação: 𝜑

Pesos : 𝒘𝟏 , 𝒘𝟐 , … , 𝒘𝑵
Sinais de entrada:
𝒙 𝟏 , 𝒙𝟐 , … , 𝒙𝑵 𝑥1
𝑤1
Sinal de saída
𝑥2 𝑤2
Entrada de ෍ 𝑥𝑖 𝑤𝑖 𝜑(𝑠 − 𝑏) 𝑦
𝑏
sinais

𝑤𝑛
Bias: representa uma “resistência”, ou
𝑥𝑛 “barreira” ao sinal recebido

Função de ativação 𝜑 𝑆 − 𝑏 = 𝜑 ෍ 𝑥𝑖 𝑤𝑖 − 𝑏
𝑖=1
Sistemas com inspiração biológica Modelo perceptron

• Entradas: 2
Neurônio Artificial: Exemplo • Saída: 1
Função Degrau 𝜃 ∶
• Função de ativação:
𝑠𝑎í𝑑𝑎 1 𝑜𝑢 0
(Dispara ou não dispara sinal)
𝑥1
𝑤1
Sinal de saída
Entrada de ෍ 𝑥𝑖 𝑤𝑖 𝑦 = 𝜃(𝑠 − 𝑏)
sinais 𝑤2
𝑏
𝑥2 Bias O neurônio vai disparar o sinal
apenas se S for maior que a
barreira (bias) b

Função de ativação
Também chamada
𝜃 𝑆 − 𝑏 = 𝜃 𝑥1 𝑤1 + 𝑥2 𝑤2 − 𝑏 1 𝑠𝑒 𝑆 − 𝑏 ≥ 0 de função
𝜃 𝑆−𝑏 =ቊ
0 𝑠𝑒 𝑆 − 𝑏 < 0 Heaviside
Sistemas com inspiração biológica Modelo perceptron

Neurônio Artificial: Exemplo Prático • Entradas: 2

Entrada de sinais • Saída: 1
binária (0 ou 1) • Função de ativação: Degrau

Possíveis entradas:
𝑥1
𝑥1 𝑥2 𝑤1 =0.7 Sinal de saída
1 1
𝑥1 𝑥2 Saída y
1 0 ෍ 𝑥𝑖 𝑤𝑖 𝑦 =1
1 1 1
0 1 𝑤2 =0.3 𝑏=0.9
1 0
0 0 𝑥2 Bias
0 1
0 0

y = 𝜃 𝑥1 𝑤1 + 𝑥2 𝑤2 − 𝑏 = 𝜃 1 × 0.7 + 1 × 0.3 − 0.9 = 𝜃 0.1 = 1

1 𝑠𝑒 𝑆 − 𝑏 ≥ 0 Função de ativação:
lembrando 𝜃 𝑆−𝑏 =ቊ
0 𝑠𝑒 𝑆 − 𝑏 < 0
Sistemas com inspiração biológica Modelo Perceptron

• Entradas: 2
Neurônio Artificial: Exercício 1 • Saída: 1
• Função de ativação: Degrau
Entrada de sinais
binária (0 ou 1)
𝑥1
Possíveis entradas: 𝑤1 =0.7
Sinal de saída
𝑥1 𝑥2
1 1 ෍ 𝑥𝑖 𝑤𝑖 𝑦 =1 𝑥1 𝑥2 Saída y
1 0 𝑤2 =0.3 1 1 1
𝑏=0.9
0 1 Bias 1 0 0
𝑥2
0 0 0 1 0
0 0 0

Teste cada entrada possível e complete a tabela de saídas desse Perceptron

Resumo da parte 1: Sistemas com inspiração biológica
O Neurônio Artificial Perceptron: O neurônio vai disparar o sinal apenas se S: a
entrada mediada pelos pesos, for maior que a
barreira (bias): b

𝑥1
𝑤1
Sinal de saída
Entrada de ෍ 𝑥𝑖 𝑤𝑖 𝑦 = 𝜃(𝑠 − 𝑏) Função de ativação
sinais 𝑤2
𝑏 1 𝑠𝑒 𝑆 − 𝑏 ≥ 0
𝜃 𝑆−𝑏 =ቊ
𝑥2 Bias 0 𝑠𝑒 𝑆 − 𝑏 < 0

𝐶𝑎𝑟𝑎𝑐𝑡𝑒𝑟í𝑠𝑖𝑐𝑎𝑠 𝑑𝑜 𝑛𝑒𝑢𝑟𝑜𝑛 𝑑𝑜 𝑃𝑒𝑟𝑐𝑒𝑝𝑡𝑟𝑜𝑛 = 𝑤1 , 𝑤2 , 𝑏 𝑒 𝑎 𝑓𝑢𝑛çã𝑜 𝑑𝑒 𝑎𝑡𝑖𝑣𝑎çã𝑜

No exemplo anterior vimos como calcular a saída do Perceptron com os pesos escolhidos
Perceptron com regra delta: Modelo Adaline

• Vimos como criar um modelo matemático simples baseado no

comportamento de neurônios

• Vimos também como este modelo responde a uma entrada de sinais;

como ele responde usando uma função degrau (função de heaviside)

• Agora, vamos procurar uma forma de utilizar esse modelo para simular
aprendizado
PARTE 2
Sistemas com inspiração biológica Modelo Perceptron
• Entradas: 2 Sinais binários: 0 ou 1
O que temos: Neurônio Artificial • Saída: 1 0 ou 1
1 𝑠𝑒 𝑆 − 𝑏 ≥ 0
• Função de ativação: Degrau 𝜃 𝑆 − 𝑏 = ቊ
0 𝑠𝑒 𝑆 − 𝑏 < 0

Possíveis entradas:
𝒙𝟏
𝑥1 𝑥2 𝑤1 =0.7
1 1
1 0 ෍ 𝒙𝒊 𝒘𝒊 𝒚 =1
0 1 𝑤2 =0.3 𝑏=0.9
0 0 𝒙𝟐 Bias

𝑥1 𝑥2 Saída y
1 1 1
Sinais de saída: 1 0 0
0 1 0
Pesos e bias: escolhidos de forma aleatória 0 0 0
Sistemas com inspiração biológica
Como atualizar o Perceptron: Regra delta
1) Envie uma entrada (𝑥1 , 𝑥2 ) de cada vez
2) Atualize o peso 1
Peso 1: 𝑤1 (𝑛𝑜𝑣𝑜) = 𝑤1 𝑎𝑛𝑡𝑖𝑔𝑜 + 𝛼 𝑑 − 𝑦 𝑥1
Esse termo diz o
quanto o 𝑤1 vai mudar
3) Atualize o peso 2
𝑤2 (𝑛𝑜𝑣𝑜) = 𝑤2 𝑎𝑛𝑡𝑖𝑔𝑜 + 𝛼 𝑑 − 𝑦 𝑥2
4) Atualize o bias
𝑏(𝑛𝑜𝑣𝑜) = 𝑏 𝑎𝑛𝑡𝑖𝑔𝑜 + 𝛼 𝑑 − 𝑦 (−1)
5) Repita o processo com outra entrada
Modelo Perceptron
𝑑 − 𝑦 → é zero quando o Perceptron responde corretamente
é uma “taxa de aprendizagem” definida no início do
𝛼→
processo: quanto maior, maior o ajuste nos pesos e bias
𝑥1 → é a entrada que multiplica o peso 1
𝑥1 → é a entrada que multiplica o peso 2
Observem que a correção dos pesos é bem balanceada:
• Se o Perceptron acertou a resposta, os pesos e bias não mudam
• O peso também não muda se a entrada correspondente não for
utilizada (ex: se o perceptron errou, mas 𝒙𝟏 de entrada é zero,
então o 𝒘𝟏 não vai ser alterado)
• A taxa de aprendizagem 𝜶 é similar a nossa percepção de
velocidade de aprendizado
Sistemas com inspiração biológica Modelo Perceptron

Exemplo: Regra delta para Perceptrons

Considerem a tabela lógica Pesos e bias iniciais: escolhidos de forma aleatória
“OU”
𝒙𝟏
Entradas Saída “OU” Saída do Perceptron 𝑤1 =0,2
𝑥1 𝑥2 d y
𝒚
1 1 1 0 ෍ 𝒙𝒊 𝒘 𝒊
1 0 1 0 𝑤2 =0,3 𝑏=1,1
0 1 1 0 𝒙𝟐 Bias

0 0 0 0

y é a resposta do Perceptron ao lado

d é a saída da tabela “OU”

d é o gabarito (Professor)
Vamos considerar que para cada (𝑥1 , 𝑥2 ) :
y é a resposta do Perceptron (Aluno)
Sistemas com inspiração biológica Modelo Perceptron

Regra delta para perceptrons simples

Conjunto de treinamento

Entradas Saída OU Saída do Perceptron 𝒙𝟏

𝑤1 =0,2
𝑥1 𝑥2 d y
1 1 1 𝒚
෍ 𝒙𝒊 𝒘𝒊
1 0 1
𝑤2 =0,3 𝑏=1,1
0 1 1
𝒙𝟐 Bias
0 0 0

Método Iterativo:

Para cada iteração (passo) i, envie uma entrada (𝑥1 , 𝑥2 ) de cada vez, para o Perceptron, e atualize os pesos e
bias do momento t para t + 1 de acordo com a regra delta:

𝑤1 𝑡 + 1 = 𝑤1 𝑡 + 𝛼 𝑑 − 𝑦 𝑥1
Regra delta: ൞𝑤2 𝑡 + 1 = 𝑤2 𝑡 + 𝛼 𝑑 − 𝑦 𝑥2
𝑏 𝑡 + 1 = 𝑏 𝑡 + 𝛼 𝑑 − 𝑦 (−1)
Sistemas com inspiração biológica Modelo Perceptron

Exemplo de treinamento: Passo 1

iteração Entradas Saída esperada Parâmetros Saída do Perceptron Erro

i 𝑥1 𝑥2 d 𝑤1 𝑤2 b Y=Θ(𝑥1 𝑤1 + 𝑥2 𝑤2 − 𝑏)
1 1 1 1 0,2 0,3 1,1 0 1
2 1 0 1
3 0 1 1
4 0 0 0
5 1 1 1

Método Iterativo:
Atualização dos pesos e bias do momento t=1 para t = 2 de acordo com a regra delta:

𝑤1 𝑡 + 1 = 𝑤1 𝑡 + 𝛼 𝑑 − 𝑦 𝑥1 𝑤1 𝑛𝑜𝑣𝑜 = 0,2 + 0,1. 1 − 0 . 1 = 0,3

Regra delta: ൞𝑤2 𝑡 + 1 = 𝑤2 𝑡 + 𝛼 𝑑 − 𝑦 𝑥2 : ൞ 𝑤2 𝑛𝑜𝑣𝑜 = 0,3 + 0,1. 1 − 0 . 1 = 0,4
𝑏 𝑡 + 1 = 𝑏 𝑡 + 𝛼 𝑑 − 𝑦 (−1) 𝑏 𝑛𝑜𝑣𝑜 = 1,1 + 0,1. 1 − 0 . −1 = 1,0
Sistemas com inspiração biológica Modelo Perceptron

Exemplo de treinamento: Passo 2

iteração Entradas Saída esperada Parâmetros Saída do perceptron Erro: (d-y)

i 𝑥1 𝑥2 d 𝑤1 𝑤2 b Y=Θ(𝑥1 𝑤1 + 𝑥2 𝑤2 − 𝑏)
1 1 1 1 0,2 0,3 1,1 0 1
2 1 0 1 0,3 0,4 1,0 0 1
3 0 1 1
4 0 0 0
5 1 1 1

Método Iterativo:
Atualização dos pesos e bias do momento t=1 para t = 2 de acordo com a regra delta:

𝑤1 𝑡 + 1 = 𝑤1 𝑡 + 𝛼 𝑑 − 𝑦 𝑥1 𝑤1 𝑛𝑜𝑣𝑜 = 0,3 + 0,1. 1 − 0 . 1 = 0,4

Regra delta: ൞𝑤2 𝑡 + 1 = 𝑤2 𝑡 + 𝛼 𝑑 − 𝑦 𝑥2 : ൞ 𝑤2 𝑛𝑜𝑣𝑜 = 0,4 + 0,1. 1 − 0 . 0 = 0,4
𝑏 𝑡 + 1 = 𝑏 𝑡 + 𝛼 𝑑 − 𝑦 (−1) 𝑏 𝑛𝑜𝑣𝑜 = 1,0 + 0,1. 1 − 0 . −1 = 0,9
Sistemas com inspiração biológica Modelo Perceptron

Exemplo de treinamento: Passo 3

iteração Entradas Saída esperada Parâmetros Saída do perceptron Erro: (d-y)

i 𝑥1 𝑥2 d 𝑤1 𝑤2 b Y=Θ(𝑥1 𝑤1 + 𝑥2 𝑤2 − 𝑏)
1 1 1 1 0,2 0,3 1,1 0 1
2 1 0 1 0,3 0,4 1,0 0 1
3 0 1 1 0,4 0,4 0,9
4 0 0 0
5 1 1 1
6 1 0 1
Continua de forma cíclica até acertar as 4 possíveis entradas

Tarefa: concluir o treinamento do Perceptron