Redes Neurais Artificiais

Fundamentos e aplicaes

Prof. Keiji Yamanaka PhD.

Faculdade de Engenharia Eltrica UFU

Motivao:
Como o crebro funciona?

Histrico das RNA

(1943) Warren S. McCulloch (psiquiatra e
neuroanatomista) & Walter Pitts(matemtico) desenvolvem
primeiro modelo matemtico de neurnio

(1959) Rosenblatt - Perceptron

* Ajuste iterativo de pesos
* Prova teorema da convergncia

(1969) Minsky & Papert analisam Perceptron e mostram

suas limitaes

Perodo negro para RNA

Histrico das RNA

(1986) Hinton, Rumelhart e Williams, propem o

algortmo error backpropagationde treinamento para

redes multicamadas
Comunidade cientfica Retomada das
pesquisas

O que so as Redes Neurais Artificiais.

RNA um processador maciamente paralelo e distribudo,
constituido de unidades simples de processamento, que tm
uma propenso natural para armazenar o conhecimento
experimental e torn-lo til, assemelhando-se ao crebro
humano em dois aspectos:
1.
2.

o conhecimento adquirido pela rede atravs de um processo

de aprendizado e,
as intensidades das conexes entre neurnios, conhecidas
como pesos sinpticos, so usadas para armazenar o
conhecimento adquirido. (*)
(*) Simon Haykin

O crebro:
Ramn y Cajl, em 1911, sugere que os

constituintes bsicos so os neurnios.

Crebro tem 100 bilhes de neurnios.
Cada neurnio tem entre 1.000 a 10.000
conexes.
Total de 1014 conexes !
Processamento da informao maciamente
paralelo.

O crebro:
No roda programa.
Controla o comportamento visando a

sobrevivncia.
Adaptabilidade atravs de aprendizado.
Tolerante a erros.
Opera com conhecimento parcial.
Grande capacidade de memria.

Neurocomputao
Computao tradicional baseada na

arquitetura de Von Neumann.

Neurocomputao processamento paralelo
e distribuido, alm de aprendizado.
Baseada na interconexo de unidades de
processamento simples e similares, com
grande capacidade de adaptao.

Neurocomputao
Soluo alternativa para problemas intratveis

ou ainda no resolvidos.

Fceis para o homem mas difceis para a mquina.

Reproduo de habilidades cognitivas e de

processamento de informao desejveis

aplicao em engenharia.

Tratar problemas multidimensionais

Tratar variveis sujeitas a interaes no-lineares

Caractersticas das RNA

Aprendem atravs de exemplos.

* Similaridade com aprendizagem humana.

Capacidade de generalizao.

* Diferenas entre mesmos padres de entrada.

Adaptabilidade.
Tolerncia a falhas.

Algumas aplicaes de RNA

processamento de sinais
Supresso de ruidos em linhas telefnicas
controle de processos
reconhecimento de padres
Reconhecimento de cdigos postais
Medicina
Diagnsticos mdicos
Sntese de voz
Reconhecimento de voz
Negcios
Anlise de risco

Aplicao
Marketing de Banco de
Dados

Indstria
Todas

Funo
Agrupamento, Classificao
e
Modelagem

Gerenciamento de Relaes
de

Todas

Clientes
Deteco de Fraudes

Agrupamento, Classificao
e
Modelagem

Financeira e Classificao e Modelagem

Sade

Reconhecimento de
Caracteres pticos

Financeira e Classificao
Varejo

Reconhecimento de
Caracteres de

Informtica
e

Caligrafia

Financeira

Agrupamento e Classificao

PROGRAMA
1 - Introduo, Histrico
2 Conceitos bsicos
3 Perceptrons
4 Redes Multicamadas
5 Redes auto-organizveis
6 Redes Recorrentes
7 Aplicaes

Bibliografia:
Fausett, Laurene. Fundamentals of Neural Networks.

Prentice Hall, 1994.

Da Silva, Ivan Nunes. Redes Neurais Artificiais para
Engenharia e Cincias Aplicadas-Um curso prtico.
ArtLiber Ed. , 2010.
Haykin, Simon. Redes Neurais, Princpios e Prtica.
Bookman, 2001.
Artigos.

Neurnio biolgico

Neurnio biolgico

Neurnio artificial
x1

x2

1
w1
w2
w3

sada

x3

entradas
Neurnio Y recebe sinais x1, x2 e x3 de entrada.
w1, w2, w3 e b so os pesos das conexes.

Neurnio artificial
1
x1
x2

w1
w2
w3

net

f
1

net

x3
Entrada lquida do neurnio Y:

Ativao y do neurnio:

net = w1.x1+w2.x2+w3.x3+b

y = f(net) , onde f a
funo de ativao.

Arquiteturas tpicas
RNA de uma camada

w11

x1

w12
w13

x2

w21

y2
w22
w23

entradas

y1

y3
saidas

Arquiteturas tpicas
- RNA multicamada

Funes de ativao
a) Funo degrau

f(x)
1

b) Funo semi-linear

f(x)
1

Funes de ativao
c) Funo linear

y(x)

y ( x) ax
d) Funo sigmoidal

1
y ( x)
1 e kx

x
y(x)
1

e) Funo tangente hiperblica

y(x)
1

1 e kx
y ( x) tanh(kx)
1 e kx

-1

Processos de aprendizagem
Aprendizado supervisionado
Utilizao do par (entrada, sada)
Aprendizado no supervisionado
Utilizao apenas das entradas

Neurnio de McCullock-Pitts(1943)
Primeiro neurnio artificial.
Caractersticas:

- saida binria (0 ou 1).

- conexo excitatria se peso > zero.
- pesos das conexes excitatrias que vo para um mesmo
neurnios so iguais.
- cada neurnio tem um limiar fixo. Se o valor lquido das
entradas for maior que o limiar, o neurnio dispara.
- limiar definido para que a inibio seja absoluta.
- leva um passo no tempo para o sinal transitar por cada
conexo.

Neurnio de McCulloch-Pitts
Arquitetura:
x1

xn

w
w
p

xn+1

p
xm

yl= w. x1+ ... w. xn+ p. xn+1+ ... +p.xm

1, se yl>=
Y

f(yl) =
0, se yl<

x1...xn enviam sinais excitatrios

xn+1...xm enviam sinais inibitrios
= limiar

Neurnio de McCulloch-Pitts
Condio de inibio absoluta:

> n.w p
Y dispara se recebe k ou mais entradas
excitatrias e nehuma inibitria.
k.w >=
No h treinamento.
Exemplos: funes lgicas.