2017614 RedesNeuraisArtificiais

PerceptronMultiCamadas(MLP)
Quando Redes Neurais Artificiais de uma s camada so utilizadas os padres de treinamento
apresentados entrada so mapeados diretamente em um conjunto de padres de sada da rede, ou
sejanopossvelaformaodeumarepresentaointerna.Nestecaso,acodificaoprovenientedo
mundoexteriordevesersuficienteparaimplementaressemapeamento.

Talrestrioimplicaquepadresdeentradasimilaresresultemempadresdesadasimilares,oque
leva o sistema incapacidade de aprender importantes mapeamentos. Como resultado, padres de
entradacomestruturassimilares,fornecidosdomundoexterno,quelevemasadasdiferentesnoso
possveis de serem mapeados por redes sem representaes internas, isto , sem camadas
intermedirias.Umexemploclssicodestecasoafunoouexclusivo(XOR).

MinskyePapertanalisarammatematicamenteoPerceptronedemostraramqueredesdeumacamada
no so capazes de solucionar problemas que no sejam linearmente separveis. Como no
acreditavamnapossibilidadedeseconstruirummtododetreinamentopararedescommaisdeuma
camada,elesconcluramqueasredesneuraisseriamsempresuscetveisaessalimitao.

Contudo, o desenvolvimento do algoritmo de treinamento backpropagation, por Rumelhart, Hinton e

Williams em 1986, precedido por propostas semelhantes ocorridas nos anos 70 e 80, mostrou que
possvel treinar eficientemente redes com camadas intermedirias, resultando no modelo de Redes
NeuraisArtificiaismaisutilizadoatualmente,asredesPerceptronMultiCamadas(MLP),treinadascom
oalgoritmobackpropagation.

Nessas redes, cada camada tem uma funo especfica. A camada de sada recebe os estmulos da
camada intermediria e constri o padro que ser a resposta. As camadas intermedirias funcionam
como extratoras de caractersticas, seus pesos so uma codificao de caractersticas apresentadas
nospadresdeentradaepermitemquearedecriesuaprpriarepresentao,maisricaecomplexa,
doproblema.

CamadasdeumaRedeNeural.

Se existirem as conexes certas entre as unidades de entrada e um conjunto suficientemente grande

deunidadesintermedirias,podesesempreencontrararepresentaoqueirproduziromapeamento
corretodaentradaparaasadaatravsdasunidadesintermediria.

ComoprovouCybenko,apartirdeextensesdoTeoremadeKolmogoroff,sonecessriasnomximo
duas camadas intermedirias, com um nmero suficiente de unidades por camada, para se produzir
quaisquermapeamentos.Tambmfoiprovadoqueapenasumacamadaintermediriasuficientepara
aproximarqualquerfunocontnua.

Backpropagation

Durante o treinamento com o algoritmo backpropagation, a rede opera em uma sequncia de dois
http://conteudo.icmc.usp.br/pessoas/andre/research/neural/MLP.htm 1/4
2017614 RedesNeuraisArtificiais

passos. Primeiro, um padro apresentado camada de entrada da rede. A atividade resultante flui
atravs da rede, camada por camada, at que a resposta seja produzida pela camada de sada. No
segundopasso,asadaobtidacomparadasadadesejadaparaessepadroparticular.Seestano
estiver correta, o erro calculado. O erro propagado a partir da camada de sada at a camada de
entrada,eospesosdasconexesdasunidadesdascamadasinternasvosendomodificadosconforme
oerroretropropagado.

As redes que utilizam backpropagation trabalham com uma variao da regra delta, apropriada para
redesmulticamadas:aregradeltageneralizada.Aregradeltapadroessencialmenteimplementaum
gradiente descendente no quadrado da soma do erro para funes de ativao lineares. Redes sem
camadas intermedirias, podem resolver problemas onde a superfcie de erro tem a forma de um
parabolidecomapenasummnimo.Entretanto,asuperfciedoerropodenosertosimples,comoa
ilustradanafiguraabaixo,esuasderivadasmaisdifceisdeseremcalculadas.Nestescasosdevemser
utilizadas redes com camadas intermedirias. Ainda assim, as redes ficam sujeitas aos problemas de
procedimentos"hillclimbing",ouseja,aoproblemademnimoslocais.

Exemplodesuperfciedeerro.

A regra delta generalizada funciona quando so utilizadas na rede unidades com uma funo de
ativao semilinear, que uma funo diferencivel e no decrescente. Note que a funo threshold
no se enquadra nesse requisito. Uma funo de ativao amplamente utilizada, nestes casos, a
funosigmoid.

Ataxadeaprendizadoumaconstantedeproporcionalidadenointervalo[0,1],poisesteprocedimento
deaprendizadorequerapenasqueamudananopesosejaproporcionalneta.

Entretanto,overdadeirogradientedescendenterequerquesejamtomadospassosinfinitesimais.Assim
quanto maior for essa constante, maior ser a mudana nos pesos, aumentando a velocidade do
aprendizado,oquepodelevarumaoscilaodomodelonasuperfciedeerro.Oidealseriautilizara
maior taxa de aprendizado possvel que no levasse uma oscilao, resultando em um aprendizado
maisrpido.

O treinamento das redes MLP com backpropagation pode demandar muitos passos no conjunto de
treinamento, resultando um tempo de treinamento considervelmente longo. Se for encontrado um
mnimo local, o erro para o conjunto de treinamento pra de diminuir e estaciona em um valor maior
queoaceitvel.Umamaneiradeaumentarataxadeaprendizadosemlevaroscilaomodificara
regra delta generalizada para incluir o termo momentum, uma constante que determina o efeito das
mudanaspassadasdospesosnadireoatualdomovimentonoespaodepesos.

IDestaforma,otermomomentumlevaemconsideraooefeitodemudanasanterioresdepesosna
direodomovimentoatualnoespaodepesos.Otermomomentumtornasetilemespaosdeerro
que contenham longas gargantas, com curvas acentuadas ou vales com descidas suaves, como o
apresentadonafiguraacima.

TreinamentodaredeMLP

O treinamento supervisionado da rede MLP utilizando backpropagation consiste em dois passos. No

primeiro, um padro apresentado s unidades da camada de entrada e, a partir desta camada as
unidades calculam sua resposta que produzida na camada de sada, o erro calculado e o no

http://conteudo.icmc.usp.br/pessoas/andre/research/neural/MLP.htm 2/4
2017614 RedesNeuraisArtificiais

segundopasso,estepropagadoapartirdacamadadesadaatacamadadeentrada,eospesosdas
conexes das unidades das camadas internas vo sendo modificados utilizando a regra delta
generalizada.

EsquemadeTreinamentoBackpropagation

Comissooerrovaisendoprogressivamentediminudo,comopodeserobservadonafiguraabaixo.

Superfciedeerroetreinamentobackpropagation.

Utilizao

Depois que a rede estiver treinada e o erro estiver em um nvel satisfatrio, ela poder ser utilizada
comoumaferramentaparaclassificaodenovosdados.Paraisto,arededeverserutilizadaapenas
nomodoprogressivo(feedforward).Ouseja,novasentradassoapresentadascamadadeentrada,
so processadas nas camadas intermedirias e os resultados so apresentados na camada de sada,
comonotreinamento,massemaretropropagaodoerro.Asadaapresentadaomodelodosdados,
nainterpretaodarede.

http://conteudo.icmc.usp.br/pessoas/andre/research/neural/MLP.htm 3/4
2017614 RedesNeuraisArtificiais

UtilizaodaredeMLP.

Limitaes

As redes neurais que utilizam backpropagation, assim como muitos outros tipos de redes neurais
artificiais, podem ser vistas como "caixas pretas", na qual quase no se sabe porque a rede chega a
umdeterminadoresultado,umavezqueosmodelosnoapresentamjustificativasparasuasrespostas.
Neste sentido, muitas pesquisas vm sendo realizadas visando a extrao de conhecimento de redes
neurais artificiais, e na criao de procedimentos explicativos, onde se tenta justificar o
comportamentodaredeemdeterminadassituaes.

Uma outra limitao referese ao tempo de treinamento de redes neurais utilizando backpropagation,
quetendeasermuitolento.Algumasvezessonecessriosmilharesdeciclosparasechegarnveis
de erros aceitveis, principalmente se estiver sendo simulado em computadores seriais, pois a CPU
deve calcular as funes para cada unidade e suas conexes separadamente, o que pode ser
problemtico em redes muito grandes, ou com grande quantidade de dados. Muitos estudos esto
sendo realizados para implementao de redes neurais em computadores paralelos, alm de
construo de chips neurais como Intel 80170NX Eletronically Trainable ANN ou placas aceleradoras
comoBrainMakerAcceleratorBoardCNAPS.

muitodifcildefiniraarquiteturaidealdarededeformaqueelasejatograndequantoonecessrio
paraconseguirobterasrepresentaesnecessrias,aomesmotempopequenaosuficienteparaseter
umtreinamentomaisrpido.Noexistemregrasclarasparasedefinirquantasunidadesdevemexistir
nascamadasintermedirias,quantascamadas,oucomodevemserasconexesentreessasunidades.
Para resolver este tipo de problema, Algoritmos Genticos poderiam ser utilizados para encontrar
automaticamente boas arquiteturas de redes neurais, eliminando muitas armadilhas associadas s
abordagensdeengenhariahumana.

http://conteudo.icmc.usp.br/pessoas/andre/research/neural/MLP.htm 4/4