1

UsodoCoeficientedeCorrelaoLineardePearsonno
AprendizadoviaBackpropagation
DiegoSantiagodeMenesesCarvalho1,AreolinodeAlmeidaNeto1
DepartamentodeInformticaUniversidadeFederaldoMaranho(UFMA)
SoLusMABrasil

diego.carvalho@ifma.edu.br, areolino@ufma.br

Abstract. This paper proposes a variation to learning rate based on the

Pearsoncorrelationcoefficient.Thevariationproposedisparticulartoeach
weight being determined during the backpropagation algorithm training,
improvingitsconvergencetimeandaccuracy.Thebackpropagationalgorithm
isthemostpopularfortrainingMultilayerPerceptronnetworks.However,
often thetime requiredtocomplete thetraining is extensive, thus aims to
improvelearningbyapplyingthisproposal.
Keywords:Backpropagation,LinearCorrelation,ArtificialNeuralNetworks.
Resumo. Este trabalho prope uma variao para a taxa de aprendizado
baseada no coeficiente de correlao de Pearson. A variao proposta
particular para cada peso, sendo determinada durante o treinamento do
algoritmo backpropagation, melhorando seu tempo de convergncia e sua
acurcia.Oalgoritmobackpropagationomaispopularparaotreinamento
deredesPerceptrondeMltiplasCamadas.Contudo,muitasvezes,otempo
requerido para completar o treinamento extenso, assim pretendese
melhoraroaprendizadoaplicandoestaproposta.
Palavraschave: Backpropagation, Correlao Linear, Redes Neurais
Artificiais

1.Introduo
Sistemasdotadosdacaractersticadeaprendizadosoditosinteligentesepodemmudar
seucomportamentomedidaqueabsorvemnovosconhecimentos.Dentreasdiversas
tcnicas deIntelignciaArtificialquepossuemessacaracterstica,podemsecitaras
Redes Neurais Artificiais (RNA), as quais imitam o funcionamento dos neurnios
biolgicos.Dessaforma,asRNApossuemopoderdeidentificareabsorverrelaesa
partirdoconhecimentodosdadosdeentradaesada.
Dentre os vrios tipos de RNA, este trabalho aborda o tipo Perceptron de
MltiplasCamadas(MLP).QuandoestetipodeRNAapresentafunonolinearem
pelo menos uma de suas camadas intermedirias, pode aproximar qualquer funo
matemtica.Paratanto,elaprecisapassarporumprocessodeaprendizado,definidopor
HAYKINem[1]comoumprocessopeloqualosparmetroslivres(pesos)deumarede
neuralsoadaptadosatravsdeumprocessodeestimulaopeloambientenoquala
redeestinserida.

Pararealizaroprocessodeaprendizadoescolhidoumalgoritmoiterativo,o
maisconhecidopararedesMLPodenominadoBackpropagation(BP).Oobjetivodo
algoritmo ajustar os pesos at os valores ideais. Contudo, por ser iterativo, ele
apresentaalgumasdesvantagensqueserodetalhadasnaprximaseo.
Comointuitodereduziressasdesvantagens,propeseumaabordagembaseada
nocoeficientedecorrelaolineardePearson.

2.Oalgoritmobackpropagationpadro
OalgoritmoBPresponsvelporminimizaroerroquadrticomdiodesada.Ele
baseadonomtododogradientedescendenteedivideseemduasfases: Forward e
Backward, sendo a primeira responsvel pela produo do sinal de sada da RNA,
enquantoasegundaretropropagaoerrodesadadarede.
OalgoritmoBPmuitoutilizadodevidosuasimplicidade,baixacomplexidade
computacional e forte paralelismo no processamento. Apesar de muito utilizado,
apresentabaixavelocidadedeconvergnciaefacilidadedecairemummnimolocal.
Semdvidas,oaltotempodeconvergnciaumdosmaioresproblemasdo
algoritmoBP.Eofatorquemaiscontribuiparaissoovalordefinidoparaataxade
aprendizado. Sabese que alm de o valor dessa taxa ser definido aleatoriamente,
valoresmuitoaltospodemcausaroscilaesdoerroevaloresmuitobaixostornamo
processodeaprendizadobastantelento.NoBPpadro,ataxadeaprendizadouma
constante,masnaaplicaoprticapodeservarivel.Almdisso,difcildeterminar
seumelhorvalordurantetodooprocesso.
Comoobjetivodereduzirotempodeconvergncia,muitostrabalhostmsido
propostos,focandoprincipalmentenadiminuiodonmerodeiteraes.Porexemplo,
Kim e Chien em [3] propem um mtodo de avaliao dos neurnios da camada
escondida.OmtodoanalisaasadadaRNAsemorespectivoneurnio.Osneurnios
consideradosirrelevantestmseuspesoscongelados,ouseja,ospesosconectadosa
essesneurniosnosofremmaisatualizaes,oquereduzocustocomputacionale
aceleraoaprendizadodospesosdosneurniosrelevantes.
OtrabalhodeQin,LiueXie[6]defineovalordataxadeaprendizadoatravsde
umafunoquerelacionaestavarivelcomoerro.Demaneiraquequandooerro
diminui,ataxaaumentaproporcionalmenteaomesmo.Poroutrolado,quandooerro
aumenta,ataxadiminuiproporcionalmente.
NotrabalhodeXieetal[8]aideiaprincipalmultiplicarotermodemomentum
pelafunosigmideoutangentehiperblicaparaalteraradireodeajustedospesos.
Dessaforma,seoajustedospesosvaidiminuirafunoerro,ataxadeaprendizado
aumenta,casocontrrio,ataxareduzida.Issodiminuioproblemadaoscilaocom
taxasdeaprendizadoaltasereduzotempodetreinamentoparataxasdeaprendizado
baixas.
OquedifereotrabalhodeQin,LiueXie[6]dotrabalhodeXinboeLili[9]
que,nesteltimo,ospesossoefetivamenteatualizadosapenasquandooerrodiminui.
Se o erro aumenta, a atualizao dos pesos cancelada e a taxa de aprendizado
reduzida.

XiueChengem[10]melhoramaconvergnciadoalgoritmoBPaumentandoo
sinaldeerroatravsdoaumentodotermodemomentumedataxadeaprendizagem
autoadaptativa.
XueZhangem[11]analisamaslimitaesdoalgoritmoBPepropemum
novoalgoritmo quealtera afunodeativao, regulandoataxadeaprendizado e
definindonovosvaloresiniciaisparaospesos.
Semelhante a esses trabalhos, este pretende melhorar a convergncia do
algoritmoBP.Ametodologiautilizadaapresentadadetalhadamentenaseoseguinte.

3.Metodologia
Ametodologiadestetrabalhoestdivididaemtrsetapas:estudo,implementaoe
testesevalidao.Cadaumadelassucintamenteapresentadaaseguir:
3.1Estudo
Para iniciar esta pesquisa, so necessrios estudos referentes ao algoritmo BP,
principalmenteseusproblemasemelhoriasjsugeridas,bemcomoreferentesaousodo
coeficiente de correlao de Pearson. Dessa forma, alm de livros disponveis na
bibliotecadaUFMA,estosendoconsultadosartigosdisponveisnabasedoInstitutode
EngenheiroseEletricistasEletrnicos(IEEE).Inclusive,algunsdestesforamcitados
nasseesanteriores.
Arevisobibliogrficateveincioemjaneirodesteanoeseestenderatoms
demaio,deacordocomodesenvolvimentodaproposta.Comomaterialestudadosobre
oalgoritmoBPatomomento,sabesequecadaconexo(peso)entreosneurniosatua
demaneiradiferentenamudanadoerro,ouseja,algunsreduzemmaisoerrodurante
umadeterminada quantidade deiteraes, outros reduzem menos einclusive outros
podematcontribuirparaoaumentodeste.
Nointuitodemedirarelevnciadecadapesoduranteotreinamentodeuma
RNA,propeseousodocoeficientedecorrelaodePearson(r).
Segundo Larson e Farber em [4], uma correlao uma relao entre duas
variveis,ondeosdadospodemserrepresentadosporparesordenados(x,y),sendoxa
varivelindependente(ouexplanatria)eyavariveldependente(ouresposta).
Ocoeficientedecorrelaolinearumamedidadaforaedireodarelao
linearentreasduasvariveisacima.Osmbolorrepresentaocoeficientedecorrelao
amostral.Umaformulaparardadaaseguir,ondenonmerodeparesdedados:
(1)

O coeficiente r acima fornece valores entre 1 e 1, incluindo os extremos.

Quandor=1,significaumacorrelaoperfeitaentreasduasvariveis,ouseja,quando
umavarivelcresce,aoutratambmcresceeviceversa.Quando r =0,significaque
nohumarelaodedependncialinear,noentanto,podeexistirumanolinear,logo,

podese investigar por outros mtodos. Quando r = 1, significa uma correlao

negativaperfeita,ouseja,quandoumacresceaoutradecresce.
Muitas pesquisas tm tido xito com o auxlio deste coeficiente, nos mais
variadostemas.NotrabalhodeIranmanesh et.al [2],porexemplo,ocoeficientede
correlaodePearsonutilizadonaextraodecaractersticasdeassinaturasqueso
verificadas online.Ocoeficienteanalisaarelaoentreospontosdaassinaturaea
pressoexercidapelacanetanessespontos.Baseadonessaanlise,ascaractersticas
marcantes da assinatura so passadas para uma RNA classificadora. Os resultados
indicamboaprecisonoreconhecimentodasassinaturas.
Em[5],Netoet.alpropemumaabordagemparaaeconomiadeenergiaemum
sistemarobticoautnomo.Ocoeficienteanalisasealgunscomponenteslgicospodem
serdesligadosemtemporeal,semprejudicarocumprimentodastarefasdorob.
WueXuem[7]analisam acorrelao entre afrequncia e as funes dos
verbosvisuaischineses.Osresultadosindicamqueafrequnciadaspalavrasassume
correlaespositivascomasprincipaisfunesdesta,emboracomalgumasdiferenas
nograudecorrelao.
No trabalho [12], Zhang et. al propem uma nova metodologia para a
localizao de dispositivos mveis. Neste, o coeficiente de correlao de Pearson
utilizadojuntamentecomoprotocolodeIndicaodeForadoSinalRecebido(RSSI)e
outrasferramentas.
Assimcomoessestrabalhos,estepretendeanalisararelaoentreduasvariveis
distintas.Nestecaso,umpesoeoerroquadrticomdiodaRNAduranteotreinamento
viaalgoritmoBP.Baseadanessarelao,aabordagempropostadevevariarounoa
taxadeaprendizadoreferenteacadapeso,melhorandooaprendizado.
Destacaseocarteraltamenteinovadordousodestecoeficientenamelhoriado
algoritmoBP,hajavistaessaabordagemnotersidoencontradaemnenhumatrabalho
pesquisado.
As verificaes quesero implementadas e investigadas soapresentadas na
prximaseo.
3.2Implementao
A soluo proposta neste trabalho ser confeccionada no software MATLAB, cuja
realizaoserdeformacentralizada,ondetodososprogramasseroexecutados na
mesmamquina.
Umprogramaserdesenvolvidoparacadaumadasinvestigaesaseguir:

Congelarouanular os pesos queapresentarem correlao baixa em mdulo,

variandoounoosdemaispesos;

Variarinicialmenteumapequenaquantidadedepesos,porexemplo,cincoadez
porcentodototal,aumentandogradativamentemedianteosresultadosobtidos;

Atualizar a correlao a cada 1, 10, 50, 100, 1000 ou 10000 iteraes, por
exemplo;

Variarataxadeaprendizadobaseadonomdulodacorrelaoouno;

Variarataxadeaprendizadobaseadonavariaodoerro.

Como cada um dos programas ser testado exaustivamente, modificando a

quantidadedeneurniosnacamadaescondida,valordataxadeaprendizado,quantidade
depesosavariar,seranuladosoucongeladoseaquantidadedeiteraesnecessrias
para atualizar o coeficiente de correlao, pretendese criar interfaces grficas para
auxiliarnoandamentodaetapadetestesevalidao.
3.3TesteseValidao
Apsaetapadeimplementaoserescolhidaumaoumaisaplicaespararealizaros
testes e a validao da proposta. Em todas elas sero analisados a quantidade de
iteraesparaatingirumdeterminadoerroquadrticomdio,aacurciaeotempogasto
notreinamento,semprecomparandoanovaabordagemaoBPtradicional.Valedestacar
quepararealizaracomparaodotempodeformajusta,todasassimulaes sero
realizadas na mesma mquina, preservando as mesmas configuraes de mquina
duranteostestes.

4.Cronograma
Atividades
Reviso
Bibliogrfica
Desenvolvime
nto da
proposta
Pesquisar
sobre eventos
e revistas
Preparar artigo
Escrita da
Dissertao
Defesa da
Dissertao

2014
2015
ja
ab
ju ju
se ou
de Ja
n fev mar r
mai n l ago t t
nov z
n fev
X

X
X

X
X

X
X

5.RefernciasBibliogrficas
[1]Haykin,S.S.(2001).Redesneurais.Bookman.
[2] Iranmanesh, V., Mumtazah Syed Ahmad, S., Adnan, W., Adilah, W., Layth
Malallah,F.,&Yussof,S.(2013,December).Onlinesignatureverificationusingneural
network and pearson correlation features. InOpen Systems (ICOS), 2013 IEEE
Conferenceon(pp.1821).IEEE.
[3]Kim,I.C.,&Chien,S.I.(2002).Speedupoferrorbackpropagationalgorithmwith
classselectiverelevance.Neurocomputing,48(1),10091014.

[4] Larson, R., Farber, B., & Luciane; traduco tcnica Vianna. (2010).Estatstica
aplicada.Pearson.
[5]Neto,A.M.,Victorino,A.C.,Fantoni,I.,&Zampieri,D.E.(2011,June).Realtime
dynamic power management based on Pearson's Correlation Coefficient.
InAdvancedRobotics(ICAR),201115thInternationalConferenceon(pp.304309).
IEEE.
[6]Qin,R.,Liu,L.L.,&Xie,J.(2010,January).AnApplicationofImprovedBP
NeuralNetworkinPersonalCreditScoring.InComputerModelingandSimulation,
2010.ICCMS'10.SecondInternationalConferenceon(Vol.4,pp.238241).IEEE.
[7] Wu, W. J., & Xu, Y. (2010, July). Correlation analysis of visual verbs'
subcategorization basedonPearson'scorrelation coefficient. InMachineLearning
and Cybernetics (ICMLC), 2010 International Conference on(Vol. 4, pp. 2042
2046).IEEE.
[8]Xie,R.,Wang,X.,Li,Y.,&Zhao,K.(2010,June).Researchandapplicationon
improvedBPneuralnetworkalgorithm.InIndustrialElectronicsandApplications
(ICIEA),2010the5thIEEEConferenceon(pp.14621466).IEEE.
[9]Xinbo,Z.,&Lili,W.(2010,December).HandwrittenDigitRecognitionBasedon
ImprovedLearningRateBPAlgorithm.InInformationEngineeringandComputer
Science(ICIECS),20102ndInternationalConferenceon(pp.14).IEEE.
[10] XiuJuan,F., &ChengGuo, L. (2009,March). The Research in YarnQuality
PredictionModelBasedonanImprovedBPAlgorithm.InComputerScienceand
Information Engineering, 2009 WRI World Congress on(Vol. 2, pp. 167172).
IEEE.
[11] Xu,Y.,& Zhang, H.(2009, July). Study onthe Improved BP Algorithm and
Application.InInformationProcessing,2009.APCIP2009.AsiaPacificConference
on(Vol.1,pp.710).IEEE.
[12]Zhang,Y.,Liu,H.,Fu,W.,Zhou,A.,&Mi,L.(2014,January).Localization
algorithm forGSM mobiles basedonRSSIandPearson's correlation coefficient.
InConsumerElectronics(ICCE),2014IEEEInternationalConferenceon(pp.284
285).IEEE.