IME

ISSN 1982-9035 Monografias em Sistemas e Computao n 03/2009

Mtodos para Previso de Sries Temporais e suas Tendncias de Desenvolvimento

Claudio Vasconcelos Ribeiro Ronaldo Ribeiro Goldschmidt Ricardo Choren

Seo de ngen!aria de Computao

I STIT!T" MI#IT$R D% % G% &$RI$ PR$'$ G% %R$# TI()RCI" *+ , C%P ---.+/-0+ RI" D% 1$ %IR" , (R$SI#

Monografias em Sistemas e Computao" No# 03/2009 ditor$ %rof# C&audia Mar'e&a (uste&

ISSN$ 1982-9035 Setem)ro" 2009

Mtodos para Previso de Sries Temporais e suas Tendncias de Desenvolvimento

C&audio *as'on'e&os +i)eiro" +ona&do +i)eiro ,o&ds'!midt1 " +i'ardo C!oren
1

Instituto Superior de -e'no&ogia do +io de (aneiro . /0 - C

'&audio1as0223a!oo#'om#)r" rona&do#rgo&d2gmai&#'om" '!oren2ime#e)#)r

Abstract. Time series forecasting is a challenge in the area of Data Mining. Predicting future values, based on past values, has become a subject of particular interest in academy and industry, with applications in production planning, electricity demand prediction and stock market price estimative, among others. There are several methods to assist in the task of time series forecasting, such as models from the statistics, as well as those derived from technologies of neural networks, fu y logic and the genetic algorithms, which are some e!amples of computational intelligence. "ther approaches combine these techni#ues in the form of hybrid systems or committees, looking for a better performance achieved by the fusion of various e!perts. This paper presents some of these techni#ues and current trends of research in this area. Keywords$ Time series, %rtificial intelligence. Resumo. Previs&o de s'ries temporais ' um desafio da (rea de Minera)&o de Dados. Prever valores futuros, em fun)&o de valores passados, tem se tornado um assunto de especial interesse na academia e na ind*stria, com aplica)+es em planejamento de produ)&o, matri energ'tica e mercado de a)+es, dentre outras. ,!istem diversos m'todos para au!iliar na tarefa de previs&o de s'ries temporais, tais como modelos provenientes da estat-stica, assim como a#ueles derivados de tecnologias de redes neurais, de l.gica nebulosa e de algoritmos gen'ticos, #ue s&o alguns e!emplos de t'cnicas intelig/ncia computacional. "utras abordagens #ue reali am a combina)&o destas t'cnicas, na forma de sistemas h-bridos ou comit/s, buscam alcan)ar um melhor desempenho por meio da fus&o de v(rias opini+es individuais. ,ste trabalho apresenta algumas dessas t'cnicas bem como as tend/ncias atuais de pes#uisa nessa (rea. Palavras-chave$ 0'ries temporais, 1ntelig/ncia artificial.

iii

Respons2vel por publica34es$ +i'ardo C!oren IM . Seo de ngen!aria de Computao %raa ,enera& -i)4r'io 80" %raia *erme&!a 22290-250" +io de (aneiro/+(" 6rasi& -e&# 755 21 2589-5090 -mai&$ '!oren2ime#e)#)r

iii

5 Introdu3o
% import2ncia da an(lise e previs&o de s'ries temporais na ci/ncia, engenharia, e neg.cios tem crescido e continua como interesse atual de engenheiros e cientistas. De forma objetiva, 30ilva et al., 45567 descrevem uma s'rie temporal como sendo um conjunto de observa)+es discretas, reali adas em per-odos e#8idistantes e #ue apresentam uma depend/ncia serial entre essas observa)+es . De forma ilustrativa, a 9igura 5: e!ibe e!emplos de s'ries temporais.

;a<

;b<

6i7ura +58 9a: Srie Do; 1ones 9<essa= -++>:? 9b: Srie #aser 9<an= -++>:?

=onhecer previamente um valor futuro pode significar a diferen)a entre o sucesso e o fracasso em determinadas ocasi+es. Diversos 0istemas de %poio > Decis&o ;0%D< empregam m'todos #ue envolvem previs+es de fatos e situa)+es futuras. Dentre eles, podem ser citados$ previs&o de vendas para planejamento de produ)&o industrial, demandas de energia el'trica, previs+es de temperaturas m'dias e da altura das mar's, estimativa de pre)os de a)+es na bolsa de valores. Para #ue seja poss-vel prever os valores futuros com base em valores passados, ' necess(rio #ue se disponha de uma mem.ria hist.rica de dados ocorridos anteriormente. Todavia, o conjunto de dados, por si s., n&o permite a previs&o dos valores futuros. Para isso, ' necess(ria a utili a)&o de algoritmos, t'cnicas ou m'todos de previs&o de s'ries temporais, #ue podem envolver c(lculos simples ou procedimentos comple!os . ,!istem diversos m'todos para au!iliar na tarefa de previs&o de s'ries temporais, como por e!emplo$ modelos de 0uavi a)&o ,!ponencial, modelos auto-regressivos ;%?<, de m'dias m.veis ;M%< e Modelos %?1M%. Tecnologias de intelig/ncia computacional, tais como redes neurais, l.gica nebulosa e algoritmos gen'ticos, proporcionam a cria)&o de metodologias avan)adas de previs&o. "s conceitos e defini)+es descritos anteriormente podem ser observados em maiores detalhes em 3Palit e Popovic, 455@7 3?ibeiro et al., 455A7 30ilva et al., 45567 3Morettin e Toloi, 455B7. %s capacidades e restri)+es individuais de tecnologias de intelig/ncia computacional t/m sido a motiva)&o principal por tr(s de suas fus+es para a cria)&o de sistemas h-bridos inteligentes, capa es de solucionar muitos problemas comple!os. %ssim, alternativas para combina)&o de m'todos de previs&o v/m sendo pes#uisadas. ,ntre elas e!iste a abordagem de combina)&o pela cria)&o de comit/s de m(#uinas de aprendi ado. =omit/ de m(#uinas de aprendi ado ' uma abordagem #ue trata da fus&o do conhecimento ad#uirido por especialistas ;m'todos de previs&o ou simples-

mente previsores< para atingir uma decis&o global #ue visa ser superior >#uela alcan)(vel por #ual#uer um deles atuando isoladamente 3Caykin, 455:7. ,ste trabalho tem por objetivo apresentar algumas das t'cnicas citadas para a previs&o de s'ries temporais, bem como as tend/ncias atuais de pes#uisa nessa (rea. % organi a)&o desse trabalho segue em mais D 0e)+es. % 0e)&o 4 descreve as bases te.ricas referentes > previs&o de s'ries temporais. Ea 0e)&o D s&o apresentados alguns m'todos aplicados na previs&o de s'ries temporais e as tend/ncias nessa (rea. 9inali ando o trabalho, a 0e)&o F cont'm um resumo e as suas conclus+es.

- Conceitos (2sicos
,sta se)&o descreve os conceitos b(sicos sobre s'ries temporais e apresenta duas das mais importantes tecnologias de intelig/ncia artificial #ue servem de base para a cria)&o de diversos algoritmos e m'todos de previs&o de s'ries temporais$ redes neurais e l.gica nebulosa.

-?5

Sries Temporais

Gma s'rie temporal pode ser conceituada simplesmente como #ual#uer conjunto de observa)+es ordenadas no tempo 3Morettin e Toloi, 455B7. Pode-se e!pressar uma s'rie temporal por$

= t = <= t ; t = 1"2"3###N:

"nde t ' um -ndice temporal, e E ' o n*mero de observa)+es. =onsiderando a e!ist/ncia de observa)+es de uma s'rie temporal at' o instante t, a previs&o no instante tHh ' denotada por t;h<, cuja origem ' t e o hori onte de previs&o ' h. %s previs+es em I;tH:<, I;tH4<, ... I;tHh< podem ser ilustradas por meio do e!emplo contido na 9igura 54.

B A9t:

# # # # # ###
t

> =?1@ > @ =?2@ @

> =?!@ @

t71 t72

?????

t7!

Tempo 9t:

6i7ura +-8 "bserva34es de uma srie temporal com previs4es de ori7em t e horiContes de previso i7uais a um= dois e h 9adaptado de DMorettin e Toloi= -++>E:

%l'm do hori onte de previs&o, outro par2metro usado pelo processo de previs&o ' o n*mero de elementos hist.ricos anteriores ao hori onte de previs&o. ,le ' chamado de janela de previs&o e est( presente em boa parte dos m'todos de previs&o de s'ries temporais 30ilva et al., 45567. % janela de previs&o ' utili ada para formar o e!emplos ;padr+es< nos #uais alguns m'todos de previs&o reali am a e!tra)&o do conhecimento ;aprendi ado< para aplica)&o na previs&o de valores futuros. " elemento #ue segue imediatamente > janela de previs&o constitui o alvo, ou seja, o elemento #ue se deseja prever. % s'rie temporal ' normalmente dividida em dois conjuntos de elementos$ o primeiro ' destinado ao m'todo de previs&o para a obten)&o do aprendi ado ;conjunto de treino< e o segundo ' usado para verifica)&o de seu desempenho na previs&o de valores futuros ;conjunto de teste<. % 9igura 5D mostra um e!emplo da defini)&o desses componentes para previs&o de uma s'rie temporal$ a divis&o da s'rie em conjuntos para treinamento e teste, uma janela de previs&o #ue possui cinco elementos e o horionte de previs&o de um elemento ;o alvo<.

6i7ura +F8 %@emplo de uma Ganela de previso com cinco entradas e horiConte de previ/ so i7ual a um

-?-

Redes

eurais $rtiHiciais

J,m termos intuitivos, redes neurais artificiais ;?E%s< s&o modelos matem(ticos inspirados nos princ-pios de funcionamento dos neurKnios biol.gicos e na estrutura do c'rebro L 3Moldschmidt e Passos, 455@7. ?E%s s&o unidades de processamento num'rico, cuja ar#uitetura em camada produ um flu!o de informa)+es com ou sem realimenta)&o, possuindo uma estrutura de processamento de sinais com grande poder de adapta)&o e capacidade de representa)&o de processos n&o lineares 30ilva,455D7. ,ntre as aplica)+es usuais das ?E%s t/m-se$ reconhecimento e classifica)&o de padr+es, clustering ou agrupamento, previs&o de s'ries temporais, apro!ima)&o de fun)+es, otimi a)&o, processamento de sinais, an(lise de imagens e controle de processos. Gma rede neural se assemelha ao c'rebro em dois aspectos 3Caykin, 455:7$ " conhecimento ' ad#uirido pela rede a partir de seu ambiente atrav's de um processo de aprendi agemN e 9or)as de cone!&o entre neurKnios, conhecidas como pesos sin(pticos, s&o utiliados para arma enar o conhecimento ad#uirido.

Eo processo de aprendi agem, generalizao significa #ue a rede neural produ ir( uma sa-da desejada para valores de entrada n&o utili ados durante tal processo, sendo este constitu-do, geralmente, por meio de e!emplos. " elemento b(sico de constru)&o de uma ?E% ' o neurKnio artificial, cuja descri)&o ' o est(gio inicial para o entendimento dos conceitos associados >s estruturas de redes e!istentes. -?-?5 eurInio $rtiHicial

Gm neurKnio ' uma unidade de processamento de informa)&o #ue ' fundamental para a opera)&o de uma rede neural. " modelo de um neurKnio ' ilustrado na 9igura 5F e sua estrutura ' descrita a seguir com base nos conceitos definidos em 3Caykin, 455:7. "utras informa)+es complementares podem ser obtidas em 3Moldschmidt e Passos, 455@7 e 3?e ende, 455D7. % estrutura de um neurKnio permite um conjunto de valores como entradas ;!:, !4, ..., !m< para a produ)&o de uma sa-da *nica ;yk<. Tais entradas s&o ponderadas por respectivos pesos sin(pticos ;wk:, wk4, ...wkD< e somadas ao valor de um bias bk aplicado e!ternamente. " bias bk tem o efeito de aumentar ou diminuir a entrada l-#uida da fun)&o de ativa)&o, dependendo se ele ' positivo ou negativo. ,m seguida uma fun)&o de ativa)&o O;.< ' utili ada para restringir a amplitude do sinal de sa-da.

?a@

?)@

6i7ura +J8 Modelos de um neurInio? 9a: Modelo no/linear de um neurInioK 9b: GraHo de Hlu@o de sinal de um neurInio? Honte8 D&aLMin= -++5E

Tipicamente, o intervalo normali ado da sa-da de um neurKnio ' descrito como o intervalo unit(rio fechado 35,:7 ou alternativamente 3-:,:7. =onsiderando vk como o potencial de ativa)&o ou campo local indu ido, o neurKnio pode ser descrito pelas seguintes e#ua)+es$

vk = wkj x j
j= 0

yk = (vk )

% fun)&o de ativa)&o pode apresentar caracter-sticas lineares ou n&o-lineares, determinando a sa-da de um neurKnio a partir do seu potencial de ativa)&o. Dentre a#uelas #ue possuem comportamento linear destacam-se a fun)&o linear e a fun)&o de limiar ;referida normalmente na literatura de engenharia como funo de Heaviside, fun)&o degrau ou degrau unipolar<. ,m geral, uma fun)&o n&o-linear simula com maior precis&o os neurKnios biol.gicos, sendo a fun)&o sigm.ide uma das mais utili adas. % fun)&o sigm.ide pode ser definida por$

(v ) =

1 1 + e v

%s fun)+es de ativa)&o descritas anteriormente se estendem de ero a H:. Para a utili a)&o de valores negativos, na forma correspondente de uma fun)&o sigm.ide, podese empregar a fun)&o tangente hiperb.lica definida por$

(v) = tanh(v)
% 9igura 5@ ilustra os tipos de gr(ficos representados por meio das fun)+es de ativa)&o mencionadas.

6i7ura +N8 Tipos de Hun3o de ativa3o8 9a: Hun3o de limiar? 9b: Hun3o linear? 9c: Hun/ 3o si7mOide? 9d: Hun3o tan7ente hiperbOlica

-?-?- $rPuitetura de uma Rede

eural $rtiHicial

% estrutura da rede neural, composta de intercone!+es de neurKnios, pode variar #uanto ao n*mero de camadas, neurKnios em cada camada, fun)&o de ativa)&o dos neurKnios em uma camada e a forma como as camadas s&o conectadas ;totalmente ou parcialmente<. "s detalhes de tal estrutura podem ser verificados em 3Caykin, 455:7 3?e ende, 455D7 e 30ilva, 455D7. % utili a)&o dessas informa)+es para aplica)+es em previs&o de s'ries temporais podem ser encontradas em 3Palit e Popovic, 455@7. ,!istem basicamente tr/s tipos de ar#uitetura$ redes feedforward de camada *nica, redes feedforward de m*ltiplas camadas e redes recorrentes.

%s redes feedforward de camada *nica s&o formadas por uma camada de entrada de n.s fonte projetada sobre uma camada de sa-da de neurKnios, mas n&o vice-versa. Gm e!emplo de ?edes Feedforward Multicamadas s&o as redes fundamentadas em perceptron de multicamadas ;estas conhecidas como redes MPP, do ingl/s Multilayer Perceptron<. Perceptron ' um modelo de rede de um n-vel capa somente de classificar padr+es #ue sejam linearmente separ(veis. %s redes MPP possuem uma ou mais camadas escondidas ;ocultas<, al'm das camadas de entrada e de sa-da, cuja estrutura dessas redes supre as defici/ncias das redes do tipo perceptron. Tipicamente, os neurKnios em cada camada de uma rede MPP t/m como suas entradas apenas os sinais de sa-da da camada precedente. %s redes MPP s&o geralmente usadas para determinar um mapeamento entre dois conjuntos de dados. % 9igura 5B ilustra um e!emplo de uma rede MPP.

6i7ura +>8 GraHo arPuitetural de um perceptron de mQltiplas camadas com duas cama/ das ocultas? Honte8 D&aLMin= -++5E

Gma rede neural recorrente se distingue de uma rede feedforward por ter pelo menos um la)o de realimenta)&o. ,m fun)&o dessa caracter-stica, tamb'm s&o chamadas de ?E%s com mem.ria, respondendo a est-mulos dinamicamente, isto ', ap.s aplicar uma nova entrada, a sa-da ' calculada e ent&o realimentada para modificar a entrada. ,!emplos desse tipo de rede s&o as redes ,lman e as ?edes Copfield descritas em . Diversas ar#uiteturas de rede s&o utili adas para previs&o de s'ries temporais, merecendo desta#ue$ redes MPP, redes de fun)&o de base radial ;ou ?Q9, do ingl/s Radial Basis Function< e redes recorrentes. %s ar#uiteturas MPP constituem os modelos de redes neurais artificiais mais utili ados e conhecidos. % inerente capacidade de sua estrutura de rede em tr/s camadas promove #ual#uer mapeamento de entrada-sa-da, #ualificando as redes MPP para uma previs&o eficiente de s'ries temporais. % escolha da estrutura da rede neural determina diretamente a #ualidade do modelo obtido. Mesmo para uma estrutura definida, pode haver um n*mero elevado ou mesmo infinito de solu)+es poss-veis. Diversas atividades s&o necess(rias para a defini)&o da ar#uitetura de uma rede neural para a #ual um problema espec-fico dever( ser resolvido de forma .tima. %p.s a determina)&o do tipo de ar#uitetura de rede #ue ser( empregada, conforme op)+es

e!emplificadas anteriormente, diversas atividades s&o necess(rias para a montagem da estrutura da rede, sendo algumas delas descritas adiante. Ea maior parte das aplica)+es de previs&o, somente uma camada oculta ' usada, embora algumas situa)+es e!cepcionais justifi#uem um n*mero maior. " n*mero de neurKnios nas camadas de entrada e de sa-da depende da dimensionalidade dos dados, en#uanto #ue o n*mero de neurKnios nas camadas intermedi(rias depende da comple!idade do problema. Ruanto maior o n*mero de neurKnios nas camadas intermedi(rias, mais comple!as s&o as fun)+es mapeadas com a ?E%. Para o caso de previs&o de valores futuros onde seja empregado o conceito de janela de previs&o, a #uantidade de n.s de entrada da rede ' diretamente determinada pelo tamanho dessa janela. % 9igura 56 ilustra a #uantidade de neurKnios de entrada para a previs&o do pr.!imo valor ;previs&o tamb'm conhecida como u passo a frente, do ingl/s one!step!a"ead prediction< em uma rede MPP, considerando-se o valor atual !;t< e uma janela de previs&o de n elementos. Eessa configura)&o ilustrada, o n*mero de neurKnios necess(rios para a camada de sa-da ' apenas um. "utra etapa de configura)&o das camadas de rede ' a sele)&o das fun)+es de ativa)&o dos neurKnios, as #uais ser&o id/nticas para todos os neurKnios de uma mesma camada.

6i7ura +08

Qmero de neurInios de entrada para um horiConte de previso i7ual a um? Honte8 DPalit e Popovic= -++NE

" padr&o de intercone!&o dos neurKnios da rede neural refere-se a forma como a sa-da de cada neurKnio de uma camada est( conectada com a entrada de cada neurKnio da camada subse#8ente. Gma ?E% ' dita completamente conectada ;full interco! nection< #uando cada neurKnio de uma camada, com e!ce)&o da camada de entrada, possui suas entradas ligadas >s sa-das de todos os neurKnios da camada #ue a antecede. 0e esta condi)&o n&o for atendida, a ?E% ' dita parcialmente conectada. -?-?F Metodolo7ia de Previso % metodologia de previs&o ' geralmente compreendida como um conjunto de abordagens, m'todos e ferramentas para coleta de dados de s'ries temporais para serem usadas em previs&o de valores futuros, baseados em valores passados 3Palit e Popovic, 455@7. "s passos operacionais definidos por esses autores s&o$ prepara)&o de dadosN

determina)&o da ar#uitetura da redeN projeto da estrat'gia de treinamentoN e avalia)&o dos resultados da previs&o. % etapa de prepara)&o dos dados envolve, entre outros aspectos, a forma de a#uisi)&o, o pr'-processamento, a normali a)&o, a estrutura dos dados e a defini)&o dos conjuntos de treino e teste. %s fun)+es de ativa)&o re#uerem valores normali ados e, dessa forma, h( necessidade do emprego de procedimentos dedicados para prepara)&o dos dados de entrada das redes neurais, adaptando-os >s n&o-linearidades dos neurKnios, visando n&o ultrapassar os limites de satura)&o. 3Moldschmidt e Passos, 455@7 descrevem diversos tipos de normali a)&o. 0egundo esses autores, a normali a)&o linear consiste em considerar os valores m-nimo e m(!imo de cada atributo no ajuste da escala, mapeando esse atributo no intervalo fechado de ero at' :;um<. % e#ua)&o #ue define a normali a)&o linear ' descrita como$

xn =
"nde$ !n S valor normali ado !i

xi xmn xmx xmn

S valor do atributo a ser normali ado

!m-n S valor m-nimo do atributo a ser normali ado !m(! S valor m-nimo do atributo a ser normali ado =onv'm observar a necessidade de um p.s-processamento dos dados ao final do processamento da rede ;previs&o de valores<, revertendo a normali a)&o reali ada anteriormente. Ea estrutura)&o dos dados, pares de dados relacionando as entradas com as sa-das desejadas dever&o ser constru-dos para a etapa de aprendi ado supervisionado. =onforme ilustrada na 9igura 56, a previs&o de um valor em !;tH:<, denotado como alvo, relacionar( valores passados at' !;t<, inclusive. De forma an(loga, um valor alvo em !;tH4< utili ar( dados hist.ricos at' !;tH:<, seguindo assim sucessivamente para os demais pares de valores. % utili a)&o de um conjunto de treinamento, composto pelos pares de dados ;e!emplos< definidos anteriormente, permitir( a rede neural e!trair o conhecimento ;aprendi ado< necess(rio para sua utili a)&o como previsor de valores futuros, cuja capacidade poder( ser testada em um conjunto de teste dos pares de dados remanescentes. " aprendi ado ser( o resultado de v(rias apresenta)+es de um determinado conjunto de e!emplos de treinamento. Gma apresenta)&o completa de todo esse conjunto de treinamento ' denominado uma #poca. De acordo com 3Palit e Popovic, 455@7, as recomenda)+es sobre a divis&o desses conjuntos em treinamento e teste v&o desde um fator de T5U por :5U, at' um fator de @5U por @5U. -?-?J Processo de $prendiCa7em % propriedade #ue ' de import2ncia primordial para uma rede neural ' a sua habilidade de aprender a partir de seu ambiente e de melhorar o seu desempenho atrav's da

aprendi agem, cujos algoritmos de aprendi agem diferem entre si pela forma como ' formulado o ajuste de um peso sin(ptico de um neurKnio 3Palit e Popovic, 455@7. Tais algoritmos ajustam iterativamente os pesos das cone!+es entre os neurKnios at' #ue os pares desejados de informa)+es de entrada;s< e sa-da;s< sejam obtidos e as rela)+es de causa e efeito possam ser estabelecidas 3Peone 9ilho, 455B7. "s algoritmos de aprendi ado podem ser classificados em tr/s paradigmas distintos$ aprendi ado supervisionado, aprendi ado n&o-supervisionado e aprendi ado por refor)o. 0eguem adiante algumas no)+es e!tra-das de 3?e ende, 455D7. % aprendi agem supervisionada, tamb'm conhecida como aprendi agem com um professor, caracteri a-se pela e!ist/ncia de um professor ou supervisor, e!terno > rede #ue tem a fun)&o de monitorar a resposta da mesma para cada vetor de entrada. Eo aprendi ado n&o-supervisionado a rede ' autKnoma, ela n&o necessita de um JprofessorL, sendo o processo direcionado por correla)+es e!istentes nos dados de entrada. " aprendi ado por refor)o pode ser considerado um paradigma intermedi(rio entre o aprendi ado supervisionado e o n&o-supervisionado. " conjunto de treinamento ' formado apenas pelos vetores de entrada, mas e!iste um cr-tico e!terno em substitui)&o ao supervisor do aprendi ado supervisionado.

-?F

#RGIC$ %(!#"S$

% l.gica nebulosa, tamb'm conhecida como l.gica fuzzy ;do ingl/s fuzzy logic<, ' uma teoria matem(tica #ue permite modelar o modo apro!imado do racioc-nio humano, imitando assim a habilidade de tomada de decis&o em ambientes de incerte a e imprecis&o 3Moldschmidt e Passos, 455@7. 0istemas de apoio > decis&o, algoritmos para apro!ima)&o de fun)+es e sistemas de controle est&o entre as formas mais populares de utili a)&o dos conceitos relacionados com a l.gica fu y 3?e ende, 455D7. ,sses conceitos viabili am a constru)&o de sistemas inteligentes #ue lidem com informa)+es imprecisas e subjetivas, tais como$ investimento de alto risco, temperatura alta, press&o m'dia, produ)&o bai!a, demanda elevada, dentre outras. Gm sistema baseado em P.gica 9u y ' *nico com rela)&o ao fato de possuir habilidade para tratar simultaneamente dados num'ricos e conhecimento ling8-stico, representando um mapeamento n&o-linear de um vetor de dados de entrada em uma sa-da escalar. " estabelecimento desse mapeamento ' proporcionado atrav's da teoria de conjuntos fu y e da l.gica fu y 3Mendel, :TT@7. % P.gica 9u y foi inicialmente constru-da > semelhan)a dos conceitos j( estabelecidos da l.gica cl(ssica e da tradicional Teoria dos =onjuntos. Para uma melhor compreens&o desses fundamentos, uma breve descri)&o ser( introdu ida. -?F?5 ConGuntos ebulosos

Ea teoria cl(ssica dos conjuntos, o conceito de pertin/ncia de um elemento a um dado conjunto % em um universo de discurso V ;#ue prov/ o conjunto de valores permitidos para uma vari(vel<, associa a cada elemento deste universo V um valor bin(rio. Dessa forma ' indicado se tal elemento pertence ou n&o pertence >#uele conjunto %. 1sto pode ser e!presso pela fun)&o caracter-stica f$$

f$;!< S

Eo mundo real e!istem propriedades #ue s&o vagas, incertas ou imprecisas e, portanto, imposs-veis de serem caracteri adas por predicados da l.gica cl(ssica bivalente. % teoria dos conjuntos fu y foi criada para tratar graus de pertin/ncia intermedi(rios entre a pertin/ncia total e a n&o-pertin/ncia de elementos de um universo de discurso com rela)&o a um dado conjunto 3?e ende, 455D7. Ea l.gica fu y a fun)&o caracter-stica foi generali ada, de forma #ue ela pudesse assumir um n*mero infinito de valores no intervalo 35,:7. Gm conjunto fu y % em um universo V ' definido por uma fun)&o de pertin/ncia X%;!<$ V Y 35,:7, onde X%;!< ' denominado como o grau de pertin/ncia do elemento ! ao conjunto %, indicando o #uanto ! ' compat-vel com o conjunto %. Ea 9igura 5A.a s&o ilustrados dois conjuntos ordin(rios ;JcrispL<, Jbai!aL e JaltaL, #ue categori am a estatura de uma pessoa. "bserva-se #ue uma pessoa com altura de :.6Tm seria classificada como Jbai!aL. ,m contraste, uma pessoa #ue possui :.Am seria conceituada JaltaL. Pode-se notar #ue e!iste uma transi)&o abrupta de conceitos, visto #ue uma diferen)a m-nima de 5.5:m pode ocasionar uma mudan)a no en#uadramento do conjunto #ue classifica a estatura da pessoa. De forma similar, a 9igura 5A.b demonstra o e!emplo de dois conjuntos fu y #ue definem os mesmos tipos de conceitos, Jbai!aL e JaltaL, buscando introdu ir uma transi)&o mais suave nos citados conceitos. Eesses conjuntos uma pessoa ' considerada bai!a se a sua estatura for igual ou inferior a :.@m, possuindo dessa forma um grau de pertin/ncia :.5 em rela)&o ao conjunto Jbai!aL. Para o caso de uma pessoa com :.Am de altura, esta pertence > categoria Jbai!aL com grau de pertin/ncia 5.@ e ao mesmo tempo tamb'm ' considerada JaltaL com grau de pertin/ncia 5.@. ,sse *ltimo caso demonstra #ue um determinado elemento pode pertencer a mais de um conjunto fu y, geralmente com diferentes graus de pertin/ncia.

0" somente se x A 1" somente se x A

6i7ura +*8 9a: ConGuntos ordin2rios 9crisp:? 9b: ConGuntos HuCCL Honte8 adaptada de DPalit e Popovic= -++NE:?

,!istem diversos formatos para a representa)&o dos conjuntos nebulosos. % escolha de um determinado formato deve ser norteada pela compatibilidade do formato com o conceito #ue se deseja representar. %s 9iguras 5T e :5 mostram e!emplos dos formatos de conjuntos triangular e trape oidal e suas respectivas f.rmulas descritas abai!o 3Moldschmidt e Passos, 455@7$ =onjunto Triangular

10

b<$

Z o modelo computacional mais simples, e pode ser descrito por tr/s vari(veis ;a,

0" se x a ( x a ) / ( m a )" se x ]a" m[ ( x) = ( b x ) / ( b m )" se x ] m" b[ 0" se x b

6i7ura +.8 Gr2Hico da 6un3o de Pertinncia Trian7ular? Honte8 DGoldschmidt e Passos= -++NE?

Trape oidal

,sse modelo pode ser descrito por #uatro vari(veis ;a, b, c, d<$

0" se x a ( x a ) / ( b a )" se x ]a" b[ ( x) = 1" se x [ b" c ] ( d x ) / ( d c )" se x ]c" d [ 0" se x d

6i7ura 5+8 Gr2Hico da 6un3o de Pertinncia TrapeCoidal?

11

Honte8 DGoldschmidt e Passos= -++NE?

-?F?- Vari2veis #in7STsticas Gma vari(vel ling8-stica ' definida como uma entidade utili ada para representar de modo impreciso e, portanto, ling8-stico, um conceito ou uma vari(vel de um dado problema. ,la admite como valores apenas e!press+es ling8-sticas ;fre#8entemente chamadas de termos prim(rios<, como JfrioL, Jmuito grandeL, Japro!imadamente altoL etc 3?e ende, 455D7. Por e!emplo, a temperatura de um determinado processo pode ser uma vari(vel ling8-stica assumindo valores JMuito Qai!aL, JQai!aL, J%grad(velL, J%ltaL e JMuito %ltaL, sendo estes descritos por interm'dio de conjuntos fu y, conforme 9igura ::.

9igura ::$ Parti)&o fu y de uma vari(vel ling8-stica representando a Temperatura.

Honte8 DReCende= -++FE?

-?F?F "pera34es

ebulosas (2sicas

De forma an(loga ao #ue ocorre na cl(ssica Teoria de =onjuntos, diversas opera)+es podem ser reali adas envolvendo conjuntos fu y. %presentam-se a#ui as mais relevantes para uma apresenta)&o do assunto. 0endo $ e B dois conjuntos nebulosos do universo de discurso %, podem ser definidas as seguintes fun)+es de pertin/ncia para cada opera)&o 3?e ende, 455D7$ 1nterse)&o

% fun)&o de pertin/ncia do operador nebuloso de interse)&o entre conjuntos fu y pode ser generali ada por meio de fam-lias espec-ficas de fun)+es, chamadas de normas &. Dois dos e!emplos mais usuais s&o$ ;M-nimo<

A B

( x) = ( x) =

min{

( x )" B ( x )}

;Produto<

A B

( x) A B ( x)

12

%ssim como na P.gica =l(ssica, a opera)&o de interse)&o corresponde ao operador l.gico de conjun)&o J,L. Gni&o 0imilarmente, a fun)&o de pertin/ncia do operador nebuloso de uni&o entre conjuntos fu y pode ser generali ada por meio de fam-lias espec-ficas de fun)+es, chamadas de normas '. ,ssas fun)+es, tamb'm denominadas como &-(onor , podem ser e!pressas, dentre outras formas, como$ ;M(!imo<

A B

( x) = ( x) =

maB{ min{1"

( x )" B ( x ) } ( x) +
B ( x )}

;0oma limitada<

A B

%ssim como na P.gica =l(ssica, a opera)&o de uni&o corresponde ao operador l.gico de disjun)&o J"GL. =omplemento % fun)&o do operador nebuloso de complemento pode ser definida por$

( x ) = 1

( x)

% opera)&o de complemento corresponde ao operador l.gico de nega)&o JE&oL. -?F?J Re7ras ebulosas

% maneira mais comum de arma enar informa)+es em uma Qase de =onhecimento fu y ' a representa)&o por meio de regras de produ)&o fu y 3?e ende, 455D7. Gma regra de produ)&o ;ou regra nebulosa< ' e!pressa por uma implica)&o do tipo$ SE [antecedente\ ENTO [conse#8ente\ " antecedente ' formado por condi)+es nebulosas #ue, #uando satisfeitas, determinam o processamento do conse#8ente por um mecanismo de infer/ncia nebuloso. ,ssa no)&o ' descrita de forma pr(tica em 3Moldschmidt e Passos, 455@7, onde ' e!emplificado um sistema para defini)&o do valor de ap.lice de seguro de vida de clientes de uma seguradora a partir dos valores de idade e de press&o desses clientes. %lgumas regras poss-veis s&o$ SE idade ' eia!idade E press&o ' bai)a ENTO seguro ' bai)o E press&o ' alta ENTO seguro ' alto SE idade ' *ove

-?F?N InHerncia 6uCCL % ar#uitetura geral de um sistema nebuloso pode ser representada graficamente pela 9igura :4. % etapa de fuzzificao mapeia n*meros ;valores crisp< em conjuntos fu y. 1sso ' necess(rio de forma a ativar regras #ue est&o no formato de vari(veis ling8-sticas, as #uais possuem conjuntos fu y associadas com elas. % infer/ncia nebulosa ' a respons(vel por processar as regras nebulosas e!istentes na base de conhecimento, gerando um conjunto fu y de sa-da a partir da composi)&o de todas as regras disparadas.

13

Por uma regra disparada, entende-se uma regra cujo processamento do antecedente para as entradas atuais gerou graus de pertin/ncia n&o-nulos 3?e ende, 455D7. Ea fase final, a defuzzificao reali a a transforma)&o de conjuntos nebulosos em sa-das num'ricas. Dentre v(rios modelos de 1nfer/ncia 9u y, o modelo Mamdani foi durante muitos anos um padr&o para a aplica)&o dos conceitos de P.gica Eebulosa em processamento do conhecimento 3Moldschmidt e Passos, 455@7.

6i7ura 5-8 $rPuitetura 7eral de um sistema nebuloso? Honte8 DSilva= -++>E?

Eo modelo Mandami o processamento de infer/ncias ' denominado infer/ncia Ma)!Min #ue corresponde >s opera)+es de uni&o e interse)&o fu y ;operadores m(!imo e m-nimo<. "s antecedentes de cada regra s&o processados por meio da interse)&o fu y, gerando um grau de disparo #ue limitar( os valores m(!imos dos conjuntos de sa-da. % composi)&o de todas as regras disparadas ;ou ativadas< ' reali ada atrav's da opera)&o de uni&o fu y. ,!istem diversos m'todos para reali ar a transforma)&o dos conjuntos fu y de sa-da em valores num'ricos, tais como a M'dia dos M(!imos e o =entro de Massa ;tamb'm denominado =entro de Mravidade ou =entr.ide<, esse e!presso pela f.rmula

yC =

C ( y iC ) A y iC
m i=1

C ( y iC )
m i=1

onde JmL ' o n*mero de intervalos da sa-da, y+i ' o valor da vari(vel de sa-da para o intervalo Ji L e ,=;y+i < ' o grau de pertin/ncia da vari(vel y+i no conjunto =.

18

F Mtodos de Previso de Sries Temporais

Gm conjunto diversificado de m'todos de previs&o de s'ries temporais est&o dispon-veis. %s modelagens e!istentes v&o desde modelos estat-sticos 3Qo! e ]enkins, :T6B7 at' a#uelas derivadas de tecnologias de intelig/ncia computacional, cuja teoria destas *ltimas pode ser verificada com maiores detalhes em 3Palit e Popovic, 455@7 . %l'm disso, tais modelagens podem ser combinadas, tanto na forma de sistemas h-bridos como em comit/s. % escolha dos algoritmos e modelagens a#ui descritas teve como escopo principal o uso de algumas t'cnicas de intelig/ncia artificial, tais como l.gica nebulosa e redes neurais artificiais. ,ssas t'cnicas permitem a cria)&o de m(#uinas de aprendi ado, #ue constituem sistemas capa es de ad#uirir conhecimento de forma autom(tica. =omo e!emplos de m'todos #ue utili am t'cnicas de inteligencia computacional s&o descritos$ o algoritmo de ^ang-Mendel 3^ang e Mendel, :TT47, #ue prov/ um meio de obten)&o de regras ling8-sticas a partir de pares de dados num'ricos, gerando uma base de conhecimento para mapear o espa)o de entrada no espa)o de sa-da, eN um m'todo baseado no algoritmo de aprendi ado Qackpropagation 3?umelhart e Mcclelland, :TAB7, #ue ' empregado para a previs&o de s'ries a partir da utili a)&o de janelas de previs&o como e!emplos para a etapa de treinamento de uma rede neural MPP. Ea abordagem de comit/s, busca-se fundir o conhecimento ad#uirido por m'todos de previs&o constru-dos, basicamente, por m(#uinas de aprendi ado, no intuito de atingir uma decis&o global #ue visa ser superior >#uela alcan)(vel por #ual#uer um deles atuando isoladamente 3Caykin, 455:7. Para essa abordagem a literatura utili a uma gama de termos, tais como, comit/, ense bles, combinador, classifier fusion, agrega)&o e outros para denominar conjuntos de m(#uinas de aprendi ado #ue trabalham acoplados para solucionar um problema de aprendi ado de m(#uina 3_alentini e Masulli, 45547. _isando englobar as varia)+es de nomenclaturas e conceitos referentes aos citados m'todos de combina)&o, este trabalho adotar( a e!press&o comit/ de aprendiado para descrever algumas estrat'gias associadas.

F?5

$l7oritmo de <an7/Mendel

" algoritmo original de ^ang-Mendel 3^ang e Mendel, :TT47 prov/ um m'todo gen'rico de gera)&o de regras nebulosas ;fuzzy< #ue combina informa)+es num'ricas e ling8-sticas para uso, inclusive, em previs&o de s'ries temporais. " m'todo sugere uma se#8/ncia de @ passos para gera)&o de regras fu y$ :< Divis&o dos dados de entrada e de sa-da em conjuntos fu yN 4< Mera)&o das ?egras 9u yN D< Defini)&o de um grau para cada regra geradaN F< =omposi)&o da Qase de =onhecimentoN e @< Defu ifica)&o ;Previs&o de valores futuros<. "s #uatro primeiros passos s&o respons(veis pela gera)&o da base de conhecimento e comp+em a chamada etapa de treinamento. " #uinto passo reali a, a partir da base de conhecimento gerada, a previs&o dos dados propriamente dita. =onsiderando-se como e!emplo um vetor de entrada ;V:, V4, ..., Vn< #ue representa dados de uma s'rie temporal, a 9igura :D ilustra a divis&o do dom-nio em intervalos de mesmo tamanho para reali a)&o do primeiro passo do m'todo. "s intervalos s&o divididos em 4EH: conjuntos fu y. E ' definido pelo usu(rio para cada vari(vel. " conjunto =, ;(enter< representa o intervalo de valores #ue situa-se no ponto m'dio do dom-nio da vari(vel do vetor de entrada. "s conjuntos denominados 0E ; ' all E< referem-se aos elementos #ue est&o abai!o do conjunto =, e QE ;Big E< para a#ueles #ue

15

est&o acima. =ada conjunto ' associado a uma fun)&o de pertin/ncia, nesse caso triangular, e tem por fun)&o mapear o vetor de entrada. Desse mapeamento ser&o definidos, posteriormente, os pares de dados #ue representar&o a entrada ;janela de previs&o< e a sa-da ;alvo<. "s conjuntos citados s&o sobrepostos, como ilustrado na 9igura :D.

V (F

< C% < < S-< SF< !/

(5 S5 W9V: 0 re7i4es 9 X F: !/ SF SS5 C% (5 ((F

< (- <

Srie Temporal

!U

!U

6i7ura 5F8 Diviso dos Intervalos de domTnio em conGuntos HuCCL? Honte8 adaptada de D<an7 e Mendel= 5..-E?

Para cada vari(vel de entrada e sa-da, o m'todo calcula o grau de ativa)&o da fun)&o de pertin/ncia correspondente e seleciona a maior delas. % gera)&o de regras nebulosas ;passo 4< ' reali ada por meio de senten)as do tipo J0e [antecedentes\ ,nt&o [conse#8ente\L, onde as vari(veis de entrada s&o designadas como antecedentes e a vari(vel de sa-da como conse#8ente. Para o e!emplo proposto na 9igura :F, a Tabela. 5: mostra a regra gerada a partir da escolha dos maiores graus de pertin/ncia.
Re7istros de Treino 9antecedentes: 1anela X J Re7istro de Treino 9consePSente:

(F

< (-< <

V !U (5

SF

< C% < S5< S- <

!/ W9V:
+=. +=* +=0 +=> +=J +=F +=+=5 t5 tN tF t- tJ

t
(5 ((F

SF

S-

S5

C%

@F

@- @5 @J @N

!U

6i7ura 5J8 Mapeamento das Vari2veis de %ntrada e SaTda para uma 1anela de Previso i7ual a J

19

0N- C D N- S V5X

CENS FG N-

VFX

< <

61H 0"8 (-H 0"9 61H 0"1 C%H 0"9

V-X

VJX

< <

62H 0"3 (5H 0"5 C H 0"8 (5H 0"9

VNX

<

62H 0"2 (5H 0"8

Re7ra$ S% I1 H 62 % I2 H 61 % I3 H C % I8 H 61 % TY" I5 H 61 Tabela +58 Re7ra 7erada a partir da escolha dos maiores 7raus de perti/ nncia para o e@emplo proposto na 6i7ura 5J?

Todas as regras geradas s&o arma enadas em uma base de conhecimento de onde as regras conflitantes ;mesmos antecedentes< s&o e!clu-das, sendo preservadas a#uelas #ue possuem maior grau ;gerado pelo produto de todos os antecedentes e do respectivo conse#8ente<, concluindo-se, assim, o terceiro e #uarto passo. Para a previs&o de valores futuros ;#uinto passo<, os dados de entrada s&o recebidos e a base de conhecimento previamente constru-da ' aplicada, onde um processo de defuzzificao combina as sa-das das regras ativadas e calcula o valor previsto pelo m'todo do =entro de Massa ;ou Mravidade<. Maiores detalhes sobre o algoritmo de ^ang-Mendel podem ser obtidos em 3^ang e Mendel, :TT47 30ilva et al., 45567 3?ibeiro et al., 455A7 3Moldschmidt e Passos, 455@7.

F?-

$l7oritmo (acMpropa7ation

" algoritmo de treinamento backpropagation emergiu como o algoritmo padr&o para o treinamento de perceptrons de m*ltiplas camadas ;redes neurais MPP<. " termo backpropagation surge do fato #ue o algoritmo se baseia na retropropaga)&o dos erros para reali ar os ajustes de pesos das camadas intermedi(rias. De forma resumida, e!tra-da de 3Caykin, 455:7, o algoritmo backpropagation deriva seu nome do fato de #ue as derivadas parciais da fun)&o custo ;medida de desempenho< em rela)&o aos par2metros livres ;pesos sin(pticos e n-veis de bias< da rede s&o determinados por retropropaga)&o dos sinais de erro ;calculados pelos neurKnios de sa-da< atrav's da rede, camada por camada. % aprendi agem por retropropaga)&o do erro pode ser descrita, basicamente, por dois passos computacionais$ processamento para frente ;propaga)&o< e processamento para tr(s ;retropropaga)&o<. Eo processamento para frente ;propaga)&o<, o vetor de entrada ' aplicado aos neurKnios da rede e seu efeito se propaga atrav's da rede, camada por camada. "s pesos sin(pticos w permanecem fi!os e o sinal funcional #ue aparece na sa-da do neurKnio * ' calculado como$
yj ( n) = (vj ( n))

onde -;v*;n<< ' a fun)&o de ativa)&o do neurKnio *, sendo n o n-'simo padr&o de treinamento e v*;n< o potencial de ativa)&o do neurKnio *. % fun)&o de ativa)&o define a sa-da do neurKnio. "s tipos b(sicos de fun)+es de ativa)&o s&o$ Pinear, 0igm.ide e Tangente hiperb.lica. =om rela)&o ao potencial de ativa)&o, este ' representado por$

15

vj (n) = wji ( n) yi ( n)
i= 0

co #ue conectada o neurKnio i ao neurKnio *, e yi.n/ ' o sinal de entrada do neurKnio * ;ou de forma e#uivalente, o sinal funcional na sa-da do neurKnio i<. " sinal de erro para o *-'simo neurKnio da camada de sa-da ' definido por$
ej ( n) = dj ( n) yj (n)

onde p ' o n*mero total de entradas aplicadas ao neurKnio *, wi*;n< ' o peso sin(pti-

onde d*.n/ ' a resposta desejada. " c(lculo desses sinais de erro encerra a fase de propaga)&o do algoritmo. Eo processamento reali ado pela retropropaga)&o, o ajuste dos pesos ' reali ado pelo m'todo do gradiente e pode ser descrito pela e#ua)&o a seguir$

wji ( n) = (
"nde$

E ) wji

' o par2metro da ta!a de aprendi ado ;#ue define a magnitude de atuali a)&o dos pesos< e `0a`w*i ' a derivada parcial do erro , em rela)&o ao peso wi*.
% e#ua)&o anterior ' conhecida como ?egra Delta. "utra forma de representar esse ajuste dos pesos ' e!pressa por$ wji(n) = j(n)yi(n) sendo o gradiente local * ;n< definido por$

j ( n) = ej ( n) j ' (vj ( n))

* ' igual ao produto do respectivo sinal de erro pela derivada -+*;v*;n<< da fun)&o de ativa)&o relacionada. % 9igura :@ ilustra um diagrama da implementa)&o desse treinamento para um neurKnio de sa-da.

,sta *ltima e#ua)&o demonstra #ue o gradiente local * ;n< para o neurKnio de sa-da

18

V+ X 5

W0

bias

V5 entradas

W1

VW2

vk

(v k )

saTda

yk

Vn

6i7ura 5N8 $plica3o do treinamento de um simples neurInio localiCado na camada de saTda de uma rede M#P? Honte8 traduCida e adaptada de DPalit e Popovic= -++NE

n&o pode ser obtido diretamente, pois n&o e!iste uma resposta desejada especificada para a#uele neurKnio. Eessa situa)&o o c(lculo do citado sinal de erro deve ser determinado de forma recursiva, em termos dos sinais de erro de todos os neurKnios aos #uais o neurKnio oculto est( diretamente conectado. Dessa forma, o c(lculo do gradiente local ' redefinido para$

Para o caso de um neurKnio * locali ado em uma camada oculta, o sinal de erro e*;n<

onde o -ndice k se refere a um neurKnio #ue se encontra em uma camada > direita do neurKnio *, #uando este pertence a uma camada oculta. Gma alternativa para aumentar a ta!a de aprendi agem evitando causar a instabilidade da rede ' a inclus&o do termo de momento na regra delta, estendendo-a como$ wji ( n) = wji ( n 1) + j ( n) yi ( n) ,sta e#ua)&o ' chamada de regra delta generali ada, pois inclui a regra delta como um caso especial onde S 5. " termo de momento representa o valor memori ado do *ltimo incremento e, dessa forma, a pr.!ima mudan)a no peso ' mantida apro!imadamente na mesma dire)&o da *ltima 3Palit e Popovic, 455@7. " emprego do algoritmo Qackpropagation na previs&o de s'ries ' reali ada a partir da utili a)&o de janelas de previs&o, as #uais formar&o os e!emplos para a etapa de treinamento supervisionado em uma rede neural MPP. Gma ilustra)&o de configura)&o para uma rede MPP destinada > previs&o de valores futuros foi e!ibida na figura 56. "s par2metros b(sicos para configura)&o do algoritmo backpropagation s&o$ a ta!a de aprendi agem, o termo momento e o n*mero de 'pocas.

????
Wn pesos sin2pticos $l7oritmo de Treinamento Ta@a de aprendiCado
k

(vk )
saTda deseGada

Produto

dk

j (n) = 'j (vj (n)) k (n) wkj ( n)

19

F?F

Comits de $prendiCado

Gm comit/ de aprendi ado representa a agrega)&o de mais de uma m(#uina de aprendi ado na produ)&o de uma *nica solu)&o computacional para um determinado problema 3Pima, 455F7. ,stas m(#uinas se referem, basicamente, aos m'todos de previs&o provenientes de t'cnicas de intelig/ncia artificial, mas pode incluir outras derivadas da estat-stica, por e!emplo. %lgumas destas t'cnicas foram apresentadas nas se)+es anteriores. % 9igura :B ilustra a estrutura de um comit/ #ue combina a sa-da de F previsores ;m(#uinas de aprendi ado<. 0egue adiante uma descri)&o do processo global 3Peone 9ilho, 455B7$ =ada previsor recebe os dados de entrada do problema, #ue podem n&o ser os mesmos para previsores distintosN =ada previsor ;m'todo base< fa um mapeamento f1R 2R da sa-da a partir de entradasN =ada sa-da de cada previsor ' multiplicada por um peso, onde o somat.rio de todos os pesos impostos >s sa-das deve ser igual a :N %s sa-das s&o selecionadas para formar o comit/, de tal forma #ue nem todas as sa-das dos previsores s&o combinadas, mas somente a#uelas #ue melhoram o desempenho do comit/N e %s sa-das selecionadas e ponderadas s&o somadas para compor a solu)&o do comit/.

Wi = 1
I= 1

C"MIT[

SaTda Combinada

Sada i Wi
I=1

9SaTda 5:Z<5

9SaTda -:Z<-

9SaTda F:Z<F

9SaTda J:Z<J

Previsor 5

Previsor -

Previsor F

Previsor J

%ntradas

%ntradas

%ntradas

%ntradas

6i7ura 5>8 %strutura de um comit de previsores= considerando J componentes? Honte8 D#eone 6ilho= -++>E?

20

%p.s a etapa de sele)&o dos membros do comit/, a combina)&o dos resultados individuais de cada um destes pode ser feita por diversas maneiras. %s mais comuns s&o vota)&o m*ltipla ou vota)&o majorit(ria para a tarefa de classifica)&o de padr+es e m'dia aritm'tica ou m'dia ponderada para a tarefa de regress&o 3Peone 9ilho, 455B7. ,m um conte!to mais amplo e n&o relacionado necessariamente > previs&o de s'ries temporais, pode-se descrever tarefas de classifica)&o e regress&o como definidos em 3?e ende, 455D7$ uma tarefa de classifica)&o consiste na predi)&o de um valor categ.rico como, por e!emplo, predi er se o cliente ' bom ou mau pagador. Ea regress&o, o atributo a ser previsto consiste em um valor cont-nuo, como por e!emplo, predi er o lucro ou a perda em um empr'stimo. Qagging 3Qreiman, :TTF7 e boosting 39reund e 0chapire, :TT67 s&o m'todos populares de comit/s de aprendi ado e podem ser usados como algoritmos de lote dentro de outros comit/s. 3" a, 455:7 descreve #ue estes m'todos processam repetidamente o conjunto inteiro de e!emplos de treinamento e re#uerem no m-nimo uma passagem atrav's dos dados para cada modelo base #ue ser( gerado. ,ste *ltimo autor propKs uma abordagem onde os m'todos citados processam uma *nica ve o citado conjunto, viabili ando a utili a)&o de grandes bases de dados. %lgumas formas de comit/ s&o brevemente descritas adiante. F?F?5 Combina3o #inear % estrat'gia mais simples de combina)&o ' aplicar um somat.rio ponderado das sa-das individuais dos membros do comit/. % e#ua)&o descrita a seguir representa essa estrat'gia definida como combina)&o linear$

f c = wi f i
i= 1

"nde fc ' a sa-da combinada, M ' o n*mero de m'todos base, fi ' a sa-da individual de cada m'todo base e wi ' um peso positivo associado a essa sa-da, sendo a soma destes pesos iguais a : 3^ichard e "gor alek, 455F7 3Qrown, 455D7. %lgumas abordagens para obten)&o dessas pondera)+es, em busca de combina)+es lineares .timas, s&o apresentadas em 3Perrone, :TTD7 3Cashem, :TTD7. Ruando os pesos s&o id/nticos, a combina)&o ' mencionada como m'dia simples, sendo e!pressa por$

fc =
F?F?- Combina3o o/#inear

1 M fi M i= 1

Eessa estrat'gia de combina)&o as sa-das individuais dos m'todos base s&o interrelacionadas de forma n&o-linear. ,sse mapeamento n&o-linear pode ser reali ado por meio de implementa)+es isoladas de tecnologias de intelig/ncia artificial, tais como redes neurais, l.gica nebulosa e abordagem h-brida 3Palit e Popovic, 45557. % e#ua)&o abai!o e!ibe uma representa)&o adaptada de 3Pai, 455B7$

f c = ( f1 , f 2 , f 3 , ..., f n )
"nde fc ' a sa-da combinada, .f1, f2, f3,333, fn/ ' a sa-da individual de cada m'todo base e ?#@ J uma funo no-&inear#

21

F?F?F (a77in7 Qagging 3Qreiman, :TTF7 ' um m'todo para gera)&o de vers+es m*ltiplas de previsores e us(-los para obter um previs&o agregada. ,ssa agrega)&o reali a a m'dia dessas vers+es #uando prev/ um valor num'rico e fa um voto majorit(rio #uando prev/ uma classe. %s vers+es m*ltiplas s&o formadas pelo uso de t'cnicas de bootstrap 3,fron e Tibshirani, :TTD7 #ue replicam o conjunto de treinamento para forma)&o de novos conjuntos de treinamento. F?F?J (oostin7 Boosting 30chapire, :TT57 ' uma abordagem diferente da anterior, onde os conjuntos de treinamento da primeira n&o s&o gerados a partir de uma amostragem uniforme com reposi)&o. "s membros do comit/ s&o treinados se#8encialmente, e o treinamento de um membro em particular ' dependente do treinamento e do desempenho dos membros treinados previamente. Gma limita)&o pr(tica dessa abordagem ' #ue re#uer fre#8entemente uma grande amostra de treinamento. %daQoost 39reund e 0chapire, :TTB7 ' uma variante de boosting sendo provavelmente a mais difundida. F?F?N Mistura de %specialistas 9M%: " princ-pio #ue rege a ar#uitetura de Mistura de ,specialistas 3]acobs, :TT:7 ' #ue v(rios previsores ;redes neurais< estar&o aptos a Jespeciali arL partes espec-ficas do espa)o de entrada. Gma rede de passagem ;gating network< recebe as mesmas entradas e ' respons(vel por aprender a combina)&o apropriada de pesos para modular as sa-das de cada rede neural especialista. F?F?> Mistura &ier2rPuica de %specialistas 9M&%: " modelo de Mistura Cier(r#uica de ,specialistas ;MC,< 3]ordan, :TTF7 ' uma e!tens&o natural da abordagem Mistura de ,specialistas ;M,<. ,sse modelo ' similar a uma (rvore, na #ual as redes de passagem est&o em v(rios pontos n&o-terminais da (rvore e os especialistas se encontram nas folhas das (rvores. Tal modelo se diferencia na medida em #ue o espa)o de entrada ' dividido em conjuntos aninhados de subespa)os, com a informa)&o sendo combinada e redistribu-da entre os especialistas sob o controle de v(rias redes de passagem arranjadas de forma hier(r#uica 3Caykin, 455:7.

F?J

Tendncias de Desenvolvimento

Ea *ltima d'cada, observa-se o crescente interesse em algumas abordagens tais como$ m(#uinas de vetores-suporte ;0_M, do ingl/s support sector ac"ines<, wavelet neural networks e fractally configured neural networks. ,ssas t'cnicas ser&o apresentadas adiante. Ruanto >s t'cnicas baseadas em l.gica fu y, merecem desta#ue a#uelas direcionadas > e!tra)&o de conhecimento a partir dos dados ou data understanding, por meio do uso de sistemas baseados em regras 3Duch et al., 455F7.

22

F?J?5 M2Puinas de Vetores/Suporte 9Support Vector Machines: Qaseada em uma abordagem computacional nomeada como princ-pio da minimi a)&o do risco estrutural, formulada por 3_apnik, :TT47, os conceitos sobre m(#uinas de vetores-suporte foram fundamentados. ,sses conceitos representam uma metodologia inovativa para o desenvolvimento de redes neurais para aplica)+es em apro!ima)&o de fun)+es, processamento de sinal, reconhecimento de padr+es e previs&o de s'ries temporais. %lgumas potencialidades advindas da abordagem 0_M com a#uelas da abordagem de comit/s s&o e!ploradas conjuntamente em 3Pima, 455F7. Eesse trabalho, v(rias e!tens+es e novas configura)+es de comit/s, tendo m(#uinas de vetores-suporte como componentes, s&o propostas e implementadas. F?J?- <avelet eural et;orMs

Gma nova e poderosa classe de redes neurais ' denominada 4avelet 5eural 5etworks. ,ssas redes preservam todas os aspectos comuns >s redes neurais, por'm, em adi)&o, possui rigorosos fundamentos matem(ticos. ,las possuem wavelets como fun)+es de ativa)&o e constituem uma alternativa para uso de redes com fun)+es de ativa)&o sigm.ide 3%larcon-%#uino, 455@7. Diversas representa)+es estruturais de redes wavelet t/m sido desenvolvidas com base na abordagem de decomposi)&o wavelet. " conceito wavelet deriva de uma e!tens&o sobre a teoria da transformada de 9ourier 3Palit e Popovic, 455@7. F?J?F 6ractallL ConHi7ured eural et;orMs

=omo uma ferramenta para solucionar problemas envolvendo processos em alto n-vel ou fun)+es cognitivas #ue, por e!emplo, redes neurais convencionais n&o podem resolver, redes denominadas como fractal networks t/m sido propostas. ,ssas redes s&o estruturadas em forma de (rvores constru-das a partir de agrupamentos ; clusters< de subredes distribu-das hierar#uicamente 3Palit e Popovic, 455@7.

J Conclus4es
Diversas modelagens s&o empregadas para a previs&o de s'ries temporais, estendendo-se desde os modelos cl(ssicos da estat-stica at' a#ueles baseados em t'cnicas de inteligencia artificial. " problema geral #uando se fa previs&o de s'ries temporais ' #ue n&o e!iste um *nico modelo #ue seja efica em todos os tipos de s'ries temporais 3Peone 9ilho, 455B7. % utili a)&o de sistemas h-bridos ou comit/s busca o aproveitamento dos recursos individuais de diferentes m'todos para tratar um determinado problema. Diante das in*meras abordagens poss-veis para cria)&o de m'todos de previs&o, o presente trabalho teve por objetivo apresentar algumas das mais importantes tecnologias de intelig/ncia computacional #ue s&o amplamente utili adas para a constru)&o de modelos para aplica)&o em previs&o de s'ries temporais$ redes neurais e l.gica nebulosa. ,ste trabalho apresentou ainda diversas formas de combina)&o de m'todos de previs&o e algumas tend/ncias de desenvolvimento nessa (rea.

23

N ReHerncias
%P%?="E-%RG1E", _., M%?=b%-T?,_1c", ,. 0., ?"0%0-?"M,?", ?., MG,??,?"-"],D%, P. M. Learn n! and a""ro# mat on o$ chaot c t me ser es us n! wavelet-networ%s. 1n$ 0i!th Me!ican 1nternational =onference on =omputer 0cience, ,E= 455@. Q"V, M. ,., ],Ed1E0, M. M., Time series analysis forecasting and control. 0&o 9rancisco, =alif.rnia$ Colden-Day, :T6B. Q?,1M%E, P., &a!! n! "red ctors, Technical ?eport Tech. rep. F4:, Department of 0tatistics, Gniversity of =alifornia, Qerkeley, :TTF. Q?"^E, M. ' vers ty n Neural Networ% Ensembles. 455D. Tese ;Doctor of Philosophy in =omputer 0cience< - Gniversity of Qirmingham, 455D. DG=C, ^., 0,T1"E", ?., IG?%D%, ]. M. (om"utat onal )ntell !ence *ethods+ $or Rule-&ased 'ata ,nderstand n!. Proceedings of the 1,,, T4;@<$ pp. 66:-A5@. 455F. 9?,GED, e., 0=C%P1?,, ?. ,, E#"er ments w th a new boost n! al!or thm+ 1n Machine Pearning$ Proceedings of the Thirteenth 1nternational =onference, :TTB. M"PD0=CM1DT, ?. ?., P%00"0, ,. 'ata * n n!- ,m .u a Pr/t co. :. ed. ?io de ]aneiro$ =ampos, 455@. 4B:p. C%0C,M, 0. O"t mal L near (omb nat ons o$ Neural Networ%s. :TTD. Tese ;Doctor of Philosophy< f Purdue Gniversity, :TTD. C%ed1E, 0., Redes Neura s 0 "r nc1" os e "r/t ca. 4. ed. Porto %legre$ Qookman, 455:. T55p. ]%="Q0, ?. %., ]"?D%E, M. 1., E"^P%E, 0. ]., C1ET"E, M. ,. Ada"t ve m #tures o$ local e#"erts. 5eural (o putation, vol. D, no :, pp. 6T-A6, :TT:. ]"?D%E, M. 1., ]%="Q0, ?. %. 2 erarch cal * #tures o$ e#"erts and the E* al!or thm. 1n$ Proceedings of :TTD 1nternational ]oint =onference on Eeural Eetworks, pp. :DDT-:DFF. :TTD. P%1, d. d., et al. A Novel Nonl near Neural Networ% Ensemble *odel $or 3 nanc al T me Ser es 3orecast n!. _.E. %le!androv et al. ;,ds.<$ 1==0 455B, Part 1, PE=0 DTT:, pp. 6T5 f 6TD, 455B. P,"E, 91PC", M. de %., Prev s4o de car!a de curto "ra5o usando ensembles de "rev sores selec onados e evolu1dos "or al!or tmos !en6t cos. 455B. Disserta)&o ;Mestrado em ,ngenharia ,l'trica< - Gniversidade ,stadual de =ampinas, 9aculdade de ,ngenharia ,l'trica e de =omputa)&o, 455B. P1M%, =. %. de M., (om t7 de m/8u nas- uma aborda!em un $ cada em"re!ando m/8u nas de vetores-su"orte. 455F. Tese ;Doutorado em ,ngenharia ,l'trica< Gniversidade ,stadual de =ampinas, 455F. M,ED,P, ]. M.$ 9u y Pogic 0ystems for ,ngineering$ a Tutorial. 1n$ Proc. 1,,,, _. AD, Eo. D, pp. DF@-D66 ;:TT@<

28

M"?,TT1E, P. %., T"P"1, =. M. =. An/l se de S6r es Tem"ora s. 4. ed. 0&o Paulo$ ,dgard Ql8cher, 455B. @DAp. "I%, E. =. Onl ne Ensemble Learn n!. 455:. Tese ;Doctor of Philosophy in =omputer 0cience< - Gniversity of =alifornia at Qerkeley, 455:. P%P1T, %. d., P"P"_1=, D. (om"utat onal )ntell !ence n T me Ser es 3orecast n!. :. ed. Pondres$ 0pringer-_erlag, 455@. D64p. P,??"E,, M1=C%,P P., =""P,?, P,"E E., 9hen Networ%s ' sa!ree- Ensemble *ethods $or 2ybr d Neural Networ%s, :TTD. ?,I,ED,, 0. ". S stemas )ntel !entes- 3undamentos e A"l ca:;es. :. ed. 0&o Paulo$ Manole, 455D. @4@p. ?1Q,1?", =. _., M"PD0=CM1DT, ?. ?., =C"?,E, ?., ,ma Pro"osta de *6todo 21br do 3u55y "ara Prev s4o de S6r es Tem"ora s , @g ="ET,=01 - Gniversidade de 0&o Paulo, ]unho de 455A. ?GM,PC%?T, D. ,., M==P,PP%ED, ]. P. Parallel ' str buted Process n!E#"lorat ons n the * crostructure o$ (o!n t on, _olume :$ 9oundations, The M1T Press, :TAB. 0=C%P1?,, ?. ,., et al. &oost n! the mar! n- A new e#"lanat on $or the e$$ect veness o$ vot n! methods. The %nnals of 0tatistics, 4B;@<$:B@:f:BAB, :TTA. 01P_%, =. 0. da, Prev s4o *ult var ada da 'emanda 2or/r a de <!ua em S stemas ,rbanos de Abastec mento. 455D. Tese ;Doutorado em ,ngenharia =ivil<, Gniversidade ,stadual de =ampinas, 455D. 01P_%, P. ". M. P., Prev s4o de S6r es Tem"ora s ,t l 5ando L=! ca Nebulosa . Trabalho de conclus&o de curso de Qacharelado em =i/ncia da =omputa)&o, =entro Gniversit(rio da =idade do ?io de janeiro, 455B. 01P_%, P. ". M. P., M"PD0=CM1DT, ?. ?., 0"%?,0, ]. %., 9,?P1E, =., Prev s4o de S6r es Tem"ora s ,t l 5ando L=! ca Nebulosa+ Fg ="ET,=01 - Gniversidade de 0&o Paulo, 4556. _%P,ET1E1, M., M%0GPP1, 9. Ensembles o$ Learn n! *ach nes. 1n :Dth 1talian ^orkshop on Eeural Eets, 4554, _olume 4FAB of Pecture Eotes in =omputer 0cience. QerlinaCeidelberg$ 0pringer, pp. Df:T. 4554 _%PE1d, _. E. Pr nc "les o$ r s% m n m sat on $or learn n! theory, %dvances in Eeural 1nformation Processing 0ystems, F$AD:-ADA. Morgan daufmann, 0an Mateo, =%. :TT4. ^%E, ,. %, T me Ser es 'ata, "regon Cealth h 0cience Gniversity. Dispon-vel em$ [http$aawww.cse.ogi.eduaiericwanadata.html\. %cesso em$ D jun. 455B. ^%EM, ]., P,G, ]. Stoc% *ar%et Trend Pred ct on ,s n! AR)*A-based Neural Networ%s. :TTB. ^%EM, P., M,ED,P, ]. M., :TT4, .enerat n! 3u55y Rules by Learn n! $rom

25

E#am"le. 1,,, Transactions on 0ystem, Man and =ybernetics, _ol. 44, E. B, :TT4. ^1=C%?D, ]. D., "M"?I%P,d, M. T me Ser es Pred ct on w th Ensemble *odels . 455F. ^,00%. P., 3ree Stat st cs So$tware, "ffice for ?esearch Development and ,ducation, vers&o :.:.:A. Dispon-vel em$ [http$aawww.wessa.netafinmardata.waspjQ:S:\. %cesso em$ :A mar. 455B.

29