UNIVERSIDADE FEDERAL DO MARANHO

CENTRO DE CINCIAS EXATAS E TECNOLOGIA

DEPARTAMENTO DE ENGENHARIA DE ELETRICIDADE
CURSO DE GRADUAO EM ENGENHARIA ELTRICA



TECNOLOGIA WIRELESS ZIGBEE:
CARACTERSTICAS, PADRO IEEE 802.15.4 E APLICAES
USANDO APRENDIZAGEM POR REFORO


FRANCISCO DOS SANTOS VIANA


Monografia submetida Universidade
Federal do Maranho, como parte do
requisito para obteno do diploma de
Engenheiro Eletricista.


Orientador: Prof. Dr. Francisco das Chagas de Souza








So Lus
2013




















































Viana, Francisco dos Santos.
Tecnologia Wireless ZigBee: Caractersticas, Padro IEEE 802.15.4 e Aplicaes
Usando Aprendizagem por Reforo / Francisco dos Santos Viana. So Lus, 2013.
91 f.
Impresso por computador (fotocpia).
Orientador: Dr. Francisco das Chagas de Souza.
Monografia (Graduao) Universidade Federal do Maranho, Curso de Engenharia
Eltrica, 2013.
1. Redes sem fio. 2. ZigBee. 3. Rob. 4. Aprendizagem por Reforo. I. Ttulo.

CDU 004.738.5









TECNOLOGIA WIRELESS ZigBee:


CARACTERSTICAS, PADRO IEEE 802.15.4 E
APLICAES USANDO A TCNICA DE
APRENDIZAGEM POR REFORO

FRANCISCO DOS SANTOS VIANA
OBJETIVOS
Conhecer a tecnologia sem fio ZigBee;

Conhecer os conceitos bsicos da tcnica de
Aprendizagem por Reforo;

Estudar as principais tcnicas de soluo de AR;

Desenvolver um projeto de controle de um rob
usando ZigBee e AR.


Tecnologias sem fio
Crescente necessidade da automao
industrial

Aumento das aplicaes, necessitando de
sistemas sofisticados e com alguns
parmetros mais confiveis.

Atualmente os sistemas de comunicao
sem fio de curto alcance: o Bluetooth, UWB,
ZigBee e Wi-Fi.
Tecnologias sem fio









Tecnologias de comunicao sem fio.
Fonte: FRIAS [9]
ZigBee
Surgiu em 2002 com a Alliance ZigBee;

Possui como camada base o padro IEEE
802.15.4;

Comunicao sem fio confivel, com baixo
consumo de energia e baixas taxas de
transmisso;

Usado para aplicaes de monitoramento e
controle.
ZigBee
Possui este nome por causa da analogia entre o
funcionamento de uma Rede em Malha, e o modo
como as abelhas trabalham e se locomovem(distncia,
direo e localizao).








Relao do nome ZigBee e as abelhas
Fonte: MESSIAS [13]


ZigBee
Opera na frequncia ISM (Industrial, Scientific and
Medical), sendo na Europa de 868 MHz; 915 MHz
nos Estados Unidos e 2,4 GHz em outras partes do
mundo;

Possui excelente imunidade contra interferncias;
Capacidade de hospedar milhares de dispositivos
numa Rede (mais que 65.000);

Taxas de transferncias de dados variando entre
20Kbps a 250Kbps.
ZigBee
Camadas do protocolo







Camadas do ZigBee
Fonte:FRIAS [9]
ZigBee
Camada de aplicao do usurio
Responsvel pelo armazenamento das
aplicaes (at 240)

Camada de rede
Responsvel pelo gerenciamento de dados
controle da distncia de comunicao
formao de comunicao entre os
dispositivos.
ZigBee
Camada de controle e acesso ao meio
responsvel pelo processo de preparao dos
dados para serem transmitidos;
Conexo confivel;
Segurana do dispositivo.

Camada fsica
Transmiti e recebe dados do meio externo
Ativao /desativao do radio transceptor
Seleo do canal
Deteco de energia no canal
Modulao do sinal



ZigBee
Propriedades

ZigBee
Topologia da rede
Estrela







Rede em estrela




Fonte: VASQUES [22]

ZigBee
Topologia da rede
Malha








Fonte: VASQUES [22]


ZigBee
Topologia da rede
rvore








Fonte: VASQUES [22]

ZigBee
Aplicaes










Aplicaes do ZigBee.
Fonte: VASQUES [22]

ZigBee
Aplicaes

Home Automation Profile

Sistema HVAC

Sistema de controle de iluminao

Sistema de segurana

Sistema de irrigao

Remot Control Profile


ZigBee
Aplicaes
Health Care Profile








Fonte: VASQUES [22]



ZigBee
Aplicaes
Smart Energy Profile








Fonte: VASQUES [22]


ZigBee
Membros









Fonte: Site da Alliance ZigBee


COMPARAO DAS TECNOLOGIAS WIRILESS
ZIGBEE, BLUETOOTH, UWB E WI-FI
Coexistncia

Os padres Bluetooth, ZigBee e Wi-Fi usam
a banda de 2,4 GHz, podendo trabalhar
prximas sem causar danos ao dado
transmitido
COMPARAO DAS TECNOLOGIAS WIRILESS
ZIGBEE, BLUETOOTH, UWB E WI-FI
Tempo de transmisso
COMPARAO DAS TECNOLOGIAS WIRILESS
ZIGBEE, BLUETOOTH, UWB E WI-FI
Eficincia na Codificao de Dados
COMPARAO DAS TECNOLOGIAS WIRILESS
ZIGBEE, BLUETOOTH, UWB E WI-FI
Consumo de energia
APRENDIZAGEM POR REFORO
APRENDIZAGEM POR REFORO
Mtodo de aprendizagem por tentativa e
erro de um agente atuando num ambiente
dinmico.

A aprendizagem ocorre pela experincia do
agente no ambiente, cujo objetivo alcanar
certas polticas de aes que maximizem seu
desempenho.


APRENDIZAGEM POR REFORO







A interao agente-ambiente na AR
O Problema de AR
Funo Valor
o mapeamento do estado, ou par
estado ao, em um valor que obtido a
partir do reforo atual e dos reforos
futuros.

V (s) -> funo valor-estado
Q(s, a) -> funo valor-ao
O Problema de AR
Valor estado



Valor-Ao



Fundamentao Matemtica
Propriedade de Markov

=Pr{
+1
=s |

= s}
Fundamentao Matemtica
Em geral, a resposta em t+1 para uma ao
efetuada em t, depende de todo o histrico
de aes at o momento atual, a dinmica do
ambiente definida pela especificao
completa da distribuio de probabilidades
Consideraes
Processo de Deciso Markoviano
ambiente deve evolui probabilisticamente de acordo
com um conjunto finito e discreto de estados;

para cada estado do ambiente, existe um conjunto de
aes possveis;

cada passo que o sistema de aprendizado executa, ou
seja, uma ao, o agente recebe um retorno;

estados so observados, aes so executadas e
reforos so relacionados.
TCNICAS DE SOLUO PARA AR

Programao Dinmica (PD)

Monte Carlo (MC)

Diferena Temporal (DT)

Q-learning

TCNICAS DE SOLUO PARA AR
Programao Dinmica (PD)


TCNICAS DE SOLUO PARA AR
Programao Dinmica (PD)-tima


TCNICAS DE SOLUO PARA AR
Monte Carlo (MC)


TCNICAS DE SOLUO PARA AR
Diferena Temporal (DT)


TCNICAS DE SOLUO PARA AR
Q-learning


PROJETO DE ROB
estados dado por S = {alto, baixo},
A(alto) = {vasculhar, aguardar} e
A(baixo) = {vasculhar, aguardar, recarregar}.







PROJETO DE ROB







PROJETO DE ROB

Diagrama de transio

















PROJETO DE ROB













Fonte: SUTTON e BARTO[22]-adaptada
PROJETO DE ROB
Para facilitar na implementao representamos o estado alto
por h e o estado baixo por l. As aes so definidas como
recarregar = r, vasculhar = s e aguardar = w. Adotamos os
valores abaixo no desenvolvimento do algoritmo, fazendo
uma avaliao iterativa da poltica.

Rw= 1 = 0, 8 (l, r) = 1/3 (h,w) = 1/2
Rs= 10 = 0, 2 (l,w) = 1/3 (h, s) = 1/2
Rr= 0 = 0, 9 (l, s) = 1/3
Rf,r= 3




PROJETO DE ROB
Programao Dinmica (PD)


PROJETO DE ROB
Programao Dinmica (PD)


0 10 20 30 40 50 60 70 80 90 100
0
5
10
15
20
25
30
35
40
45
50
Interaes
V
a
l
o
r

d
a

F
u
n

o

(
V
)


V(l)
V(h)
PROJETO DE ROB
Programao Dinmica (PD)


0 10 20 30 40 50 60 70 80 90 100
0
1
2
3
4
5
6
Interaes
E
r
r
o

d
a

F
u
n

o

(
V
)


delta1-V(l)
delta2-V(h)
PROJETO DE ROB
Programao Dinmica (PD)-tima


0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
10
20
30
40
50
60
70
80
90
Interaes
V
a
l
o
r

d
a

F
u
n

o

(
V
)


V(l)
V(h)
PROJETO DE ROB
Programao Dinmica (PD)-tima


0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
0
10
20
30
40
50
60
70
80
Interaes
V
a
l
o
r

d
a

F
u
n

o

(
Q
)


Q(l,r)
Q(l,w)
Q(l,s)
PROJETO DE ROB
Programao Dinmica (PD)-tima


0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
0
10
20
30
40
50
60
70
80
90
Interaes
V
a
l
o
r

d
a

F
u
n

o

(
Q
)


Q(h,w)
Q(h,s)
PROJETO DE ROB
Monte Carlo (MC)


0 100 200 300 400 500 600 700 800 900 1000
0
20
40
60
80
100
120
Episodio
V
a
l
o
r

d
a

F
u
n

o

(
V
)


V(l)
V(h)
PROJETO DE ROB
Diferena Temporal (DT)


0 100 200 300 400 500 600 700 800 900 1000
0
20
40
60
80
100
120
Episodio
V
a
l
o
r

d
a

F
u
n

o

(
V
)


V(l)
V(h)
PROJETO DE ROB
Q-learning


0 100 200 300 400 500 600 700 800 900 1000
0
10
20
30
40
50
60
70
80
90
Interaes
V
a
l
o
r

d
a

F
u
n

o

(
Q
)


Q(l,r)
Q(l,w)
Q(l,s)
PROJETO DE ROB
Q-learning


0 100 200 300 400 500 600 700 800 900 1000
10
20
30
40
50
60
70
80
90
100
Interaes
V
a
l
o
r

d
a

F
u
n

o

(
Q
)


Q(h,w)
Q(h,s)
Consideraes Finais

O ZigBee apresentou caractersticas que lhe
torna uma excelente alternativa para
comunicao de sistemas na automao;

A tcnica de Aprendizagem por Reforo
indicada para controle de sistemas simples em
que se deseja tornar autnomo o comportamento
agente, maximizando sua poltica de controle;

ZigBee e AR so facilmente implementadas para
acionamento e controle de sistemas.





Kits de desenvolvimento







JABUTINO






NI LabVIEW Robotics Starter Kit for Prototyping


Kits de desenvolvimento













Fonte: http://www.rogercom.com/


Agradecimento



FIM
Por isso no temas, pois estou com voc;
no tenha medo, pois sou o seu Deus.
Eu o fortalecerei e o ajudarei;
eu o segurarei com minha mo direita vitoriosa.
Is: 41.10

Combati o bom combati,
terminei a corrida, guarde a f
2 Tm 4.7