Traduzido do Inglês para o Português - www.onlinedoctranslator.

com

Workshop "Dos Objetos aos Agentes" (WOA 2019)

Uma Abordagem de Aprendizagem por Reforço Profundo para

Gerenciamento Adaptável de Semáforos
Andrea Vidali, Luca Crociani, Giuseppe Vizzari, Stefania Bandini CSAI -
Centro de Pesquisa em Sistemas Complexos e Inteligência Artificial,

análise de situações por meio de simulações baseadas em agentes, nas
quais o comportamento de motoristas e outras entidades relevantes é
modelado e computado em um ambiente sintético. Estes últimos, em
particular, atingiram um nível de complexidade e flexibilidade
suficientes e provaram sua capacidade de apoiar os tomadores de
decisão na exploração de formas alternativas de gerenciar o tráfego
em ambientes urbanos. Do lado da regulação dos padrões de tráfego,
a disponibilização destes simuladores, aliada
1https://population.un.org/wup/
Uma das aceitações dos objetivos da IA é desenvolver
máquinas que se assemelhem aointeligentecomportamento de um
ser humano. Para atingir esse objetivo, um sistema de IA deve ser
capaz de interagir com o ambiente e aprender a agir corretamente
dentro dele. Uma área estabelecida da IA que provou ser capaz
de aprendizado autônomo orientado pela experiência é o
aprendizado por reforço [1]. Várias tarefas complexas foram
concluídas com sucesso usando aprendizado por reforço em vários
campos, como jogos [3], robótica [4] e controle de semáforos.

42
 Workshop "Dos Objetos aos Agentes" (WOA 2019)
Em um problema de Aprendizagem por Reforço (RL), um
agente autônomo observa o ambiente e percebe um estadost,
que é o estado do ambiente no instantet.Então o agente
escolhe uma açãoato que leva a uma transição do ambiente
para o estadost+1. Após a transição do ambiente, o agente
obtém uma recompensart+1que diz ao agente o quão bom atfoi
em relação a uma medida de desempenho. O objetivo do
agente é aprender a política π∗que maximiza a recompensa
cumulativa esperada obtida como resultado de ações tomadas
seguindo π∗. O ciclo padrão de aprendizado por reforço é
mostrado na Figura 1.
Fig. 1. O ciclo de aprendizagem por reforço.
B. Aprendizagem no Controle de Sinais de Trânsito
O controle de semáforos é um contexto de aplicação adequado para
técnicas de RL: neste framework, um ou mais agentes autônomos têm o
objetivo de maximizar a eficiência do fluxo de tráfego que passa por uma ou
mais interseções controladas por semáforos. O uso de RL para controle de
semáforos é motivado por vários motivos [5]: (i) se treinados
adequadamente, os agentes de RL podem se adaptar a diferentes situações
(por exemplo, acidentes rodoviários, más condições climáticas); (ii) os
agentes de RL podem se auto-aprender sem supervisão ou conhecimento
prévio do ambiente; (iii) o agente precisa apenas de um modelo simplificado
do ambiente (essencialmente relacionado à representação do estado), pois o
agente aprende usando a métrica de desempenho do sistema (ou seja, a
recompensa).
As técnicas de RL aplicadas ao controle de semáforos abordam
os seguintes desafios: [5]
• Sequência inapropriada de semáforos.Os semáforos geralmente
escolhem as fases em uma política estática e predefinida. Este método
poderia provocar o acionamento de uma fase de semáforo
inapropriada em uma situação que poderia ocasionar um aumento
nos tempos de viagem.
• Durações inadequadas dos semáforos.Cada fase do semáforo
tem uma duração pré-definida que não depende das
condições atuais do trânsito. Esse comportamento pode
causar esperas desnecessárias para a fase verde.
Embora as vantagens acima sejam potenciais da abordagem
RL para controle de semáforos, nem todas elas já foram
alcançadas e (como mostraremos no restante do artigo) a
presente abordagem representa apenas um passo inicial nessa
linha geral de trabalhar.
Para aplicar um algoritmo RL, é necessário definir a
representação do estado, as ações disponíveis e as funções de
recompensa; a seguir, descreveremos as abordagens mais
amplamente adotadas para o projeto desses elementos no
contexto do Controle de Sinais de Trânsito.
43
1) Representação do Estado:O estado é a percepção do ambiente do
agente em uma etapa arbitrária. Na literatura, as representações do espaço
de estados diferem particularmente na densidade de informações.
Embaixa densidade de informaçãorepresentações, geralmente as faixas
da interseção são discretizadas em células ao longo do comprimento da
faixa. As células da pista são então mapeadas para células de um vetor, que
marca 1 se um veículo estiver dentro da célula da pista, 0 caso contrário [6].
Algumas abordagens incluem informações adicionais, adotando tal vetor de
presença de carros com a adição de um vetor que codifica a velocidade
relativa dos veículos [7]. A fase atual do semáforo também pode ser
adicionada como um terceiro vetor [8].
Em relação às representações estaduais comalta densidade de
informações, geralmente o agente recebe umimagemda situação atual
de toda a interseção, ou seja, um instantâneo do simulador que está
sendo usado; vários instantâneos sucessivos serão empilhados juntos
para dar ao agente uma noção do movimento do veículo [9].
2) Representação de ações:No contexto do controle
semafórico, as ações do agente são implementadas com
diferentes graus de flexibilidade e são descritas a seguir.
Entre a categoria de ação definida combaixa flexibilidade, o
agente pode escolher entre um conjunto definido de combinações
de luz. Quando uma ação é selecionada, umfiquantidade fixa de
tempovai durar antes que o agente possa selecionar uma nova
configuração [7]. Alguns trabalhos deram mais flexibilidade ao
agente definindo a duração da fase com duração variável [10]. Um
agente com ummaior flexibilidadeescolhe uma ação em cada
etapa da simulação a partir de um conjunto fixo de combinações
de luz. No entanto, a ação selecionada não é ativada se o tempo
mínimo necessário para liberar pelo menos um veículo não tiver
passado [8], [9]. Uma abordagem ligeiramente diferente seria ter
um ciclo definido de combinações de luzes ativadas na interseção.
A ação do agente é representada pela escolha dequando é hora de
trocarpara a próxima combinação de luz, e a decisão é tomada a
cada passo [11].
3) Representação de recompensa:A recompensa é usada pelo agente
para entender os efeitos da última ação realizada no último estado;
geralmente é definido como uma função de algum indicador de
desempenho da interseção de forma eficiente, como atrasos de veículos,
comprimentos de filas, tempos de espera ou rendimento geral.
A maioria dos trabalhos inclui o cálculo da mudança entre o atraso
cumulativo do veículo entre as ações, onde o atraso do veículo é
definido como o número de segundos em que os veículos estão
parados [8], [9]. Da mesma forma, pode-se utilizar o tempo cumulativo
de permanência do veículo, que é o número de segundos que o veículo
está parado desde sua entrada no ambiente [7]. Além disso, alguns
trabalhos combinam múltiplos indicadores em uma soma ponderada
[11].
C. Modelos adotados e algoritmos de aprendizagem
A mais recente pesquisa de aprendizado por reforço propôs
várias soluções possíveis para resolver o problema de controle de
semáforos, em que emerge que diferentes algoritmos e estrutura
de redes neurais podem ser usados, embora algumas técnicas
comuns sejam necessárias, mas não suficientes para garantir um
bom desempenho .
O algoritmo mais utilizado para resolver o problema é o Q-
learning. O comportamento ótimo do agente é alcançado com
 Workshop "Dos Objetos aos Agentes" (WOA 2019)
o uso de redes neurais para aproximar valores-Q dado um estado.
Frequentemente, esta abordagem inclui uma Rede Neural Convolucional
(CNN) para calcular o estado do ambiente e aprender características de uma
imagem [9] ou uma representação espacial [8], [7].
Gêneros e Ravi [8] e Gao et al. [7] fazem uso de uma Rede
Neural Convolucional para aprender características de sua
representação espacial do ambiente. A saída desta rede com a fase
atual é passada para duas camadas totalmente conectadas que se
conectam às saídas representadas por Qvalues. Este método
mostrou bons resultados em [7] trabalhando contra diferentes
políticas de semáforos, como long-queue-first e fixed-times,
enquanto em [8] é comparado a uma rede neural rasa, na qual
(embora mostre uma boa desempenho) uma avaliação em relação
aos semáforos do mundo real levaria a resultados mais
significativos.
Mousavi et ai. [9] analisaram uma abordagem dupla para resolver o
problema de controle de semáforos. A primeira abordagem é baseada
em valores, enquanto a segunda é baseada em políticas. Na primeira
abordagem, os valores de ação são previstos minimizando o erro
quadrático médio dos valores Q com o método gradiente descendente
estocástico. Na abordagem alternativa, a política é aprendida
atualizando os parâmetros da política de tal forma que a probabilidade
de boas ações aumenta. Uma CNN é usada como um aproximador de
funções para extrair características da imagem da interseção, onde na
abordagem baseada em valor a saída é o valor das ações, e na
abordagem baseada em políticas é uma distribuição de probabilidade
sobre as ações. Os resultados mostram que ambas as abordagens
alcançam bom desempenho em relação a uma linha de base definida e
não sofrem de problemas de instabilidade.
Em [10], uma rede neural deep stacked autoencoders (SAE) é usada
para aprender valores-Q. Essa abordagem usa codificadores
automáticos para minimizar o erro entre a previsão do valor Q da rede
neural do codificador e o valor Q alvo usando uma função de perda
específica. É mostrado que alcança melhor desempenho do que os
métodos tradicionais de RL.
III. EXPERIMENTALSETTING
O microssimulador de tráfego utilizado para esta pesquisa é o
Simulation of Urban MObility (SUMO) [12]. O SUMO fornece um pacote
de software que inclui um editor de infraestrutura, uma interface de
simulador e uma interface de programação de aplicativos (API). Esses
elementos permitem que o usuário projete e implemente
configurações e funcionalidades personalizadas de uma infraestrutura
rodoviária e troque dados durante a simulação de tráfego.
Nesta pesquisa, será investigada a chance de melhoria na
fluidez do trânsito que passa por um cruzamento controlado por
semáforos, utilizando técnicas de inteligência artificial. O agente é
representado pelo sistema de semáforos que interage com o
ambiente a fim de maximizar uma certa medida de eficiência do
tráfego. Dada essa premissa geral, o problema abordado neste
trabalho é definido da seguinte forma: dado o estado da
interseção, qual é a fase do semáforo que o agente deve escolher,
selecionada a partir de um conjunto fixo de ações predefinidas, a
fim de maximizar a recompensa e, consequentemente, otimizar a
eficiência do tráfego da interseção.
O fluxo de trabalho típico do agente é mostrado na
Figura 2. É de salientar que nesta aplicação com SUMO,
44
a passagem do tempo é representada em etapas de simulação.
Mas o agente só opera em determinadas etapas, depois que o
ambiente já evoluiu o suficiente. Portanto, neste trabalho, cada
etapa dedicada ao fluxo de trabalho do agente é denominada
agentstep, enquanto as etapas dedicadas à simulação são
chamadas simplesmente de “steps”. Assim, após uma certa
quantidade de etapas de simulação, o agente inicia sua sequência
de operações coletando o estado atual do ambiente. Além disso, o
agente calcula a recompensa da ação selecionada anteriormente,
usando alguma medida da situação atual do tráfego. A amostra de
dados contendo todas as informações sobre as últimas etapas da
simulação é salva em uma memória e posteriormente extraída
para uma sessão de treinamento. Agora o agente está pronto para
selecionar uma nova ação com base no estado atual do ambiente,
Fig. 2. Fluxo de trabalho do agente.
O ambiente onde o agente atua é representado na Figura 3. É uma
interseção de 4 vias onde 4 faixas por braço se aproximam da
interseção a partir das direções da bússola, levando a 4 faixas por
braço saindo da interseção. Cada braço tem 750 metros de
comprimento. Em cada braço, cada faixa define as possíveis direções
que um veículo pode seguir: a faixa mais à direita permite que os
veículos vire à direita ou sigam em frente, as duas faixas centrais
obrigam o motorista a seguir em frente enquanto na faixa mais à
esquerda a curva à esquerda é a única direção permitida. No centro da
interseção, um sistema de semáforos, controlado pelo agente, gerencia
o tráfego que se aproxima. Em particular, em cada braço, a faixa mais à
esquerda tem um semáforo exclusivo, enquanto as outras três faixas
compartilham um semáforo. Todos os semáforos do ambiente
funcionam de acordo com os regulamentos europeus comuns, com a
única exceção sendo a ausência de tempo entre o final de uma fase
amarela e o início da próxima fase verde. Neste ambiente não estão
incluídos pedestres, calçadas e travessias de pedestres.
A. Configuração de treinamento e geração de tráfego
Todo o treinamento é dividido em vários episódios. O número total
de episódios é 300. Por padrão, o SUMO fornece uma frequência de
tempo de 1 segundo por etapa e o período de cada episódio é definido
em 1 hora e 30 minutos, portanto, o número total de passos por
episódio é igual a 5400. 300 episódios de 1,30 horas cada equivalem a
quase 19 dias de tráfego contínuo, e todo o treinamento leva cerca de 6
horas em um laptop de última geração.
 Workshop "Dos Objetos aos Agentes" (WOA 2019)
Figura 3. O ambiente.
Em uma interseção simulada, a geração de tráfego é uma parte
crucial que pode ter um grande impacto no desempenho dos agentes.
Para manter um alto grau de realidade, a cada episódio o tráfego será
gerado segundo uma distribuição Weibull com formato igual a 2. Um
exemplo é mostrado na Figura 4. A distribuição é apresentada na
forma de um histograma, onde as etapas de um episódio de simulação
são definidas no eixo x e o número de veículos gerados nessa janela de
etapa é definido no eixo y. A distribuição Weibull aproxima situações
específicas de tráfego, onde durante o estágio inicial o número de
carros está aumentando, representando um horário de pico. Em
seguida, o número de carros que chegam diminui lentamente,
descrevendo a mitigação gradual do congestionamento do tráfego.
Além disso, todos os veículos gerados têm as mesmas dimensões
físicas e desempenho.
Fig. 4. Distribuição da geração de tráfego em um único episódio.
A distribuição de tráfego descrita fornece a etapa exata do episódio
em que um veículo será gerado. Para cada veículo programado, seu
braço de origem e braço de destino são determinados usando um
gerador de números aleatórios que possuem uma semente diferente
em cada episódio, portanto, não é possível ter dois episódios
equivalentes. Para obter um verdadeiro agente adaptativo, a simulação
deve incluir uma variedade significativa de fluxos e padrões de tráfego
[13]. Portanto, quatro cenários diferentes são definidos e são os
seguintes.
• Cenário de alto tráfego. 4000 carros se aproximam do cruzamento
45
de cada braço distribuído uniformemente. Então, 75% dos carros
gerados irão direto e 25% dos carros irão virar à esquerda ou à
direita no cruzamento.
• Cenário de baixo tráfego. 600 carros se aproximam da interseção
de cada braço distribuído uniformemente. Então, 75% dos carros
gerados irão direto e 25% dos carros irão virar à esquerda ou à
direita no cruzamento.
• Cenário de tráfego NS. 2.000 carros se aproximam do
cruzamento, sendo 90% deles vindos do braço Norte ou Sul.
Então, 75% dos carros gerados irão direto e 25% dos carros
irão virar à esquerda ou à direita no cruzamento.
• Cenário de tráfego EW. 2.000 carros se aproximam do
cruzamento, com 90% deles vindo do braço leste ou oeste.
Então, 75% dos carros gerados irão direto e 25% dos carros
irão virar à esquerda ou à direita no cruzamento.
Cada cenário corresponde a um único episódio e eles circulam
durante o treinamento sempre na mesma ordem.
4. DESCRIÇÃO DARREFORÇOeuGANHO
AAPROXIMAÇÃO
Para projetar um sistema baseado na estrutura de aprendizado por
reforço, é necessário definir a representação do estado, o conjunto de
ações, a função de recompensa e as técnicas de aprendizado do agente
envolvidas. Deve-se notar que os elementos de tal agente neste
trabalho são facilmente substituíveis por um sistema de
monitoramento de tráfego em um dispositivo do mundo real, em
comparação com outros estudos relevantes neste tópico que possuem
requisitos mais elevados em termos de viabilidade técnica.
A. Representação do estado
O estado do agente descreve uma representação da situação do
ambiente em uma determinada etapa do agentete geralmente é
denotado porst. Para permitir que o agente aprenda efetivamente
a otimizar o tráfego, o estado deve fornecer informações
suficientes sobre a distribuição de carros em cada estrada.
O objetivo da representação escolhida é permitir que o agente
saiba a posição dos veículos dentro do ambiente no agentstept.
Para tanto, a abordagem proposta neste trabalho é inspirada no
DTSE [8], com a diferença de que menos informação é codificada
neste estado. Em particular, este projeto de estado inclui apenas
informações espaciais sobre os veículos hospedados dentro do
ambiente, e as células usadas para discretizar o ambiente contínuo
não são regulares. O design escolhido para a representação do
estado é focado no realismo: trabalhos recentes sobre
controladores de semáforos propuseram estados ricos em
informações, mas na realidade são difíceis de implementar, pois as
informações usadas nesse tipo de representação são difíceis de
coletar. Portanto, neste trabalho será investigada a chance de
obter bons resultados com uma representação de estado simples e
de fácil aplicação.
Tecnicamente, em cada braço da interseção, as faixas de entrada
são discretizadas em células que podem identificar a presença ou
ausência de um veículo dentro delas. Na Figura 5 é mostrada a
representação do estado para o braço oeste da interseção. Entre o
início da estrada e a linha de paragem do cruzamento, existem 20
células. 10 deles estão localizados ao longo da faixa da esquerda,
enquanto os outros 10 cobrem as outras três faixas. Portanto, em
 Workshop "Dos Objetos aos Agentes" (WOA 2019)
Fig. 5. Desenho da representação do estado no braço oeste da interseção, com o
comprimento das células.
toda a interseção tem 80 células. Nem todas as células têm o mesmo tamanho:
quanto mais longe a célula estiver da linha de parada, mais longa ela será,
portanto, mais comprimento da pista será coberto. A escolha do comprimento de
cada célula não é trivial: se as células forem muito longas, alguns carros que se
aproximam da linha de cruzamento podem não ser detectados; se as células
forem muito curtas, o número de estados necessários para cobrir o comprimento
da pista aumenta, trazendo maior complexidade computacional. Neste trabalho, o
comprimento das células mais curtas, que também são as mais próximas da linha
de parada, é exatamente 2 metros maior que o comprimento de um carro.
Em resumo, sempre que o agente observar o estado do
ambiente, obterá o conjunto de células que descrevem a
presença ou ausência de veículos em todas as áreas das vias
de entrada.
B. Conjunto de ações
O conjunto de ações identifica as possíveis ações que o agente pode
realizar. O agente é o sistema de semáforo, portanto, fazer uma ação
significa ativar uma fase verde para um conjunto de faixas por um
período fixo de tempo, escolhendo entre um conjunto predefinido de
fases verdes. Neste artigo, o tempo verde é definido em 10 segundos e
o tempo amarelo é definido em 4 segundos. Formalmente, o espaço de
ação é definido no conjunto (1). O conjunto inclui todas as ações
possíveis que o agente pode executar.
A = {NSA, NSLA, EWA, EWLA}
Cada ação do conjunto (1) é descrita abaixo.
• Avanço Norte-Sul (NSA): a fase verde está ativa para os
veículos que estão no braço norte e sul e querem
seguir reto ou virar à direita.
• Avanço à Esquerda Norte-Sul (NSLA): a fase verde está
ativa para os veículos que estão no braço norte e sul e
querem virar à esquerda.
• Avanço Leste-Oeste (EWA): a fase verde está ativa para os
veículos que estão no braço leste e oeste e querem seguir
reto ou virar à direita.
• Avanço Esquerda Leste-Oeste (EWLA): a fase verde está ativa
para veículos que estão no braço leste e oeste e querem virar
à esquerda.
A Figura 6 mostra uma representação gráfica das quatro
ações possíveis.
Se a ação escolhida no agentstepté igual à ação
executada na última etapa do agentet-1 (ou seja, a
combinação de semáforos é a mesma), não há fase amarela
e, portanto, a fase verde atual persiste. Pelo contrário, se a
ação escolhida no agentsteptnão é igual ao anterior
Fig. 6. Representação gráfica das quatro ações possíveis.
ação, uma fase amarela de 4 segundos é iniciada entre as duas
ações. Isso significa que o número de etapas de simulação entre
duas ações iguais é 10, pois 1 etapa de simulação é igual a 1
segundo no SUMO. Quando as duas ações consecutivas são
diferentes, a fase amarela conta como 4 etapas de simulação
extras e, portanto, o número total de etapas de simulação entre as
ações é 14. A Figura 7 mostra um breve esquema deste processo.
Figura 7. Possíveis diferenças de etapas de simulação entre ações.
C. Função de recompensa
No aprendizado por reforço, a recompensa representa o feedback
do ambiente após o agente ter escolhido uma ação. O agente usa a
recompensa para entender o resultado da ação realizada e melhorar o
modelo para futuras escolhas de ação. Portanto, a recompensa é um
aspecto crucial do processo de aprendizagem. A recompensa
geralmente tem dois valores possíveis: positivo ou negativo. Uma
(1)
recompensa positiva é gerada como consequência de boas ações, uma
recompensa negativa é gerada a partir de más ações. Nesta aplicação,
o objetivo é maximizar o fluxo de tráfego através da interseção ao
longo do tempo. Para atingir esse objetivo, a recompensa deve ser
derivada de alguma medida de desempenho da eficiência do tráfego,
para que o agente seja capaz de entender se a ação tomada reduz ou
aumenta a eficiência da interseção. Na análise de tráfego, várias
medidas são usadas [14], como throughput, atraso médio e tempo de
viagem. Neste artigo, são apresentadas duas funções de recompensa
que usam duas medidas de tráfego ligeiramente diferentes, e são as
seguintes.
1) Função de recompensa de literatura:A primeira função de recompensa
é chamadaliteraturaporque é inspirado em estudos semelhantes neste
tópico. A função de recompensa da literatura usa como métrica otempo
total de espera, definido como na equação (2).
∑n
twtt= peso(veh, t) (2)
veh =1
Ondepeso(veh, t)é a quantidade de tempo em segundos que um
veículoveh tem uma velocidade inferior a 0,1 m/s no agentstept. n
representa o número total de veículos no ambiente em agentstept.
46
 Workshop "Dos Objetos aos Agentes" (WOA 2019)
Portanto,twtté o tempo total de espera no agentstept.A partir dessa
métrica, a função de recompensa da literatura pode ser definida como
uma função detwtte é mostrado em (3)
rt=0,9·twtt−1−twtt
Ondertrepresenta a recompensa no agentstept. twtte twtt−1
representam o tempo total de espera de todos os carros na
interseção capturados respectivamente no agentsteptet−1.O
parâmetro0,9ajuda na estabilidade do processo de treinamento.
Em uma aplicação de aprendizado por reforço, a recompensa
geralmente pode ser positiva ou negativa, e essa implementação
não é exceção. A equação 3 é desenhada de forma que quando o
agente escolhe uma ação ruim retorna um valor negativo e
quando escolhe uma ação boa retorna um valor positivo. Uma má
ação pode ser representada como uma ação que, na etapa atual
do agentet,adiciona mais veículos em filas em comparação com a
situação na etapa de agente anteriort-1,resultando em tempos de
espera mais altos em comparação com a etapa de agente anterior.
Este comportamento aumenta atwtpara a etapa atual do agentete
conseqüentemente a equação 3 assume um valor negativo.
Quanto mais veículos foram adicionados em filas para o agentstep
t,quanto mais negativortserá e, portanto, pior a ação será avaliada
pelo agente. O mesmo conceito é aplicado para boas ações.
O problema com essa função de recompensa está na
escolha da métrica e ocorre quando surge a seguinte situação.
Durante o cenário de tráfego intenso, aparecem filas muito
longas. Quando o agente ativa a fase verde para uma fila
longa, a saída dos carros cria uma onda de movimento que
percorre toda a fila. A recompensa associada a esta ativação da
fase é recebida não só na próxima etapa do agente, como
deveria, mas também nas etapas seguintes. Isso porque a
onda de movimento persiste por mais tempo em relação ao
passo delta entre actionstep, e a onda aciona os tempos de
espera dos carros na fila, enganando o agente sobre a
recompensa recebida.
2) Função de recompensa alternativa:A função de recompensa
alternativa usa uma métrica ligeiramente diferente da métrica
anterior, que é atempo de espera total acumulado, definido na
equação (4).
∑n
atwtt= awt(veh, t)
veh =1
Ondeawt(veh, t)é a quantidade de tempo em segundos que um
veículo vehtem uma velocidade inferior a 0,1 m/s no agentstep
t,desde a desova no ambiente.nrepresenta o número total de
veículos no ambiente em agentstept.Portanto,atwtt
é o tempo de espera total acumulado no agentstept.Com esta
métrica, quando o veículo sai mas não consegue atravessar o
cruzamento, o valor deatwttnão redefine (ao contrário do valor de
twtt), evitando a recompensa enganosa associada à função de
recompensa da literatura, quando uma longa fila se acumula no
cruzamento. Depois que a métrica é definida, a função de
recompensa alternativa é definida como na equação (5)
rt=atwtt−1−atwtt
Ondertrepresenta a recompensa no agentstept. atwtte atwtt−1
representam o tempo de espera total acumulado de todos
os carros no cruzamento capturados respectivamente no
agentstep tet-1.
D. Q-Learning Profundo
(3)
O mecanismo de aprendizagem envolvido neste trabalho é chamado
de Deep Q-Learning, que é uma combinação de dois aspectos
amplamente adotados no campo do aprendizado por reforço: redes
neurais profundas e Q-Learning. Q-Learning [15] é uma forma de
aprendizado por reforço sem modelo [16]. Consiste em atribuir um
valor, chamado devalor-Q, a uma ação tomada a partir de um estado
preciso do ambiente. Formalmente, na literatura, um valor Q é definido
como na equação (6).
Q(s)t, at) =Q(s)t, at)+α(rt+1+γ·máximoAQ(s)t+1, at)-Q(s)t, at))
(6)
ondeQ(s)t, at)é o valor da açãoattirado do estado st. A
equação consiste em atualizar o valor Q atual com uma
quantidade descontada pela taxa de aprendizado α. Dentro
dos parênteses, o termort+1representa a recompensa
associada à açãoatdo estadost. o subscritot +1é usado para
enfatizar a relação temporal entre tomar a ação ate receber
a consequente recompensa. O termoQ(s)t+1, at) representa
o valor-Q do futuro imediato, ondest+1é o próximo estado
em que o ambiente evoluiu após a ação atno estadost. A
expressãomáximoAsignifica que, entre as ações possíveisat
no estadost+1, o mais valioso é selecionado. O termo γ é o
fator de desconto que assume um valor entre 0 e 1,
diminuindo a importância da recompensa futura em
relação à recompensa imediata.
Neste artigo, uma versão ligeiramente diferente da equação (6)
é usada e é apresentada na equação (7). Isso será chamado de
função Q-learning a partir deste ponto.
Q(s)t, at) =rt+1+ γ·máximoAQ′(st+1, at+1) (7)
onde a recompensart+1é a recompensa recebida depois de agir
atno estadost. O termoQ′(st+1, at+1)é o valor Q associado à açãoa
t+1no estadost+1, ou seja, o próximo estado após a açãoatno
estadost. Conforme visto na equação (6), o fator de desconto γ
denota uma pequena penalização da recompensa futura em
relação à recompensa imediata. Uma vez que o agente esteja
treinado, a melhor açãoattirado do estadostserá aquele que
(4) maximiza a funçãoQ(s)t, at). Em outras palavras, maximizar a
função Q-learning significa seguir a melhor estratégia que o
agente aprendeu.
Em uma aplicação de aprendizado por reforço, geralmente o espaço
de estado é tão grande que é impraticável descobrir e salvar cada par
de ação de estado. Portanto, a função Q-learning é aproximada usando
uma rede neural. Neste trabalho, é utilizada uma rede neural profunda
totalmente conectada, que é composta por uma camada de entrada de
80 neurônios, 5 camadas ocultas de 400 neurônios cada uma com
unidade linear retificada (ReLU) [17] e a camada de saída com 4
neurônios com função de ativação, cada uma representando o valor de
uma ação dado um estado. Uma representação gráfica da rede neural
profunda é mostrada na Figura 8
(5)E. O processo de treinamento
Replay da experiência[18] é uma técnica adotada durante a fase
de treinamento com o objetivo de melhorar o desempenho do
47
 Workshop "Dos Objetos aos Agentes" (WOA 2019)

1) Predição dos valores-QQ(s)t), que é o conhecimento

atual que o agente tem sobre os valores da ação de st.

2) Previsão dos valores-QQ′(st+1). Estes representam o

Figura 8. Esquema da rede neural profunda.
agente e a eficiência do aprendizado. Consiste em submeter ao agente
as informações necessárias para o aprendizado na forma de um grupo
aleatório de amostras chamadolote, ao invés de enviar imediatamente
as informações que o agente coleta durante a simulação (comumente
chamadoAprendizagem online). O lote é retirado de uma estrutura de
dados chamada intuitivamente de memória, que armazena todas as
amostras coletadas durante a fase de treinamento. Uma amostramé
formalmente definido como o quádruplo (8).
m = {st, at, rt+1, st+1}
Ondert+1é a recompensa recebida após realizar a açãoat
do estadost, que evolui o ambiente para o próximo estado st+1.
Essa técnica é implementada para remover correlações na
sequência de observação, uma vez que o estado do ambiente st+1é
uma evolução direta do estadoste a correlação pode diminuir a
capacidade de treinamento do agente. Na Figura 9 é mostrada
uma representação da tarefa de coleta de dados.
conhecimento do agente sobre os valores de ação a
partir do estadost+1.
3) Atualização deQ(s)t, at)que representa o valor da ação
específicaatselecionado pelo agente durante a
simulação. Este valor é substituído usando a função Q-
learning descrita na equação (7). O elementort+1é a
recompensa associada à açãoat,máximoAQ′(st+1, at+1) é
obtido usando a previsão deQ′(st+1)e representa a
recompensa futura máxima esperada, ou seja, o maior
valor de ação esperado pelo agente, a partir do estado
st+1. Será descontado por um fator γ que dê mais
importância à recompensa imediata.
4) Treinamento da rede neural. A entrada é o estadost, enquanto
a saída desejada são os valores Q atualizadosQ(s)t, at) que
agora inclui a recompensa futura máxima esperada graças à
atualização do valor Q.
Uma vez que a rede neural profunda tenha se aproximado
suficientemente da função Q-learning, a melhor eficiência de tráfego é
(8)
alcançada selecionando a ação com o valor mais alto dado o estado
atual. Um grande problema em qualquer tarefa de aprendizado por
reforço é a política de seleção de ações durante o aprendizado; seja
para tomar uma ação exploratória e potencialmente aprender mais, ou
para tomar uma ação exploratória e tentar otimizar o conhecimento
atual sobre a evolução do ambiente. Neste papel o ǫ-ambiciosoa
política de exploração é escolhida, e é representada pela equação (9).
define uma probabilidadeǫpara o episódio atualhescolher uma ação
exploratória e, consequentemente, uma probabilidade1-ǫpara escolher
uma ação de exploração.

h
ǫh=1- (9)
H
ondehé o episódio atual de treinamento eEé o número total de
episódios. Inicialmente,ǫ =1,significando que o agente explora
exclusivamente. No entanto, à medida que o treinamento avança,
o agente explora cada vez mais o que aprendeu, até explorar
exclusivamente.

Figura 9. Esquema da recolha de dados.
Conforme afirmado anteriormente, a técnica de reprodução de experiência
precisa de uma memória, que é caracterizada por um tamanho de memória e um
tamanho de lote. O tamanho da memória representa quantas amostras a
memória pode armazenar e é definido como 50.000 amostras. O tamanho do lote
é definido como o número de amostras recuperadas da memória em uma
instância de treinamento e é definido como 100. Se em uma determinada etapa
do agente a memória for preenchida, a amostra mais antiga será removida para
liberar espaço para a nova amostra.
Uma instância de treinamento consiste em aprender a função Q-
valor iterativamente usando as informações contidas no lote de
amostras extraídas. Cada amostra no lote é usada para
treinamento. Do ponto de vista de uma única amostra, que contém
os elementos {st, at, rt+1, st+1}, as seguintes operações são
executadas:
V. SIMULAÇÃORESULTADOS
O desempenho dos agentes é avaliado em duas partes: inicialmente,
é analisada a tendência de recompensa durante o treinamento. Em
seguida, é discutida uma comparação entre os agentes e um semáforo
estático, no que diz respeito a métricas de tráfego comuns, como
tempo de espera acumulado e tempo médio de espera por veículo.
Um agente é treinado usando a função de recompensa da literatura,
enquanto o outro adota a função de recompensa alternativa. A Figura
10 mostra a melhora do aprendizado durante o treinamento no cenário
Low-traffic de ambos os agentes, em termos de recompensa negativa
cumulativa, ou seja, a magnitude dos resultados negativos das ações
durante cada episódio. Como pode ser visto, cada agente aprendeu
uma política suficientemente correta no cenário de baixo tráfego. À
medida que o treinamento avança, ambos os agentes exploram
eficientemente o ambiente e aprendem uma aproximação adequada
dos valores-Q; então, no final do treinamento, eles

48
 Workshop "Dos Objetos aos Agentes" (WOA 2019)

tente otimizar os valores-Q explorando o conhecimento aprendido até
agora. O fato de o agente com a função alternativa de recompensa ter
uma melhor curva de recompensa em geral não é uma forte evidência
de um melhor desempenho, pois ter duas funções de recompensa
diferentes significa que diferentes valores de recompensa são
produzidos. A diferença de desempenho será discutida posteriormente
durante o benchmark de semáforo estático.
em semáforos estáticos do mundo real [19]. Em particular, as
fases NSA e EWA duram 30 segundos, as fases NSLA e EWLA
duram 15 segundos e a fase amarela é a mesma do agente,
que é de 4 segundos.
Na Tabela I são apresentados os desempenhos dos dois agentes,
comparados ao STL. A métrica usada para medir a diferença de
desempenho são ostempo de espera cumulativoe a tempo médio de
espera por veículo. O tempo de espera cumulativo é definido como a
soma de todos os tempos de espera de cada carro durante o episódio,
enquanto o tempo médio de espera por veículo é definido como a
quantidade média de segundos gastos por um veículo em uma posição
estável durante o episódio. Essas medidas são reunidas em 5 episódios
e, em seguida, calculadas a média.

recompensa de literatura Recompensa alternativa

agente agente

Cenário de baixo tráfego

cwt - 30 - 47
awt/v - 29 - 45

Fig. 10. Recompensa negativa cumulativa de ambos os agentes por episódio durante o Cenário de alto tráfego
treinamento no cenário Low-traffic. cwt +145 +26

A Figura 11 mostra os mesmos dados de treinamento da Figura 10, mas awt/v +136 +25
referentes ao cenário de alto tráfego. Neste cenário, o agente com a Cenário de tráfego NS
recompensa da literatura apresenta uma curva de recompensa cwt - 50 - 62
significativamente instável, enquanto a tendência do outro agente é estável.
awt/v - 47 - 56
Esse comportamento é causado pela escolha de usar o tempo de espera dos
Cenário de tráfego EW
veículos como métrica para a função recompensa, que em situações com
cwt - 65 - 65
longas filas ocasiona a aquisição de recompensas enganosas. De fato, ao
utilizar o tempo de espera acumulado como na função de recompensa awt/v - 59 - 58
alternativa, os veículos não zeram seus tempos de espera simplesmente TABELA I
AVISÃO GERAL DO DESEMPENHO DE HOMENS,VARIAÇÕES DE PORCENTAGEM
avançando na fila. Como mostra a Figura 11, a função de recompensa
COMPARADO COMSTL (MENOR É MELHOR).
alternativa produz uma política mais estável. Nos cenários de tráfego NS e
tráfego EW, ambos os agentes têm bom desempenho, pois é uma tarefa
mais simples de explorar.
Em geral, o agente de recompensa alternativo consegue
uma melhor eficiência de tráfego em comparação com o
agente de literatura: isso é consequência da adoção de
uma função de recompensa (tempo de espera acumulado)
que desconta de forma mais adequada os tempos de
espera excedendoum único ciclo de semáforo. Considerar
apenas o tempo de espera a partir da última paragem das
viaturas, leva a não enfatizar suficientemente a utilidade de
manter ciclos de luz mais longos, introduzindo demasiadas
situações de semáforos e mudanças, que são eficazes em
situações de tráfego baixo ou médio. O facto do agente ser
mais eficaz em situações de tráfego baixo a médio, leva a
pensar que uma oportunidade fácil e quase imediata seria
desenvolver separadamente agentes vocacionados para
Fig. 11. Recompensa negativa cumulativa de ambos os agentes por episódio durante o
treinamento no cenário de alto tráfego.
diferentes situações de tráfego, tendo uma espécie de
controlador que monitoriza o fluxo de tráfego e que
Para analisar verdadeiramente qual agente obtém selecciona a configuração de agente mais apropriada. Esta
melhor desempenho, é apresentada uma comparação experimentação também leva a considerar que, no entanto,
entre os agentes e um Semáforo Estático (STL). O STL tem o melhorias adicionais seriam possíveis (i) melhorando a
mesmo layout dos agentes e percorre as 4 fases sempre na abordagem de aprendizado para alcançar uma
seguinte ordem: [NSA − NSLA − EWA − EWLA]. Além disso, convergência mais estável e rápida,
cada fase tem uma duração fixa e são inspiradas naquelas

49
 Workshop "Dos Objetos aos Agentes" (WOA 2019)
VI. CONCLUSÕES EFUTUREDEVOLUÇÕES
Este trabalho apresentou uma exploração crível da plausibilidade de
uma abordagem RL para o problema de adaptação e gerenciamento de
semáforos. O trabalho empregou um simulador de tráfego realista e
validado para fornecer um ambiente no qual se treina e avalia um
agente de RL. Duas métricas para a recompensa das ações do agente
foram investigadas, esclarecendo que uma descrição adequada do
contexto da aplicação é tão importante quanto a competência na
aplicação adequada de abordagens de aprendizado de máquina para
alcançar resultados adequados.
Os trabalhos futuros visam melhorar ainda mais os resultados
alcançados, mas também, a mais longo prazo, investigar quais
seriam as implicações da introdução de múltiplos agentes RL numa
rede rodoviária e qual seria a possibilidade de coordenar os seus
esforços para alcançar melhorias globais sobre as locais e também
as implicações na população de veículos, que poderia perceber a
mudança na infraestrutura e se adaptar para explorar
oportunidades adicionais e potencialmente anular as melhorias
alcançadas devido a uma demanda de tráfego adicional nas
interseções melhoradas. É importante realizar análises nesta linha
de trabalho para entender a plausibilidade, potenciais vantagens
ou mesmo implicações negativas não intencionais da introdução
no mundo real desta forma de sistema auto-adaptativo.
REFERÊNCIAS
[1] RS Sutton, AG Bartoe outros,Introdução ao aprendizado por reforço.
Imprensa MIT Cambridge, 1998, vol. 135.
[2] M. Behrisch, L. Bieker, J. Erdmann e D. Krajzewicz, “Sumo –
simulação de mobilidade urbana: uma visão geral”, emSIMUL
2011, S. . U. de Oslo Aida Omerovic, RIRTPDA Simoni e RIRTPG
Bobashev, Eds. ThinkMind, outubro de 2011. [Online]. Disponível:
https://elib.dlr.de/71460/
[3] O. Vinyals, I. Babuschkin, J. Chung, M. Mathieu, M. Jaderberg, WM
Czarnecki, A. Dudzik, A. Huang, P. Georgiev, R. Powell, T. Ewalds,
D. Horgan, M. Kroiss, I. Danihelka, J. Agapiou, J. Oh, V. Dalibard,
D. Choi, L. Sifre, Y. Sulsky, S. Vezhnevets, J. Molloy, T. Cai, D. Budden,
T. Paine, C. Gulcehre, Z. Wang, T. Pfaff, T. Pohlen, Y. Wu, D. Yogatama,
J. Cohen, K. McKinney, O. Smith, T. Schaul, T. Lillicrap, C. Apps,
K. Kavukcuoglu, D. Hassabis e D. Silver, “AlphaStar: Mastering
50
the Real-Time Strategy Game StarCraft II,” https://deepmind.com/blog/
alphastar-mastering-real-time-strategy-game-starcraft-ii/, 2019.
[4] D. Kalashnikov, A. Irpan, P. Pastor, J. Ibarz, A. Herzog, E. Jang,
D. Quillen, E. Holly, M. Kalakrishnan, V. Vanhouckee outros, “Qt-opt: aprendizado
de reforço profundo escalável para manipulação robótica baseada em visão,”arXiv
pré-impressão arXiv: 1806.10293, 2018.
[5] K.-LA Yau, J. Qadir, HL Khoo, MH Ling e P. Komisarczuk, “Uma pesquisa sobre
modelos e algoritmos de aprendizado por reforço para controle de sinais de
trânsito,”Levantamentos de Computação ACM (CSUR), vol. 50, não. 3, pág. 34 de
2017.
[6] W. Genders e S. Razavi, “Avaliando representações de estado de aprendizagem por
reforço para controle adaptativo de sinais de trânsito,”Procedia ciência da
computação, vol. 130, pp. 26–33, 2018.
[7] J. Gao, Y. Shen, J. Liu, M. Ito e N. Shiratori, “Controle de sinal de tráfego adaptativo:
Algoritmo de aprendizado de reforço profundo com repetição de experiência e
rede de destino,”arXiv pré-impressão arXiv:1705.02755, 2017.
[8] W. Genders e S. Razavi, “Usando um agente de aprendizado por reforço profundo para
controle de sinal de trânsito,”arXiv pré-impressão arXiv:1611.01142, 2016.
[9] SS Mousavi, M. Schukat e E. Howley, “Controle de semáforo usando aprendizado de
reforço baseado em gradiente de política profunda e função de valor,”
Sistemas Inteligentes de Transporte IET, vol. 11, não. 7, pp. 417–423, 2017.
[10] L. Li, Y. Lv e F.-Y. Wang, “Tempo de sinal de trânsito por meio de aprendizado
de reforço profundo,”IEEE/CAA Journal of Automatica Sinica, vol. 3, não. 3,
pp. 247–254, 2016.
[11] H. Wei, G. Zheng, H. Yao e Z. Li, "Intellilight: uma abordagem de
aprendizado por reforço para controle inteligente de semáforos", em
Proceedings of the 24th ACM SIGKDD International Conference on
Knowledge Discovery & Data Mining. ACM, 2018, pp. 2496–2505.
[12] D. Krajzewicz, G. Hertkorn, C. Rössel e P. Wagner, "Sumo (simulação de
mobilidade urbana) - uma simulação de tráfego de código aberto", emAnais
do 4º Simpósio do Oriente Médio sobre Simulação e Modelagem
(MESM20002), 2002, pp. 183–187.
[13] LA Rodegerdts, B. Nevers, B. Robinson, J. Ringert, P. Koonce,
J. Bansen, T. Nguyen, J. McGill, D. Stewart, J. Suggette outros,
“Interseções sinalizadas: guia informativo,” Tech. Rep., 2004.
[14] R. Dowling, “Traffic analysis toolbox volume vi: Definição, interpretação e
cálculo das medidas de eficácia das ferramentas de análise de tráfego,”
Tecnologia Rep., 2007.
[15] CJ Watkins e P. Dayan, “Q-learning,”Aprendizado de máquina, vol. 8, não. 3-4,
pp. 279–292, 1992.
[16] CJCH Watkins, “Aprendendo com recompensas atrasadas,” Ph.D. dissertação,
King's College, Cambridge, 1989.
[17] JN Tsitsiklis e B. Van Roy, “Análise de aprendizagem por diferenças temporais com
aproximação de funções,” emAvanços em sistemas de processamento de
informações neurais, 1997, pp. 1075–1081.
[18] L.-J. LIN, “Aprendizado por reforço para robôs usando redes neurais,”
doutorado Tese, Universidade Carnegie Mellon, 1993.
[19] P. Koonce e L. Rodegerdts, “Manual de temporização de semáforos.” Estados
Unidos. Administração Rodoviária Federal, Tech. Rep., 2008.