Abordagem Neuroevolucionária para as

Manobras de Navios do COLREG

M. Łącki
Universidade Marítima de Gdynia, Gdynia, Polônia

RESUMO: O artigo descreve o uso do método neuroevolucionário para evitar a colisão de duas embarcações
motorizadas que se aproximam de acordo com as regras do COLREG. Isso também pode ser visto como o
sistema de manuseio de navios que simula o processo de aprendizagem de um grupo de timoneiros artificiais -
unidades de controle autônomas, criadas com redes neurais artificiais. O timoneiro observa um ambiente por
seus sinais de entrada e de acordo com a regra CORLEG atribuída, ele calcula os valores dos parâmetros
necessários de manobras (rpm das hélices e deflexão do leme) em uma situação de prevenção de colisão. Na
neuroevolução, essas unidades são tratadas como indivíduos em uma população de redes neurais artificiais,
que, por meio de sensoriamento ambiental e algoritmos evolutivos, aprendem a executar determinada tarefa
com segurança e eficiência.

1. INTRODUÇÃO colisão. Um comandante na ponte nunca deve

As regras gerais para evitar colisões entre duas ou
mais embarcações são descritas na convenção
conhecida como COLREG - o Regulamento
Internacional para a Prevenção de Colisões no Mar,
publicado pela IMO (Organização Marítima
Internacional) em Londres em 20 de outubro de 1972.
Substituiu regulamentos anteriores semelhantes de
1960. A Convenção contém regras rodoviárias para
embarcações de alto mar, definições de navios,
disposição de luzes e formas, descrição de sinais
sonoros e luminosos.
É importante mencionar que em relação aos
COLREGs não há privilégio absoluto de “direito de
passagem” de uma embarcação de alto mar sobre
qualquer outra embarcação encontrada. Em vez disso,
é descrito como embarcação de “entrega” (carregada)
e embarcação de “apoio” (privilegiada), às vezes pode
haver duas embarcações “cedendo” sem nenhuma
embarcação “parada”. Um suporte a bordo do navio
ainda pode ser obrigado a ceder, se houver risco de
assumir que a outra embarcação compartilha de sua
opinião sobre quais regras se aplicam em determinada
situação. A decisão nem sempre é clara, pode ser
diferente dependendo das condições climáticas,
visibilidade, experiência e muitos outros fatores. Pode
ser auxiliado por um sistema de apoio à decisão
inteligente com valores difusos (Pietrzykowski e
Małujda, 2012). Existem também soluções para
embarcações não tripuladas (Naeem et al., 2012) e
para encontrar trajetórias seguras de navios com foco
no melhor manuseio de COLREGS (Szłapczyński e
Szłapczyńska, 2012). Uma abordagem interessante
para evitar colisões em vários navios sob os
regulamentos do COLREG foi proposta com o uso do
método de Campo de Potencial Artificial (Wang et al.,
2017) para calcular o domínio de segurança de navios.

745
2 NEUROEVOLUÇÃO
Neuroevolução é um método de inteligência artificial
que usa algoritmos evolutivos (EA) para gerar redes
neurais artificiais (RNA), seus parâmetros, topologia e
regras. Tal combinação dá a vantagem de flexibilidade
e adaptabilidade, o que permite ajustar as estruturas
computacionais às condições dinamicamente
mutáveis encontradas durante as manobras de navios
e são intensamente estudadas e implementadas em
muitos campos diferentes da ciência e da pesquisa,
incluindo a robótica (Lee et al., 2013 ), processos de
automação (Stanley et al., 2005), projetos e
diagnósticos de sistemas multiagentes (Nowak et al.,
2008) (Larkin et al., 2006) e muitos mais.
Algoritmos neuroevolucionários são métodos bem-
sucedidos para otimizar topologias de redes neurais
para tarefas dinâmicas de aprendizado por reforço
contínuo. Sua vantagem significativa sobre os
algoritmos baseados em gradiente é a capacidade de
modificar topologias de rede junto com pesos de
conexão, resultando em um espaço de pesquisa mais
amplo de soluções possíveis.
As manobras adequadas de manobra do navio de
acordo com as normas do COLREG são essenciais
para a segurança das pessoas, equipamentos, carga e
meio ambiente. O aumento do poder computacional
dos dispositivos eletrônicos permite implementar
algoritmos tão complexos quanto a neuroevolução em
sistemas avançados de suporte à decisão (DSS)
também no campo da navegação marítima.
Por meio da observação contínua do ambiente e do
processo de aprendizagem, tal DSS deve prever o
ângulo do leme e as rotações da hélice da embarcação
com a maior precisão possível para garantir a
implementação segura da regra escolhida. É possível
calcular esses sinais de saída quando existe um
modelo de simulação da embarcação disponível.
Na neuroevolução, a RNA é tratada como um
indivíduo em uma população de várias redes.
Neuroevolution é capaz de encontrar uma solução
para uma tarefa complexa e dinâmica com RNA
criado e modificado com EA. As topologias básicas da
população inicial são determinadas aleatoriamente no
início do processo de aprendizagem. Cada indivíduo
atua como um cérebro de timoneiro artificial e começa
o processo de encontrar uma solução com os mesmos
parâmetros de partida (posição inicial do navio, curso,
velocidade, ângulo do leme, rpm). A ação de cada
indivíduo é geralmente avaliada com os algoritmos de
aprendizagem por reforço (Stanley et al., 2005) e o
estágio evolutivo do sistema deve selecionar os
indivíduos mais adequados para a tarefa durante a
etapa de seleção, que determina toda a população
para melhorar seu material genético ao longo Tempo.
A avaliação de cada indivíduo está sendo
processada durante toda a simulação após a
ocorrência de alguns eventos importantes, como por
exemplo:
- mover a embarcação para fora da área ou no setor
proibido, ou seja, o domínio de segurança de uma
embarcação encontrada,
- fazer manobras que mudam rapidamente e / ou
frequentemente, ou seja, para alterações frequentes
de rpm,
- levando a valores de parâmetros de movimento
de navios impróprios, ou seja, velocidade linear e /
ou angular muito baixa ou muito alta,
- movendo o navio para longe da
meta, alcançando uma meta.
Todos esses eventos devem ser avaliados
arbitrariamente, resultando em uma recompensa ao
indivíduo avaliado, valorizando assim sua aptidão
importante no estágio evolutivo do algoritmo e
consequentemente sua chance de reprodução e
sobrevivência para a próxima geração.
O processo evolutivo do sistema consiste em três
etapas principais:
seleção do melhor indivíduo ou indivíduos,
- reprodução (com subprocessos de cruzamento e
mutação),
- substituição (a prole substitui os piores
indivíduos).
Para o propósito desta tarefa foi implementado o
método neuroevolutivo, o algoritmo NEAT
modificado, com codificação direta da topologia da
rede neural.
O NEAT (NeuroEvolution of Augmenting
Topologies) (Stanley e Risto, 2002) ajusta a topologia
das RNA's com EA gradativamente, permite obter um
conjunto de indivíduos que melhor se ajustam a
determinada tarefa.
Os sinais de entrada e saída das RNAs foram
determinados no início da fase de projeto do sistema.
O conjunto de sinais corretamente projetado
considerado no modelo é crucial tanto para a
eficiência do sistema quanto para sua fidelidade e
precisão em comparação com a situação real de
navegação.
Os sinais de entrada no sistema, com três graus de
liberdade do movimento da embarcação, são os
seguintes:
- curso dos navios sobre o
solo, velocidade angular
dos navios,
- velocidade dos navios
sobre o solo, posição dos
navios,
- distância dos navios e ângulo para o objetivo, - --
obstáculos e para o navio encontrado,
- rotações da hélice principal (atual e
predefinida),
-deflexão dos lemes (atual e predefinida).
Em pesquisas futuras, outros sinais do ambiente
podem ser levados em consideração, ou seja, vento,
correnteza, ondas, carga, trim and roll, se entregues
em um modelo de navio.
Os sinais de saída de ANNs geram os valores para
dirigir a embarcação:
rpm da hélice
principal, deflexão
dos lemes.
Todos os sinais de entrada e saída são
normalizados e codificados como valores reais entre 0
e 1.
Cada nó na RNA representa um neurônio que
produz um valor real entre 0 e 1 como resultado da
soma ponderada normalizada de suas entradas. A
normalização da soma ponderada é realizada com a
função sigmóide.
 Os resultados da simulação são mostrados abaixo
para o modelo de simulação do petroleiro VLCC de
três graus de liberdade “Esso Norway” com hélice
única e leme único (Figura 1).
Figura 1. Navio petroleiro VLCC „Esso Noruega” (1969-
1986)
(b) Uma embarcação será considerada em
ultrapassagem ao aproximar-se de outra embarcação
de uma direção mais de 22,5 graus à ré de sua viga, ou
seja, em uma posição em relação à embarcação que
está ultrapassando, que à noite ela seria capaz de veja
apenas a luz de popa daquele navio, mas nenhuma de
suas luzes laterais.
(c) Quando uma embarcação tiver qualquer dúvida se
está ultrapassando outra, deve presumir que é esse o
caso e agir em conformidade.
(d) Qualquer alteração subsequente do rumo entre as
duas embarcações não tornará a embarcação que está
ultrapassando uma embarcação de travessia, na
acepção destas Regras, nem a isentará do dever de se
manter afastada da embarcação alcançada até que ela
finalmente tenha passado e esteja livre. ”
A situação de ultrapassagem é apresentada na
figura 3.

Os principais parâmetros da embarcação simulada

foram colocados na tabela 1.
Tabela 1. Parâmetros principais da “Esso Noruega”
______________________________________________
Parâmetro Valor

______________________________________________
Comprimento total 323,8 m
Comprimento entre
perpendiculares 304,8 m
Feixe 47,3 m
Máx. rascunho 18,46 m
Tonelagem de porte bruto 193048 t
Máx. revoluções da hélice
Máx. deflexão do leme
80 rpm
± 20 °

_____________________________________________
Nesta simulação, foi assumido que o “Esso
Noruega” encontrará um segundo navio de tamanho
semelhante e dirigindo-se para a frente em curso
constante. Seu domínio de segurança foi estabelecido
como um retângulo simplificado com 3 comprimentos
à frente de seu arco e um comprimento atrás da popa
(Figura 2). A largura deste domínio é de 2
comprimentos do navio.

Figura 3. Situação inicial das manobras de ultrapassagem

O navio A está se dirigindo para o norte mais

rápido (5 m / s) do que o navio B (3 m / s), portanto,
ocorre a manobra de ultrapassagem. Nesse caso, é
altamente recomendável que o navio A ultrapasse B a
bombordo.

Figura 2. Domínio de segurança simplificado da embarcação encontrada

3 SIMULAÇÃO DE MANOBRAS COLREGS

3,1 Regra 13 - ultrapassagem

A regra 13 afirma que:
“A) Não obstante qualquer coisa contida nas Regras
da Parte B, Seções I e II, qualquer embarcação
ultrapassando qualquer
outro deve manter-se fora do caminho do navio sendo
ultrapassado.

Figura 4. Um exemplo de rotas registradas de uma
população inteira
Como se pode ver na figura 4, há um amplo
espectro de rotas tomadas a bombordo da embarcação
B alcançada. Muitas delas terminam com falha de
largura ao entrar no domínio de segurança de outras
embarcações, ou se movendo para fora da área.
Algumas rotas terminam dentro da meta com curso
impróprio sobre o solo, mas os valores de aptidão
desses indivíduos são melhores do que aqueles que
deixam a área e sua chance de sobrevivência para a
próxima geração é muito maior. Claro que não é
suficiente reproduzir tão intensamente quanto os
melhores indivíduos, mas não é totalmente excluído e
tem a chance de melhorar sua adequação em
episódios subsequentes do processo de simulação.
Figura 5. Percurso final do melhor indivíduo
O resultado da simulação é a rota do melhor
indivíduo, escolhida após a duração especificada da
simulação. Suas ações tomadas e os valores dos
parâmetros de manobra são apresentados nas figuras
6-10.
Figura 6. Ângulo do leme sugerido e real
O sistema calculou 3 mudanças de ângulo do leme,
resultando em mudanças na velocidade angular
também.
Figura 7. Velocidade angular
Figura 8. Velocidade linear em m / se em nós
Figura 9. Rotações sugeridas e reais [rpm]
As mudanças nas rotações da hélice sugeridas pelo
sistema parecem ser muito baixas, causando na
velocidade linear uma diminuição abaixo de 4 m / s [7
kn]. Pode ser resolvido em simulação adicional pelo
ajuste de um valor de recompensa relacionado à
velocidade dos navios ou tempo de viagem.
Figura 10. Curso sobre o solo
3,2 Regra 15 - Situação de cruzamento
As manobras de cruzamento são descritas na regra 15:
"Quando duas embarcações a motor estão cruzando
de modo a envolver risco de colisão, a embarcação que
tem a outra a estibordo deve manter-se fora do
caminho e deve, se as circunstâncias do caso
permitirem, evitar a travessia à frente do outro navio.
”
Um exemplo de processo de simulação de situação
de travessia é apresentado na figura 11. Barco cedendo
começa com o curso 110 ° a bombordo do navio
encontrado que está se dirigindo para o norte.

Figura 11. Um exemplo de posições simultâneas de cada Figura 13. Percurso final do melhor
indivíduo na população de timoneiros durante a simulação indivíduo

Durante a simulação, cada timoneiro artificial tenta Os resultados da simulação são apresentados como
navegar com segurança pela área até um gol e, de rota final do melhor indivíduo e suas ações e
acordo com a regra 15, ele tenta evitar cruzar à frente parâmetros nas figuras 14 a 18.
da outra embarcação durante as manobras.

Figura 14. Ângulo do leme sugerido e real

Figura 15. Velocidade angular

Figura 12. Um exemplo de rotas registradas de toda uma

população

Existem alguns indivíduos que preferem uma

circulação relativamente segura do que manobras
arriscadas perto do domínio proibido da embarcação
encontrada. Seu condicionamento físico é um pouco
melhor do que aqueles que saem da área, mas
eles ainda estão muito fracos para competir com unidades melhores Figura 16. Velocidade linear em
m / se em nós durante a seleção.

749

Figura 17. Rotações sugeridas e reais [rpm]
Figura 18. Curso sobre o solo
Navios desse tamanho têm capacidade de
manobra muito limitada, o que implica maior
consciência das ordens iniciais de alteração da
deflexão do leme e / e empuxo da hélice. Os
resultados da simulação mostram que a mudança de
empuxo não tem grande impacto na velocidade dos
navios em situações consideradas. Mais importante é
o ângulo do leme, que é limitado a ± 20 °.
4 OBSERVAÇÕES
Muitas discussões sobre COLREGs foram levantadas
e continuadas desde sua criação e a primeira
submissão relacionada à sua aplicação. Existem
algumas propostas de melhorias na educação
marítima para reduzir os impactos negativos durante
a implementação dos COLREGs (Demirel e Bayer,
2015).
A abordagem neuroevolucionária ao manuseio do
navio durante o cruzamento ou ultrapassagem da
embarcação encontrada pode melhorar a qualidade
das manobras e a segurança da navegação. Para o
estudo de simulação, o modelo matemático do
petroleiro VLCC de três graus de liberdade de
petróleo bruto com hélice única e leme único foi
usado para testar o desempenho do sistema. Em
comparação com algoritmos clássicos de aprendizado
de máquina de estado (Łącki, 2007), as redes neurais
artificiais baseadas no método NEAT modificado
podem aumentar a complexidade e o desempenho do
modelo considerado de manobra de navio de acordo
com COLREGs. O sistema de manuseio de navios
neuroevolucionário traz alguns benefícios valiosos
para esta abordagem:
aumento da segurança da navegação, melhorando
a análise de dados para o tomador de decisão
durante as manobras,
redução dos custos operacionais das embarcações
devido à redução do número de manobras
extremas e desnecessárias,
minimização da ocorrência de erros humanos,
redução do impacto prejudicial do transporte no
meio ambiente
encontrar algumas novas soluções relacionadas às
características heurísticas da neuroevolução.
É importante notar que todos esses benefícios na
neuroevolução dependem estritamente do ajuste
adequado dos parâmetros e processos evolutivos, do
tamanho da população de RNAs e dos métodos de
codificação dos sinais considerados no ambiente
atendido.
Resultados de simulação bem-sucedidos encorajam
pesquisas adicionais dos métodos
neuroevolucionários com distúrbios adicionais da
influência das ondas do mar, correntes oceânicas e
ventos, para diferentes modelos de navios, que podem
ser implementados com sucesso em sistemas de
navegação avançados para aumentar a segurança da
navegação.
REFERÊNCIAS
Demirel, E. & Bayer, D. 2015. The Further Studies On The
COLREGs (Collision Regulations), TransNav, the
International Journal on Marine Navigation and Safety
of Sea Transportation, vol. 9, 17–22.
Łącki, M. 2007. Algoritmos de aprendizado de máquina no
suporte à tomada de decisão no manuseio de navios. ,
Katowice-Ustroń: WKŁ, p.
Larkin, D., Kinane, A. & O'Connor, N. 2006. Rumo à
aceleração de hardware da neuroevolução para
aplicativos de processamento de multimídia em
dispositivos móveis, Hong Kong, China.
Lee, S., Yosinski, J., Glette, K., Lipson, H. & Clune J 2013.
Andamentos em evolução para robôs físicos com a
codificação generativa HyperNEAT: os benefícios da
simulação, Applications of Evolutionary Computing ,.
Naeem, W., Irwin, GW & Aolei, Y. 2012. Estratégias de
prevenção de colisão baseadas em COLREGs para
veículos de superfície não tripulados, Oxford,
ROYAUME-UNI: Elsevier.
Nowak, A., Praczyk, T. & Szymak, P. 2008. Sistema
multiagente de veículos subaquáticos autônomos -
relatório preliminar, Zeszty Naukowe Akademii
Marynarki Wojennej, vol. 4, 99–108.
Pietrzykowski, Z. & Małujda, R. 2012. Aplicabilidade da
lógica difusa à interpretação das regras COLREG,
Zeszyty Naukowe / Akademia Morska W Szczecinie,
109-114.
Stanley, KO & Risto, M. 2002. Efficient Reforcement
Learning Through Evolving Neural Network
Topologies.
Stanley, KO, Bryant, BD & Risto, M. 2005. Neuroevolução
em tempo real no videogame NERO, IEEE Transactions
on Evolutionary Computation, vol. 9, 653–668.
Szłapczyński, R. & Szłapczyńska, J. 2012. Conjuntos
Evolucionários de Trajetórias de Navios Seguros:
Avaliação de Indivíduos, TransNav, o Jornal
Internacional sobre Navegação Marinha e Segurança do
Transporte Marítimo, vol. 6, 345–353.
Wang, T., Yan, XP, Wang, Y. & Wu, Q. 2017. Modelo de
domínio de navio para tomada de decisão de prevenção
de colisão em vários navios com COLREGs com base no
campo de potencial artificial, TransNav, Jornal
Internacional de Navegação e Segurança Marinha of Sea
Transportation, vol. 11, 85–92.