ESCUELA SUPERIOR POLITÉCNICA DEL LITORAL

FACULTAD DE INGENIERÍA EN ELECTRICIDAD Y

COMPUTACION

INTRODUCCION A LA ROBÓTICA INDUSTRIAL

Development of VR Visualization System including

Deep Learning Architecture for Improving
Teleoperability

ESTUDIANTE : EDWIN CHACON CASTRO

 Introducción

 Desarrollo del sistema de visualización VR, incluida la arquitectura de aprendizaje

profundo para mejorar la teleoperabilidad.

 Este documento propone el sistema de

visualización que puede adquirir y
visualizar información ambiental 2D y 3D
basada en imágenes para el operador.
El sistema de visualización propuesto
consiste en un espectador egocéntrico
y un sistema de visualización
exocéntrico.
 CONFIGURACIÓN DEL SISTEMA DE VISUALIZACIÓN
DEL ESPACIO DE TRABAJO DE TELEOPERACIÓN.
 El sistema de visualización propuesto
consiste en un espectador egocéntrico y
un sistema de visualización exocéntrico.
Cada sistema juega un papel diferente
pero colaborativo para apoyar la
teleoperación. La arquitectura del
sistema se muestra en la Fig. 1.
 Al observar el contexto del espacio de
trabajo remoto a través de diferentes
vistas, sería útil mejorar la conveniencia
de la teleoperación, como la prevención
de colisiones entre el robot esclavo y los
obstáculos circundantes que se colocan
fuera del alcance del operador.
 SISTEMA DE VISOR EGOCÉNTRICO
 El sistema de visor egocéntrico detecta
principalmente objetos y entornos de destino en
vista en primera persona y ofrece los resultados
de detección de objetos utilizando imágenes
bidimensionales con anotaciones para recordar
el contexto del espacio de trabajo incluso si el
operador no detecta objetos relacionados con
el trabajo en la teleoperación.
 La red neuronal convolucional más rápida
basada en la región (R-CNN) es un algoritmo
preciso y rápido usado para detectar el objeto
sin más técnicas de procesamiento de
imágenes.
 SISTEMA DE VISOR EXOCÉNTRICO
 El sistema de visor exocéntrico se enfoca en
visualizar el estado del robot esclavo para que
el operador pueda reconocer fácilmente el
contexto del espacio de trabajo de campo
remoto. Intentamos representar un espacio de
trabajo virtual tridimensional del robot esclavo,
que se compone de un mapa de alcance de
la plataforma del robot y la pantalla de
actitud del robot que representa el progreso
actual de ejecución.
 La vista exocéntrica consiste en datos de
nubes de puntos 3D adquiridos de Kinect, el
robot 7-DOF simulado KUKA y el mapa de
alcance del brazo del robot.
 El brazo de robot virtual 7-DOF KUKA se simula
en la imagen 3D real adquirida de una
cámara Kinect.
 CONCLUSIÓN
 En este artículo, se propuso un sistema de
visualización que puede reconocer efectivamente
el entorno circundante en el sistema de
teleoperación a través de la visión exocéntrica y
egocéntrica. La vista exocéntrica visualiza tres tipos
de información: la actitud del robot esclavo, el
mapa de accesibilidad del brazo del robot y los
datos de la nube de puntos 3D. Y, la vista
egocéntrica visualiza la detección de objetos
usando Faster-RCNN.
 A través de este sistema, lo que le permite al
operador realizar un trabajo preciso al
proporcionar al operador una vista completa de la
información de ubicación remota, también ayuda
al operador a realizar un trabajo efectivo al mostrar
un objeto que el operador aún no ha reconocido.
 BIBLIOGRAFIA
 [1] Masaya Ogawa, Katsuya Honda, Yoshihiro Sato,Takeshi Oishi and Katsushi
Ikeuchi, “Development of interface for teleoperation of humanoid robot using
task model method”, Proceedings of the 2016 IEEE/SICE International
Symposium on System Integration, 2016.
 [2] Hyuk Kim and Jee-Hwan Ryu, “The Effect ofAsynchronous Haptic and Video
Feedback on Teleoperation and a Comment for Improving the
Performance”,Journal of Institute of Control, Robotics and Systems, Vol. 18, No.
2, pp. 156-160, 2012.
 [3] Seungho Kim, Seung Ho Jung, Sung Uk Lee, Chang Hoi Kim, Ho Chul Shin,
Yong Chil Seo, Nam Ho Lee and Kyung Min Jung, “Application of Robotics for
the Nuclear Power Plants in Korea”, 1st International Conference on Applied
Robotics for the Power Industry, 2010.
 [4] Yeong-Hun Kong, Won-Chang Lee, “Remote Control System for a Mobile
Robot with a Robotic Arm”, Journal of Korean Institute of Information
Technology, Vol. 14, No. 7, pp. 21-28, 2016.