04INF - APLIC - RA RV e Industria 4.0

Informática Aplicada
RA, RV e Indústria 4.0

Como serão os próximos 10 anos?
Prof. Dr. Daniel Lima Gomes Jr

Departamento de Computação (DComp)
I n s t i t u t o F e d e r a l d e E d u c a ç ã o , C i ê n c i a e Te c n o l o g i a d o M a r a n h ã o
Campus Monte Castelo
São Luís, MA
Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Motivação - 4ª Revolução Industrial
Já imaginaram receber o seu pedido em 15 minutos na sua casa?
E ele ser entregue por um drone?

2
Motivação - Metaverso
ØNovas portas:
Gerente de segurança
Especialistas em bloqueio de anúncios
Construtor do novo mundo

Estrategista de metaverso
Storyteller (contador de histórias)

3
Indústria 4.0
https://isitics.com/2018/05/21/a-fabrica-do-futuro/
4
Indústria 4.0
Como chegou até aqui?
https://engeteles.com.br/industria-4-0/

5
Indústria 4.0
Prof. Daniel Lima

IFMA / Monte Castelo / Departamento de Computação
6
Indústria 4.0
Prof. Daniel Lima

7
Indústria 4.0
Prof. Daniel Lima

8
Indústria 4.0
Prof. Daniel Lima

9
Indústria 4.0
Prof. Daniel Lima

10
Indústria 4.0
Realidade virtual e
realidade
aumentada para os
setores profissionais
Avanços da
tecnologia digital
nos últimos dez
anos
Décadas de
usos
experimentais

11
Industria 4.0 e aplicações de RV/RA
• A combinação da
tecnologia da realidade
virtual com os avanços
da Indústria 4.0 irá
remodelar o ambiente
industrial.
• Realidade virtual (VR) e

a aumentada (AR) não
são apenas para
entretenimento

12
Suporte a processos de:
Tomada de decisão
Design, prototipagem e colaboração
Treinamento de pessoal, militar, etc.
Manutenção de equipamentos
Controle de segurança

13
• Empresa White Martins já

usa esse recurso no Brasil.
• Desde 2017, a empresa
utiliza a Realidade Virtual
para realizar avaliações de
segurança em seis
Fonte: avozdaindustria.com.br unidades de produção
espalhadas pelo país.
Engenheiros da empresa são capazes de checar falhas de segurança a 2.700
Km de distância, acompanhar obras e apontar correções a serem realizadas

14
• Modelo Argo da Fiat passou

por mais de 45 mil horas de
testes em simulação virtual,
antes que o primeiro protótipo
físico fosse construído.
• Outras montadoras como

Volvo, Ford e Hyundai, entre
VR Marke)ng outras, também aplicam essa
tecnologia no processo de
construção e até mesmo em
vendas

15

16
O que é RV?
ØExplicação em cinco níveis de dificuldade (WIRED Channel):
Nível 1: Criança de 5 anos

“É simples! É como um vídeo game, mas você sente que está
dentro do jogo”
Nível 2: Adolescente de 11 anos

“É uma forma de visualização de informações, e os seus
olhos podem visualizar diferentes níveis de
detalhamento.
Nível 3: Aluno de 15 anos (ensino médio)

“Um item muito importante é o delay (latência) que pode
dificultar a sensação de imersão.”

17
O que é RV?
ØExplicação em cinco níveis de dificuldade (WIRED Channel):
Nível 4: Aluno de 23 anos (graduação)

“A realidade virtual pode representar um ambiente completamente diferente.
E pode utilizar outros sentidos, além da visão.
Há uma grande necessidade de criação de mais conteúdos”
Nível 5: Especialista (Aaron Koblin, co-fundador da Within)

“A RV pode mudar completamente a forma de representação e a maneira de contar uma
história, ao contrário da TV em que há menor nível de interaYvidade”
“Nos ambientes de RV você às vezes precisa lembrar que isso realmente não está
acontecendo. Isso pode mudar sua perspecYva de análise de um problema”

18
O que é RV?
ØÓculos de RV HMD

19
E o que é RA?
• Sobreposição de objetos virtuais no ambiente real por meio
de um dispositivo de vídeo captura.
• Possível integração com técnicas de visão computacional e
computação gráfica.
• Elementos do mundo estão “aumentados” com informação
para incrementar uma experiência física.

20
E o que é RA?
• Tipos de RA
• Bidimensional (2D)
o Conhece posição e orientação de um plano
o Sobrepõe imagem sobre o video
Ø Ex: AR toolkit, t-immersion
• Tridimensional (3D)
o Conhece a posição de todos os objetos da cena
o Insere objetos reais e virtuais no z-buffer & renderiza com
oclusão
Ø Ex: Movies, ProMIS

21
RV x RA
Realidade Aumentada Realidade Virtual

Enriquece a cena do mundo real Totalmente gerada por computador
Usuário mantém o sentido de presença Sensação visual é controlada pelo sistema

no mundo real
Precisa de um mecanismo para combinar Precisa de um mecanismo para integrar o

o real e o virtual usuário ao mundo virtual
[Bimber, 2004]

22
RA em massa?
Em breve,
teremos o
“Walkman do
século XXI com
um sistema de
RA em massa”
Pesquisador da
Universidade de
Columbia, Steven K.
“for mobile AR to become practical,
Feiner (2002)
computers and their power supplies
must become small enough to be worn
comfortably”

23
Continuum realidade-virtualidade

24
Continuum realidade-virtualidade

25
Exemplos Indústria
automobilística

26
Exemplos Treinamentos e
Simulações
Vídeo original: https://www.youtube.com/watch?v=0NormS9SIow

27
Exemplos Soldagem
(Redução de
riscos de
treinamento)

28
Exemplos Esportes

29
Exemplos Incorporadora
ROSSI
Exame, 2010
Incorporadora e
construtora Rossi
entra para Guinness
Book inaugurando
uma categoria no
livro: maior realidade
aumentada do
mundo.
O Fibrasa Conection,
prédio na cidade de
Visita aérea feita com compradores Vitória (ES), com 106
metros de altura e 30
andares.

30
Desafios científicos
• Caso de insucesso: DAQRI
Augmented reality is
still theoretically ideal
for overlaying digital
information in different
industrial and enterprise
environments
DAQRI
A companhia trabalhou muito.

Obteve um excelente resultado, mas...

31
ØA companhia trabalhou muito.
ØObteve um excelente resultado, mas...
ØMas... foi surpreendida por desafios
state-of-the-art nessa linha
específica
Tracking pose Object Detection Latency (< 5ms)
Camera Sensors (frame limit 15-33ms)
Rendering (60Hz – each frame 17ms)
Display (IMU, Prediction, Late Correction) = 40-70ms

engineering.com
32
Desafios científicos e investimentos
• Empresas como Apple e

Microsoft predizem RA
como a próxima grande
plataforma
• Muitas startups nascem e
morrem em busca da
dominação dessa área
• Desafios científicos!

33
• Bases Academicas (title: Virtual Reality) • Bases Academicas (title: Augmented

Ø IEEE Xplore: 33.926 artigos Reality)
Ø Elsevier: 6.742 Ø IEEE Xplore: 11.447 artigos
Ø ACM Digital: 19.302 Ø Elsevier: 41.029
Ø ACM Digital: 19.302
Publicações em Realidade Publicações em Realidade
Virtual Aumentada
25000 30000
20000 25000
20000 20000 24512
15000
Até 2010 15000 Até 2010
13926 13469 16517
10000 2010-2020 2010-2020
10313 10000
11607
5000 5000 8967 7695
19824760 2480
0 0
IEEE Xplore Elsevier ACM Digital IEEE Xplore Elsevier ACM Digital

34
Problemas de pesquisa
Parceria CHESF
Visualização de informações

35
Graduação em Computação - UFMA

Inovação no Exame Clínico
Núcleo de Telessaúde do Hospital

Universitário da UFMA (HU-UFMA)
Núcleo de Computação Aplicada - NCA

36
ØDetecção de objetos e sua aplicação com RV e RA
Projeto Fábrica de Jogos

Detecção de marcador para RV

37
Projeto PIBIC
Parceria com Museu do Forte
(Em andamento)
38
Parceria CHESF
Visualização de informações

39
Frameworks (alguns)
- Google ARCore: https://arvr.google.com/ar/
- Vuforia: https://developer.vuforia.com/
- OpenCV: https://opencv.org/
- ARKit (Apple): https://developer.apple.com/augmented-reality/arkit/

40
Frameworks e aplicações - exemplos

41
Frameworks e aplicações - exemplos

42
Desafios específicos - detecção
ØProblemas tradicionais:
Ø - Estimativa de Pose (Pose Estimation)
Ø - Detecção em tempo real
Ø - Oclusão
ØNovas abordagens:

43
Desafios específicos - detecção
ØYOLO
Os enfoques acima usam foco em sub-regiões da

imagem para identificar objetos. A rede nunca olha
para a imagem como um todo.
44
TED Talks interessantes
How computers learn to recognize

objects instantly (Joseph Redmon)
Como estamos ensinando os computadores a

compreender fotos (Fei-Fei Li)

45
TED Talks interessantes
ØEvento específicos com vários artigos interessantes na área

46
Leitura indicada
ØMetaverso: O plano de Zuckerberg para dominar o futuro da internet
v https://exame.com/negocios/metaverso-o-plano-de-zuckerberg-para-dominar-o-futuro-da-
internet/
A rede social Facebook

anunciou hoje o plano de criar
10 mil empregos na União
Europeia nos próximos cinco
anos, com o objetivo de criar o
metaverso

47
Referências e Leituras Complementares
vBARROS, Vinícius A. Indústria 4.0: como a IoT e Big Data mudarão a forma
como lidamos com a tecnologia. LaSDPC.
vCARVALHO, André C. P. L. F. de. Big Data e Ciência de Dados. Centro de
Aprendizado de Máquina em Análise de Dados - Universidade de São Paulo,
ICMC/USP.
vLopez RESEARCH. Uma introdução à Internet da Coisas (IoT). Parte 1 . d a
“Série d e IoT”. 2013. Disponível em:
<https://www.cisco.com/c/dam/global/pt_br/assets/brand/iot/iot/pdfs/lopez_res
earch_an_introduction_to_iot_102413_final_portuguese.pdf>.
vSANTOS, Desiree. Internet das Coisas. TechTalks ADP.
vSOUZA, Fábio. Internet das Coisas: Conceitos, tecnologias e aplicações.
EMBARCADOS.
vTELES, Ariel S. Informática Aplicada à Saúde. PPGBIOTEC-UFPI. 2018.
vWORLD HEALTH ORGANIZATION. mHealth: New horizons for health
through mobile technologies: second global survey on eHealth. 2011.
Disponível em: <https://www.who.int/goe/publications/goe_mhealth_web.pdf>.
48

04INF - APLIC - RA RV e Industria 4.0

Enviado por

Dados do documento

Descrição original:

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

04INF - APLIC - RA RV e Industria 4.0

Enviado por

Direitos autorais:

Formatos disponíveis

Informática Aplicada

RA, RV e Indústria 4.0

Prof. Dr. Daniel Lima Gomes Jr

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Construtor do novo mundo

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Como chegou até aqui?

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Prof. Daniel Lima

Prof. Daniel Lima

Prof. Daniel Lima

Prof. Daniel Lima

Prof. Daniel Lima

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

• Realidade virtual (VR) e

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Treinamento de pessoal, militar, etc.

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

• Empresa White Martins já

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

• Modelo Argo da Fiat passou

• Outras montadoras como

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Nível 1: Criança de 5 anos

Nível 2: Adolescente de 11 anos

Nível 3: Aluno de 15 anos (ensino médio)

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Nível 4: Aluno de 23 anos (graduação)

Nível 5: Especialista (Aaron Koblin, co-fundador da Within)

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Realidade Aumentada Realidade Virtual

Usuário mantém o sentido de presença Sensação visual é controlada pelo sistema

Precisa de um mecanismo para combinar Precisa de um mecanismo para integrar o

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Vídeo original: https://www.youtube.com/watch?v=0NormS9SIow

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

A companhia trabalhou muito.

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Camera Sensors (frame limit 15-33ms)

Rendering (60Hz – each frame 17ms)

Display (IMU, Prediction, Late Correction) = 40-70ms

• Empresas como Apple e

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

• Bases Academicas (title: Virtual Reality) • Bases Academicas (title: Augmented

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação

Graduação em Computação - UFMA

Núcleo de Telessaúde do Hospital

Núcleo de Computação Aplicada - NCA

Prof. Daniel Lima IFMA / Monte Castelo / Departamento de Computação