II Congresso Brasileiro de Informática na Educação (CBIE 2013)

Workshops (WCBIE 2013)

Sistema de Realidade Aumentada para o treinamento em

montagem e manutenção de equipamentos
Tiago De Gaspari, Antonio Carlos Sementille, João Fernando Marar

Faculdade de Ciências – Universidade Estadual Paulista Júlio de Mesquita Filho

(UNESP)
Caixa Postal 473 – 17033-360 – Bauru – SP – Brasil
{gaspari, semente, fermarar}@fc.unesp.br

Abstract. This work presents the development of an environment of teaching

and training for assembly and maintenance of equipment supported by
Augmented Reality, directed to the handling of complex equipment, which
have an assembly process that requires prior training.

Resumo. Este trabalho apresenta o desenvolvimento de um ambiente de

ensino e treinamento de montagem e manutenção de equipamentos apoiada
por Realidade Aumentada, direcionado para o manuseio de equipamentos
complexos, os quais possuem um processo de montagem que necessita de um
treinamento prévio.

1. Introdução
O treinamento prático em montagem e manutenção em equipamentos complexos, como
motores, conjuntos de peças hidráulicas ou até mesmo equipamentos eletrônicos, é uma
atividade que demanda profissionais qualificados, muito tempo e é provável que todo o
conhecimento necessário para realizar a tarefa seja perdido com o passar do tempo. Isso
acontece devido ao fato de que cada equipamento possui um padrão de montagem único
e quem está realizando o processo de montagem e/ou manutenção pode esquecer uma
etapa, principalmente por falta de experiência ou devido à alta complexidade desta
atividade.
Atualmente, com o auxílio da Realidade Aumentada é possível que um
profissional consiga realizar uma montagem e/ou manutenção em um equipamento
complexo apenas seguindo as instruções apresentadas pelo ambiente aumentado.
Segundo Kirner e Siscoutto (2007), Realidade Virtual (RV) pode ser definida de
uma maneira simplificada, como a forma mais avançada de interface do usuário de
computador até agora disponível. Para Aukstakalnis et. al (1992) a RV é uma forma das
pessoas visualizarem, manipularem e interagirem com computadores e dados
extremamente complexos.
A tecnologia conhecida como Realidade Aumentada (RA), por sua vez, é
definida por Azuma (1997) como um sistema que: combina elementos virtuais com o
ambiente real, é interativa, tem processamento em tempo real e é concebida em três
dimensões.

DOI: 10.5753/CBIE.WCBIE.2013.523 523

 II Congresso Brasileiro de Informática na Educação (CBIE 2013)
Workshops (WCBIE 2013)

A RA possui, como principal característica, a imersão e grande capacidade de

interatividade com o usuário. Por meio da sobreposição de objetos virtuais com o
ambiente físico, propicia interações mais fáceis e naturais. Isso permitiu que a RA fosse
considerada uma possibilidade concreta para a próxima geração de interfaces intuitivas.
Com ela torna-se possível a análise de teorias, desempenho e estratégias em tempo real.
Considerando este contexto, o sistema proposto utiliza a RA como alternativa na
realização de treinamentos, em substituição da utilização de manuais de instruções,
como são realizados atualmente.
A utilização de modelos tridimensionais, com dimensões idênticas e texturas
fiéis aos objetos reais, faz com que o usuário se sinta confortável ao utilizar um sistema
de RA, onde ele possa identificar tanto objetos que ele possui certa afinidade, assim
como objetos que desconheça. Isso possibilita processos de montagem, uma vez que o
usuário precisa identificar qual objeto real o objeto virtual está referenciando.
O desenvolvimento de um sistema que combina o ambiente real com modelos
em três dimensões poderá ser usado em áreas como arquitetura, design, entretenimento,
educação, entre outras.

2. Trabalhos Correlatos
A seguir são apresentados os principais trabalhos correlatos encontrados na literatura.
No trabalho apresentado por Tang et. al (2003) é descrito um teste realizado para
verificar a eficácia da RA na montagem de um objeto. O experimento consistiu em
mostrar ao usuário qual é a próxima etapa de montagem do objeto, exatamente como
deve ser realizada. Para isso, foram utilizados objetos 3D combinados com o ambiente
real em um sistema baseado em RA. Três meios instrucionais foram testados: manuais
impressos, instrução assistida por computador utilizando um monitor e utilizando um
par de óculos para RA. Os resultados indicaram que as instruções 3D em sobreposição
as peças de trabalho reais reduziram a taxa de erro em 82% em relação aos manuais.
Outro estudo realizado foi a medição do esforço mental do usuário. Este indicou que o
esforço mental utilizando RA diminuiu significantemente. Os autores sugerem que isto
ocorreu porque parte do esforço mental ficou a cargo do sistema.
Coelho e Bahr (2005) mostraram como modelos feitos em CAD e LIDAR
podem ser usados em aplicações de RA. Utilizando esses tipos de modelos, a inclusão
de um objeto virtual em uma cena real tem um impacto bem menor para o usuário. Isso
é de extrema importância para que os objetos virtuais possam se fundir ao ambiente real
e criar um ambiente só, misto. Os autores escolheram estes tipos de modelos, uma vez
que os mesmos possuem características como cor, formato, textura e formas idênticas
aos dos objetos reais.
Já em Sääski et. al (2008), os autores destacaram os principais problemas
encontrados ao realizar um sistema de RA para montagem de equipamentos. Um dos
maiores desafios para a utilização desta tecnologia neste tipo de sistema, é a reutilização
de dados de produtos existentes. Dados dos produtos são armazenados em sistemas que
incluem todas as informações relevantes do mesmo (geometria 3D, estrutura, a estrutura
de fabricação, a estrutura de montagem, etc.). Os autores relatam que muitas vezes os
dados dos produtos se encontram em sistemas obsoletos, dificultando a integração entre

524
 II Congresso Brasileiro de Informática na Educação (CBIE 2013)
Workshops (WCBIE 2013)

estes e o sistema de RA. Além de representações 3D dos produtos, o conjunto de

informações relacionadas com as orientações para a montagem, tais como anotações e
animações, também deve ser considerado. Os estudos tiveram resultados promissores
com os dois testes que foram realizados. Em um deles foi utilizado um quebra-cabeça
simples, o qual deveria ser montado seguindo-se uma determinada ordem de peças. Em
outro teste, em parceria com a indústria Deltatron Ltda, o usuário deveria montar um
produto proposto pela indústria: um bloco hidráulico de determinado equipamento.
Seguindo a linha de pensamento dos autores, os produtos a serem montados serão cada
vez menores e mais complexos, além de possuir mais funcionalidades. Por isso é
importante que atualizações no sistema que gera o ambiente aumentado sejam realizadas
periodicamente, fazendo com que todos os produtos de determinada indústria, por
exemplo, possam ser montados utilizando o sistema.

3. Metodologia
O sistema proposto foi desenvolvido utilizando-se a linguagem de programação C++ e
as bibliotecas ARToolkit, OpenSceneGraph e OSGART. Essas bibliotecas são gratuitas
e multiplataformas, facilitando a portabilidade do sistema criado.
O sistema foi desenvolvido de forma incremental e modular. Os módulos
projetados foram:
• Módulo de Captura e Detecção de Marcadores: realiza a captura da imagem,
proveniente de uma câmera (webcam), detecta os marcadores presentes no
ambiente real e calcula suas posições e orientações;
• Módulo de Carregamento de Modelos 3D: realiza o carregamento de modelos
de objetos tridimensionais para a posterior inserção no ambiente aumentado;
• Módulo de Carregamento da estrutura de animação: responsável por
carregar as informações da ordem de montagem do equipamento, assim como as
transformações geométricas que serão aplicadas aos modelos tridimensionais;
• Módulo de Animação de Modelos 3D: responsável por identificar e executar a
animação adequada para cada passo da montagem;
• Módulo de Geração do Ambiente Aumentado: realiza a geração da cena final
aumentada. É responsável pela construção dos elementos virtuais, cujas
geometrias são obtidas do módulo de carregamento de modelos 3D;
• Módulo de Visualização do Ambiente Aumentado: responsável por exibir a
cena aumentada no dispositivo de saída apropriado (display, óculos de RA ou
projetor);
A Figura 1 apresenta a estrutura geral do sistema.

525
 II Congresso Brasileiro de Informática na Educação (CBIE 2013)
Workshops (WCBIE 2013)

Figura 1. Estrutura geral do sistema

4. Resultados
O sistema desenvolvido permite o carregamento e visualização de modelos
tridimensionais fiéis aos objetos reais e o posicionamento destes modelos em um
ambiente aumentado em tempo real, assim como sua animação. Esta animação consiste
na transformação de translação e rotação do objeto virtual que representa uma peça do
processo de montagem ou desmontagem e simboliza o que deve ser feita com a peça
real, ou em que posição a peça deve ser colocada.
O sistema permite a montagem de qualquer equipamento, no entanto, apenas
como prova de conceito, optou-se pelo processo de montagem de microcomputadores.
A Figura 2 apresenta a cena aumentada gerada pelo sistema, em um dos passos
da montagem do microcomputador. Destacam-se na figura, alguns quadros chaves da
animação do movimento necessário para a instalação de um pente de memória. Além do
posicionamento, as peças virtuais são animadas, mostrando com detalhes como elas
devem ser encaixadas, ou giradas para a correta montagem do equipamento.

526
 II Congresso Brasileiro de Informática na Educação (CBIE 2013)
Workshops (WCBIE 2013)

Figura 2. Um exemplo do funcionamento do sistema: quadros chaves da animação

da instalação de um pente de memória
Os modelos tridimensionais que são inseridos na cena aumentada são
configurados por meio de arquivos na linguagem XML (Extensible Markup Language).
Nestes arquivos são armazenados dados como os nomes dos arquivos que representam
os modelos tridimensionais previamente cadastrados, as transformações geométricas
que constituem a animação destes modelos, a velocidade em que ocorre a animação e o
correto posicionamento em relação aos marcadores reais.
Além da geração da imagem da cena aumentada com saída para um monitor
convencional, foram realizados testes com um par de óculos de RV (Vuzix VR920)
acoplado à uma webcam.

5. Conclusões e Trabalhos Futuros

Com o sistema desenvolvido é possível realizar-se a geração de objetos fiéis aos reais
em um ambiente de RA, para o auxílio ao treinamento de processos de montagem e
manutenção de equipamentos.
A utilização dos serviços das bibliotecas Artoolkit, OpenSceneGraph e
OSGART, permitiu a criação de um sistema rico em detalhes, o qual aceita diversos
modelos de objetos, e por utilizar o grafo de cena, oferece uma forma estruturada e
otimizada de organização.
Como trabalhos futuros, está prevista a migração do sistema desenvolvido da
plataforma atual para o uso em dispositivos móveis. Com a redução dos custos, o
aumento do poder de processamento e o grande avanço na qualidade das câmeras

527
 II Congresso Brasileiro de Informática na Educação (CBIE 2013)
Workshops (WCBIE 2013)

presentes em smartphones e tablets, os dispositivos móveis vêm se tornando ótimas

ferramentas para o uso de sistemas de RA. Além de possuírem uma mobilidade muito
maior que os computadores desktops e notebooks, existem modelos de dispositivos
móveis que possuem mais de uma câmera, além acelerômetros e giroscópios,
viabilizando uma maior interação com o ambiente aumentado.
Outra funcionalidade do sistema que se deseja implementar é um módulo para o
cadastro e configuração dos diversos passos para um processo de montagem. Neste
módulo, o usuário poderá cadastrar manualmente os objetos tridimensionais, assim
como as animações do mesmo e visualizar, previamente, como esses objetos serão
apresentados no ambiente aumentado à outros usuários.
Por fim, é prevista a realização de testes do sistema com usuários voluntários
que não possuam o conhecimento prévio do processo de montagem de determinados
equipamentos, para que os mesmos realizem uma análise subjetiva da eficiência do
sistema desenvolvido.

Referências
Aukstakalnis, S. e Blatner, D. (1992). Silicon Mirage; The Art and Science of Virtual
Reality. Peachpit Press.

Azuma, R. (1997). “A Survey of Augmented Reality”. In Presence: Teleoperators &

Virtual Environments.

Coelho, A. H. and Bahr, H.-P. (2005). “Visualização de dados de CAD e LIDAR por
meio de Realidade Aumentada”. In Anais XII Simpósio de Sensoriamento Remoto.
INPE.

Kirner, C. and Siscoutto, R. [Eds.] (2007). Realidade Virtual e Aumentada: Conceitos,

Projeto e Aplicações. Petrópolis - RJ.

Saaski, J., Salonen, T., Hakkarainen, M., et al. (2008). Integration of Design and
Assembly Using Augmented Reality. In: Ratchev, S.; Koelemeijer, S.[Eds.]. Micro-
Assembly Technologies and Applications SE. Springer US. p. 95–404.

Tang, A., Owen, C., Biocca, F. and Mou, W. (2003). “Comparative effectiveness of
augmented reality in object assembly”. In Proceedings of the conference on Human
factors in computing systems - CHI ’03. ACM Press.

528