Machine Translated by Google

Automação na Construção 107 (2019) 102940

Listas de conteúdo disponíveis em ScienceDirect

Automação na Construção

página inicial do jornal: www.elsevier.com/locate/autcon

Colaboração interativa remota no gerenciamento de instalações usando realidade mista

T
baseada em BIM
Khaled El Ammaria, Amin Hammadb,ÿ
uma

Departamento de Construção, Engenharia Civil e Ambiental, Concordia University, Canadá

b
Concordia Institute for Information Systems Engineering, Concordia University, Canadá

INFORMAÇÕES DO ARTIGO ABSTRATO

Palavras-chave: As tarefas diárias de Gerenciamento de Instalações (FM) exigem métodos adequados para facilitar as ordens de serviço
Gerenciamento de instalações e melhorar o desempenho por meio de uma melhor colaboração entre o escritório e o campo. O Building Information
Realidade mista Modeling (BIM) oferece oportunidades para apoiar a colaboração e melhorar a eficiência dos Sistemas Computadorizados
Rastreamento baseado em recursos
de Gerenciamento de Manutenção (CMMSs) compartilhando informações do edifício entre diferentes aplicativos/usuários
Modelagem de informações de construção
ao longo do ciclo de vida da instalação. No entanto, a recuperação manual de informações de elementos de construção
Colaboração visual interativa remota
pode ser desafiadora e demorada para os trabalhadores de campo durante as operações de FM. A Realidade Mista
(MR) é uma técnica de visualização que pode ser usada para melhorar a percepção visual da instalação, sobrepondo
objetos virtuais 3D e informações textuais sobre a visão de objetos de construção do mundo real. Este artigo discute o
desenvolvimento de uma abordagem colaborativa de RM baseada em BIM para apoiar as tarefas de campo das
instalações. A estrutura proposta integra informações de instalações de várias fontes, modelos BIM e rastreamento
baseado em recursos em uma configuração baseada em RM para recuperar informações com base no tempo (por
exemplo, cronograma de inspeção) e na localização do trabalhador de campo, visualizar operações de inspeção e
manutenção e oferecer suporte remoto colaboração e comunicação visual entre o trabalhador de campo e o gerente do
escritório. O trabalhador de campo usa um aplicativo de Realidade Aumentada (AR) instalado em seu tablet. O gerente
do escritório usa um aplicativo de virtualidade aumentada imersiva (IAV) instalado em um computador desktop. Com
base na localização do trabalhador de campo, bem como no cronograma de inspeção ou manutenção, o trabalhador de
campo recebe ordens de serviço e instruções do escritório. Outros dados sensoriais (p. modo IVC). Por fim, para
investigar a aplicabilidade do método proposto, um protótipo de sistema é desenvolvido e testado em um estudo de caso.

1. Introdução
As tarefas de Gerenciamento de Instalações (FM) são fragmentadas e exigem a
coleta e o compartilhamento de grandes quantidades de informações relacionadas aos
espaços e componentes das instalações, além de dados históricos de inspeção e
informações de operação. Apesar da disponibilidade de sofisticados Sistemas
Computadorizados de Gerenciamento de Manutenção (CMMSs), esses sistemas se
concentram nos aspectos de gerenciamento de dados (ou seja, ordens de serviço,
gerenciamento de recursos e inventário de ativos) e carecem das funções necessárias
para facilitar a coleta e entrada de dados, bem como recuperação de dados e visualização
quando e onde necessário. Existem vários problemas de pesquisa no domínio FM para
apoiar as tarefas de campo. Esses problemas podem ser categorizados da seguinte
forma: (1) Problemas de captura e gravação automática de dados, (2) Problemas de
visualização e (3) Colaboração remota
questões. Esta pesquisa propõe uma abordagem inovadora baseada em Building
Information Modeling (BIM) para apoiar tarefas de campo de instalações de grande porte.
Especificamente, a abordagem oferece suporte à Colaboração Virtual Interativa (IVC)
entre o gerente da instalação e o trabalhador de campo usando diferentes métodos de
Realidade Mista (MR). Realidade Virtual (VR) é uma tecnologia que constrói um modelo
3D virtual em um computador para reproduzir visualmente uma simulação gerada por
computador de um ambiente real ou imaginário, que os usuários podem experimentar. A
Realidade Aumentada (AR) é uma tecnologia de visualização que integra uma visão em
tempo real do ambiente real do usuário e objetos virtuais dentro do mesmo ambiente.
A Virtualidade Aumentada (AV) é um ambiente 3D aumentado com uma parte do mundo
real (por exemplo, vídeo). Realidade Mista (MR) é um termo que cobre o continuum da
realidade para AR, AV e VR [1].
O sistema proposto oferece suporte para facilitar a coleta de dados e

ÿ Autor correspondente.
Endereços de e-mail: elamm_k@encs.concordia.ca (K. El Ammari), hammad@ciise.concordia.ca (A. Hamad).

https://doi.org/10.1016/j.autcon.2019.102940 Recebido
em 10 de janeiro de 2019; Recebido em formulário revisado em 5 de agosto de 2019; Aceito em 29 de agosto de
2019 Disponível online em 05 de setembro de 2019 0926-5805/ © 2019 Elsevier BV Todos os direitos reservados.
Machine Translated by Google
K. El Ammari e A. Hammad
entrada. O módulo AR do sistema fornece uma seleção precisa do elemento da
instalação e recupera todas as suas informações BIM sem perder tempo para
localizar o elemento no software BIM (por exemplo, Autodesk Revit). Isso é
facilitado pela estimativa de pose precisa que o método de rastreamento híbrido
proposto fornece. Além disso, a adição de qualquer informação extra é feita no
local sem ter que pesquisar no modelo BIM. Quando o trabalhador de campo
seleciona um elemento real (por exemplo, um interruptor de luz) através da
visualização AR, ele/ela recebe todos os atributos deste componente do Banco de
Dados BIM sem lidar com o modelo BIM real.
A pesquisa anterior (por exemplo, [2–4]) mostra que a colaboração usando a
tecnologia de Realidade Aumentada (AR) pode ter um impacto significativo no
setor de Arquitetura, Engenharia e Construção/Gerenciamento de Instalações
(AEC/FM). Embora os sistemas de hardware e software de RM estejam se
tornando mais favoráveis a uma ampla gama de cenários de colaboração em AEC/
FM, há uma série de questões de pesquisa em colaboração baseada em RM, que
precisam de investigação adicional, incluindo colaboração de processos e
consciência situacional colaborativa. Além disso, questões relacionadas à
taxonomia de visualização (ou seja, quando, o que e como aumentar) e colaboração
(por exemplo, níveis e tipos de interação, imersão, telepresença) precisam de
mais investigação. A pesquisa anterior não investigou como a RM pode ser usada
do ponto de vista da tarefa, ou qual modo de RM é mais conveniente para
trabalhadores de campo ou gerentes de escritório, uma vez que a natureza das
tarefas de FM exige que os gerentes tenham mais acesso às informações de
atributos e menos acesso aos dados geométricos das instalações. Por outro lado,
os trabalhadores de campo precisam se concentrar nos componentes reais da
instalação e exigir informações e suporte adicionais com navegação de modelo e
recuperação de dados menos demoradas.
A estrutura proposta integra bancos de dados de instalações de várias fontes,
modelos BIM e rastreamento baseado em recursos em uma configuração
distribuída baseada em RM para recuperar informações com base no tempo e na
localização do trabalhador de campo, visualizar as operações de inspeção e
manutenção e apoiar a colaboração e a comunicação visual entre o trabalhador
de campo e o gerente no escritório.
Os objetivos deste artigo são: (1) Investigar um método automatizado para
capturar e registrar dados de elementos de construção baseados em localização
(por exemplo, defeitos) e compartilhá-los visualmente em tempo real com o
escritório remoto e (2) Investigar o potencial de integração Dados BIM
georreferenciados e de RM para fornecer colaboração visual remota aprimorada
entre os trabalhadores de campo e o escritório de FM com menos carga mental.
O trabalhador de campo usa um aplicativo baseado em AR instalado em seu
tablet, enquanto o gerente no escritório usa um aplicativo baseado em IAV
(Immersive Augmented Virtuality). Por fim, para investigar a usabilidade do método
proposto, um protótipo de sistema chamado Sistema de Gerenciamento de
Instalações de Realidade Mista Mista sem Marcadores (CBIM3R FMS) é
desenvolvido e testado em um estudo de caso.
2. Revisão da literatura
Durante operações complexas de instalações, a resolução de problemas ainda
exige que uma equipe de especialistas se encontre fisicamente e interaja entre si
[5]. A identificação do problema e a criação de um entendimento compartilhado
são grandes desafios para a solução eficiente de um problema [6]. A falta de
suporte colaborativo das tarefas de campo afeta negativamente a capacidade dos
trabalhadores no local de resolver problemas [7]. Além disso, a longa distância
física entre os participantes do projeto é uma das principais causas de atrasos na
tomada de decisão [8]. De acordo com Kestle [9], a má interpretação e a má
comunicação dos resultados do projeto e a falta de autoridade delegada aos
trabalhadores de campo muitas vezes impediam o progresso. A má comunicação
entre as partes interessadas pode levar a uma série de
erros possíveis, como aqueles causados por identificação errada de elementos
da instalação, entrada/reentrada de dados errados, interpretação errada e
dificuldades em apoiar as tarefas de campo com conhecimento especializado
quando necessário. Além disso, a colaboração entre o escritório e os trabalhadores
de campo em tempo real não se limita ao compartilhamento de dados, pois eles
precisam colaborar para realizar uma inspeção ou tarefas de manutenção. Tempo real estimar a pose da câmera e
2
Automação na Construção 107 (2019) 102940
colaboração usando MR pode ajudar a resolver esses problemas, fornecendo
melhor comunicação visual e interação.
2.1. Colaboração em aplicativos AEC/FM baseados em RM
Milgram e Colquhoun [1] introduziram o diagrama contínuo MR que define os
níveis de aumento. Além da realidade, os níveis são Realidade Aumentada (AR),
Virtualidade Aumentada (AV) e Realidade Virtual (VR). O MR integra a visão real
do ambiente do usuário e alguns conteúdos virtuais. Aumentar a visualização com
conteúdo virtual é chamado de AR, enquanto aumentar o Ambiente Virtual (VE)
com uma parte da visualização real é chamado de AV. Nessas técnicas de
visualização, conteúdos virtuais adicionais (por exemplo, imagem, texto ou modelo
gráfico) podem ser sobrepostos e anexados espacialmente aos objetos relevantes
na cena. A aplicação do MR tem sido pesquisada em diferentes domínios, como
na construção para apoiar a inspeção de edifícios [3], gerenciamento proativo de
defeitos de construção usando BIM [10], facilitando a montagem de tubos [11],
melhorando o desempenho dos alunos em um projeto de construção [12],
aumentando a segurança da construção [13], melhorando a colaboração de projeto
[4] e acessando informações de construção por meio de uma abordagem de
consciência situacional [14].
Sistemas colaborativos têm sido usados na indústria AEC/FM para dar suporte
ao projeto de produtos, manutenção e planejamento de fábrica. Sistemas baseados
em BIM, como Revizto [15], AutoCAD 360 [16] e Bluescape [17] , permitem a
colaboração local-escritório compartilhando desenhos BIM e CAD. A colaboração
visual nesses sistemas é limitada ao compartilhamento de visualizações 2D/3D,
documentos e anotações sobre os componentes das instalações. No entanto, a
colaboração em MR é relativamente nova devido ao recente avanço das tecnologias
de telecomunicações. Wang e Dunston [18] mencionaram que a RA pode reduzir
o distúrbio mental em tarefas de design colaborativo.
Wang et ai. [4] propuseram um sistema de design colaborativo para melhorar a
cognição distribuída entre designers remotos. Sua pesquisa se concentrou em
como seu sistema afeta a colaboração com base na cognição distribuída e na
consciência mútua. Dong et ai. [19] mostraram que a RA pode facilitar a
comunicação dos processos de engenharia. Pesquisa semelhante realizada por
Datcu et al. [20] levaram ao desenvolvimento de um sistema que apoia a
consciência situacional entre os membros da equipe na área de segurança. No
mesmo contexto, um sistema de assistência remota denominado ReMote permite
que um especialista remoto auxilie os trabalhadores em um local de mineração
[21]. O especialista remoto visualiza uma reconstrução em tempo real de um
espaço de trabalho remoto usando um headset VR. Gauglitz et ai. [2] discutiram o
desenvolvimento de um sistema AR baseado em tablet que integra uma interface
baseada em toque usada por um usuário remoto para marcar elementos do mundo
real com anotações para suportar operações de FM. Oda et ai. [22] introduziu um
sistema de colaboração remota baseado em AR para apoiar a inspeção e manutenção de equip
No entanto, a colaboração visual apresentada nesses projetos de pesquisa foi
feita compartilhando a mesma visão ou o mesmo modelo de diferentes perspectivas.
Esse tipo de colaboração está negligenciando o fato de que diferentes usuários
podem ter interesses diferentes nos dados que desejam acessar e interagir. Esses
diferentes interesses podem causar confusão e imprecisão no compartilhamento
de dados durante a colaboração. Em outras palavras, a capacidade de compartilhar
ideias sobre o que fazer em um componente específico da instalação por um
trabalhador de campo e um especialista remoto pode melhorar a colaboração
visual e reduzir a imprecisão dos dados compartilhados que podem levar a decisões erradas.
2.2. Métodos de rastreamento de localização para aplicações de RM internas
Nos últimos anos, métodos de rastreamento de localização têm recebido
grande atenção na área de computação pervasiva, pois muitas aplicações
precisam saber onde estão localizados os objetos de seu interesse. O rastreamento
de localização em aplicações de RM tem sido discutido por diversos pesquisadores.
[23] apresentaram uma tipologia de aplicações de RA baseada nos requisitos de
rastreamento. Esta pesquisa mostra que o problema de rastreamento mais
desafiador em AR é a calibração e registro. Em FM, uma estimativa precisa da
localização e orientação da câmera usada para a RM é um passo essencial para
Machine Translated by Google

K. El Ammari e A. Hammad Automação na Construção 107 (2019) 102940

registrar o aumento na cena real.

Em geral, os métodos de rastreamento podem ser classificados em duas categorias: Tempo
real interação ÿ
baseado em sensores e baseado em visão computacional (CV). Na abordagem baseada
em sensores, várias tecnologias de rastreamento de localização têm sido investigadas
incluindo o Sistema de Posicionamento Global (GPS), Wireless Local Area
Rede (WLAN), Unidades de Medição Inercial (IMU), Radiofrequência
Localização em tempo real de identificação (RFID) e banda ultralarga (UWB)
Sistemas (RTLS) [24]. De acordo com Deak e cols. [25], os sinais UWB podem Controlo
remoto Colaboração ÿ
atravessar paredes e oferecer alta precisão. No entanto, eles são relativamente caros para
integrar devido ao alto custo de infraestrutura. Por
aplicações internas, o GPS tem baixa cobertura (4,5%) [26]. LaMarca et al.
[26] também indicaram que WLAN tem alta cobertura (94,5%) e menos Colaboração Compartilhamento ÿ ÿ ÿ
precisão em ambientes internos (15–20 m). Na abordagem baseada em CV,
os métodos de rastreamento podem ser baseados em marcadores usando um
marcador impresso ou baseado em marcadores (também conhecido como baseado em recursos) usando
orientação
Dados
de ÿ
características naturais registradas [27]. O método baseado em marcadores requer
criando um grande banco de dados de marcadores. A criação e a calibração
O processo desses marcadores é demorado e requer colocação precisa no mundo real para
obter um rastreamento preciso e confiável. Dentro
Virtual realidade ÿÿÿ ÿ ÿ ÿ
FM, não é prático colocar marcadores em todos os lugares para manter
rastreamento. A mobilidade do sistema de suporte é importante para aplicações FM,
que elimina a aplicabilidade de métodos de rastreamento que dependem de
RTLSs ou abordagens CV baseadas em marcadores. No rastreamento baseado em recursos
método, a detecção é baseada nas características do ambiente real
e não requer marcadores. O método baseado em recursos pode fornecer Visualização realidade ÿ ÿ ÿ ÿ ÿÿ
ÿ ÿ ÿ
precisão de rastreamento aceitável para aplicações baseadas em RM que suportam
operações FM de porta. No entanto, usar apenas o rastreamento baseado em recursos pode
não fornece rastreamento preciso e estável para aplicações de RM internas. ÿ ÿ
Isso se deve à falta de recursos exclusivos e/ou mudanças na luz
condições.
Para apoiar a mobilidade de FMSs baseados em RM, Neges et al. [28] discutiu um
método que combina uma unidade de medida inercial (IMU) e passo Rastreamento ÿ
rastreamento baseado em marcador de contador para suporte de navegação interna baseado em AR.
No entanto, este método é baseado em um procedimento manual para determinar a
posição inicial para cálculo da rota. A Tabela 1 resume os
esforços de pesquisa e os compara com base em quatro categorias: (1) Dados ÿ
integração utilizando BIM, conteúdos georreferenciados, dados sensoriais e escalabilidade
dos dados; (2) Método de rastreamento (ou seja, suporte à mobilidade do sistema e
telepresença dos usuários); (3) Métodos de visualização; e (4) Tipo de colaboração. Embora
existam vários projetos de pesquisa
investigando a colaboração, a pesquisa sobre interação remota em
FM é limitado considerando as diferentes necessidades de informação para diferentes
partes interessadas. Apoiar Georreferenciamento
Telepresença
Aumentada
Mobilidade
Sensoriais
Dados
BIM integrados
Dados ÿ ÿ ÿ ÿÿ ÿ

3. Método proposto

Conforme mostrado na Figura 1, a estrutura suporta dois tipos de atividades:

(1) Atividades do gerente da instalação onde o trabalho de rotina de FM é
realizada incluindo a revisão de ordens de serviço, agendamento e assinatura de tarefas de
inspeção e manutenção, e apoio aos trabalhadores de campo
usando o módulo IAV; e (2) Atividades do trabalhador de campo (por exemplo, inspetor) que
usa um tablet para realizar a tarefa atribuída no sistema baseado em AR
módulo e colabore com o gerente da instalação em tempo real. o
gerente da instalação, usando fone de ouvido VR, está imerso na instalação VR
modelo e ele/ela é capaz de interagir com os componentes da instalação baseados em BIM
e com o trabalhador de campo em tempo real. O trabalhador de campo usa
módulo AR baseado em tablet que lhe permite interagir com o real
ambiente recuperando dados de instalações georreferenciadas e para colaborar com o
escritório remoto adicionando anotações georreferenciadas. o
bancos de dados são usados para adicionar, atualizar e recuperar dados relacionados a tarefas.
A Tabela 2 define qual tecnologia de visualização é mais adequada para experimental
realidade:
sistemas
estudo
[29]
um
de gerenciamento
instalações
tarefas
[32]
de colaborativa
decisão
tomada
para
[31]
de envolvimento
[33] telepresença
integrado
sistema
[4]
de integração
gestão
dados
[34]
de situação
meio
uma
[14]
da
por
de
de aumentada
realidade
[19]
conscientização
informações
abordagem colaborativo
ambientes
design
[18]
em

qual tarefa. Além disso, classifica as informações visuais relevantes Papel virtual Realidade
Sincronização
realidade
Latência
dados
tempo
zero:
BIM
real
em
em
de Colaboração
Objetos
Remota
Focada
Mista
[30]
para
em informações
modelagem
construção
Integrando
móvel
de
de
e Colaborativos
Multiusuário
Ambientes
baseados
usuário
Virtuais
para
final
BIM
em
o aumentada
orientação
realidade
baseada
precisão
Estudo
visual
sobre
para
em
de aumentada Um
colaborativo:
Consciência
realidade
design
mútua
uma
no instalações
arquitetura
baseadas
eficazes
software
estudo
sobre
BIM/
GIS
para
em
de Visualização
colaborativa
engenharia
processos
tabletop
usando
de Aumentada
construção
Realidade
acessar
método
móvel
para
Um
de
a comparativa
realidade
baseado
Eficácia
virtual
mista
em
do

que será mostrado dependendo da tarefa. O hardware usado neste

relacionados
Comparação
aplicações
pesquisa
recentes
esforços
AEC/
FM.
RM
em
de
de
a tabela
1

pesquisa foi selecionada cuidadosamente para fornecer melhor visualização e

percepção que satisfaça as necessidades do gerente de instalações no escritório
e os trabalhadores de campo com menor distúrbio visual e mental. Durante

3
Machine Translated by Google
K. El Ammari e A. Hammad
Fig. 1. Interação entre gerente de escritório e trabalhador de campo no CBIM3R-FMS.
na sessão de colaboração remota, o gerente da instalação precisa ter acesso total às
informações BIM. O modo imersivo do módulo IAV permite que o gerente da instalação
acesse essas informações BIM detalhadas e também interaja com o VE usando o teclado
virtual para escrever ou modificar quaisquer dados BIM, tarefas ou informações relacionadas
a defeitos. Os controladores VR permitem que ele interaja com o VE e navegue, selecione
elementos, adicione marcas ou esboços. Por outro lado, o trabalhador de campo precisa se
concentrar mais no ambiente real e ter uma formação BIM mais específica com base em sua
interação de elementos ou FOV. O uso de um tablet com uma interface fácil de usar permite
que o trabalhador recupere facilmente os dados BIM escolhendo o elemento real e escreva
qualquer informação adicional. Além disso, ele pode marcar ou esboçar na visualização AR
usando a tela sensível ao toque do tablet.
O CBIM3R-FMS requer o uso de dados de instalações georreferenciados baseados em
BIM, o que é importante para a colaboração de tarefas de FM porque o trabalhador de campo
deve conhecer sua localização relativa em relação ao elemento alvo para aplicar o aumento.
Ao mesmo tempo, o gerente da instalação deve conhecer tanto o elemento-alvo quanto as
localizações do trabalhador de campo para saber como atribuir e apoiar as tarefas.
O uso de rastreamento baseado em recursos sozinho não é eficiente para aplicativos de
AR internos. Por exemplo, devido à natureza repetitiva e ao estilo padronizado do projeto de
prédios de escritórios de vários andares, pode ser difícil encontrar recursos exclusivos. Essa
semelhança no projeto dos elementos construtivos pode reduzir a eficiência do sistema de
rastreamento baseado em recursos, uma vez que o banco de dados de Rastreamento possui
recursos semelhantes registrados. Além disso, o rastreamento baseado em recursos exige
que o sistema pesquise em um grande banco de dados que tenha um grande número de
dados de rastreamento registrados. Além disso, considerando a mudança nas condições de
iluminação e alguns materiais refletidos em ambientes internos, alguns recursos registrados
podem não ser detectados. Portanto, esta pesquisa usa um método de rastreamento híbrido
[35] que combina: (1) rastreamento baseado em marcadores para recuperar os dados de
rastreamento baseados em recursos relevantes do banco de dados de rastreamento; (2)
rastreamento baseado em recursos como o principal método de rastreamento; e (3) dados
sensoriais do giroscópio para capturar a orientação da pose do módulo AR quando os
recursos registrados não são detectados. O giroscópio do tablet pode ser usado para
compensar a perda de rastreamento baseado em recursos, assumindo que o trabalhador de
campo está em uma posição fixa e está apenas alterando a orientação do tablet.
Para construir VEs em larga escala para CBIM3R-FMS que satisfaçam os requisitos
das tarefas de FM, os dados de diferentes fontes precisam ser integrados.
O processo de integração é baseado em três fases: (a) Fase de coleta de dados para dados
de várias fontes, incluindo CityGML, modelos BIM, dados de tarefas e dados de rastreamento
baseados em recursos; (b) Fase de conversão de dados para preparar
Tabela
2 Tecnologias de RM e suas principais funções para tarefas de inspeção e manutenção.
Usuário de tecnologia de visualização Principais funções
IAV Gerente de instalações no O IAV ajuda o gerente da instalação a visualizar informações de tarefas geolocalizadas combinadas com o modelo virtual e o vídeo capturado pelo
escritório trabalhador de campo.
RA Trabalhador de campo A RA permite que o trabalhador de campo trabalhe livremente sem a necessidade de procurar elementos de construção relevantes em um modelo de
construção complexo, evitando a complexidade da navegação no VE para encontrar esses elementos.
4
Automação na Construção 107 (2019) 102940
o modelo BIM georreferenciado a ser utilizado em diferentes módulos; (c) Fase de interação
de dados, que permite aos usuários dos módulos AR e IAV interagir com os dados
processados da instalação georreferenciada através das quatro bases de dados mencionadas
na Seção 3.1. O principal objetivo do uso do CityGML é fornecer a referência visual de alto
nível para fins de navegação e a escalabilidade do sistema para gerenciar instalações de
grande escala; como campi universitários, aeroportos e grandes complexos industriais.
Esta pesquisa propõe dois métodos para aprimorar a visualização e as experiências de
RM tanto para o trabalhador de campo quanto para o gerente de instalações do escritório.
Esses métodos incluem as visualizações Virtual Hatch e Multi-Layer MR. A escotilha virtual
permite que o módulo AR visualize o conteúdo oculto BIM (por exemplo, vigas de parede
seca) como um corte virtual na parede para melhorar sua percepção de profundidade. As
visualizações de MR multicamadas para os módulos AR e IAV permitem que os usuários
visualizem o conteúdo de maneira organizada, permitindo que eles entendam o contexto um
do outro.
3.1. Pré-processamento de dados para CBIM3R-FMS
Conforme mostrado na Fig. 2, existem quatro bancos de dados que estão conectados
aos dois módulos do sistema. Os bancos de dados são: Banco de dados de rastreamento,
banco de dados BIM, banco de dados de defeitos e banco de dados de tarefas. Durante a
fase de pré-processamento, o rastreamento baseado em recursos requer a coleta de um
grande número de imagens dentro do edifício para detectar os recursos que serão usados
para rastreamento. O trabalhador de campo tem o papel de construir e alimentar os bancos
de dados com as informações relevantes. Primeiro, ele é responsável por coletar as imagens,
que serão usadas para criar os dados de rastreamento baseados em recursos. Em seguida,
ele é responsável por coletar dados de defeitos e armazená-los no banco de dados de
defeitos. Por outro lado, o preenchimento do banco de dados de rastreamento deve ser feito
no escritório, processando as imagens coletadas e os modelos 3D do edifício para criar os
dados de rastreamento baseados em recursos. Os modelos BIM devem ser criados e salvos
no banco de dados BIM. Além disso, o gerente da instalação atualiza o banco de dados de
tarefas com base nos relatórios, registros e cronograma de inspeção.
O fluxo de trabalho de dados de pré-processamento é o seguinte:
(1) As imagens devem ser coletadas pelo trabalhador de campo.
(2) A modelagem baseada em BIM é feita no escritório, podendo ser modelos recém-criados
ou atualizados. Os dados BIM são salvos em formato IfcXML no banco de dados BIM.
O formato IfcXML é adequado para recuperação e troca de dados não geométricos
usando um analisador XML (Extensible Markup Language). A estrutura hierárquica do
banco de dados herda a estrutura dos nós principais do IfcXML. Por exemplo, se o
Machine Translated by Google
K. El Ammari e A. Hammad
Fig. 2. Dados pré-processados para CBIM3R-FMS.
instalação consiste em vários prédios e cada prédio tem muitos andares, o banco de
dados terá a mesma hierarquia para facilitar a recuperação de dados durante as
operações em tempo real.
(3) As imagens coletadas devem ser processadas incluindo o registro das características do
CV mapeando-as com o modelo BIM para gerar dados de rastreamento. Os dados de
rastreamento são salvos no banco de dados de rastreamento.
(4) O VE é criado com base nos modelos BIM, que serão utilizados nos módulos IAV e AR.
Além disso, o CityGML permite a criação de modelos com diferentes Níveis de Detalhe
(LOD) para grandes ambientes 3D. Os dados CityGML são usados como modelo base
para CBIM3R-FMS.
A integração de dados multifonte 3D é processada e o resultado é transferido para um
formato de dados que mantém as informações necessárias, incluindo IDs de elementos
e a estrutura hierárquica do modelo original (por exemplo, tecnologia Autodesk FBX). É
importante manter os dados 3D estruturados e os IDs exclusivos para integrar com o
banco de dados de atributos baseado em BIM.
(5) O agendamento de tarefas é feito pelo gerente da instalação, onde ele deve atualizar o
banco de dados de tarefas com informações relacionadas à tarefa, incluindo ID da tarefa,
data agendada e local atribuído, trabalhador e ferramentas.
(6) Os defeitos detectados pelos inspetores de campo são armazenados no banco de dados
de defeitos, incluindo imagens de defeitos com geotag e informações textuais descritivas
sobre os defeitos. Durante as operações, uma vez que a pose do trabalhador de campo
é rastreada usando a localização e orientação de seu tablet, ele poderá tirar fotos com
geotags dos possíveis defeitos e enviá-las automaticamente para o escritório. As imagens
serão posicionadas em suas posições relativas no VE. Isso permitirá que o gerente da
instalação inicie a ordem de serviço e a atribua ao inspetor adequado.
Além disso, as condições dos componentes são atualizadas para refletir o trabalho
realizado pelos inspetores e técnicos de acordo com as ordens de serviço preventivas e
corretivas. Os dados atualizados do sistema podem ser recuperados e visualizados usando
consultas definidas para análise visual. Além disso, novos atributos relacionados a defeitos,
necessários para FM, são incluídos no banco de dados de defeitos.
Os dados no banco de dados Tracking são armazenados em um banco de dados
relacional (por exemplo MySQL) e vinculados ao componente BIM relevante no banco de
dados BIM (por exemplo, uma parede em uma sala específica) usando o componente BIM un
ique ID. A ligação entre o componente BIM e os registros de defeitos no
5
Automação na Construção 107 (2019) 102940
O banco de dados de defeitos usa a mesma abordagem. As tarefas no banco de dados de
tarefas também são vinculadas a espaços ou elementos específicos no banco de dados BIM
usando seus IDs. As informações de posição são usadas para gerar os objetos 3D para
marcação de tarefas.
3.2. Colaboração visual interativa baseada em MR (IVC)
A colaboração visual interativa (IVC) tem dois modos: (1) modo não restrito onde o
trabalhador de campo e a instalação gerenciam os campos de visão (FOVs) não são
combinados e sincronizados, e (2) modo restrito onde seus FOVs são sincronizados. O IVC
entre o gerente da instalação no escritório e o trabalhador de campo é importante para evitar
interpretações errôneas das tarefas de inspeção ou manutenção atribuídas. Isso pode levar a
retrabalhos desnecessários, o que consequentemente reduz a produtividade [36]. Na
colaboração baseada em RM, o gerente do escritório pode assinar tarefas baseadas em
localização e compartilhar instantaneamente essas informações com o trabalhador de campo
usando o módulo IAV. Por outro lado, o trabalhador de campo, usando o módulo AR móvel,
pode compartilhar a visão real que vê com o gerente. A orientação visual é dada pelo gerente
para facilitar a execução das tarefas. Conforme mostrado na Fig. 3, o sistema proposto tem
dois lados que suportam interação e colaboração.
3.2.1. Módulo baseado em IAV
No lado do escritório IAV, o gerente aponta para o local ou componente específico onde
a inspeção ou a manutenção deve ocorrer.
A localização dessa coleta é capturada usando o método de rastreamento de raios. Essas
informações de localização são usadas para colocar a tag de tarefa gerada no VE.
As informações de localização, juntamente com uma breve descrição da tarefa e as
informações do elemento de construção de destino, são transmitidas para o módulo baseado
em AR móvel no local.
3.2.2. Módulo móvel baseado em AR
Usando o módulo móvel baseado em AR, o trabalhador de campo visualiza as tarefas
marcadas e navega pelo ambiente real com a ajuda de uma seta de direção renderizada para
orientação visual. A orientação da seta é calculada com base na posição da tarefa marcada e
na posição da câmera do tablet. Quando o trabalhador de campo chega ao local designado e
encontra a tag de tarefa na visualização AR, ele marca o defeito no elemento através da
interface AR. Depois de marcar o defeito, a imagem do elemento defeituoso e as informações
de localização da marca do defeito
Machine Translated by Google
K. El Ammari e A. Hammad
Fig. 3. Colaboração visual interativa.
(por exemplo, uma esfera vermelha representando vazamento no teto) são transmitidos
e colocados no VE.
Nessa interação bidirecional, o gerente está imerso no VE para ter mais acesso
às informações da instalação e para dar suporte às tarefas de FM pelo IVC e
compartilhamento de dados com o trabalhador de campo. O aspecto colaborativo do
framework proposto permite que tanto o gerente do escritório quanto o trabalhador de
campo, não apenas compartilhem os dados geométricos do que estão interessados,
mas também compartilhem seu ponto de vista como a pose da câmera virtual no O
IAV do lado do escritório pode ser alterado com base na pose da câmera do trabalhador
de campo no modo restrito. No restrito
modo, a pose da câmera virtual do gerente da instalação no VE é ajustada com base
nas informações de pose da câmera do módulo AR. Por outro lado, o modo de
navegação livre permite que o gerente da instalação navegue livremente no VE.
Durante uma sessão IVC, dois conjuntos de dados de pose são transmitidos de
cada módulo: (1) dados de pose da câmera (ou seja, localização e orientação) e (2)
dados do ponto de coleta (local do defeito). Primeiro, para posicionar com precisão o
gerente no ambiente IAV, as coordenadas globais e a orientação do trabalhador de
campo (x, y, z, ÿ, ÿ, ÿ) devem ser transmitidas e convertidas para o sistema de
coordenadas IAV (xÿ, y ', z', ÿ', ÿ', ÿ'). Esse compartilhamento de dados de pose
permite que o gerente compare a visão real do elemento de construção alvo, que o
inspetor está olhando através do tablet, com o elemento relevante no ambiente IVE.
Por outro lado, os três graus de liberdade (DoFs) do movimento da cabeça do gerente
no ambiente IAV podem ser usados para atualizar as setas de orientação 2D no
módulo AR para mostrar o ponto de interesse do gerente. Além disso, bate-papos
baseados em áudio e texto podem apoiar a experiência de comunicação compartilhando
descrições verbais ou comentários.
Segundo, quando o gerente da instalação inicia a sessão de IVC com o campo
6
Automação na Construção 107 (2019) 102940
trabalhador, seus valores de localização de coleta baseados em gestos (xo, yo, zo),
que são usados para instanciar marcas de tarefa, setas apontando ou esboços, são
transmitidos para o módulo AR em tempo real. Em seguida, esses valores são
usados para replicar as modalidades visuais (ou seja, marcas de tarefa, seta
apontando ou esboço). Por outro lado, quando o trabalhador de campo adiciona
anotações (por exemplo, um esboço), seus valores de localização de coleta
baseados em gestos (xw, yw, zw) são transmitidos para o módulo IAV. Esses
valores são usados para replicar seu esboço no módulo IAV.
3.3. Arquitetura do sistema CBIM3R-FMS
Com base na estrutura geral acima mencionada, a Fig. 4 ilustra a arquitetura do
sistema, que consiste em três partes: (a) módulo IAV do escritório FM, (b) módulo AR
do trabalhador de campo e (c) os bancos de dados. O fluxo é descrito usando quatro
tipos de setas: atualização de dados para atualização dos bancos de dados,
recuperação de dados para leitura de atributos de defeitos dos elementos do banco
de dados de defeitos, streaming de dados para streaming de vídeo em tempo real sob
demanda e streaming de dados de pose entre o AR e Módulos IAV e fluxo de dados
para os dados de rastreamento baseados em recursos. O fluxo de dados entre esses
componentes é explicado a seguir:
(1) No lado do escritório do IAV, o gerente da instalação revisa as ordens de serviço
e programa as tarefas de inspeção ou manutenção. O gerente começa a atribuir
tarefas de inspeção ou manutenção georreferenciadas, identificando no VE e
selecionando componentes. A tarefa como sinalização pode ser baseada no
espaço selecionado (por exemplo, sala) ou elemento (por exemplo, parede). O
componente selecionado pode ser destacado com cores para definir a prioridade
das ordens de serviço. Por exemplo, vermelho é usado para indicar prioridade
alta, laranja para prioridade moderada e
Machine Translated by Google
K. El Ammari e A. Hammad
Fig. 4. Arquitetura do sistema do CBIM3R-FMS.
amarelo para baixa prioridade. Os dados da tarefa, incluindo a localização em
formação, são salvos no banco de dados da tarefa.
(2) O vídeo da câmera do tablet é usado para rastreamento baseado em recursos de visão
computacional (CV). Os quadros de vídeo são usados para detectar os recursos
relevantes e recuperá-los do banco de dados de rastreamento.
O rastreamento é ativado com base nos recursos detectados.
(3) Os sensores de orientação incorporados no tablet alimentam o lado AR móvel e o lado
IAV do escritório do CBIM3R-FMS com dados de rastreamento de pose. No lado do
AR móvel, esses dados de rastreamento podem suportar o rastreamento baseado em
CV quando nenhum recurso registrado é detectado. Os dados de rastreamento do
tablet são transmitidos para atualizar a pose da câmera virtual do módulo IAV. A
correspondência da pose da câmera dos dois módulos ajuda cada usuário a identificar
o outro ponto de interesse do usuário, que é definido pelo FOV da câmera.
(4) A posição atual do trabalhador de campo e as informações de localização das tarefas
georreferenciadas são usadas para atualizar a direção da seta guia de navegação
como um aumento para ajudar o trabalhador de campo a navegar até o local da
tarefa. Com base na pose da câmera do tablet do trabalhador de campo, as
informações básicas sobre a tarefa são recuperadas do banco de dados de tarefas e
aumentadas sobre a visão do elemento de construção real.
(5) O trabalhador de campo pode selecionar um elemento escolhendo o elemento real
através da visualização AR e recuperar informações BIM adicionais do banco de
dados BIM. O picking é iniciado com base em um método de raycasting [37], e o ID
único do modelo geometricamente otimizado, conforme discutido em [35], é usado
para recuperar dados relativos do banco de dados. Uma vez que o elemento é
identificado no AR, o trabalhador de campo pode adicionar ou modificar as informações
de inspeção ou manutenção.
Essas informações podem ser imagens com geotags ou informações textuais.
Os dados resultantes serão salvos no banco de dados de Defeitos.
(6) Os dados de defeitos armazenados no banco de dados de defeitos, incluindo elementos
de construção e IDs de elementos, são usados para atualizar a visualização do
módulo AR.
(7) Com base na tarefa exigida, o gerente da instalação atualiza o modelo BIM. Por
exemplo, se a tarefa necessária é fazer uma abertura em um drywall, o modelo BIM é
modificado pelo gerente da instalação, usando uma ferramenta BIM, e então o modelo
modificado é usado para atualizar tanto o
7
Automação na Construção 107 (2019) 102940
AR e as visualizações IAV. O gerente da instalação recupera os dados atualizados da
tarefa e começa a colaborar com o trabalhador de campo, aumentando a visualização
de RA móvel com seus comentários e apontamento e esboços interativos.
(8) Dados sensoriais extras, como imagens de termografia capturadas por uma câmera
infravermelha (IR), podem adicionar uma camada adicional de informações à cena
aumentada sobre a condição dos componentes da instalação e ajudar o inspetor a
detectar a origem do problema (por exemplo, vazamento de água dentro do drywall).
(9) O trabalhador de campo pode compartilhar sua visão do módulo AR com o gerente
para ajudá-lo a diagnosticar melhor a condição do elemento, pois o gerente tem mais
experiência. Esta visualização será mostrada no modo IAV.
(10) O gerente colabora com o trabalhador de campo usando setas virtuais para orientá-lo
em tempo real e discute, se necessário, qualquer assunto relacionado à tarefa. Isso
permite que ambos os usuários estejam cientes do ponto ou área de interesse um do
outro. O sistema também suporta bate-papo baseado em áudio e texto para facilitar a
comunicação em tempo real.
O IVC baseado em RM ajuda o trabalhador de campo e o gerente da instalação a se
comunicar visualmente e compartilhar as informações necessárias relacionadas à tarefa
atribuída. O módulo móvel baseado em AR ajuda o inspetor a visualizar os dados sensoriais
capturados (por exemplo, a imagem IR), marcar o defeito detectado e revisar elementos no
histórico de inspeção. Por outro lado, o escritório IAV permite ao gestor orientar o trabalhador
de campo para onde ir, compartilhar o que vê em seu rico modelo e realizar tarefas que
exigem mais experiência. Por exemplo, o gerente da instalação pode ajudar o inspetor de
campo na atribuição da gravidade do defeito e discutir sobre os elementos potenciais que
requerem inspeção adicional.
3.4. Modalidades de interação para módulos AR e IAV
Picking [38] é a principal técnica utilizada para interagir com o VE nos módulos AR e
IAV. O objeto de coleta pode ser um raio, que se estende da posição de coleta de dedo
através do VE. Quando uma escolha
Machine Translated by Google
K. El Ammari e A. Hammad
Fig. 5. Os usos da técnica de picking nos módulos AR e IAV.
for solicitado, os objetos selecionáveis que cruzam com o objeto de seleção são
calculados. A escolha retorna uma lista de objetos, a partir da qual o objeto mais
próximo pode ser calculado. A coleta pode ser usada pelo trabalhador de campo ou
pelo gerente da instalação para diferentes propósitos. O picking feito pelo gerente
da instalação é usado para selecionar um elemento, atribuir tarefas, colocar seta
apontando ou esboço no módulo IAV. O picking feito pelo trabalhador de campo
permite que ele selecione um elemento, marque defeitos, coloque seta apontando
ou esboce no módulo AR. No caso de defeitos de marcação, a intersecção entre o
raio e o objeto 3D é usada como ponto central da marcação do defeito (por exemplo,
uma esfera). A Fig. 5 mostra os diferentes usos da técnica de picking com diferentes
modalidades para os módulos AR e IAV. Cada módulo tem duas camadas para lidar
com essas modalidades (ou seja, objetos criados e objetos recebidos). Cada usuário
está manipulando diferentes modalidades de MR: (1) O gerente da instalação marca
uma tarefa usando um cubo azul para representar um local de tarefa no módulo IAV;
(2) O mesmo cubo é instanciado e posicionado no módulo AR e setas guias 2D são
usadas para se referir a quaisquer objetos fora da tela para ajudar o trabalhador de
campo a encontrá-los no módulo AR; (3) Tags georreferenciadas codificadas por
cores (por exemplo, esfera) são adicionadas pelo trabalhador de campo para
representar a gravidade do defeito. Por exemplo, um defeito de servidor é marcado
com uma tag animada vermelha, enquanto um defeito leve é marcado com uma
marca estática amarela. Como a marca é georreferenciada, o gerente da instalação
tem a capacidade de pesquisar com base na localização e componentes no ambiente
virtual para investigar possíveis causas; (4) Os mesmos objetos serão visualizados
no módulo AR e IAV e setas de orientação 2D são usadas para se referir a qualquer
posição de objetos fora da tela para ajudar o gerente da instalação a encontrá-los no
módulo IAV; (5) Setas 3D apontando em laranja e esboços de linha verde são usados
pelo trabalhador de campo para se referir a uma área específica de interesse no
ambiente real; (6) As mesmas setas apontando e esboços são mostrados em tempo
real no módulo IAV. As etapas (7) e (8) são iguais às etapas (5) e (6), exceto com a
cor amarela para a seta apontando e a cor vermelha para o esboço. É importante
usar cores diferentes para identificar o usuário que as fez. O lado direito da figura
mostra a saída desses componentes IVC nos dois módulos.
(a) Modelo BIM (LOD300) do edifício EV (b) Modelo BIM detalhado (LOD400) de um laboratório
Fig. 6. Modelos BIM multinível para o edifício EV.
8
Automação na Construção 107 (2019) 102940
4. Implementação
Para facilitar o processo de desenvolvimento, o protótipo do sistema CBIM3R-
FMS foi desenvolvido usando o motor de jogo Unity3D [39]. O mecanismo é usado
para construir o VE e permitir que os usuários interajam com os componentes da
instalação em ambos os módulos e, em seguida, colaborem trocando informações
visuais sobre as tarefas atribuídas. O VE foi modelado mesclando diferentes fontes
de dados: (1) modelo LOD2 CityGML com texturas para os quarteirões da cidade.
Os quarteirões da área central de Montreal foram criados com base nos dados do
CityGML fornecidos pela cidade [40]. Os dados CityGML são usados como modelo
base para CBIM3R-FMS.
A integração de dados multifonte 3D é processada e transferida para Unity3D como
um modelo FBX; (2) BIM detalhado de um edifício (LOD400) e (3) objetos virtuais
(por exemplo, equipamentos de escritório). Além disso, a unificação do sistema de
coordenadas de todos os conteúdos EV e os objetos do mundo real é feito para
facilitar a integração e navegação nos ambientes AR e IAV. Esta etapa exigiu a
localização do conteúdo 3D em um mapa base já georreferenciado.
Um estudo de caso é implementado no EV Building da Concordia University
para demonstrar a validade do método proposto. Neste estudo de caso, os dados
necessários do FM de diferentes fontes são integrados usando formatos padrão [35]
e os defeitos são anexados a componentes específicos no VE usando Unity3D. O
modelo foi desenvolvido no Autodesk Revit [41] para um andar do edifício EV na
Concordia University (Fig. 6(a)) e adicionando um modelo BIM detalhado (LOD 400)
para um laboratório de pesquisa no mesmo andar (Fig. 6 (b)). Além disso, os defeitos
são considerados como componentes do modelo 3D. Outros dados são adicionados
sobre os procedimentos de manutenção, como o estado e a data da última inspeção
do elemento que apresenta o defeito.
O ID exclusivo para um elemento de construção no modelo FBX é o mesmo que
o dos dados baseados em IfcXML armazenados no banco de dados. Quando um
elemento é selecionado no ambiente Unity3D, o elemento de construção é destacado
e uma consulta é ativada para recuperar as informações do elemento.
Machine Translated by Google
K. El Ammari e A. Hammad
4.1. Requisitos de software e hardware do CBIM3R-FMS
(a) Requisitos de software
(1) Unity3D é um sistema de visualização 3D e desenvolvimento de jogos. O mecanismo
possui muitos recursos, incluindo física e renderização, para permitir a criação de
VEs 3D interativos. As principais razões da escolha do Unity3D para implementação
do framework proposto são: (a) O motor de jogo pode ser utilizado como ferramenta
de autoria e permite focar nos conceitos da prototipagem; (b) Possui recursos de
integração para desenvolvimento de ferramentas AR e VR, vinculação com bancos
de dados externos e suporte à interoperabilidade (por exemplo, formato nativo
Autodesk do FBX); e (c) tem suporte para colaboração multiusuário em tempo real
e compartilhamento de dados.
(2) Vuforia [42] é um kit de desenvolvimento de software AR (SDK) que suporta
rastreamento baseado em recursos usando dispositivos móveis. O principal uso
desta ferramenta nesta pesquisa é criar os dados de rastreamento e utilizá-los
dentro do ambiente de desenvolvimento Unity3D através do plug-in Vuforia Unity3D.
O plug-in é usado para acessar os dados de rastreamento registrados dentro do
Unity3D e compará-los com os recursos detectados capturados pela câmera do
tablet.
(3) Para interação com o banco de dados de atributos BIM, o pacote analisador IfcXML
usa Xerces Java Parser [43]. Este analisador fornece análise e geração de XML e
implementa os padrões W3C XML e DOM (Document Object Model), bem como o
padrão SAX (Simple API for XML). O analisador é usado para ler dados baseados
em IFC dos atributos de construção e salvá-los no banco de dados.
(4) O aplicativo hotspot (ou seja, Connectify [44]) é instalado no servidor onde o módulo
IAV está instalado. Isso permite conectividade ponto a ponto baseada em WLAN
entre os dois módulos e os conecta aos bancos de dados, além de permitir que
eles transmitam dados de pose e vídeo e chamem funções no servidor remoto.
(b) Requisitos de hardware
A visualização do conteúdo de RM, bem como a visualização local e remota
A interatividade dos módulos CBIM3R-FMS depende de requisitos específicos de
hardware. A Fig. 7 mostra o hardware usado nos módulos CBIM3R-FMS que são
explicados a seguir:
(1) O módulo AR é implementado como um aplicativo AR móvel baseado em recursos
instalado em um tablet Android (Samsung Galaxy Tab S2 com processador Octa
Core de 1,8 GHz + 1,4 GHz e 3 GB de RAM). A câmera traseira CMOS 8.0 MP do
tablet é usada para rastrear e alimentar o módulo IAV com quadros de vídeo. O
tablet tem opções de conectividade, incluindo Wi-Fi, GPS e Bluetooth. Os sensores
no tablet incluem um sensor de proximidade, acelerômetro, sensor de luz ambiente
e giroscópio. No entanto, nesta pesquisa apenas o giroscópio é utilizado para o
método de rastreamento híbrido [35]. A câmera FLIR ONE [45] é uma câmera
térmica que pode ser conectada ao tablet para fornecer imagens térmicas. A
câmera tem resolução de 160 × 120 pixels e
Fone de ouvido Oculus Rift Computador
+ para android
Controladores de toque
Módulo IAV
Fig. 7. Hardware utilizado na implementação.
9
Automação na Construção 107 (2019) 102940
a faixa de temperatura detectada é de -4 °F a 248 °F (ÿ20 ° a 120 °C). A
sensibilidade da câmera permite detectar diferenças de temperatura tão pequenas
quanto 0,18° F (0,1° C). O peso leve da câmera (78 g) a torna ideal para aplicativos
móveis.
(2) O módulo IAV é implementado como um aplicativo independente e é executado em
um PC desktop (Dell Precision T1700 com Intel(R) Core(TM) i7–4790 com
velocidade de processamento de CPU de 3,60 GHz e 8 GB de RAM).
Além disso, o módulo IAV usa três gadgets baseados em VR: (1)
Oculus Rift para visualização de IAV; e (2) controladores de toque para rastreamento
baseado em gestos. Oculus Rift [46] é um display montado na cabeça (HMD) com
dois controladores de toque, que permitem que o gerente da instalação interaja
com o VE no módulo IAV rastreando o movimento da cabeça. As principais razões
para selecionar o Oculus Rift para este aplicativo são seu amplo FOV horizontal
(100°), resolução de tela (960 × 1080 pixels por olho), rastreamento posicional de
baixa latência e o suporte de sua versão SDK2 para integração com o jogo Unity3D
motor. Os controladores de toque permitem simular o movimento das mãos, para
que o gerente da instalação possa interagir com os objetos virtuais de forma
semelhante ao que faz no mundo real.
4.2. Módulo de virtualidade aumentada imersiva
O módulo IAV do CBIM3R-FMS permite ao gestor visualizar as atividades a partir
de diferentes visões. A Fig. 8(a) mostra o VE em grande escala (ou seja, nível urbano
e de construção) através da Interface Gráfica de Usuário (GUI) no módulo IAV. A Fig.
8(b) mostra a visualização IAV colaborativa da visualização da câmera transmitida do
tablet do trabalhador de campo, superimposta ao modelo VR que melhora a consciência
situacional para o gerente da instalação. Os controladores de toque são usados para
interagir com o VE. A manipulação da GUI permite que o gerente da instalação ajuste
a localização das GUIs considerando sua visão esférica de 360°. Por exemplo, o
gerente da instalação pode mover a GUI, usando o comportamento de manipulação
direta baseado em gestos para realocar a GUI para longe de seu FOV atual para se
concentrar na tarefa.
4.3. Módulo de realidade aumentada
O módulo AR é o aplicativo do lado do trabalhador de campo, que é implementado
no Unity3D e implantado como um aplicativo Android. O aplicativo é implantado como
um aplicativo Android e instalado em um tablet Samsung Galaxy Tab S2, equipado com
conectividade WLAN. Isso permite que o aplicativo AR se conecte com os bancos de
dados e transmita dados de localização e vídeo para o módulo IAV usando o protocolo
Remote Procedure Call (RPC). Para rastrear os trabalhadores de campo no VE, foi
criado um script especial para ajustar a posição (X, Y, Z) e a orientação (ÿ) em torno do
eixo Y para definir a localização e a direção dos trabalhadores de campo no mapa. O
módulo AR é capaz de rastrear a pose da câmera do trabalhador de campo usando o
método de rastreamento híbrido [35]. Vuforia Unity Extension [47] é usado para acessar
os dados de rastreamento registrados dentro do Unity3D e compará-los com os recursos
detectados nas imagens do vídeo capturadas pela câmera traseira do tablet. O vídeo
também é
Tablet (Android)
FLIR UM
Câmera térmica
+
Módulo AR
Machine Translated by Google

K. El Ammari e A. Hammad Automação na Construção 107 (2019) 102940

Visualização da câmera transmitida

pelo tablet no local

Localização do trabalhador rastreado

VE baseado em CityGML e BIM

Modelo de RV

(a) Visão em grande escala (b) Visualização IAV

Fig. 8. Exemplos de visualizações de IAV de escritório.

transmitido para o módulo IAV. O aumento do conteúdo virtual pode ser elementos de
construção, IDs de elementos ou informações textuais sobre o histórico de inspeção
armazenado no banco de dados de Defeitos. Considerando que o trabalhador de campo está
usando uma mão para segurar o tablet e a outra para interagir com o conteúdo de RA, a GUI
foi projetada para minimizar a entrada de dados e maximizar a visualização de RA. Quando o
trabalhador de campo interage com a GUI, ele usa o comportamento de separação para
selecionar elementos, marcar defeitos ou adicionar ou recuperar informações de defeitos.
Quando o trabalhador de campo escolhe um objeto real através da visualização AR, a caixa
delimitadora do componente georreferenciado relativo e os dados anexados são mostrados
como aumento. Em seguida, o trabalhador de campo pode selecionar um ponto específico no
componente para marcar um defeito. Uma vez que a marca do defeito (por exemplo, uma
esfera) é gerada, uma nova janela é aberta para adicionar as informações do defeito.
A marca de defeito é georreferenciada e suas informações de localização são armazenadas
automaticamente no banco de dados de defeitos.
A Fig. 9 mostra a vista do módulo AR do sistema. A vista consiste em
combinação do vídeo da câmera real, aumentando os elementos baseados em BIM, dados
sensoriais (ou seja, imagem térmica), informações textuais recuperadas dos bancos de dados
BIM e Defeitos. Minimizar os componentes da GUI do módulo AR é importante devido ao
tamanho limitado da tela. Portanto, a GUI é projetada usando alternâncias de verificação para
habilitar ou desabilitar os componentes da GUI conforme necessário.
O botão de ativação principal da GUI é o botão inferior direito rotulado como START.
Clicar neste botão ativa a GUI de vários botões do lado esquerdo, que contém o seguinte: (1)
O botão CHAT para ativar um canal de bate-papo entre o módulo AR e o módulo IAV; (2) O
botão GUIA para ativar a orientação de navegação para ajudar o trabalhador de campo a
localizar tarefas marcadas georreferenciadas; (3) O botão HATCH para ativar a escotilha
virtual [35] que pode ser manipulada com as funcionalidades de arrastar o dedo; (4) O botão
PARTE para colocar o componente desejado (ex. novo componente do interruptor de luz); (5)
O botão INFO para visualizar as informações do elemento selecionado incluindo seu ID, último

Vídeo do Ambiente Real Elemento BIM Informações do Elemento Selecionado

Informações do elemento de frente. Modo restrito

Bate-papo Desligado/Ligado

Orientação de navegação

Escotilha Virtual

Manipulação de Objetos

Informações de inspeção.

Esboçar / Marcar
8:28:475

Iluminação de cena

Redefinir Canal de bate-papo Imagem térmica Interação Visual

Fig. 9. Design gráfico da interface do usuário do Módulo AR.

10
Machine Translated by Google
K. El Ammari e A. Hammad
dados de inspeção, status atual e qualquer nota adicional que o inspetor possa acrescentar; (6)
O botão com um ícone de lápis para ativar a marcação ou desenho; (7) O botão LIGHT para
habilitar a iluminação da cena georreferenciada [35]; e (8) O botão com ícone de vassoura para
redefinir a marcação ou desenho e iniciar uma nova sessão de IVC. O botão superior direito
permite o modo restrito e atualiza a visualização do módulo IAV remoto. O botão de polegar para
cima é usado apenas para o teste de usabilidade para permitir que os participantes do teste
confirmem a conclusão de suas tarefas para fins de análise.
4.4. Interação remota IAV-AR
Conforme explicado na Seção 3.4, para uma comunicação precisa entre o gerente da
instalação e o trabalhador de campo, é importante especificar com precisão o elemento ou o
ponto de interesse em suas telas para evitar confusão. Depois de atualizar a pose da câmera VR
no módulo IAV com base na pose da câmera AR detectada, ambos os usuários podem apontar
em um elemento para selecionar ou aplicar a marcação. Esses eventos são capturados e a
localização das marcas geradas (por exemplo, esfera codificada por cores) pode ser
instantaneamente compartilhada entre si. Os valores de localização das marcas georreferenciadas
são transmitidos usando o protocolo RPC. Os tipos de dados enviados através da conexão de
rede local sem fio (WLAN) entre os módulos AR e IAV são: (1) dados de pose da câmera como
valores flutuantes, (2) quadros de vídeo transmitidos, (3) coordenadas do ponto de seleção de
visualização e (4) ) dados textuais.
Primeiro, os dados de pose da câmera são enviados do módulo AR para o módulo IAV para
atualizar a pose da câmera IAV no VE. Em segundo lugar, o vídeo
quadros da visão da câmera do tablet do trabalhador de campo são usados para texturizar um 2D
plano posicionado na frente da vista IAV. Camadas adicionais de imagens térmicas capturadas
pela câmera infravermelha são vaporizadas para texturizar o mesmo plano 2D quando ativado.
Terceiro, as coordenadas do ponto de coleta da vista podem ser calculadas usando a técnica de
rastreamento de raios. Esta técnica permite calcular as coordenadas do ponto de interseção entre
um raio gerado pelo picking na tela e um elemento colisor. Essas coordenadas serão usadas para
instanciar um objeto de marcação em cada módulo por seu usuário e transmitir instantaneamente
as mesmas coordenadas para instanciar o mesmo objeto no outro módulo. Quando a seleção de
elemento está desabilitada, as coordenadas transmitidas são usadas para posicionar a seta guia
3D com um vetor normal com base na direção do elemento de interação. Quarto, as informações
textuais são enviadas entre os dois módulos. Esta informação pode
ser armazenado no banco de dados para atualizar a interface do usuário do elemento selecionado
em ambos os módulos. Ao aplicar o comportamento de coleta no módulo IAV ou no módulo AR,
um colisor de objetos deve ser detectado para identificar um elemento 3D atingido (por exemplo,
uma parede). Se esta condição for satisfeita, cada módulo pode instanciar independentemente
um objeto 3D (por exemplo, esfera) como uma marca no elemento de construção. O objeto deve
ter uma cor diferente para diferenciar entre a marca local e a telemarca. Para instanciar o
marca no outro módulo remoto, as coordenadas da marca virtual devem ser recebidas usando o
protocolo RPCs. A Fig. 10 mostra a estrutura de dados utilizada na marcação remota entre os
módulos AR e IAV. O modelo de marcação 3D é usado para instanciar o objeto 3DMark que
possui colisor de malha e renderizador de malha. Então, o 3DMark instanciado possui dados
vector3 e uma cor específica para cada módulo para evitar confusão. Os dados vector3 são
compartilhados entre os dois módulos usando o protocolo RPC sobre o canal Wi-Fi. Para
interação, o módulo AR usa interação baseada em toque para instanciar a marca, onde o IAV usa
os botões dos controladores. O ponto de interseção entre um raio estendido da pose da câmera
e a superfície do alvo é usado para posicionar a marca.
5. Avaliação do CBIM3R-FMS
O objetivo desta seção é avaliar a eficiência do framework proposto e do método IVC. Para
conseguir isso, um cenário de teste foi preparado e um teste de usabilidade foi realizado
selecionando participantes aleatórios com algum conhecimento de tarefas de inspeção e
manutenção de FM. Para a medição da eficácia, o tempo, os erros e a precisão dos dados de
interação relacionados à marcação e ao esboço são capturados e usados para medir os níveis
de eficiência e precisão do
11
Automação na Construção 107 (2019) 102940
IVC remoto entre os módulos AR e IAV. Os participantes são convidados a realizar 17 tarefas. As
oito primeiras tarefas são do modo não colaborativo e as tarefas de nove a 17 usam o modo IVC.
No primeiro modo, o participante que desempenha o papel de trabalhador de campo realiza
tarefas simples por conta própria, sem a ajuda do gerente da unidade. No segundo modo, o
trabalhador de campo é apoiado remotamente pelo gerente da instalação no modo IVC. A
validação é feita com base no teste de três tipos de tarefas: tarefas de localização de tags, tarefas
de interação e tarefas de colaboração. Nas tarefas de localização de tags, o trabalhador de campo
é solicitado a navegar e localizar as tarefas atribuídas com e sem suporte de orientação visual do
sistema. O participante que desempenha o papel de gerente de instalações é solicitado a realizar
a mesma tarefa de navegação. Nas tarefas de interação, o trabalhador de campo e o gerente da
instalação são solicitados a marcar e esboçar em sua visão AR ou IAV, respectivamente. O
tempo, o número de erros e a precisão da execução das tarefas são calculados. Nas tarefas de
colaboração, o trabalhador de campo colabora interativamente com o gerente da instalação no
modo IVC para executar as tarefas atribuídas. Durante a sessão de colaboração, eles marcam o
mesmo elemento específico em seus diferentes ambientes e desenham em torno de uma área
específica. O tempo, o número de erros e a precisão da marcação e do esboço são capturados e
analisados. Depois de terminar todas as tarefas exigidas, os participantes são questionados sobre
o módulo específico que estão usando. Depois de coletar os dados de teste, uma Análise de
Variância (ANOVA) é usada para comparar as médias de dois grupos de observações [48] e
verificar se há diferença significativa entre os dois grupos de trabalhadores de campo usando as
diferentes condições de teste (ou seja, colaboração vs. não colaborativo).
5.1. Testando usabilidade
Como validação da abordagem CBIM3R-FMS, uma tarefa de campo simples foi planejada.
Nesta tarefa, o trabalhador de campo é solicitado a realizar a mesma tarefa usando o CBIM3R-
FMS com e sem suporte de visualização aprimorado, incluindo as setas de orientação e dados
sensoriais. Com base na saída dos dois testes, os dados coletados foram classificados com base
na porcentagem de erros ocorridos, tempo para concluir a tarefa e nível de facilidade conforme
indicado pelos trabalhadores de campo. O teste de usabilidade é feito por 30 participantes para
avaliar os módulos AR e IAV. Para cada teste, dois participantes são solicitados a realizar as 17
tarefas em cada módulo. Cada teste tem duas sessões. Na primeira sessão, um participante
utiliza o módulo AR como trabalhador de campo e o outro utiliza o módulo IAV como gestor de
instalações. Ambos usam seus módulos com base nas duas condições de teste (ou seja, com e
sem suporte de visualização aprimorado). Na segunda sessão, eles trocam suas funções (como
trabalhador de campo e gerente de instalação) e repetem o teste com o novo módulo designado.
A tarefa principal usada neste teste se concentra em uma tarefa de reinstalação onde
o trabalhador de campo é obrigado a substituir um termostato fixado em uma parede.
A Fig. 11(a) mostra o termostato antigo que deve ser substituído pelo novo modelo mostrado na
Fig. 11(b). O sistema desenvolvido auxilia o trabalhador de campo a verificar as condições de
instalação. Antes de instalar o novo termostato real, com base em seu julgamento, o trabalhador
de campo pode usar o dedo para posicionar o novo termostato virtual em um local adequado,
evitando choques com objetos visíveis próximos (ou seja, interruptor de emergência e interruptor
de luz) e objetos invisíveis dentro da parede (ou seja, canos de água que emitem calor). O modo
IVC permite que o gerente da instalação forneça suporte ao trabalhador de campo, orientando-o
visualmente ao longo das tarefas de teste.
A Fig. 12(a) mostra a marca e croqui no módulo IAV posicionado no modelo BIM. A Fig.
12(b) mostra a vista do módulo AR com a marca remota (ou seja, seta amarela) e um esboço (ou
seja, linha vermelha) feito pelo gerente da instalação. A marca de esfera amarela representa o
ponto para onde o gerente da instalação está apontando no VE. Depois de assinar o formulário
de consentimento (número de aprovação do Conselho de Revisão de Ética 30008493), cada
participante tem 10 minutos para se familiarizar com o módulo AR ou IAV. Como primeiro passo,
o participante é apresentado ao cenário de teste de usabilidade e suas tarefas.
A Tabela 1 lista todas as tarefas para cada usuário do módulo. Na segunda etapa,
Machine Translated by Google

K. El Ammari e A. Hammad Automação na Construção 107 (2019) 102940

Fig. 10. Estrutura de dados para telemarcação dos módulos AR-IAV.

o participante que usa o módulo AR é solicitado a realizar de forma independente ocorreu E (ou seja, o número de tarefas malsucedidas), que é calculado
sete tarefas consecutivas (Tarefa 2 à Tarefa 8). A proposta dessas tarefas é como o seguinte:
para medir o desempenho do usuário sem assistência remota considerando R
as restrições físicas, incluindo disponibilidade de espaço, instalações elétricas próximas E = ÿ j = 1 Ej / R (1)
fios e fontes emissoras de calor que podem afetar o termostato. Então em
na terceira etapa, o usuário do módulo AR começa a usar o IVC usando o onde E é o número de erros ocorridos e R é o número de participantes.
modo restrito (Tarefa 9). As restantes tarefas (10 a 17) incluem a
interação de dois módulos onde as tarefas dependem uma da outra. o
o tempo para terminar cada tarefa é registrado pelo sistema no banco de dados de Tarefas.
5.2. Questionário pós-cenário
Com base no tempo registrado e nas respostas do questionário, a análise
estatística é realizada para medir: (1) A eficácia do
O objetivo de realizar o teste de usabilidade é medir a
CBIM3R-FMS, que inclui a precisão e completude com
eficácia, eficiência e satisfação do usuário do CBIM3R-FMS
quais participantes atingem metas especificadas; (2) Sua eficiência e a
Módulos AR e IAV usando um questionário. Para identificar os assuntos de teste
tempo utilizado pelos participantes para a realização das tarefas; e (3) A
e seus conhecimentos de BIM e MR, as primeiras sete questões estão
satisfação do participante, que é medida pelo conforto e aceitabilidade
relacionadas ao sexo do participante, idade, nível de escolaridade, profissional
de uso. A Tabela 3 inclui as médias e desvios padrão (DP) para o
experiência de fundo e FM, saúde da visão e familiaridade com BIM
tempo que levou para executar a tarefa e o número médio de erros
e SR. Depois de responder a essas perguntas, os participantes são convidados a

Cano Fios elétricos Termostato antigo Novo termostato

Interruptor de emergência Interruptor

(a) Termostato antigo (real) (b) Novo termostato (virtual)

Fig. 11. Vistas do módulo AR dos termostatos antigos e novos.

12
Machine Translated by Google
K. El Ammari e A. Hammad
Apontando
Retrato falado
Seta Virtual
(a) Marcação e esboços locais
(Visualização do módulo IAV)
Fig. 12. Marcação e desenho remoto do IAV-AR.
fornecer seu nível de concordância com as afirmações apresentadas na Tabela 4
usando uma escala Likert de 7 pontos. Cada participante recebeu perguntas gerais
de usabilidade (Q8 a Q10), que são adotadas do IBM Post Study System Usabilidade
Questionnaire (PSSUQ) [49], sobre seu nível de satisfação geral usando a escala
Likert, incluindo a satisfação do usuário com a facilidade de concluir as tarefas
atribuídas , a quantidade de tempo para concluir as tarefas e o suporte da informação
visual. Além disso, as cargas mentais e físicas também são avaliadas usando duas
questões do Índice de Carga de Tarefas da NASA (NASA-TLX) [50] (Q11 a Q12).
Para avaliar o suporte de colaboração do CBIM3R-FMS, os usuários foram
questionados sobre seu nível de satisfação com aspectos específicos do teste (Q13–
Q18). Finalmente, uma pergunta opcional adicional (Q19) é sobre quaisquer
comentários extras ou perguntas relacionadas à tarefa que ele realizou ou às
experiências do CBIM3R-FMS.
5.2.1. Análise dos resultados dos
testes 5.2.1.1. Análise estatística. Trinta participantes (22 homens e 8 mulheres)
participaram do teste. A maioria dos sujeitos (19) tem idade entre 25 e 34 anos. A
Tabela 5 resume as informações demográficas coletadas pelos participantes. A
maioria dos sujeitos (76,67%) possui formação em engenharia e apenas oito
participantes (26,67%) possuem experiência em FM. Além disso, 60% dos
participantes utilizaram BIM em seus projetos. Em relação à experiência de RM, 16
participantes (53,33%) relataram ter experiência em RV e cinco (16,67%) tiveram
experiência em RA e RV, enquanto nove participantes (30,00%) não tinham
experiência com RA e RV. Dos 30, apenas nove (30%) relataram que estão com
problemas de visão que exigem o uso de óculos, o que pode não ser uma experiência
agradável devido à falta de ajuste do HMD para encaixar os óculos. Dos 30
participantes, oito são trabalhadores de FM (5 eletricistas e 3 trabalhadores de
manutenção geral).
A Tabela 6 mostra os mínimos, máximos, medianas, médias, desvios padrão
(DP) e diferentes escalas Likert de todos os itens com base nas condições de
experimento dos sujeitos que utilizam diferentes módulos. Os resultados mostram
que os usuários do IAV estão menos satisfeitos (média = 2,17) com a facilidade de
completar a tarefa (Q8) em comparação com os usuários do módulo AR (média =
1,77). Além disso, os usuários do IAV ficaram menos satisfeitos com a quantidade
de tempo que levou para concluir a tarefa (Q9) (média = 2,20), enquanto os usuários
do módulo AR mostraram mais satisfação (média = 1,77). Os resultados também
mostram que os usuários de RA estão mais satisfeitos com as informações de
suporte que recebem durante a tarefa (Q10) (média = 1,73), enquanto os usuários
de IAV estão menos satisfeitos (média = 2,10). Tanto para as cargas mentais quanto
para as físicas (Q 11 e Q12), os usuários do módulo AR acharam menos exigente
(média = 1,37 e 1,77, respectivamente) em comparação com os usuários do IAV
(média = 1,83 e 2,33). Durante o modo IVC, os usuários de AR e IAV quase
concordam sobre a facilidade da marcação de seta remota (Q13) e do esboço remoto
(Q15). No entanto, apenas os usuários de RA são
13
Automação na Construção 107 (2019) 102940
Seta Virtual
Esboço Remoto
(b) Marcação e esboços remotos
(Visualização do Módulo AR)
satisfeitos com a precisão do esboço remoto (Q16) (média = 2,07) enquanto IAV
estão menos satisfeitos (média = 2,57). Considerando a questão 17, os escores
indicaram que os usuários do IAV acreditam que encontrar a tag da tarefa é uma
tarefa fácil no VE (média = 2,50). Os usuários do módulo AR, no entanto, mostraram-
se mais confiantes sobre a facilidade de encontrar tarefas marcadas (média = 1,90).
Durante a sessão de IVC, ambos os usuários têm nível de satisfação quase
semelhante sobre a experiência de interação AR-IAV (Q18) (média = 1,57 e 1,43) e
experiência visual AR-IAV (média = 1,43 e 1,53).
Além disso, a Tabela 7 demonstra os mínimos, máximos, médias e desvios
padrão (DP) para o tempo necessário para os trabalhadores de campo identificarem
um componente de construção (por exemplo, um interruptor de luz ou um termostato)
com base em duas condições. A primeira condição é sem usar o modo IVC (conforme
realizado na Tarefa 4) e a segunda condição é com o modo IVC (conforme realizado
na Tarefa 11). Ao comparar as médias, percebe-se que encontrar tarefas com
suporte de CIV levou menos tempo (1,82 s) que é cerca de 15% do tempo para
realizar a tarefa sem suporte.
Para o mesmo teste relacionado à identificação de um componente construtivo
com ou sem IVC, a Tabela 8 mostra os resultados da ANOVA one-way. Neste caso,
o primeiro grupo de trabalhadores de campo utilizou o IVC enquanto o segundo
grupo não. Os resultados são estatisticamente significativos entre as diferentes
condições do teste. Todas as diferentes variáveis do questionário foram analisadas
usando uma ANOVA de medidas repetidas unidirecionais com um alfa
nível de 0,05.
5.2.1.2. Observações dos participantes. A Tabela 9 resume as observações dos
participantes sobre sua experiência com os módulos AR e IAV durante o teste. Suas
observações podem ser categorizadas em duas categorias: observações positivas e
observações negativas. Algumas observações incluem recomendações sobre
recursos que eles acreditam ser bom ter para melhorar as tarefas de FM.
A Fig. 13 resume as opiniões dos oito trabalhadores do FM sobre a utilidade
geral do CBIM3R-FMS comparando o método convencional da prática atual e o
método IVC baseado em cinco critérios: (1) A facilidade de uso; (2) Tempo para
realizar as tarefas; (3) A exatidão das informações; (4) Colaboração; e (5) A
adaptabilidade do método.
Ao comparar as médias de cada categoria, os resultados mostraram que os
trabalhadores preferiram utilizar o CIV em relação ao que estão utilizando em sua
prática atual. No entanto, eles têm uma dúvida sobre a adaptabilidade do sistema.
Quase todos concordaram que o uso de novas tecnologias pode expor sua
privacidade e eles podem sentir que são rastreados e todos os seus erros podem ser
registrados. É claro que os gerentes das instalações discordarão, pois não consideram
essa capacidade como uma desvantagem.
5.2.1.3. Avaliação da precisão da interação remota. Para avaliar o
 14
Lista
de
tarefas
e
seu
tempo
médio
e
erros. Tabela
3
Modo
Colaborativo Modo
Não
Colaborativo
1
17
Inativo 16 15
Inativo 14
Inativo 13
Escolha
o
elemento
marcado
(ou
seja,
termostato)
e
atualize
seu 12 11
Nome
do
elemento
pontiagudo
(três
tentativas). 10
Inativo 9 8 7 6 5 4 3 2 Não.
Tarefas
condição
atual
(ou
seja,
Ruim,
Bom,
Excelente). Parado usuário
do
módulo
AR
esboço
criado. Pressione
o
botão
PART
para
colocar
o
novo
termostato
dentro preciso
possível. Pressione
o
botão
MARK
na
seta
amarela
que
apareceu
como do
utilizador. Pressione
o
botão
CONSTRAINED
MODE
para
reposicionar
o
IAV triângulo
desenhado
na
parede
o
mais
preciso
possível Pressione
o
botão
SKETCH
para
esboçar
sobre
o Pressione
o
botão
LIGHT
para
acender
as
luzes reposicione-
o
em
torno
do
elemento
de
destino. Pressione
o
botão
HATCH
para
ativar
o
Virtual
Hatch
e texto) elemento
(termostato)
e
leia
o
nome
do
elemento
(verde Pressione
o
botão
INFO.
Vá
para
a
Tarefa
nº
3
e
escolha
no
alvo siga
a
seta
de
orientação
e
nomeie
a
tarefa
marcada
nº
1 Continue
olhando
ao
redor
e
nomeie
a
tarefa
marcada
nº
2
ociosa
Quando
o
texto
vermelho
ficar
verde,
pressione
o
botão
GUIDE
e Inicie
o
módulo
AR
e
aponte
para
a
área
alvo
de
teste.
Pressione
o
botão
de
atualização
para
atualizar
o
registro. Parado o
usuário
RA. Pressione
a
tecla
3
para
esboçar
sobre
o
esboço
remoto
feito
por Leia
a
condição
atualizada
do
termostato. Parado Parado Parado (Seta
Amarela) Pressione
a
tecla
2
no
controlador
de
toque
para
marcar
no
termostato engrenagens
para
navegar. desative
o
modo
restrito
e
use
no
controlador
de
toque Uma
vez
posicionado,
você
pode
pressionar
qualquer
tecla
do
teclado
para Parado Parado Parado Parado Parado Parado Iniciar
módulo
IAV usuário
do
módulo
IAV
registros
para
permitir
que
o
usuário
AR
veja. Para
medir
erros
e
tempo
necessário
para
atualizar colocar
um
elemento
de
construção
em
seu
devido
lugar. Para
medir
o
tempo,
os
erros
e
aprecisão
de seguindo
o
controle
remoto.
Esboçar. Para
medir
o
tempo,
os
erros
e
aprecisão
de revisar
registros
atualizados. Para
medir
os
erros
e
o
tempo
necessário
para atualizar
registros. Para
medir
os
erros
e
o
tempo
necessário
para marca. marcação
no
módulo
AR
em
relação
ao
controle
remoto Para
medir
o
tempo,
os
erros
e
aprecisão
de identificar
um
elemento
pontiagudo
remotamente. Para
medir
o
tempo,
os
erros
e
aprecisão
de marcação
no
módulo
IAV. Para
medir
o
tempo,
os
erros
e
aprecisão
de à
sua
localização
real
relativa. Para
atualizar
a
pose
da
câmera
do
usuário
IAV
remotamente desenho
local. Para
medir
o
tempo,
os
erros
e
aprecisão
de feedback
do
usuário
na
pesquisa
posterior. Para
avaliar
o
efeito
de
luz
georreferenciado
usando feedback
na
pesquisa
pós-
teste. Para
avaliar
a
percepção
visual
de
profundidade
usando identificar
os
atributos
de
um
elemento. Para
medir
o
tempo,
os
erros
e
oesforço
necessários
para sem
orientação
de
seta. Para
medir
o
tempo,
os
erros
e
oesforço
necessário Orientação
de
seta. Para
medir
o
tempo,
os
erros
e
oesforço
necessários
com Iniciando
o
lado
do
servidor
primeiro
Iniciando
o
lado
do
cliente
em
segundo
lugar. Propósito
11,88
4,35
0,60 SD
médio
SD
médio Tempo
(seg.)
1,02
0,30
0,00 5,15
1,30
0,13 4,97
1,00
0,20 1,17
0,80
0,03 3,76
1,70
0,13 1,02
0,40
0,07 1,82
0,84
0,23 2,01
1,30
0,20 4,99
1,00
0,10 6,69
1,60
0,33 0,66
0,20
0,00 3,47
2,30
0,27 3,05
2,80
0,20 1,22
0,8 0,77
0,20
0,10 0,79
0,10
0,00
0,37 Nº
de
erros
0,00 0,35 0,41 0,18 0,35 0,25 0,50 0,48 0,31 0,61 0,00 0,52 0,48 0,89 0,67 0,31 0,00
Automação na Construção 107 (2019) 102940 K. El Ammari e A. Hammad
Machine Translated by Google
Machine Translated by Google

K. El Ammari e A. Hammad Automação na Construção 107 (2019) 102940

Tabela 4
Questionário pós-cenário.

Não Pergunta escala de Likert

IBM (PSSUQ) 8 No geral, estou satisfeito com a facilidade de concluir esta tarefa. 1 = Concordo Fortemente a 7 = Discordo Fortemente
9 No geral, estou satisfeito com a quantidade de tempo que levou para concluir esta tarefa. 1 = Concordo Fortemente a 7 = Discordo Fortemente
10 No geral, estou satisfeito com as informações de suporte ao concluir esta tarefa. 1 = Concordo Fortemente a 7 = Discordo Fortemente
NASA-TLX 11 Demanda Mental: Quão mentalmente exigente foi a tarefa? 1 = Muito baixo a 7 = Muito alto
12 Demanda Física: Quão mentalmente exigente foi a tarefa? 1 = Muito baixo a 7 = Muito alto
IVC 13 Estou satisfeito com a facilidade de marcação de seta remota. 1 = Concordo Fortemente a 7 = Discordo Fortemente
14 Estou satisfeito com a precisão da marcação de seta remota. 1 = Concordo Fortemente a 7 = Discordo Fortemente
15 Estou satisfeito com a facilidade do desenho remoto. 1 = Concordo Fortemente a 7 = Discordo Fortemente
16 Estou satisfeito com a precisão do esboço remoto. 1 = Concordo Fortemente a 7 = Discordo Fortemente
17 Estou satisfeito com a facilidade de encontrar a tag de tarefa. 1 = Concordo Fortemente a 7 = Discordo Fortemente
18 No geral, estou satisfeito com a experiência de interação AR-IAV. 1 = Concordo Fortemente a 7 = Discordo Fortemente
19 Você tem outros comentários, perguntas ou preocupações?

Tabela 5 Tabela 7
Demografia dos participantes do teste. Estatísticas descritivas para o tempo de identificação de tarefas marcadas.

Variáveis Frequência Porcentagem (%) Tempo (seg.)

Gênero Macho 22 73 Sem IVC Com IVC

Fêmea 8 27
Era 18–24 1 3 Mínimo 02.02 00.90
25–34 19 63 Máximo 20,49 35/03
35–44 8 27 Significa 11,88 01.82
45–54 2 7 Desvio padrão 04.35 00.84
Nível de educação Ensino médio 6 20
bacharelado 10 33
Mestrado 13 44
Tabela 8
Doutorado 1 3
23 77
Resultados da análise ANOVA para variáveis dependentes IVC.
Formação profissional Engenharia
Não-engenharia 7 23 Fonte de variação SS df MS F-ratio P-valor F-crítico
Experiência FM Sim 8 27
Não 22 73 2579,25 1 2579,25 14,78 0,0003 4,007
Entre grupos
Experiência BIM Sim 18 60 10.118,86 58 174,46
Dentro dos grupos
Não 12 40 Total 12.698,11 59
Experiência de realidade mista apenas VR 16 53

Somente RA 0 0
SS = Soma Quadrada, df = Grau de Liberdade, MS = Média Quadrada, F = F estatística.
RA e RV 5 17
Não 9 30
Problema de visão relatado Sim 9 30
Não 21 70 calculado conforme mostrado na Tabela 10: (1) para o alvo da verdade no solo em IAV
módulo, (2) para o alvo de verdade no módulo AR e (3) entre AR
e marcas de módulos IAV.
experiência de colaboração interativa usando o modo IVC, é importante Os resultados mostram que o erro médio para o ponto alvo é de 1,03 cm
avaliar a precisão da marcação remota e do esboço com respeito no módulo AR e 1,12 cm no módulo IAV, e o erro médio
ao modelo BIM georreferenciado. Primeiro, o gerente da instalação é mostrado um entre as marcas AR e IAV é de 0,31 cm. Esses valores indicam que
ponto alvo (ou seja, o ponto central da Fig. 14) e pediu para marcar em cima o nível de precisão é aceitável para apontar em componentes de instalações
isto. Em segundo lugar, a nova seta apontada adicionada pelo gerente da instalação é pequenas, como componentes elétricos. Além disso, a mesma precisão
mostrado no módulo AR, e o trabalhador de campo é solicitado a marcar no topo é alcançável ao executar o esboço.
dele com a maior precisão possível. Então, os três erros a seguir Vários fatores podem afetar a precisão da marcação relacionada ao AR
(máximo, mínimo, médias e desvios padrão) são e módulos IAV, conforme mostrado na Tabela 11. A habilidade do usuário pode ser aprimorada

Tabela 6
Estatística descritiva para o questionário pós-cenário.

Pergunta nº. Condições de teste

Módulo AR módulo IAV

Mín. Máx. Mediana Significa SD Mín. Máx. Mediana Significa SD

Q8 1 3 2 1,77 0,68 1 3 2 2.17 0,79

Q9 1 3 2 1,77 0,73 1 4 2 2,20 0,89
Q10 1 3 2 1,73 0,64 1 3 2 2.10 0,71
Q11 1 4 1 1,37 0,72 1 4 1,5 1,83 1,02
Q12 1 4 2 1,77 0,90 1 4 2,5 2,33 1.12
Q13 1 3 1 1,33 0,55 1 3 1 1,37 0,56
Q14 1 3 1 1,47 0,63 1 3 1 1,53 0,68
Q15 1 3 2 1,57 0,57 1 3 1 1,47 0,57
Q16 1 4 2 2.07 0,74 1 5 2 2,57 1,07
Q17 1 3 2 1,90 0,66 1 6 2 2,50 1,38
Q18 1 4 1 1,57 0,73 1 4 1 1,43 0,68

15
Machine Translated by Google

K. El Ammari e A. Hammad Automação na Construção 107 (2019) 102940

Tabela 9

Resumo das observações dos participantes.

Observações positivas Observações negativas

Módulo AR • Colaborar com um colega de trabalho e compartilhar sua visão parece muito claro e • O módulo AR não pode ser usado no modo mãos-livres usando óculos AR.
exato. • Usar um tablet pesado e grande pode ser fisicamente exigente para alguns
• Interagir remotamente usando marcação e esboço economiza tempo e elimina usuários.

erros. • Precisa de treinamento extra para evitar cometer erros

• Encontrar elementos de construção, sem olhar para mapas ou modelos 3D complexos, é muito • Usar a tela sensível ao toque para marcar e desenhar pode ser complicado e
interessante e economia de tempo. acionar acidentalmente alguns botões.
• O AR baseado em BIM torna as tarefas de inspeção e manutenção muito mais fáceis.
• A GUI é fácil de usar
Módulo IAV • A interação com o trabalhador de campo remoto parece que o usuário está realmente lá. • O recurso de pesquisa de elementos está ausente.
• A interação com o trabalhador remoto pode reduzir o tempo de espera pela aprovação. • Precisa de mais treinamento com os controladores.
• Sem enjoo de movimento.
No geral • A experiência de interação visual AR-IAV é muito promissora. • Adicionar bate-papo por áudio pode economizar tempo extra.
• Adaptabilidade do sistema.
• Problemas de privacidade.

Facilidade realizou a tarefa; e nij é o resultado da tarefa i pelo usuário j (nij]1 se o

5 tarefa foi concluída, e nij = 0 se a tarefa não foi bem sucedida e o
4,5 usuário não conseguiu atingir a meta). Então, o erro estatístico de eficácia é
4 calculado usando a Eq. (3).
3,5
3 E (100 E
=
ÿ

)
2,5 ÿ E
R (3)
2
Adaptabilidade Tempo
1,5
Finalmente, a eficácia geral do CBIM3R-FMS é calculada usando
1
Eq. (4).
0,5
0 EEÿ = ± E (4)

A Fig. 15 mostra a escala de eficácia do uso de CBIM3R-FMS. o

porcentagem de participantes que completaram suas tarefas com sucesso
são mostrados em cinza; a porcentagem de fracassados é mostrada em
Preto. Os resultados mostram que a eficácia integral global E é
90,20% com margem de erro estatístico de efetividade (ÿE) de ± 1,8.
Portanto, a eficácia geral do CBIM3R-FMS é determinada como boa
Colaboração Precisão
com suficiente grau de confiança de acordo com a escala apresentada em
Tabela 12.
Prática atual (convencional) IVC

Fig. 13. Gráfico de comparação entre a prática atual e o desempenho da tarefa de IVC 6. Conclusões e trabalhos futuros
(unidade: mm).

A principal contribuição deste trabalho é desenvolver o framework MR para

por mais treinamento como um dos participantes indicou. Embora todos
participantes tiveram uma sessão de treinamento, os resultados mostram que alguns
participantes tiveram dificuldade em usar o botão controlador correto para marcação e
esboçar. Outros tiveram problemas ao usar a tela sensível ao toque do tablet e
aplicando vários toques, o que resultou em várias marcas. Também o
a configuração incorreta das configurações de hardware de RV pode resultar em
e erros. A validação tem três partes principais: (1) teste de usabilidade para
problemas de precisão. Por exemplo, se as câmeras de rastreamento não estiverem configuradas
corretamente, a localização dos controladores não será rastreada corretamente.
Isso significa que o raio usado para marcação e esboço será lançado de
uma posição errada. A estabilidade do rastreamento baseado em recursos é importante
e pode afetar a precisão da marcação e do esboço.
Objetos que aumentam a cintilação ou superfícies invisíveis (ou seja, superfícies do
caixas delimitadoras de elementos de construção) pode causar marcação imprecisa ou
esboçar.
gerenciamento de instalações que possui módulo AR de campo e escritório
Módulo IAV. Esses dois módulos podem ser usados independentemente ou combinados
usando a colaboração visual interativa. O campo e o escritório
tarefas podem ser realizadas de forma independente com a capacidade de consultar e
coordenar a qualquer momento sem má interpretação da tarefa relacionada
dados. A eficiência das tarefas de campo é melhorada minimizando o tempo de entrada de dados
quantificar e analisar os dados relacionados ao questionário realizado, incluindo a
satisfação do usuário, análise de tempo e erros, (2) precisão de
marcação e desenho remotos e (3) eficácia do sistema. Os resultados da validação
mostram que a eficiência das tarefas de campo é melhorada
minimizando o tempo de entrada de dados e erros. Os trabalhadores de campo levaram muito
maior tempo (média = 11,88 s.) para identificar tarefas marcadas usando abordagem não
colaborativa em comparação com a abordagem IVC (1,82 s.). Este
reduziu o tempo em 85%. O número de erros também é reduzido em 62%.

5.2.1.4. Eficácia do CBIM3R-FMS. De acordo com a ISO-9241[51], Além disso, todos os participantes concordaram que poder marcar remotamente um

a eficácia do produto é definida como a precisão e integridade de elemento de construção em um ambiente de RM é útil para interagir visualmente e

realização da meta do usuário. Para medir a eficácia geral do CBIM3R FMS, primeiro a comunicar com um colega de trabalho remoto. O erro médio entre os

porcentagem de usuários que completaram suas tarefas sem a marca do gerente da instalação e a marca do trabalhador de campo é de 0,31 cm. Esse erro

quaisquer erros precisam ser calculados usando a Eq. (2). é considerado aceitável para tarefas de inspeção e manutenção onde
os usuários não só podem apontar para o elemento de construção, mas também
R N
ÿ ÿj = =1 1
nj selecione uma parte específica dele. Por exemplo, os usuários podem marcar uma parte de um
E =
eu

ÿ 100 termostato como tela, botão, etc. Por outro lado, o

RN (2)
resultados de marcação mostram que o erro de marcação da verdade do terreno em
onde N é o número total de tarefas; R é o número de usuários que o módulo AR tem maior distância 1,03 cm. Além disso, ANOVA

16
Machine Translated by Google

K. El Ammari e A. Hammad Automação na Construção 107 (2019) 102940

• Alvo de verdade terrestre • Marcas de campo • Marcas de escritório

Fig. 14. Gráfico de comparação entre a marcação do usuário do módulo AR e a marcação do usuário IAV.

Tabela 10 No entanto, as seguintes limitações ainda precisam ser abordadas no

Estatísticas de erros para marcação remota usando IVC. futuro: (1) Para manter um rastreamento preciso, o sistema requer

Erros (cm) Máx. Mín.
Para o alvo da verdade no módulo IAV 1,80 0,06
Para aterrar o alvo da verdade no módulo AR 1,96 0,09
Entre as marcas dos módulos AR e IAV 1,07 0,03
análise mostrou que não há diferença estatisticamente significativa
entre os meios de utilização do CBIM3R-FMS com e sem IVC.
Além disso, os resultados da validação da eficácia do CBIM3R-FMS mostram
que a eficácia integral global E é de 90,20% com uma eficácia
margem de erro estatística de ± 1,8. Isso indica que a eficácia do sistema é boa de
acordo com a escala ISO. Além disso, os resultados mostram
que os usuários do módulo AR ficaram satisfeitos com a facilidade geral do
módulo (média = 1,77) e o tempo que levaram para concluir as tarefas assinadas (média
= 1,77). Os níveis médios de satisfação geral dos usuários
do módulo IAV é 2,17 pela facilidade de uso e 2,20 pela
tempo de conclusão. Os participantes indicaram que existem alguns aspectos da
abordagem CBIM3R-FMS que podem ser melhorados. Eles recomendaram óculos AR
para o módulo AR para permitir que o trabalhador de campo
realizar suas tarefas com as mãos livres. No geral, eles acharam o CBIM3R-FMS um
ferramenta promissora para tarefas diárias de inspeção e manutenção de FM.
Significa SD recursos bem distribuídos para serem usados como alvos, o que pode ser um desafio
em ambientes internos; (2) O sistema proposto não suporta
1.12 0,50 modo mãos-livres para permitir que os trabalhadores de campo executem suas tarefas enquanto
1,03 0,56
usando o módulo AR; (3) O sistema não suporta oclusão para
0,31 0,28
mover objetos no módulo AR; (4) Usando a tela sensível ao toque para marcação
e esboçar pode ser complicado e acionar acidentalmente alguns botões; e
(5) As questões de privacidade relacionadas ao rastreamento de trabalhadores de campo devem ser
consideradas.
O método proposto foi implementado em um sistema protótipo.
A implementação completa do software exigirá grandes investimentos em
duas direções: (1) escalabilidade do software (ou seja, implementação completa
dos diferentes módulos para lidar com aplicações de grande escala), e (2)
desenvolver o banco de dados BIM com um nível de detalhamento adequado para fins
de visualização para ser usado como espinha dorsal do sistema. Conhecendo
que o BIM está ganhando cada vez mais impulso nas aplicações FM, é
esperava que o banco de dados BIM necessário estivesse disponível.
Para os estudos futuros, como os trabalhadores de campo precisam trabalhar com seus
mãos, recomenda-se investigar métodos para projetar o RA
conteúdo do módulo nas superfícies circundantes em vez de vê-los
através de um tablet ou óculos AR. Embora os óculos AR possam aumentar os
componentes das instalações com base em suas posições no mundo real,

Tabela 11
Fatores identificados que afetam a precisão da marcação.

Habilidade Hardware Programas

módulo IAV Habilidades do usuário de usar controladores controladores de RV Calibração de HMD e controladores
Módulo AR Habilidades do usuário de usar a tela sensível ao toque do tablet Sensibilidade da tela de toque Rastreamento baseado em recursos

17
Machine Translated by Google

K. El Ammari e A. Hammad Automação na Construção 107 (2019) 102940

120%

0% 0% 0%
100%
7% 3%
10% 13% 10% 13% 10% 10% 13% 13% 13%
17% 17% 17%

80%

60%

100% 100% 97% 100%

90% 90% 90% 90% 93%
87% 83% 83% 87% 87% 87% 83% 87%
40%

20%

0%
T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11 T12 T13 T14 T15 T16 T17

Tarefas

Tarefas concluídas sem erros Tarefas concluídas com erros

Fig. 15. Gráfico de eficácia do CBIM3R-FMS.

Tabela 12
Escala de eficácia [51].
Muito mal Mau Normal Bom
0–50% 50-75% 75-90% 90–100%
aumentar objetos em situações críticas pode causar confusão ao
trabalhador de campo e afetar sua segurança. Além disso, a maioria dos atuais
Os fones de ouvido AR (por exemplo, Hololens, salto mágico) não suportam mobilidade.
Além disso, esses fones de ouvido não possuem outras funcionalidades de entrada além de
olhar ou comandos de voz, que podem ser difíceis de usar no trabalho
meio Ambiente. O desafio aqui é a interação com os conteúdos AR
usando as funcionalidades do módulo AR. A tecnologia SixthSense do MIT pode
ser considerado para integração com o módulo AR [52]. Esta tecnologia
mostrou uma nova forma de interação humano-computador que pode ser reinvestigada
para facilitar as tarefas de FM, onde os trabalhadores de campo podem se concentrar mais em
suas tarefas reais de inspeção ou manutenção com uma interação mínima
com a GUI RA. Além disso, problemas de visualização, incluindo movimentação
oclusão de objetos na RA, deve ser investigado. Finalmente, embora o
testes de usabilidade mostraram que os participantes têm preocupações em expor
sua privacidade rastreando suas localizações, rastrear os trabalhadores de campo é
estritamente utilizados para melhorar o seu desempenho. Além disso, o rastreamento pode
melhorar a segurança pessoal em caso de emergências. Esses aspectos devem ser
considerados em trabalhos futuros como argumentos para reduzir a resistência do
trabalhadores ao uso de tecnologias de rastreamento em geral.
Referências
[1] P. Milgram, H. Colquhoun, A taxonomy of real and virtual world display integration, Mixed Reality:
Merging Real and Virtual Worlds, 1 1999, pp. 1–26, https://
doi.org/10.1007/978-3-642-87512-0_1.
[2] S. Gauglitz, B. Nuernberger, M. Turk, T. Höllerer, Em contato com o mundo remoto:
colaboração remota com desenhos de realidade aumentada e navegação virtual,
Anais do 20º Simpósio ACM sobre Software de Realidade Virtual e
Tecnologia 2014, ACM, 2014, pp. 197–205, , https://doi.org/10.1145/2671015.
2671016.
[3] C. Koch, M. Neges, M. König, M. Abramovici, Marcadores naturais para
navegação interna baseada em realidade e manutenção de instalações, Autom. Constr. 48 (2014)
18–30, https://doi.org/10.1016/j.autcon.2014.08.009.
[4] X. Wang, PE Love, MJ Kim, W. Wang, Consciência mútua em design colaborativo:
um sistema de telepresença integrado de realidade aumentada, Comput. Ind. 65 (2) (2014)
314–324, https://doi.org/10.1016/j.compind.2013.11.012.
[5] S. Lukosch, Rumo a co-localização virtual e telepresença com base em
realidade, Semantic Scholar, 2015 http://hci.cs.wisc.edu/workshops/chi2015/
papers/chi15-lukosch.pdf.
[6] KA Piirainen, GL Kolfschoten, S. Lukosch, A luta conjunta do complexo en
engenharia: um estudo dos desafios do design colaborativo, International Journal of
Tecnologia da Informação e Tomada de Decisão 11 (6) (2012) 1087–1125, https://doi.
org/10.1142/S0219622012400160.
[7] B. Sidawi, A. Alsudairi, Os potenciais e as barreiras à utilização de tecnologias avançadas
sistemas computacionais em projetos remotos de construção: caso do Reino da Arábia Saudita
Arabia, Visualization in Engineering 2 (1) (2014) 3–14, https://doi.org/10.1186/
2213-7459-2-3.
[8] Z. Deng, H. Li, C. Tam, Q. Shen, P. Love, Uma aplicação do Internet-based
sistema de gerenciamento de projetos, Autom. Constr. 10 (2) (2001) 239-246, https://doi.
org/10.1016/S0926-5805(99)00037-0.
[9] L. Kestle, Gerenciamento de design de site remoto, Dissertação de doutorado Universidade de
Canterbury, Nova Zelândia, 2009http://hdl.handle.net/10092/3579.
[10] C. Park, D. Lee, O. Kwon, X. Wang, Uma estrutura para defeito de construção proativo
gerenciamento usando BIM, realidade aumentada e coleta de dados baseada em ontologia
modelo, Autom. Constr. 33 (2013) 61–71, https://doi.org/10.1016/j.autcon.2012.
09.010.
[11] L. Hou, X. Wang, M. Truijens, Usando realidade aumentada para facilitar a montagem da tubulação:
uma avaliação baseada em experimentos, J. Comput. Civil Eng. 29 (1) (2013), https://doi.
org/10.1061/(ASCE)CP.1943-5487.0000344.
[12] A. Shirazi, AH Behzadan, Entrega de conteúdo usando realidade aumentada para melhorar
desempenho dos alunos em um projeto de projeto e montagem de um edifício, Avanços na
Educação em Engenharia 4 (3) (2015) n3 (ISSN: EISSN-1941-1766).
[13] N. Yabuki, T. Onoue, T. Fukuda, S. Yoshida, A previsão e prevenção de insolação
sistema para trabalhadores de construção ao ar livre, Visualização em Engenharia 1 (1) (2013)
11, https://doi.org/10.1186/2213-7459-1-11.
[14] J. Irizarry, M. Gheisari, G. Williams, BN Walker, InfoSPOT: um celular aumentado
método de realidade para acessar informações de construção por meio de uma conscientização da situação
abordagem, Autom. Constr. 33 (2013) 11–23, https://doi.org/10.1016/j.autcon.
2012.09.002.
[15] Revizto, Revizto: software de rastreamento de problemas em tempo real para arquitetura, engenharia e
construção com foco na colaboração e coordenação de projetos BIM,
em 23/02/2018 de: https://revizto.com/en/>.
[16] Autodesk360, A360: colaboração para equipes de design, recuperado em 15/03/2018
de: https://a360.autodesk.com/.
[17] Bluescape, espaço de trabalho colaborativo e espaço de trabalho virtual, recuperado em 12/06/
2019 de: https://bluescape.com/.
[18] X. Wang, PS Dunston, Eficácia comparativa do virtual baseado em realidade mista
ambientes em design colaborativo, IEEE Trans. Sistema Homem Cibernético. Parte C Ap.
Rev. 41 (3) (2011) 284–296, https://doi.org/10.1109/TSMCC.2010.2093573.
[19] S. Dong, AH Behzadan, F. Chen, VR Kamat, Visualização colaborativa de en
processos de engenharia usando realidade aumentada de mesa, Adv. Eng. Softw. 55 (2013)
45–55, https://doi.org/10.1016/j.advengsoft.2012.09.001.
[20] D. Datcu, M. Cidota, H. Lukosch, S. Lukosch, Sobre a usabilidade da realidade aumentada
para troca de informações em equipes do domínio da segurança, Proceedings of
Conferência de Informática de Inteligência e Segurança (JISIC), 2014 IEEE Joint 2014,
IEEE, 2014, pp. 160–167, , https://doi.org/10.1109/JISIC.2014.32.
[21] W. Huang, L. Alem, F. Tecchia, HandsIn3D: apoio à orientação remota com ambientes virtuais
imersivos, Anais da Conferência IFIP sobre Humano-Computador
Interação 2013, Springer, 2013, pp. 70–77, , https://doi.org/10.1007/978-3-642-
40483-2_5.
[22] O. Oda, M. Sukan, S. Feiner, B. Tversky, Poster: Referência 3D para tarefa remota
assistência em realidade aumentada, Proceedings of 3D User Interfaces (3DUI), 2013

18
Machine Translated by Google
K. El Ammari e A. Hammad
Simpósio IEEE em 2013, IEEE, 2013, pp. 179–180, , https://doi.org/10.1109/3DUI.2013.6550237 .
[23] J. Normand, M. Servieres, G. Moreau, Uma tipologia de aplicativos de realidade aumentada com base
em seus requisitos de rastreamento, Proceedings of Location Awareness for Mixed and Dual Reality.
Workshop LAMDa. Lisboa, Portugal, 2012 2012.
[24] A. Motamedi, MM Soltani, A. Hammad, Localização de ativos equipados com RFID
durante a fase de operação das instalações, Adv. Eng. Informar. 27 (4) (2013) 566-579, https://
doi.org/10.1016/j.aei.2013.07.001.
[25] G. Deak, K. Curran, J. Condell, Uma pesquisa de sistemas de localização internos ativos e passivos,
Comput. Comum. 35 (16) (2012) 1939-1954, https://doi.org/10.1016/j. com.com.2012.06.004.
[26] A. LaMarca, Y. Chawathe, S. Consolvo, J. Hightower, I. Smith, J. Scott, T. Sohn,
J. Howard, J. Hughes, F. Potter, Place lab: posicionamento do dispositivo usando radio beacons na
natureza, Proceedings of International Conference on Pervasive Computing 2005, Springer, 2005,
pp. 116–133, , https://doi. org/10.1007/11428572_8.
[27] RM Rodriguez, R. Aguilar, S. Uceda, B. Castañeda, estimativa de pose 3D orientada para a
inicialização de um sistema de realidade aumentada aplicado ao patrimônio cultural, Patrimônio
Cultural Digital (2018) 277–288, https://doi .org/10.1007/978-3-319- 75826-8_23.
[28] M. Neges, C. Koch, M. König, M. Abramovici, Combinando marcadores naturais visuais e IMU para
navegação interna baseada em AR aprimorada, Adv. Eng. Informar. 31 (2017) 18–31, https://doi.org/
10.1016/j.aei.2015.10.005.
[29] M. Chu, J. Matthews, PE Love, Integrando modelagem de informações de construção móvel e
sistemas de realidade aumentada: um estudo experimental, Autom. Constr. 85 (2018) 305–316,
https://doi.org/10.1016/j.autcon.2017.10.032.
[30] M. Feick, A. Tang, S. Bateman, Mixed-reality for object-focused remote collaboration, Proceedings of
the 31st Annual ACM Symposium on User Interface Software and Technology Adjunct Proceedings
2018, ACM, 2018, pp. 63 –65, , https://doi. org/10.1145/3266037.3266102.
[31] J. Du, Z. Zou, Y. Shi, D. Zhao, Zero latency: sincronização em tempo real de dados BIM em realidade
virtual para tomada de decisão colaborativa, Autom. Constr. 85 (2018) 51–64, https://doi.org/10.1016/
j.autcon.2017.10.009.
[32] F. Liu, S. Seipel, Estudo de precisão sobre orientação visual baseada em realidade aumentada para
tarefas de gerenciamento de instalações, Autom. Constr. 90 (2018) 79-90, https://doi.org/10. 1016/
j.autcon.2018.02.020.
[33] JB Sørensen, K. Svidt, ambientes virtuais colaborativos multiusuário baseados em BIM para
envolvimento do usuário final, Anais da 35ª Conferência Internacional Anual de eCAADe–Educational
and Research in Computer Aided Architectural Design in Europe Education and Research in
Computer Aided Architectural Design in Europa 2017, 1 eCAADe, 2017, pp. 111–118.
[34] TW Kang, CH Hong, Um estudo sobre arquitetura de software para integração eficaz de dados de
gerenciamento de instalações baseada em BIM/GIS, Autom. Constr. 54 (2015) 25-38, https://doi.
org/10.1016/j.autcon.2015.03.019.
[35] Khaled El Ammari, abordagem de realidade mista baseada em BIM de colaboração remota para
tarefas de campo de gerenciamento de instalações de apoio, tese de doutorado, Concordia
University (2018).
19
Automação na Construção 107 (2019) 102940
[36] R. Williams, H. Shayesteh, L. Marjanovic-Halburd, Utilizando modelagem de informações de
construção para gerenciamento de instalações, International Journal of Facility Management 5 (1)
(2014).
[37] Z. Wu, N. Wang, J. Shao, G. Deng, método de projeção de raios GPU para visualizar tubulações 3D
em um globo virtual, International Journal of Digital Earth 2018 (2018) 1–14, https:// doi.org/
10.1080/17538947.2018.1429504.
[38] J. Han, Introdução à computação gráfica com OpenGL ES, CRC Press, 2018 (ISBN-13:
978-1498748926).
[39] Unity3D, motor de jogo Unity3D, obtido em 14/04/2018 em: http://unity3d.
com.
[40] Ville de Montréal, The digital model of southwest and Ville-Marie - CityGML LOD2 building with
textures, Recuperado em 05/10/2017 de: http://donnees.ville. montreal.qc.ca/dataset/maquette-
numerique-batiments-citygml-lod2-avec texturas.
[41] Revit, Building Information Modeling Applications, obtido em 22/05/2018 em: http://www.autodesk.com/
products/revit-family/overview>.
[42] Vuforia SDK, Como instalar a extensão Vuforia SDK Unity3D, obtido em 12/09/2017 em: https://
library.vuforia.com/articles/Solution/Installing-the-Unity Extension>.
[43] Apache, analisador java Xerces, recuperado em 06/02/2018 de: https://xerces.apache.
org/xerces-j/.
[44] Connectify, Connectify Hotspot, Recuperado em 12/06/2019 em: www.connectify.
Eu/.
[45] FlirOne, câmeras de imagem térmica para seu smartphone, recuperada em 12/01/2018 em: https://
www.flir.ca/flir-one/.
[46] Oculus, revisão do headset de realidade virtual, recuperado em 01/03/2018 em: https://
www.oculus.com/.
[47] Vuforia, recursos naturais e classificações de imagem, recuperado em 01/03/2018 em: https://
library.vuforia.com/articles/Solution/Optimizing-Target-Detection-and Tracking-Stability#Natural-
Features-and -Avaliações de imagem>.
[48] Turner, JR e Thayer, J. (2001). "Introdução à Análise de Variância: Design, Análise e Interpretação."
Sage Publications, Londres. ISBN-13: 978-0803970748.
[49] JR Lewis, questionários de satisfação de usabilidade do computador IBM: avaliação psicométrica e
instruções de uso, International Journal of Human-Computer Interaction 7 (1) (1995) 57–78, https://
doi.org/10.1080/10447319509526110.
[50] SG Hart, índice de carga de tarefas da NASA (NASA-TLX); 20 anos depois, Proceedings of the
Human Factors and Ergonomics Society Annual Meeting 2006, Sage Publications Sage CA, Los
Angeles, CA, 2006, pp. 904–908, , https://doi.org/10.1177/ 154193120605000909.
[51] ISO, ISO 9241-11:1998, requisitos ergonômicos para trabalho de escritório com terminais de exibição
visual (VDTs) - parte 11: orientação sobre usabilidade, recuperado em 04/05/2018 em: https://
www.iso.org /obp/ui/#iso:std:iso:9241:-11:ed-1:v1:en.
[52] P. Mistry, P. Maes, SixthSense: a wearable gestural interface, Proceedings of ACM SIGGRAPH ASIA
2009 Sketches 2009, ACM, 2009, p. 11, , https://doi.org/10. 1145/1667146.1667160.