Machine Translated by Google

(19)
TEPZZ 4 9¥9B_T
(11) EP 2 422 939 B1

(12) ESPECIFICAÇÃO DE PATENTE EUROPEIA

(45) Data de publicação e menção da (51) Int Cl.:

concessão da patente: B25J 13/02 (2006.01) B25J 13/08 (2006.01)
19.06.2013 Boletim 2013/25 B25J 13/00 (2006.01) B25J 19/02 (2006.01)

(21) Número do pedido: 11186566.3

(22) Data de depósito: 19.12.2007

(54) Método e aparelho para controle háptico

Verfahren und Vorrichtung zur haptischen Steuerung

Procedé et appareil pour control haptique

(84) Estados contratantes designados: (72) Inventores: •

AT BE BG CH CY CZ DE DK EE ES FI FR GB GR Horan, Ben
HU IE É LI LT LU LV MC MT NL PL PT RO SE Essendon, Vic, 3040 (AU) •
SI SK TR Bhatti, Asim
Highton, Vic, 3216 (AU) •
(30) Prioridade: 19.12.2006 AU 2006907038 P Nahavandi, Saeid
18.05.2007 AU 2007902660 P Highton, Vic, 3216 (AU)
13.07.2007 AU 2007903796 P
(74) Representante: Mertens, Hans Victor EP&C
(43) Data de publicação do pedido: PO
29.02.2012 Boletim 2012/09 Box 3241 2280
GE Rijswijk (NL)
(62) Número(s) do(s) documento(s) do(s) pedido(s) anterior(es) em
de acordo com o art. 76 CEP: (56) Referências citadas:
07845409.7 / 2 099 588 EP-A2-1 629 949 WO-A1-95/20788
WO-A1-2005/039835 WO-A2-2006/037017
(73) Proprietário: Deakin University US-A1- 2001 002 098 US-B1- 6 946 812
Waurn Ponds, Victoria 3221 (AU)

939
422
B1
EP
2

Nota: No prazo de nove meses a contar da publicação da menção da concessão da patente europeia no Boletim Europeu de Patentes,
qualquer pessoa pode notificar o Instituto Europeu de Patentes de oposição a essa patente, nos termos do Regulamento de Execução.
A notificação de oposição não será considerada apresentada até que a taxa de oposição tenha sido paga. (Art. 99(1) Convenção da
Patente Europeia).

Impresso por Jouve, 75001 PARIS (FR)

Machine Translated by Google

EP 2 422 939 B1

Descrição

CAMPO DE INVENÇÃO

5 [0001] A presente invenção refere-se ao campo de interface remota utilizando tecnologia háptica. "Haptic" refere-se ao sentido do toque e, como
tal, qualquer tecnologia que crie um sentido de toque ou, geralmente, sensação de feedback sensorial para um operador humano pode ser
classificada como tecnologia háptica.

ANTECEDENTES DA INVENÇÃO

10
[0002] Ao longo desta especificação, o uso da palavra "inventor" no singular pode ser tomado como referência a um (singular) ou todos (plural)
inventores da presente invenção. O inventor identificou o seguinte art.
[0003] Em geral, o campo de haptics refere-se ao desenvolvimento, teste e refinamento de dispositivos táteis e de feedback de força e software
de suporte que permitem aos usuários sentir, ou "sentir", e manipular objetos virtuais ou um ambiente em relação a tais atributos como forma,
15 peso, texturas de superfície, temperatura e assim por diante.
[0004] De modo geral, pode-se afirmar que dos cinco sentidos, a saber, visão, audição, olfato, tato e paladar, é a visão, a audição e o tato que
fornecem mais informações sobre um ambiente, sendo os demais sentidos mais sutis .
[0005] Em humanos, a sensação tátil é geralmente obtida por meio de células receptoras localizadas perto da superfície da pele, cuja maior
densidade pode ser encontrada nas mãos. Esses receptores podem perceber vibrações de até cerca de 300 Hz.
20 Portanto, em uma interface háptica, o feedback tátil pode geralmente envolver sensações de frequência relativamente alta aplicadas na
proximidade da superfície da pele, geralmente em resposta ao contato, como tal, entre um usuário e um objeto virtual. Em contraste, a percepção
humana de forças pode ser considerada como de natureza mais cinestésica e pode ser normalmente alcançada por receptores situados mais
profundamente no corpo. Esses receptores estão localizados nos músculos, tendões e articulações e podem ser estimulados pelo movimento e
carregamento de partes do corpo do usuário. A frequência de estímulo desses receptores pode ser muito menor, situando-se na faixa de cerca
25 de 0-10 Hz. Consequentemente, em uma interface háptica, o feedback de força pode compreender forças artificiais exercidas diretamente sobre
o usuário a partir de alguma fonte externa.
[0006] Portanto, pode-se considerar que existem dois aspectos para o sentido do tato; primeiramente o que fornece informação cinestésica e, em
segundo lugar, o que fornece informação tátil. As informações cinestésicas que um usuário percebe sobre um objeto são propriedades grosseiras,
como sua posição no espaço e se as superfícies são deformáveis ou resistentes ao toque. A informação táctil pode ser considerada para transmitir
30 a textura ou rugosidade de um objeto que está sendo 'tocado'. É desejável que ambos os tipos de informações de 'toque' sejam usados em uma
interface háptica realista.
[0007] Interfaces hápticas são sistemas que permitem que um usuário interaja com um ambiente virtual, detectando os movimentos de um usuário
e, em seguida, retransmitindo essas informações para o ambiente virtual. A par desta interação, é fornecido feedback sensorial ao utilizador que
reflete as suas ações neste ambiente, e como resultado, é o design da interface háptica que transmite o nível de interatividade sensorial entre o
35 utilizador e o ambiente virtual.
[0008] Um dispositivo desenvolvido pelo MIT e SensAble Technologies, Inc, é chamado de interface PHANToM™ (Personal Haptic Interface
Mechanism), que é amplamente utilizado no campo da háptica computacional. A interface PHANToM™ pode permitir que um usuário sinta as
forças de interação que experimentaria ao tocar uma versão real de um objeto com um lápis ou a ponta do dedo.

40 [0009] A maioria dos dispositivos hápticos são dispositivos de desktop, como os vendidos na linha PHANToM™, incluindo o PHANToM omni™ e
o PHANToM premium™. Outros dispositivos são geralmente usáveis, como luvas e macacões hápticos, e podem ter altos graus de liberdade e,
consequentemente, são muito caros. Os dispositivos hápticos de custo mais baixo são geralmente dispositivos de desktop, pois têm menos graus
de liberdade (DOF) controlados/acionados em comparação com o DOF total.
Por exemplo, o PHANToM omni™ tem 6 DOF, porém apenas 3 deles são acionados e, portanto, considera-se que este dispositivo fornece
45 apenas interatividade limitada, ou seja, sensores são mais fáceis e baratos de instalar do que motores. Assim, atualmente, alguns dispositivos
hápticos de menor custo comercializados sob a marca PHANToM™ exibem uma realimentação de força disponível apenas para três graus de
liberdade, ou seja, nas dimensões lineares (x, y, z) dos seis graus completos de liberdade.

[0010] Durante o estágio de projeto de uma interface háptica, é necessário determinar o número de sensores e atuadores a serem usados na
50 interface para que o nível de interação forneça feedback de força da mais alta qualidade. Em designs de interface existentes, o inventor está
testemunhando o uso de uma proporção maior de sensor para atuador, o que resulta em uma experiência dimensional altamente interativa, mas
é reduzida no nível de feedback sensorial. A introdução de números de sensores maiores deve-se principalmente às dificuldades em projetar um
sistema de realimentação de força completamente transparente com altos graus de liberdade.
Outro contribuinte é o fator de baixo custo para a implementação comercial de mais sensores sobre atuadores.
55 [0011] A transparência permite que um usuário sinta forças realistas sem se ajustar a problemas mecânicos, como folga e peso da própria
interface. Portanto, é compreensível ver interfaces de maior transparência em um sistema comercial de baixo custo, pois utiliza menos graus de
liberdade que fornecem feedback de força. Dispositivos mais complexos e, portanto, mais caros oferecem consequentemente menos transparência;
no entanto, fornecem maior usabilidade para os requisitos

2
Machine Translated by Google

EP 2 422 939 B1

elementos de renderização e interação com mundos virtuais ricos e complexos.

[0012] As atuais interfaces de baixo custo têm limitações que foram reconhecidas para fornecer certas restrições ao usuário de interagir com o
ambiente virtual. Uma dessas restrições é a capacidade de agarrar e manipular objetos virtuais com feedback sensorial/de força. Agarrar é uma
das habilidades mais básicas da interação humana, mas tem se mostrado uma das mais difíceis de alcançar no que diz respeito ao design de
5 interface háptica.
[0013] As primeiras tentativas de simulação de preensão foram baseadas no uso de dispositivos de dois, três graus de liberdade (DOF).
Embora esta configuração forneça uma simulação muito realista, é necessária uma quantidade significativa de espaço de trabalho, o que é muito
limitante se for feita uma tentativa de utilizar uma abordagem de mão dupla. Houve várias tentativas de desenvolver um dispositivo de mesa
capaz de simular a preensão com manipulação tridimensional e feedback de força; no entanto, a maioria desses dispositivos descreveu
10 ferramentas como ferramentas laparoscópicas ou endoscópicas para cirurgia minimamente invasiva. Em vista disso, também seria desejável
fornecer um dispositivo que fosse capaz de ser adaptado a diferentes aplicações.
[0014] O desempenho interativo do dispositivo PHANToM™ depende de um único ponto de interação com o ambiente virtual ou telemanipulado.
Tentativas foram feitas para introduzir múltiplos pontos de interação através da adição de mecanismos de preensão com feedback de força a um
dispositivo háptico. Essa abordagem permite a extensão da preensão com feedback de força, a adição de movimento e feedback de força com
15 três graus de liberdade. Normalmente, essas adições podem incluir o(s) motor(es) de acionamento e sistema(s) de polia necessários para a
função de preensão a ser incluída na extremidade do dispositivo háptico, o que adiciona peso extra ao sistema e resulta na diminuição do
desempenho geral.
[0015] Uma possível solução para o problema acima, em relação a um único par idealizado de "dedos macios" (ou seja, um ponto de contato com
atrito) onde nenhuma torção interna é exercida sobre um objeto durante a preensão, é usar um único motor de acionamento e sistema de polia
20 de cabo que fica na extremidade de um dispositivo háptico1. Um único motor de acionamento e sistema de polia de cabo relaciona-se com ambas
as pontas dos dedos neste projeto, pois a ponta do segundo dedo sente a força de reação do objeto agarrado (é o mesmo que apertar uma bola
de golfe entre o polegar e o dedo indicador, a força sentida em ambos os dedos é o mesmo). No entanto, não é claramente evidente que a
posição do dedo não atuado seja rastreada. Anexado à polia está um ponto de interação do dedo que é acionado por um sistema de motor e
cabo, dependendo do apêndice que é usado para interagir com o dispositivo, ou seja, a interface do polegar ou do dedo indicador. A outra
25 interface de dedo (ou seja, um dedo oposto para segurar) é acoplada diretamente à interface acionada, o que significa que ambos os dedos se
moverão a uma distância igual um do outro e do dispositivo háptico.
Consequentemente, para reduzir o peso da interface de preensão, é utilizado um pequeno motor de acionamento e, como resultado, a força
máxima do sistema é relativamente pequena. Esse design pode limitar as interfaces dos dedos ao não permitir que o usuário experimente forças
externas individuais aplicadas a cada dedo. Este design também pode ser limitado, pois nenhum torque pode ser exibido ao usuário, o que, em
30 última análise, limita a experiência interativa para um usuário e a aplicabilidade do dispositivo.
1_, K. Salisbury, R. Devengenzo. Em direção à manipulação virtual: de um ponto de contato para quatro. Sensor Review, Vol 24 · Número 1 ·
2004 · pp. 51-59.
[0016] Os problemas mencionados não pretendem ser uma referência exaustiva, mas sim uma indicação, na visão do inventor, quanto às
deficiências gerais que os sistemas atuais encontraram, que tendem a enfraquecer a eficácia das interfaces de preensão previamente
35 desenvolvidas.
[0017] A título de exemplo, a figura 1a ilustra um sistema de interface háptica conhecido 1a tendo uma plataforma com rodas ou esteiras 2a e um
dispositivo háptico disponível comercialmente 3a, como a interface PHANToM™ mencionada acima. O dispositivo háptico 3a tem uma sonda 5a.
As entradas para o sistema 1a na forma de movimentos da mão do operador da sonda 5a são traduzidas em entradas de controle para a
plataforma 2a que são transmitidas através do canal de comunicação 4a. O aumento háptico específico da aplicação é, por sua vez, transmitido
40 ao operador pelo canal 6a.
[0018] Por exemplo, o operador pode controlar o movimento da plataforma 2a enquanto explora um ambiente remoto, auxiliado por imagens de
uma câmera de bordo. Quando é provável que a plataforma colida com um obstáculo, o aumento háptico na forma de forças apropriadas é
fornecido ao operador para indicar ao operador que o robô está prestes a colidir com um obstáculo.

45 [0019] O inventor também identificou o seguinte art. A simulação de movimento pode ser dividida geralmente em dois componentes, a saber,
forças fundamentais de movimento e a sensação ou experiência do corpo durante o movimento.
Com relação ao primeiro componente das forças fundamentais do movimento, a maioria dos simuladores são mais ou menos estacionários e não
possuem impulso, portanto, devem produzir uma força que mova o usuário para simular uma mudança de direção ou impulso para o movimento
simulado. Em geral, os movimentos fundamentais de um simulador podem ser considerados como pitch (inclinar para cima ou para baixo), roll
50 (rolar lateralmente para a esquerda ou direita) e guinada (girar para a esquerda ou para a direita dentro de um plano horizontal). É desejável que
um simulador sofisticado possa também facilitar deslocamentos verticais, laterais e longitudinais, que efetivamente forneçam seis graus de
liberdade ao sistema. Com relação ao segundo componente da sensação corporal de movimento, pode-se dizer que se relaciona com a
interpretação que o cérebro faz da experiência por meio dos sentidos corporais. Considera-se que o ouvido interno e a visão desempenham um
papel importante. O som também pode influenciar a interpretação do movimento pelo cérebro. Além disso, o toque ou a sensação tátil pode
55 fornecer um meio de estabelecer uma realidade interpretada de movimento. A sensação tátil é geralmente fornecida por simuladores de movimento
por meio de drivers de áudio ou geradores de vibração operacionalmente associados à estrutura do próprio simulador.

[0020] Existem vários simuladores de movimento comerciais disponíveis, como simuladores de voo. Exemplo de simuladores

3
Machine Translated by Google

EP 2 422 939 B1

são aqueles oferecidos pela Moog, Inc e suas empresas afiliadas em todo o mundo usando um servo-atuador de base hidráulica configurado de
maneira cinemática de cadeia fechada; no entanto, o movimento e o envelope de trabalho desses sistemas podem ser muito limitados. A tecnologia
de simulador disponível pode usar um 'pod' como o espaço do operador simulado para representar o ambiente físico entre o operador e o sistema
simulado. Em sistemas de simulação ativados por movimento, este pod pode ser montado em uma plataforma de movimento, e pistas visuais e
5 comandos de movimento podem ser gerados em resposta à operação dos controles pelo usuário e à interação do sistema simulado com o
ambiente virtual.
[0021] A maioria dos sistemas de simulador de movimento, seja de voo, carro, simulador de tanque, etc., tem uma fraqueza em comum. A falta de
movimentos de corpo inteiro por meio de restrições mecânicas, por exemplo, ainda é um tópico de pesquisa desafiadora para a tecnologia de
ambiente virtual. Na maioria dos casos, a tecnologia existente pode usar uma "cabine" que representa o veículo físico e seus controles. A cabine
10 pode ser normalmente montada em uma plataforma de movimento, e exibições de janelas virtuais e comandos de movimento podem ser gerados
em resposta à operação dos controles pelo usuário. Esses sistemas também tendem a ser especializados para uma aplicação específica.

[0022] Nos últimos anos também houve a exploração de tal tecnologia pela indústria do entretenimento e passeios de aventura.

15 A US-B-6 776 722 divulga um aparelho compreendendo um braço de robô antropomórfico adaptado para fornecer seis graus de liberdade de
movimento e uma cápsula de usuário para receber o corpo inteiro de um usuário, sendo a referida cápsula de usuário operativamente conectada
ao braço de robô antropomórfico.
No entanto, para muitos tipos de aplicativos de ambiente virtual, pode ser necessário um automovimento mais ativo. Os maiores desafios para o
movimento de corpo inteiro em um ambiente virtual surgem sempre que temos locomoção através de um grande espaço virtual, locomoção sobre
20 características de superfícies variadas e movimento em uma direção diferente da horizontal. Assim, a replicação ou simulação de movimentos de
corpo inteiro representa um tópico desafiador de pesquisa em tecnologia de ambientes virtuais.

SUMÁRIO DA INVENÇÃO

25 [0023] Um objetivo das modalidades aqui descritas é aliviar pelo menos uma desvantagem associada à técnica relacionada, conforme discutido
acima.
[0024] Em um aspecto, a presente invenção fornece um método de simulação de movimento conforme definido na reivindicação 1.
[0025] A etapa de fornecer feedback háptico pode compreender realimentar o movimento rastreado do usuário para uma interface para adaptar a
percepção do usuário do ambiente simulado.
30 [0026] A etapa de retroalimentação pode compreender a transformação de uma visão do usuário em uma quantidade negativa que complementa
o movimento rastreado. O movimento rastreado pode compreender um ou uma combinação de:

posição nas coordenadas cartesianas X, Y e Z; e orientação

compreendendo guinada, inclinação e rotação.
35
[0027] O método de simulação de movimento pode compreender ainda a etapa de fornecer um ou uma combinação de:

pelo menos uma sugestão de movimento principal gerada pelo braço do robô e correspondente à posição e/ou orientação do pod; pelo menos
uma
40 sugestão de movimento menor gerada por pelo menos um atuador háptico fornecido no pod e operacionalmente associado ao usuário; pelo
menos uma
sugestão de feedback de força gerada pelo pelo menos um atuador háptico para simular fenômenos físicos encontrados pelo usuário no
ambiente simulado.

45 [0028] O método de simulação de movimento também pode compreender ainda a etapa de associar operativamente o controle de software
programado para relacionar uma pluralidade de aplicativos de ambiente simulado com um controlador de movimento do braço do robô. A etapa
de associar operativamente o controle de software com o controlador de movimento pode compreender as etapas de:

gerar sinais de controle de usuário associados a dispositivos de pod controlados pelo usuário e compreendendo parâmetros de movimento;
50 comunicar os sinais de controle ao controle de software para acionar comandos de movimento para o braço do robô.

[0029] O método de simulação de movimento pode ainda compreender um ou uma combinação de:

gerar um banco de dados de movimento empírico composto por dados de movimento capturados para simular cenários de simulação
55 predeterminados e/ou modelagem;
acessar um banco de dados de movimento empírico existente composto por dados de movimento capturados para simular cenários de
simulação predeterminados e/ou modelagem.

4
Machine Translated by Google

EP 2 422 939 B1

[0030] No método de simulação de movimento, a etapa de rastreamento de movimento pode compreender uma ou uma combinação de
informações posicionais e/ou orientacionais do corpo e/ou partes do corpo do usuário e é obtida por uma ou uma combinação de:

magnético;
5 eletromagnético; e, meios
ópticos de captura de movimento.

[0031] Em outro aspecto, a presente invenção fornece um aparelho simulador de movimento, conforme definido na reivindicação 5.
[0032] O aparelho simulador de movimento pode ainda compreender: uma interface de controle do usuário operacionalmente associada ao pod
10 e ao braço do robô para fornecer ao usuário uma percepção do ambiente simulado; e; dispositivos de rastreamento para rastrear o movimento
do usuário.
[0033] A interface háptica do aparelho simulador de movimento pode ser adaptada para realimentar o movimento rastreado do usuário para a
interface de controle do usuário para adaptar a percepção do usuário do ambiente simulado.
[0034] O aparelho simulador de movimento pode ainda compreender meios de transformação para transformar uma visão do usuário em uma
15 quantidade negativa que complementa o movimento rastreado.
[0035] Na função do aparelho simulador de movimento, o movimento rastreado pode compreender um ou uma combinação de: posição em
coordenadas cartesianas X, Y e Z; e orientação compreendendo guinada, inclinação e rotação.
[0036] Além disso, na função do aparelho simulador de movimento, o movimento rastreado pode compreender uma ou uma combinação de
informações posicionais e/ou orientacionais do corpo e/ou partes do corpo do usuário e é obtido por uma ou uma combinação de:
20

magnético;
eletromagnético; e, meios
ópticos de captura de movimento.
25
[0037] O aparelho simulador de movimento pode ser adaptado para fornecer um ou uma combinação de:

pelo menos uma sugestão de movimento principal gerada pelo braço do robô e correspondente à posição e/ou orientação do pod; pelo
menos
30 uma sugestão de movimento menor gerada por pelo menos um atuador háptico fornecido no pod e operacionalmente associado ao
usuário; pelo
menos uma sugestão de feedback de força gerada pelo pelo menos um atuador háptico para simular fenômenos físicos encontrados pelo
usuário no ambiente simulado.

35 [0038] O aparelho simulador de movimento pode ainda compreender um produto de computador compreendendo controle de software
programado para relacionar uma pluralidade de aplicativos de ambiente simulado e adaptado para associação operacional com um controlador
de movimento do braço do robô do aparelho simulador de movimento. O controle de software pode ser operacionalmente associado ao
controlador de movimento por meios de geração de sinal de controle de usuário para gerar sinais de controle de usuário associados a
dispositivos pod controlados pelo usuário e compreendendo parâmetros de movimento, e; meios de comunicação para comunicar os sinais de
40 controle ao controle de software para acionar comandos de movimento para o braço do robô.
[0039] O aparelho simulador de movimento pode ainda compreender um ou uma combinação de:

um banco de dados de movimento empírico gerado in situ e composto por dados de movimento capturados para simulação de cenários
de simulação predeterminados e/ou
45 modelagem; meios de acesso para acessar um banco de dados de movimento empírico existente composto por dados de movimento
capturados para simular cenários de simulação predeterminados e/ou modelagem.

[0040] As modalidades preferenciais fornecem aparelhos adaptados para simular movimento, o referido aparelho compreendendo:

50 meios processadores adaptados para operar de acordo com um conjunto de instruções predeterminado,
sendo o referido aparelho, em conjunto com o referido conjunto de instruções, adaptado para executar qualquer uma ou mais das etapas
do método de simulação de movimento aqui descrito.

[0041] As modalidades preferenciais também fornecem um programa de computador compreendendo instruções para, quando executado em
55 um processador, realizar qualquer uma ou mais das etapas do método de simulação de movimento aqui descrito.
[0042] Em essência, os aspectos da presente invenção decorrem da percepção de que fornecer um movimento de corpo inteiro através dos
planos X, Y e Z do sistema de coordenadas cartesianas em qualquer orientação em combinação com feedback tátil, a quantidade de realismo
físico ou suspensão da descrença de um usuário pode ser significativamente estabelecida pelo fiel resultante

5
Machine Translated by Google

EP 2 422 939 B1

sugestões de movimento que se tornam disponíveis. Consequentemente, a segunda modalidade aqui descrita pode ser considerada para fornecer
um Simulador de Movimento Universal (UMS).
[0043] Uma série de vantagens são fornecidas, tais como:

5 O sistema completo pode aumentar a quantidade de realismo físico ou a suspensão da descrença que pode ser experimentada pelo usuário
como resultado direto de indicações de movimento mais realistas e fiéis.

[0044] Pode eliminar problemas de enjôo para os usuários como resultado da redução da confiança no alinhamento de pistas visuais e de
movimento por meio da combinação de movimento translacional para movimento rotativo e o uso do raio de giro do mesmo tamanho ao mudar de
10 direção [0045] A precisão de
os modelos de simulação de movimento humano podem ser altamente aprimorados.
[0046] Além disso, um ou vários projetos de pesquisa podem ser apoiados por esta unidade UMS e visam aumentar a segurança veicular e prevenir
acidentes veiculares, portanto, o simulador proposto também pode oferecer um valor social significativo.
[0047] A instalação UMS hapticamente habilitada pode fornecer uma ampla variedade de movimentos simulados avançados para melhorar
15 significativamente as capacidades e qualidade de pesquisa de programas de pesquisa colaborativa.
[0048] Áreas específicas de pesquisa podem ser apoiadas pela instalação UMS preferida, como as seguintes:

• Controle eletrônico de estabilidade em veículos e alerta para situações de perda de controle • Análise de
fadiga de motoristas • Melhoria da
20 segurança de veículos todo-o-terreno em fazendas • Efeitos do
movimento na velocidade e precisão do alcance do motorista • Dinâmica veicular
em tempo real

[0049] Ao longo desta especificação, incluindo as reivindicações, usamos os termos:

25
"ASHA" como um acrônimo para "aumento háptico específico do aplicativo"; e "ICHA" como
um acrônimo para "aumento háptico de controle de entrada".

[0050] Outros aspectos e características preferenciais das modalidades são divulgados no relatório descritivo e/ou definido nas reivindicações
30 anexas, fazendo parte desta descrição.
[0051] Salienta-se que a primeira e a terceira modalidades mencionadas a seguir não fazem parte da presente invenção.
Apenas a segunda forma de realização é ilustrativa da presente invenção.
[0052] O escopo adicional de aplicabilidade das presentes modalidades ficará evidente a partir da descrição detalhada fornecida a seguir. No
entanto, deve ser entendido que a descrição detalhada e os exemplos específicos, embora indicando modalidades preferenciais, são dados apenas
35 a título de ilustração, uma vez que várias alterações e modificações dentro do escopo da divulgação aqui se tornarão evidentes para os versados
na técnica a partir deste descrição detalhada.

BREVE DESCRIÇÃO DOS DESENHOS

40 [0053] Outras características e vantagens de uma ou mais modalidades preferidas serão facilmente aparentes para um versado na técnica a partir
da seguinte descrição escrita com referência e, usada em conjunto com os desenhos anexos, que são dados por meio de apenas ilustração e,
portanto, não limitam o escopo da presente invenção, e em que:

45 A Figura 1a é uma vista esquemática de um sistema de interface háptica

conhecido; A Figura 1 é uma vista em perspectiva de uma interface de preensão háptica de acordo com uma primeira modalidade aqui
descrita; A Figura 2 é uma vista em perspectiva explodida de uma interface de preensão háptica de acordo com a primeira modalidade aqui
descrita; A Figura 3
é outra vista em perspectiva de uma interface de preensão háptica de acordo com a primeira modalidade aqui descrita; A Figura 4 é uma vista
50 frontal
de uma interface de preensão háptica de acordo com a primeira modalidade aqui descrita; A Figura 5 é uma vista posterior de uma
interface de preensão háptica de acordo com a primeira modalidade aqui descrita; A Figura 6 é uma vista lateral de uma interface de
preensão háptica de acordo com a primeira modalidade aqui descrita; A Figura 7 é uma vista superior de uma interface de preensão
háptica de acordo com a primeira modalidade aqui descrita; A Figura 8 é uma vista inferior de uma interface de preensão háptica de
55 acordo com a primeira modalidade aqui descrita.
A Figura 9 é uma vista em perspectiva de um simulador de movimento universal de acordo com uma segunda modalidade preferencial aqui
descrita; A Figura 10
é um fluxograma que ilustra feedback geral e controle para um simulador de movimento universal de acordo

6
Machine Translated by Google

EP 2 422 939 B1

com uma segunda forma de realização preferida aqui descrita; A

Figura 10a é um fluxograma detalhado adicional que ilustra feedback geral e controle para um simulador de movimento universal de
acordo com uma segunda modalidade preferencial aqui descrita; A Figura 10b é um
diagrama de blocos esquemático do simulador da Figura 10 e 10a; A Figura 10c é uma vista
5 em perspectiva mais detalhada de uma cápsula modificada conforme mostrado na Figura 9; A Figura 11
é outra vista em perspectiva de uma cápsula modificada para uso com um simulador de movimento universal de acordo com uma
segunda modalidade preferencial aqui descrita; A Figura 12 é
outra vista em perspectiva de um pod modificado para uso com um simulador de movimento universal mostrando o aparelho de captura
de movimento de acordo com uma segunda modalidade preferencial aqui descrita; A Figura 13 é um
10 diagrama de blocos esquemático de um controle de operador e plataforma móvel de acordo com uma terceira modalidade; As Figuras
14, 15 e 16 ilustram detalhes da modalidade ilustrada na Figura 13; As Figuras 17 e 17a ilustram
detalhes da arte da Figura 1a; e a Figura 18 é um fluxograma que ilustra
aspectos da operação da modalidade da figura 13.

15 DESCRIÇÃO DA MODALIDADE PREFERIDA

[0054] Uma primeira modalidade refere-se a um método e aparelho para fornecer uma interface háptica. Em uma forma particular, a presente
modalidade refere-se a um método e aparelho para facilitar a preensão de objetos em uma interface háptica. Será conveniente descrever a
seguir a modalidade em relação ao uso do aparelho para fornecer uma interface de pinça háptica refletora de força para uma pluralidade de
20 pontos de interação do dedo, no entanto, deve ser apreciado que a modalidade não está limitada apenas a essa aplicação.

[0055] Ao desenvolver a primeira modalidade descrita, duas questões foram consideradas para resolução. Primeiramente, definiu-se a
quantidade de pontas de dedos virtuais (avatares) que são necessárias para o fechamento completo da forma (pegada estável) para as
diferentes aplicações de uma pinça remota. Em segundo lugar, há o design de uma interface humana que pode acomodar esses requisitos
25 multiponto. Uma aplicação de considerável interesse é o treinamento médico, como a cirurgia minimamente invasiva. Esta área de háptica
está se tornando cada vez mais plausível devido ao fato de que a comunidade de pesquisa háptica está contribuindo muito para essa área.
Em outro campo, as aplicações militares, como a teleoperação em ambientes perigosos, permitem a avaliação e desarmamento seguros de
objetos sensíveis e perigosos. Aplicações industriais, como treinamento de operadores, permitem a educação e o treinamento seguros de
funcionários dentro da indústria, sem serem expostos prematuramente a ambientes de trabalho perigosos.
30
[0056] Nesta primeira modalidade preferencial, um dispositivo de dois dedos foi considerado, pois permite o uso de sensores e atuadores
mínimos para estabelecer o fechamento do formulário com base em um aperto entre o polegar e o dedo indicador. Com menos sensores e
atuadores, o dispositivo pode ser conectado a um dispositivo de 3 DOF existente e, portanto, fornecer agarramento e manipulação com
feedback de força, mantendo a máxima transparência possível. Um benefício desse design de dois dedos é que ele permite que uma força de
35 torção seja aplicada ao usuário sobre o eixo de preensão, o que resulta em um eixo extra com realimentação de força.

[0057] Uma vista em perspectiva de uma interface háptica de acordo com a primeira modalidade é mostrada na Figura 1. A interface mostrada
tem dois pontos de contato de aperto de dedo 13, que são sistematicamente referidos em geral como pinça 1.
Cada ponto de contato é independente do outro e, conseqüentemente, exibe forças individuais de acordo com esta modalidade. A pinça 1 é
40 fixada à extremidade terminal de um dispositivo háptico 2 por um corpo central 3 e acoplamento de fixação 4, como é ainda ilustrado em
relação à Figura 2. O corpo central 3 pode ser usado para acomodar os rolamentos das polias 9, e fornecem efetivamente um meio de fixação
para uma placa de suporte de cabo 5. O corpo central 3 também fornece um ponto de fixação para a extremidade de um dispositivo háptico 2.
Através da adição de outra polia 9, por meio da modificação do corpo central 3, outro dedo ponto de contato 13 pode ser adicionado. O
acoplamento de fixação 4 é usado para conectar os pontos de contato 13 a, em um exemplo, o phantom omni™, mas pode ser modificado
45 para ser conectado a qualquer dispositivo háptico 2.
[0058] Com referência às figuras 1 a 8, onde numerais de referência semelhantes são usados para características correspondentes, anexada
ao corpo central 3 está uma placa de suporte de cabo 5, contendo quatro membros de suporte de extremidade de bainha 6 e fornecendo
suporte horizontal para dois cabos embainhados 7. Um cabo 7 para cada um dos dedos 8 entra nas aberturas (ver 6 na vista superior da
Figura 7) dos membros de suporte da extremidade da bainha 6 e é enrolado em torno de uma polia 9, onde o numeral '8' é usado em referência
50 para cada cabo essencialmente conduzindo um único dedo bidirecionalmente. Cada dedo 8 compreende uma polia 9, um braço e almofada de suporte.
[0059] Cada polia 9 tem uma abertura 10 (mostrada na Figura 6) nos canais das polias para terminar o cabo 7 para fornecer movimento
bidirecional da polia 9 em torno do eixo do corpo central 3. Cada cabo 7 tem duas bainhas que são usadas para auxiliar no fornecimento do
movimento bidirecional para a polia 9 e a orientação entre os atuadores do motor em um acionamento do atuador e mecanismo de controle
11, mostrado esquematicamente na Figura 1, que é montado remotamente da garra 1, por exemplo, em uma caixa sob o dispositivo háptico.
55
[0060] Um membro de braço angular 12 está preso à polia 9 e é paralelo ao corpo central 3 para distribuir feedback, ou seja, sensação tátil ou
mais preferencialmente forças para as pontas dos dedos do usuário. Essas forças são distribuídas através do ponto de contato do dedo 13
que é montado no membro do braço angular 12 para movimento rotacional em torno do membro do braço angular

7
Machine Translated by Google

EP 2 422 939 B1

12. A seta A, representada na figura 1 representa o movimento de rotação em torno do eixo do corpo central 3 de modo a aplicar um torque em
torno deste eixo. Além disso, a seta A' é mostrada representando como cada almofada do dedo é capaz de girar em torno do eixo de cada
membro do braço 12, o que pode permitir que os dedos dos usuários se movam em uma posição confortável, especialmente durante os exercícios
de preensão e rotação. O ponto de contato do dedo 13 contém uma alça de dedo 14 que prende o polegar e o dedo indicador do usuário ao ponto
5 de contato do dedo 13 e, como resultado, aplica feedback ou forças internas e externas às pontas dos dedos do usuário.
[0061] Seria apreciado pelo versado na técnica que as encarnações práticas da primeira modalidade podem encontrar aplicação em, por exemplo,
ambientes que são adequados para fornecer telepresença, embora isso não deva ser tomado como um exemplo limitante de uso. Em aplicativos
de telepresença, o ambiente que um usuário experimenta pode ser real, mas muito estranho ou perigoso. Normalmente, alguma forma ou robô
ou talvez apenas um braço robótico pode carregar sensores que testemunham o ambiente e enviam informações de volta ao usuário. Esses
10 ambientes podem estar relacionados a campos como, por exemplo, combate a incêndios, cirurgia e exploração de ambientes extremamente
remotos como Marte por robôs e um benefício de tais sistemas de telepresença é que eles podem ser usados para estender os sentidos de um
usuário além de suas capacidades normais. Por exemplo, prevê-se que os sensores de infravermelho ou ultravioleta possam ter suas saídas
remapeadas no espectro visível para permitir que um usuário veja eventos que normalmente seriam invisíveis e, robôs equipados com contadores
de radiação podem ser usados para explorar dentro das partes da energia nuclear estações onde não é seguro para humanos. Por exemplo, o
15 robô pode verificar áreas danificadas e relatar o nível de radiação sem colocar o operador em perigo.

[0062] Uma segunda forma de realização refere-se à simulação de movimento. Será conveniente descrever a seguir a segunda modalidade em
relação ao uso de aparelho robótico antropomórfico para fornecer uma plataforma de simulador de movimento universal hapticamente habilitada
para facilitar simulações de veículos para apoiar treinamento e/ou pesquisa, no entanto, deve ser apreciado que a presente invenção não se limita
20 a essa aplicação, apenas.
[0063] Em geral, o campo de haptics refere-se ao desenvolvimento, teste e refinamento de dispositivos táteis e de feedback de força e software
de suporte que permitem aos usuários detectar, ou "sentir" e manipular objetos virtuais com relação a atributos como forma , peso, texturas de
superfície, temperatura e assim por diante.
[0064] De modo geral, pode-se afirmar que dos cinco sentidos, a saber, visão, audição, olfato, tato e paladar, é a visão, a audição e o tato que
25 fornecem mais informações sobre um ambiente, sendo os demais sentidos mais sutis .
[0065] Em humanos, a sensação tátil é geralmente obtida por meio de células receptoras localizadas perto da superfície da pele, cuja maior
densidade pode ser encontrada nas mãos. Esses receptores podem perceber vibrações de até cerca de 300 Hz.
Portanto, em uma interface háptica, o feedback tátil pode geralmente envolver sensações de frequência relativamente alta aplicadas na
proximidade da superfície da pele, geralmente em resposta ao contato, como tal, entre um usuário e um objeto virtual. Em contraste, a percepção
30 humana de forças pode ser considerada como de natureza mais cinestésica e pode ser normalmente alcançada por receptores situados mais
profundamente no corpo. Esses receptores estão localizados nos músculos, tendões e articulações e podem ser estimulados pelo movimento e
carregamento de partes do corpo do usuário. A frequência de estímulo desses receptores pode ser muito menor, situando-se na faixa de cerca
de 0-10 Hz. Consequentemente, em uma interface háptica, o feedback de força pode compreender forças artificiais exercidas diretamente sobre
o usuário a partir de alguma fonte externa.
35 [0066] Portanto, considera-se que existem dois aspectos para o sentido do tato; primeiramente o que fornece informação cinestésica e, em
segundo lugar, o que fornece informação tátil. As informações cinestésicas que um usuário percebe sobre um objeto são propriedades grosseiras,
como sua posição no espaço e se as superfícies são deformáveis ou resistentes ao toque. A informação táctil pode ser considerada para transmitir
a textura ou rugosidade de um objeto que está sendo 'tocado'. É desejável que ambos os tipos de informações de 'toque' sejam usados em uma
interface háptica realista.
40 [0067] Interfaces hápticas são sistemas que permitem que um usuário interaja com um ambiente virtual, detectando os movimentos de um usuário
e, em seguida, retransmitindo essas informações para o ambiente virtual. A par desta interação, é fornecido feedback sensorial ao utilizador que
reflete as suas ações neste ambiente, e como resultado, é o design da interface háptica que transmite o nível de interatividade sensorial entre o
utilizador e o ambiente virtual.
[0068] De acordo com aspectos particularmente preferidos da segunda modalidade, é fornecido um Simulador de Movimento Universal (UMS)
45 hapticamente ativado, conforme mostrado na figura 9. O UMS preferido da figura 9 é uma plataforma para fornecer pesquisa e/ou treinamento
por meio de movimento simulação que compreende, em combinação, as seguintes tecnologias:

• Robô antropomórfico de alta carga útil 91; •

Dispositivos de rastreamento para captura de movimento humano 1112 (melhor mostrado nas figuras 11 e 12);
50 • Sistemas de exibição visual 93; •
Sistema háptico 94; •
Sistemas de Áudio 3D 96; • As
interfaces de programação de aplicativos (API) associadas à simulação não são mostradas; •
Software e hardware de controle de movimento de simulação, não mostrados.
55
[0069] Na plataforma UMS preferida, um pod modificado 97 é operacionalmente ligado ao pulso final 98 do braço do robô 99 e pode estar na
mesma configuração que os simuladores de movimento disponíveis comercialmente, como o divulgado na patente US nº 6.776.722 em nome de
De-Gol e atribuído a Robocoaster Limited. O aparelho divulgado pela De-Gol é comercializado

8
Machine Translated by Google

EP 2 422 939 B1

como o Robocoaster™.
[0070] A cápsula 97 é fixada ao pulso 98 do robô antropomórfico 91 por meio de acoplamentos apropriados, como, por exemplo, um flange de
montagem 911. A cápsula 97 pode, portanto, tornar-se a parte efetora final (ferramenta ou pinça) do robô 91 O robô 91 pode ser adaptado para
colocar ou posicionar a cápsula 97 em um sistema de coordenadas cartesianas em qualquer lugar no plano X, Y e Z em qualquer orientação.
5
[0071] O pod 97 pode compreender controles hápticos (não mostrados) que fazem parte das interfaces de usuário para um fone de ouvido de
exibição 3D leve (não mostrado), como um display montado na cabeça (HMD) para ser usado pelo usuário para visualizar o mundo simulado e
sistemas de áudio 3D para fornecer pistas auditivas. O HMD pode ser equipado com fones de ouvido para entrada de áudio. O mundo virtual
pode ser gerado por software adequado construído sob encomenda, como, por exemplo, mecanismos de desenvolvimento de jogos para criar
10 mundos virtuais, como seria entendido pelo versado na técnica, podem ser usados para esse fim. Consequentemente, visualizações de tais
mundos ou ambientes virtuais podem ser exibidas no HMD preferencialmente usando estéreo sequencial para percepção de profundidade 3D
para o usuário. Dependendo do mundo virtual, sinais auditivos podem ser gerados e acionados de acordo com diferentes eventos que podem
ocorrer no mundo virtual para fornecer uma verdadeira sensação de realismo e imersão ao usuário. Para manter o movimento do UMS
sincronizado com o sistema visual humano e para quaisquer análises biomecânicas dinâmicas, as capacidades de rastreamento podem ser
15 introduzidas por meio de rastreadores magnéticos, eletromagnéticos e/ou ópticos 1112, conforme mostrado nas figuras 11 e 12.

[0072] Os rastreadores magnéticos e ópticos 1112 com suas respectivas capacidades podem se complementar e podem gerar informações
precisas de orientação e posição em qualquer instante com relação à orientação e posição do pod 97. Em qualquer instante, dependendo do
posição (em coordenadas cartesianas, ou seja, X, Y, Z) e orientação (em termos de guinada, inclinação e função) do pod 97, a visão do usuário
20 pode ser transformada por uma quantidade negativa dos mesmos valores de X, Y, Z, guinada, inclinação e função para manter o UMS sincronizado
com o sistema visual do usuário.
[0073] Duas pistas de movimento paralelas, definindo diferentes padrões de movimento, podem ser geradas, simultaneamente, na ocorrência
de qualquer evento, dentro do ambiente de simulação e podem ser definidas como pistas de movimento maiores e menores, respectivamente.
Os principais sinais de movimento podem definir a mudança geral na posição e orientação do pod 97 de um ponto no espaço para o outro, tal
25 como, em uma simulação de direção de carro, a mudança na posição e orientação do carro do instante t para t +ÿ em relação à estrada, onde ÿ
define uma pequena variação no tempo. As indicações de movimento principais podem ser geradas pelo braço do robô 99 e podem definir a
posição geral e a orientação do pod 97. Por outro lado, as indicações de movimento menores responsáveis por sensações de movimento mais
detalhadas, mas de baixa intensidade para o usuário, podem ser geradas dentro da cápsula 97 preferencialmente usando atuadores hápticos 94
como mostrado na figura 10c. Os atuadores hápticos demonstrados na figura 10c são preferencialmente dois PHANToM™ Omni™, no entanto,
30 existem muitas combinações e arranjos diferentes dos atuadores hápticos que podem ser incorporados dentro do pod 97 como seria reconhecido
pelo versado na técnica.
[0074] Os atuadores hápticos 94 também podem ser responsáveis por produzir sinais de feedback de força para imitar fenômenos físicos reais,
como inclinar-se para fora com vibrações ao fazer uma curva em uma estrada de superfície irregular.
[0075] Assim, o UMS proposto proporcionará um avanço significativo na pesquisa de treinamento simulado e teste de operadores e sistemas.
35 Além disso, pode eliminar problemas de enjôo para os usuários como resultado da redução da confiança no alinhamento de sinais visuais e de
movimento por meio da combinação de movimento de translação para movimento de rotação e o uso do raio de giro do mesmo tamanho ao
mudar de direção. Isso pode ser feito colocando o pod 97 em qualquer ponto no espaço ao longo do plano X, Y, Z (em coordenadas cartesianas)
enquanto, ao mesmo tempo, cria rotação, inclinação e guinada no pulso do robô, colocando assim o pod 97 em qualquer orientação no espaço.

40 [0076] Conforme observado, o sistema Robocoaster™ com uma gaiola presa à extremidade do braço do robô já está disponível comercialmente.
No entanto, o movimento físico do usuário dentro da gaiola é limitado pelas paredes e tetos da gaiola nesses sistemas. É proposto que a gaiola
seja modificada em um casulo/cabine 97 de tal maneira que o usuário seja constrangido por, por exemplo, um arnês de cinco pontos e a própria
gaiola para atuar como a estrutura geral e a superestrutura.
[0077] O pod 97 também pode ser reconfigurável para permitir que o UMS seja usado em várias aplicações diferentes. A interatividade entre o
45 robô 91 e o usuário humano foi levada em consideração para apoiar este objetivo e é demonstrada esquematicamente na Figura 10a. A Figura
10a mostra a interatividade entre o usuário e o robô. O módulo 101 é a GUI (Graphical User Interface) para a entrada do usuário. O módulo 102
extrai as informações dos controles de entrada acionados pelo usuário. O módulo 103 é responsável pela visualização apresentada ao usuário.
O ambiente de simulação predefinido existe em 104. O módulo 105 é responsável por extrair as informações de posição e orientação. O módulo
106 executa a extração de informações para o movimento do robô que é então passado para 108 o módulo de controle do robô para controlar o
50 robô. O módulo 107 executa a extração de informações para o feedback tátil que é então passado para o módulo de controle de feedback tátil
109 para controlar a informação tátil. O módulo 1010 representava o braço do robô 6DOF. Os atuadores hápticos são apresentados por 1011,
fornecendo ao operador informações hápticas além da sensação háptica de todo o corpo fornecida apenas pelo braço do robô. O módulo gráfico
1012 é para ambiente de simulação e visualização.

55 [0078] A interatividade entre o robô 91 e o usuário humano também pode ser baseada na tecnologia de simulador de movimento existente, como
o software de controle MediaMation™. Um exemplo de pacote de sistema de controle é o "Universal Kinematics" da MediaMation™ para se
comunicar com o controlador de movimento responsável por conduzir o robô. Um sinal pode ser gerado pelo usuário através dos controles de
usuário 1113, como, por exemplo, girando um volante ou pressionando os pedais de freio ou aceleração

9
Machine Translated by Google

EP 2 422 939 B1

em uma simulação de cenário de condução de carro. Os sinais que possuem diferentes parâmetros, como coordenadas posicionais, informações de
transformação de orientação e componentes de velocidade linear e angular, podem então ser passados para o software de controle de movimento para
acionar os comandos de movimento integrados ao controlador e, conseqüentemente, ao robô 91 para gerar movimentos apropriados.

5 [0079] Em termos gerais, a figura 10 mostra um diagrama de fluxograma que permite esse controle desde a entrada do usuário até o movimento do robô.
Conceitualmente, a figura 10 mostra:

10

[0080] Este fluxo de lógica envolve a criação de uma posição do corpo no espaço e um cálculo da velocidade necessária.
Em seguida, esses dados são alimentados no controlador do robô para executar o movimento para esse segmento. Neste contexto, 'segmento' refere-se
a um segmento de movimento no ambiente simulado que está sendo traduzido em ação de controle a ser executada pelo controlador do robô.

15 [0081] Um recurso útil da plataforma UMS preferida é imitar os cenários reais de movimento físico, gerando movimentos menores, mas altamente
detalhados, necessários dentro do pod/cabine 97 usando sistemas hápticos. Isso é obtido por meio do feedback de força do sistema háptico, como
manipulador háptico, volante háptico 1113 e mecanismo de mudança de marcha e refletindo as forças.

[0082] Os sistemas hápticos podem gerar movimentos detalhados mais finos como uma resposta ao movimento do braço do robô, a fim de fornecer uma
20 experiência quase real do cenário do mundo real. Um exemplo de tal sistema pode ser a simulação de pilotar uma motocicleta em alta velocidade, onde
em uma curva de alta velocidade o motorista tem que se inclinar para dentro da curva. Em tais cenários simulados, o braço do robô 99 gera o movimento
geral, mas as sensações de equilíbrio do motorista só podem ser geradas pelo sistema háptico.

[0083] Para cenários de simulações envolvendo análises biomecânicas dinâmicas e o desenvolvimento de modelos precisos de simulação de movimento
25 humano, pode ser estabelecido um banco de dados de movimento empírico derivado de medição eficiente e metodologias de processamento de dados
bem padronizadas. Isso pode ser obtido a partir de unidades de captura de movimento armazenadas em um banco de dados.
Alguns centros de pesquisa podem já ter esses dados para facilitar a disponibilidade. As medições precisas podem ser obtidas usando sistemas de
captura de movimento eletromagnéticos e ópticos simultaneamente para registrar os dados de movimento com precisão e robustez muito altas. Na
prática, o rastreador magnético 1112 pode fornecer as informações de posição e orientação de diferentes partes do corpo, como localização dos braços
30 e pernas com ângulos de flexão das articulações, enquanto o rastreador óptico 1112 pode fornecer a postura geral do usuário. Ambos os conjuntos de
informações são comparados e calibrados entre si para extrair a verdadeira postura do usuário e, consequentemente, dados robustos de movimento
humano. A Figura 11 mostra uma configuração de captura de movimento humano usando rastreadores eletromagnéticos e ópticos 1112 simultaneamente.
Os dispositivos de rastreamento 1112 usando a combinação de sensores de movimento eletromagnéticos e ópticos podem fornecer um grau de variação
na quantidade de informação cinemática, faixa espacial de medição, fontes externas de ruído, tempo de rastreamento de movimento e abrange um
35 espaço de informação maior, portanto, a precisão do modelos de simulação de movimento humano podem ser altamente aprimorados. A Figura 12
mostra uma configuração física para captura de movimento humano usando rastreadores eletromagnéticos e ópticos 1112 simultaneamente.

[0084] Com referência às figuras 11 e 12, uma vez que a entrada do usuário humano é coletada, um controlador de movimento (não mostrado) pode ser
usado para fornecer a resposta, monitoramento e/ou simulação gráfica 3D do robô. Este controlador pode ser baseado em um esquema de controle de
40 movimento muito avançado. A arquitetura de controle do sistema é apresentada na figura 10b. [0085] 1310 são os controles de interação do
usuário para interagir com o ambiente de simulação. O módulo 1410 rastreia o usuário para sincronizar o movimento do usuário e a visualização. Os
motores de física 1510 controlam o comportamento físico dos objetos gráficos, enquanto o módulo 1610 é responsável pelo registro dos gráficos. O
módulo de calibração 1710 mantém o hardware e a visualização sincronizados durante a simulação. 1810 Controla a atuação do braço do robô. O módulo
de aquisição de força 1910 aciona o feedback háptico. 2010 representa o repositório de dados necessários para a simulação. O ambiente de simulação
45 2110 controla a interatividade de diferentes módulos. O feedback de áudio e visual 2210 é gerado para o usuário em resposta a diferentes eventos dentro
da simulação. O módulo de interface gráfica do usuário 2310 fornece ao operador informações visuais por meio de um visor 2410. O controlador de robô
2510 é responsável por controlar o movimento final do robô. O controlador háptico 2610 é responsável por controlar o movimento final do robô. Os
atuadores hápticos 2710 fornecem as forças hápticas para alguma parte específica do corpo do operador.

50

[0086] É capaz de fornecer respostas de robô extremamente rápidas a quaisquer comandos de robô de largura de banda baixa ou alta. Na prática, o
controle de movimento pode ser um software sendo executado no controlador do robô (não mostrado) para fornecer o movimento ao pod 97.

[0087] Um atributo do software do controlador associado permite a geração de trajetórias de robôs que tenham nível programável de solavancos nas
55 articulações (conforto do operador) e sejam livres de mudança brusca de curvatura.
[0088] O sistema também pode permitir acesso total em tempo real a várias variáveis de robô de alto e baixo nível, incluindo posições de juntas, correntes
de juntas, velocidade de juntas e plotagem on-line das trajetórias.

10
Machine Translated by Google

EP 2 422 939 B1

[0089] Uma vez totalmente configurado, o sistema pode ser usado como um simulador de treinamento em tempo real capaz de responder à
entrada do usuário no momento em que o evento está ocorrendo e mecanicamente capaz de se mover em qualquer direção a qualquer
momento. A captura de movimento pode ser usada para determinar a posição humana dentro do pod 97 no espaço. O sistema pode usar esses
dados e a entrada dos dispositivos hápticos 94 para determinar o próximo curso de ação. O robô pode ser adaptado para responder aos sinais
5 de entrada do dispositivo háptico.
[0090] A instalação da plataforma UMS proposta aumentará significativamente as capacidades de pesquisa e desenvolvimento, especialmente
para pesquisa orientada para a indústria automotiva. Como a indústria automotiva pode ser um dos pilares da economia mundial ou de
economias individuais, o UMS proposto pode permitir que a indústria mantenha uma vantagem sobre os concorrentes estrangeiros e contribuir
significativamente para a sustentabilidade de uma determinada economia.
10 [0091] Seria apreciado pelo versado na técnica que as modalidades da presente invenção podem encontrar aplicação em, por exemplo,
ambientes que são adequados para fornecer telepresença, embora isso não deva ser tomado como um exemplo limitante de uso. Em aplicativos
de telepresença, o ambiente que um usuário experimenta pode ser real, mas muito estranho ou perigoso. Normalmente, alguma forma ou robô
ou talvez apenas um braço robótico pode carregar sensores que testemunham o ambiente e enviam informações de volta ao usuário. Esses
ambientes podem estar relacionados a campos como, por exemplo, combate a incêndios, cirurgia e exploração de Marte por robôs e um
15 benefício de tais sistemas de telepresença é que eles podem ser usados para estender os sentidos de um usuário além de suas capacidades
normais. Por exemplo, prevê-se que os sensores de infravermelho ou ultravioleta possam ter suas saídas remapeadas no espectro visível para
permitir que um usuário veja eventos que normalmente seriam invisíveis e, robôs equipados com contadores de radiação podem ser usados
para explorar dentro das partes da energia nuclear estações onde não é seguro para humanos. Por exemplo, o robô pode verificar áreas
danificadas e relatar o nível de radiação sem colocar o operador em perigo.
20
[0092] Uma terceira modalidade descrita refere-se, de uma forma, à tecnologia háptica e seu uso para o controle de plataformas móveis.
"Plataforma móvel" refere-se a sistemas que têm a capacidade de se mover de um lugar para outro. Tais plataformas incluem, mas não estão
limitadas a, sistemas robóticos móveis, veículos terrestres de passageiros e veículos aéreos não tripulados.
[0093] A Figura 13 ilustra sistemas hápticos 138 de acordo com a terceira modalidade. O módulo 139 ilustra os componentes do sistema 138
25 que normalmente seriam montados a bordo de uma plataforma móvel, como a plataforma 2a, conforme mostrado na figura 1a. O módulo 1311
ilustra os componentes do sistema 138 que normalmente seriam montados próximos ao usuário, inclusive dentro da sonda háptica 3a conforme
mostrado na figura 1a.
[0094] O módulo 139 compreende um microcontrolador 1312 juntamente com um controlador de movimento 1313, um controlador de motor
PID (proporcional al-integral-diferencial) 1314, monitores e codificadores 1316, uma câmera integrada 1317, um receptor GPS 1318 e uma
30 unidade de medição inercial de 6 eixos (IMU) 1319, sensores de sonar 1321 e módulo ASHA 1322.
[0095] Esses componentes que compõem o módulo 139 podem operar na plataforma 2a da figura 1a. O código de programa no microcontrolador
1312 é responsável pelo pré-processamento e controle de sistemas sensoriais de baixo nível, como os sensores de sonar 1321. O controlador
de motor PID 1314 é seu próprio módulo de hardware. O controlador de movimento 1313 e o módulo ASHA
1322 existem no código do programa executável no computador integrado da plataforma. O módulo ASHA 1322 recebe todas as informações
35 necessárias do controlador de movimento 1313, controlador de motor PID 1314, sensores de sonar 1321 (através do microcontrolador 1312),
GPS 1318 e IMU 1319 de 6 eixos. O controlador de movimento 1313, atuando sob o controle do ICHA 1323, gera configurações de controle de
movimento que são enviadas para o controlador de motor PID 1314. O controlador de motor PID 1314 então alcança o controle de circuito
fechado dos motores 1316 com base no feedback do codificador 1316.
[0096] Os sistemas sensoriais na plataforma móvel compreendem o IMU 1319 de 6 eixos, o GPS 1318 e os sensores de sonar 1321. O GPS
40 1318 e o IMU 1319 fazem interface direta com o módulo ASHA 1322 (implementação de software no computador de bordo) usando serial
RS-232 comunicação. Os sensores de sonar 1321 são controlados pelo microcontrolador 1312 que então transmite a informação sensorial
apropriada para o módulo ASHA 1322 (implementação de software no computador de bordo) usando comunicação serial RS-232.

[0097] O módulo de controle do operador 1311 compreende uma interface háptica adequada 1324 (como o dispositivo háptico 3a ilustrado na
45 figura 1a) e um aumento de controle háptico de entrada (ICHA/IHCCS) 1323. A interface háptica 1324 recebe entradas físicas (como movimento
da sonda 5a da figura 1a) do operador e entrega o aumento háptico de volta ao operador. A construção e operação do ICHA 1323 e suas
interações com a interface háptica 1324 são descritas em mais detalhes abaixo.

[0098] A Figura 14 ilustra uma superfície de controle renderizada hapticamente 26 que é apresentada ao usuário de acordo com a terceira
50 modalidade.
[0099] De acordo com a forma de realização presentemente descrita, a superfície virtual renderizada hapticamente 26 é obtida usando hardware
disponível no mercado e software de controle apropriado. A superfície virtual 26 renderizada ao toque pode ser "sentida" ou "tocada" pelo
usuário, dependendo do dispositivo háptico implementado em particular. Dispositivos adequados incluem, mas não estão limitados a, os
dispositivos PhantoM™ Omni™, Desktop e Premium; e o Falcon™ da Novint™ Technologies.
55 [0100] A forma preferida da superfície de controle háptica 26 é projetada para servir como um indicador para o operador dos valores de
velocidade linear de entrada comandada "v" e velocidade angular "w" de uma plataforma remota. Ou seja, a forma da superfície de controle
háptica 26 é definida pela seguinte equação:

11
Machine Translated by Google

EP 2 422 939 B1

onde
5 k1 e k2 dimensionam os intervalos apropriados de v e w um em relação ao outro
k3 é uma constante relacionada à inclinação desse cone específico; e
[0101] Dados os valores apropriados de k1, k2 e k3, o valor z (altura) para qualquer ponto (v, w) é dado por

10

[0102] Sujeito às velocidades lineares (v) e angulares (w) máximas desejadas

15

onde
Max v e Max w representam as velocidades máximas desejadas da plataforma Considerando o uso do Phantom™ Omni™ da
Sensable Technologies (http://www.sensable.com/) e do Pioneer™ P3DX Mobile Robot (http://www. activrobots.com/ ROBOTS/
20
p2dx.html) como uma combinação específica de dispositivos de hardware.
[0103] O Phantom™ Omni™ oferece um espaço de trabalho háptico utilizável de 160 W x 120 A x 70 P. O Pioneer™ P3DX oferece
uma velocidade linear máxima publicada (v) de 1,6 metros por segundo. A velocidade angular adequada (w) precisa ser determinada
empiricamente, no entanto, para fins de explicação, consideramos uma velocidade angular máxima viável como sendo 0,5 rotações
completas (180 graus) por segundo. Também precisa ser considerado que, na realidade, as velocidades lineares e angulares
25
individuais máximas podem não ser alcançáveis ao incluir contribuições significativas umas das outras.
[0104] Como tal, consideramos a velocidade linear máxima de 1 metro por segundo e a velocidade angular de 0,25 rotações
completas por segundo. Os fatores de escala de k1, k2 servem a dois propósitos, escalar k1 e k2 um em relação ao outro e escalar
as dimensões para aquela do espaço de trabalho do dispositivo háptico implementado. O dispositivo oferece um espaço de trabalho
de 160L x 120A x 70P, representando as dimensões w, v e altura respectivamente (consulte a figura 14) e, como tal, a profundidade
30
de 70 mm é o fator limitante. Escolhendo uma faixa nominal de 65 mm ao longo dos eixos w e v, k1 e k2 são escolhidos
apropriadamente onde:

para

35

ev

40

que satisfaz

45

onde k3 é escolhido apropriadamente.

50

Implementação do ICHA independente da ASHA

[0105] Quando o ICHA deve ser considerado de forma independente, existem metodologias preferidas alternativas para renderizar a
superfície háptica virtual necessária. Um método adequado para renderizar a superfície cônica háptica virtual fornece renderização
55
de força apenas na direção Z. Dada uma posição Z real, dada por Zactual e uma posição Z desejada dada pela equação 2, a diferença
(entre a posição Z, dada por Zactual) pode ser usada por uma variedade de técnicas de controle para renderizar a superfície desejada.
Existem várias técnicas comprovadas para renderizar superfícies hápticas e exibir forças hápticas para um usuário.

12
Machine Translated by Google

EP 2 422 939 B1

Tais métodos incluem o uso de modelos massa-mola-amortecedor, massa-string e mola, e controle proporcional-integral (PID). O
método real empregado depende de vários fatores, como as características do dispositivo háptico empregado, se as bibliotecas de
software do dispositivo fornecem tais funções de software pré-construídas, etc., bem como a rigidez ou dureza desejada da superfície
cônica renderizada. Em geral, a posição da sonda háptica (x,y,z) precisa ser monitorada e as forças apropriadas aplicadas, dada a
5 estratégia de controle implementada. Existem vários métodos de controle comprovados para renderizar tais superfícies.

[0106] A Figura 17 demonstra a diferença entre a superfície de controle tátil planar 2-D existente (http://citese er.ist.psu.edu/
705176.html) e o ICHA 3-D descrito acima. Na figura 17, v e ÿ denotam as velocidades linear e angular, respectivamente, de uma
plataforma 2a conforme mostrado na figura 1a. Como é mostrado na figura 17, os deslocamentos ortogonais de uma sonda háptica
10 3a da figura 1a desde a origem em duas dimensões significam os valores das velocidades lineares e angulares de entrada
comandadas para a plataforma remota. Em contraste, conforme descrito acima com referência às equações (1), (2) e (3) e à figura
14, de acordo com a terceira modalidade, o usuário é obrigado a mover a sonda de entrada 3a em conformidade com uma superfície
tridimensional na qual o o deslocamento da sonda na terceira dimensão (a altura Z na figura 14) também é indicativo dos valores de
velocidade linear e angular.
15 [0107] As Figuras 17a e 15 ilustram as diferenças de desempenho entre o arranjo da técnica anterior da figura 17 e a terceira
modalidade de acordo com a figura 14.
[0108] Em particular, a figura 15 demonstra a capacidade do operador para retornar a entrada de comando a um estado de
movimento zero usando um ICHA de acordo com a figura 14. Ao fornecer comandos de movimento, o operador pode explorar a
geometria do cone retornando a um 0,0 ,0 posição. Quando um operador tem experiência em operar com uma superfície de um
20 determinado gradiente, o operador será capaz de julgar a velocidade comandada, com base no deslocamento vertical da sonda
háptica. Será visto nas figuras 17a e 15 que, usando ICHA de acordo com a terceira modalidade, as velocidades angulares e lineares
reais da plataforma remota 2a retornam simultaneamente diretamente para zero, enquanto no sistema de acordo com a figura 17, há
ultrapassagem de linear e as velocidades angulares ultrapassam zero antes de voltar a zero.
[0109] A forma cônica preferida do ICHA fornece atributos exclusivos para um usuário que está controlando o movimento de uma
25 plataforma móvel. As propriedades geométricas de um cone resultam na convergência para um ponto específico na superfície de
controle renderizada hapticamente. O usuário é facilmente capaz de determinar um estado de comando de velocidade zero seguindo
a superfície cônica até seu ponto de convergência. Além disso, o gradiente da superfície do cone fornece ao usuário, particularmente
um usuário experiente, uma indicação da velocidade atual comandada. Quando um operador tem experiência em operar com uma
superfície de um determinado gradiente, o operador será capaz de julgar a velocidade comandada, com base no deslocamento
30 vertical da sonda háptica.

Implementação de ICHA integrado com ASHA

[0110] De acordo com aspectos alternativos da terceira modalidade preferencial, ICHA e ASHA são integrados e apresentados ao
35 operador por meio de uma única superfície de controle renderizada hapticamente 26.
[0111] Quando o movimento da plataforma remota 2a é tal que não há geração de ASHA, o movimento da sonda háptica sobre a
superfície virtual 26 é sem oposição, sujeito apenas à restrição imposta ao movimento pelos limites máximos de angular e linear
velocidade. Quando o movimento da plataforma remota 2a é tal que é necessário fornecer ASHA ao operador, o utilizador pode
reconhecer facilmente as forças que implementam o ASHA e distinguir prontamente o ASHA do ICHA.
40
[0112] Dado que um dispositivo háptico precisa ser adequadamente programado para renderizar hapticamente quaisquer superfícies
virtuais e/ou forças para implementar esta abordagem, há dois componentes que requerem consideração. Estas são a renderização
háptica do ICHA e a renderização háptica simultânea do ASHA. Como tal, na implementação desta abordagem, qualquer força
háptica renderizada instantânea será uma combinação simultânea apropriada da força necessária para renderizar o ICHA, bem
45 como qualquer ASHA exigido. Existem várias abordagens possíveis diferentes que podem ser tomadas para renderizar a superfície
háptica virtual necessária. Um método preferido para determinar a força real necessária para renderizar o aumento háptico atuando
através do ICHA é a combinação vetorial de forças renderizadas ao toque. Isso é explicado mais adiante na figura 16, onde Fb
denota os componentes de força de aumento háptico e Fa denota os componentes de força ICHA.

50 [0113] A Figura 18 mostra um fluxograma que ilustra o processamento 1800 para fornecer ICHA e AHSA.
[0114] Na etapa 1802, o dispositivo háptico é inicializado.
[0115] Na etapa 1803, os parâmetros do ICHA são verificados. Esses parâmetros compreendem a velocidade linear máxima Max v, a velocidade
angular máxima Max w e os fatores de escala k1, k2, k3.
[0116] Na etapa 1804, é tomada uma decisão se o ASHA é necessário. Se ASHA for necessário, então a magnitude dos componentes
55 de força nas direções w e v são recebidos de ASHA (Etapa 1805), se ASHA não for necessário, então os componentes de força do
ASHA são zero (Etapa 1806).
[0117] Na etapa 1807 determinamos a força necessária para processar o ICHA sozinho.
[0118] Na etapa 1808 determinamos a força resultante combinando ICHA e ASHA

13
Machine Translated by Google

EP 2 422 939 B1

[0119] Na etapa 1809, as forças hápticas resultantes são processadas.

[0120] Embora a presente invenção tenha sido descrita com referência a algumas modalidades específicas, a descrição é ilustrativa da
invenção e não deve ser interpretada como limitante da invenção. Várias modificações podem ocorrer aos versados na técnica sem
afastamento do escopo da invenção conforme definido pelas reivindicações anexas. Por exemplo, um versado na técnica reconhecerá que as
5 modalidades da invenção aqui descritas podem ser implementadas usando um ou mais computadores. Nesse caso, as etapas do método aqui
divulgadas podem ser incorporadas como instruções que compreendem um programa de computador. O programa pode ser armazenado em
mídia legível por computador, como disquetes, discos ópticos (por exemplo, discos compactos) ou discos fixos (como discos rígidos e similares)
e pode residir na memória, como, por exemplo, aleatório memória de acesso (RAM), memória somente leitura (ROM), firmware ou memória
flash RAM. O programa como software pode então ser executado em um computador ou dispositivo de microprocessador para implementar o
10 método. O programa ou partes de sua execução também podem ser distribuídos por vários computadores ou servidores em uma rede com
uma topologia correspondente a uma ou uma combinação de: uma pequena área, como em uma LAN (Local Area Network); um grande
campus ou área da cidade, como em uma MAN (Metropolitan Area Network) ou; uma ampla área geográfica, como em uma WAN (Wide Area
Network). Como exemplo, a primeira modalidade aqui descrita pode ser adequada para uso com uma implementação de rede de computador
de um sistema de garantia de qualidade (QA) ou manutenção para diagnosticar falhas e manutenção de módulos ou instrumentos para efetuar
15 serviço e reparos e atualizações para software de instrumento de um remoto plataforma ou um controlador central ou microcontrolador.

[0121] Deve-se notar que, onde os termos "servidor", "servidor seguro" ou termos semelhantes são usados aqui, um dispositivo de
comunicação é descrito que pode ser usado em um sistema de comunicação, a menos que o contexto exija de outra forma, e não deve ser
interpretada para limitar a presente invenção a qualquer tipo particular de dispositivo de comunicação. Assim, um dispositivo de comunicação
20 pode compreender, sem limitação, uma ponte, roteador, ponte-roteador (roteador), comutador, nó ou outro dispositivo de comunicação, que
pode ou não ser seguro.
[0122] Também deve ser notado que onde um fluxograma, conjunto de regras ou seu equivalente é usado aqui para demonstrar vários
aspectos da invenção, não deve ser interpretado para limitar a presente invenção a qualquer fluxo lógico particular ou implementação lógica.
A lógica descrita pode ser dividida em diferentes blocos lógicos (por exemplo, programas, módulos, funções ou sub-rotinas) sem alterar os
25 resultados gerais ou de outra forma se afastar do verdadeiro escopo da invenção.
Freqüentemente, elementos lógicos podem ser adicionados, modificados, omitidos, executados em uma ordem diferente ou implementados
usando diferentes construções lógicas (por exemplo, portas lógicas, primitivas de loop, lógica condicional e outras construções lógicas) sem
alterar os resultados gerais ou afastar-se de outra forma o verdadeiro escopo da invenção.
[0123] Várias modalidades podem ser incorporadas em muitas formas diferentes, compreendendo lógica de programa de computador para
30 uso com um processador (por exemplo, um microprocessador, microcontrolador, processador de sinal digital ou computador de uso geral),
lógica programável para uso com um dispositivo lógico programável (por exemplo, um Field Programmable Gate Array (FPGA) ou outro PLD),
componentes discretos, circuitos integrados (por exemplo, um Application Specific Integrated Circuit (ASIC)) ou qualquer outro meio
compreendendo qualquer combinação dos mesmos. Em uma modalidade exemplar, predominantemente toda a comunicação entre usuários
e o servidor é implementada como um conjunto de instruções de programa de computador que é convertido em um formato executável por
35 computador, armazenado como tal em um meio legível por computador e executado por um microprocessador sob o controle de um sistema
operacional.
[0124] A lógica do programa de computador que implementa toda ou parte da funcionalidade onde aqui descrita pode ser incorporada em
várias formas, compreendendo uma forma de código-fonte, uma forma executável de computador e várias formas intermediárias (por exemplo,
formas geradas por um montador, compilador, vinculador ou localizador). O código-fonte pode incluir uma série de instruções de programa de
40 computador implementadas em qualquer uma das várias linguagens de programação (por exemplo, um código-objeto, uma linguagem
assembly ou uma linguagem de alto nível como Fortran, C, C++, JAVA ou HTML) para uso com vários sistemas operacionais ou ambientes
operacionais. O código-fonte pode definir e usar várias estruturas de dados e mensagens de comunicação. O código-fonte pode estar em um
formato executável por computador (por exemplo, por meio de um interpretador) ou pode ser convertido (por exemplo, por meio de um tradutor,
montador ou compilador) em um formato executável por computador.
45 [0125] O programa de computador pode ser fixado em qualquer forma (por exemplo, forma de código-fonte, forma executável de computador
ou uma forma intermediária) de forma permanente ou transitória em um meio de armazenamento tangível, como um dispositivo de memória
semicondutora (por exemplo, uma RAM, ROM, PROM, EEPROM ou Flash-Programmable RAM), um dispositivo de memória magnética (por
exemplo, um disquete ou disco fixo), um dispositivo de memória óptica (por exemplo, um CD-ROM ou DVD-ROM), um cartão de PC (por
exemplo, cartão PCMCIA) ou outro dispositivo de memória. O programa de computador pode ser fixado de qualquer forma em um sinal que
50 seja transmissível para um computador usando qualquer uma das várias tecnologias de comunicação, incluindo, mas não se limitando a,
tecnologias analógicas, tecnologias digitais, tecnologias ópticas, tecnologias sem fio (por exemplo, Bluetooth) , tecnologias de rede e tecnologias de inter-redes.
O programa de computador pode ser distribuído em qualquer forma como um meio de armazenamento removível acompanhado de
documentação impressa ou eletrônica (por exemplo, software compactado), pré-carregado com um sistema de computador (por exemplo, em
ROM do sistema ou disco fixo) ou distribuído de um servidor ou quadro de avisos eletrônico no sistema de comunicação (por exemplo, a
55 Internet ou a World Wide Web).
[0126] A lógica de hardware (compreendendo lógica programável para uso com um dispositivo lógico programável) que implementa toda ou
parte da funcionalidade aqui descrita pode ser projetada usando métodos manuais tradicionais ou pode ser projetada, capturada, simulada ou
documentada eletronicamente usando várias ferramentas como o Desenho Assistido por Computador (CAD),

14
Machine Translated by Google

EP 2 422 939 B1

uma linguagem de descrição de hardware (por exemplo, VHDL ou AHDL) ou uma linguagem de programação PLD (por exemplo, PALASM, ABEL ou CUPL).

[0127] A lógica programável pode ser fixada permanentemente ou transitoriamente em um meio de armazenamento tangível, como um dispositivo de memória semicondutora
(por exemplo, uma RAM, ROM, PROM, EEPROM ou Flash-Programmable RAM), um dispositivo de memória magnética (por exemplo , um disquete ou disco fixo), um
5 dispositivo de memória óptica (por exemplo, um CD-ROM ou DVD-ROM) ou outro dispositivo de memória. A lógica programável pode ser fixada em um sinal que pode ser
transmitido a um computador usando qualquer uma das várias tecnologias de comunicação, incluindo, mas não se limitando a, tecnologias analógicas, tecnologias digitais,
tecnologias ópticas, tecnologias sem fio (por exemplo, Bluetooth), rede tecnologias e tecnologias de interligação de redes. A lógica programável pode ser distribuída como
um meio de armazenamento removível acompanhado de documentação impressa ou eletrônica (por exemplo, software compactado), pré-carregado com um sistema de
computador (por exemplo, em ROM do sistema ou disco fixo) ou distribuído de um servidor ou sistema eletrônico quadro de avisos através do sistema de comunicação (por
10 exemplo, a Internet ou World Wide Web).

[0128] Como a presente invenção pode ser incorporada em várias formas sem se afastar do escopo das reivindicações anexas, deve-se entender que as modalidades
descritas acima não devem limitar a presente invenção, a menos que especificado de outra forma, mas devem ser interpretadas amplamente dentro o escopo da presente

invenção conforme definido nas reivindicações anexas. Pretende-se que várias modificações e arranjos equivalentes sejam incluídos dentro do escopo da presente invenção
15 conforme definido nas reivindicações anexas. Portanto, a segunda modalidade específica deve ser entendida como ilustrativa das muitas maneiras pelas quais a presente
invenção pode ser praticada. Por exemplo, aqueles familiarizados com as artes hápticas reconhecerão que existem muitas interfaces hápticas diferentes que convertem o
movimento de um objeto sob o controle de um usuário em sinais elétricos, muitas interfaces hápticas diferentes que convertem sinais de força gerados em um computador
em forças mecânicas que podem ser experimentadas por um usuário e interfaces hápticas que alcançam ambos os resultados, cada um dos quais pode ser abrangido pela
presente invenção.
20

[0129] Nas reivindicações a seguir, as cláusulas de meio mais função destinam-se a cobrir estruturas que executam a função definida e não apenas equivalentes estruturais,
mas também estruturas equivalentes. Por exemplo, embora um prego e um parafuso possam não ser equivalentes estruturais em que um prego emprega uma superfície
cilíndrica para prender peças de madeira juntas, enquanto um parafuso emprega uma superfície helicoidal para prender peças de madeira juntas, no ambiente de fixação de
25 peças de madeira, um prego e parafuso são estruturas equivalentes.

[0130] "Compreende/compreendendo" quando usado nesta especificação é usado para especificar a presença de recursos, números inteiros, etapas ou componentes
declarados, mas não exclui a presença ou adição de um ou mais outros recursos, números inteiros, etapas, componentes ou grupos disso."

30

Reivindicações

1. Método de simulação de movimento, o método compreendendo as etapas de:

35
fornecer pelo menos seis graus de liberdade de movimento a um usuário associando operacionalmente um braço de robô antropomórfico (99) com um pod de
usuário (97) para receber o corpo inteiro do usuário, em que o braço de robô (99) é adaptado para posicionar o pod de usuário (97) em qualquer lugar nos planos
X, Y e Z de um sistema de coordenadas cartesianas em qualquer orientação; fornecer feedback tátil ao usuário em correspondência com o movimento do pod de
usuário (97) além da sensação tátil de corpo inteiro fornecida apenas pelo núcleo do robô.
40

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda uma ou uma combinação das seguintes etapas de:

fornecer a um usuário uma percepção do ambiente simulado; e rastrear o movimento do usuário.

45

3. Método, de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que compreende ainda a etapa de uma ou uma combinação de:

gerar um banco de dados de movimento empírico composto por dados de movimento capturados para simular cenários de simulação predeterminados e/ou
50 modelagem; acessar um banco de dados de movimento
empírico existente composto por dados de movimento capturados para simular cenários de simulação predeterminados e/ou modelagem.

4. Método, de acordo com a reivindicação 2 ou 3, caracterizado pelo fato de que o rastreamento de movimento compreende uma ou uma combinação de informações de
55 posição e/ou orientação do corpo e/ou partes do corpo do usuário e é obtido por uma ou uma combinação de:

magnético;
eletromagnético; e

15
Machine Translated by Google

EP 2 422 939 B1

meios ópticos de captura de movimento (1112).

5. Aparelho simulador de movimento compreendendo, em combinação:

5 um braço de robô antropomórfico (99) adaptado para fornecer pelo menos seis graus de liberdade de movimento; um pod de usuário (97)
para receber o corpo inteiro de um usuário, o dito pod de usuário (97) sendo operativamente conectado ao braço do robô antropomórfico (99), em que o
braço do robô (99) é adaptado para posicionar o pod do usuário (97) em qualquer lugar nos planos X, Y e Z de um sistema de coordenadas cartesianas
em qualquer orientação; uma interface háptica operacionalmente associada ao pod do usuário (97) para
fornecer feedback háptico ao usuário em correspondência com o movimento do pod do usuário (97), além da sensação tátil de corpo inteiro fornecida
10 apenas pelo núcleo do robô.

6. Aparelho de acordo com a reivindicação 5, caracterizado pelo fato de que compreende ainda:

15 uma interface de controle de usuário operativamente associada ao pod de usuário (97) e braço de robô (99) para fornecer a um usuário uma percepção
do ambiente simulado; e dispositivos de rastreamento (1112) para
rastrear o movimento do usuário.

7. Aparelho de acordo com a reivindicação 6, caracterizado pelo fato de que a interface háptica é adaptada para realimentar o movimento rastreado do usuário para
20 a interface de controle do usuário para adaptar a percepção do usuário do ambiente simulado.

8. Aparelho de acordo com a reivindicação 7 compreendendo ainda meios de transformação para transformar uma visão do usuário por um negativo
quantidade que complementa o movimento rastreado.

25 9. Aparelho de acordo com qualquer uma das reivindicações 6 a 8, caracterizado pelo fato de que o movimento rastreado compreende um ou uma combinação de:

posição nas coordenadas cartesianas X, Y e Z; e orientação

compreendendo guinada, inclinação e rotação.

30 10. Aparelho de acordo com qualquer uma das reivindicações 5 a 9, caracterizado pelo fato de que o aparelho é adaptado para fornecer um ou uma combinação de:

pelo menos uma sugestão de movimento principal gerada pelo braço do robô (99) e correspondente à posição e/ou orientação do pod de usuário (97);
pelo menos uma sugestão
de movimento menor gerada por pelo menos um atuador háptico (94) fornecido no pod de usuário (97) e operacionalmente associado ao usuário; pelo
35 menos uma sugestão de feedback de força gerada
pelo pelo menos um atuador háptico (94) para simular fenômenos físicos encontrados pelo usuário no ambiente simulado.

11. Aparelho adaptado para simular movimento, compreendendo o referido aparelho:

40
meios processadores adaptados para operar de acordo com um conjunto de instruções predeterminado, sendo o referido
aparelho, em conjunto com o referido conjunto de instruções, adaptado para executar o método conforme reivindicado em qualquer uma das
reivindicações 1 a 4.

45 12. Um programa de computador compreendendo instruções para, quando executado em um processador, executar o método de qualquer
uma das reivindicações 1 a 4.

Patentansprüche
50
1. Verfahren zum Simulieren von Bewegung, wobei das Verfahren die Schritte umfasst:

Bereitstellen von mindestens sechs Bewegungsfreiheitsgraden für einen Benutzer durch operatives Zuordnen eines anthropomorphischen Roboterarms
(99) zu einer Benutzergondel (97) zum Aufnehmen des ganzen Kör pers des Benutzers, wobei der Roboterarm (99) eingerichtet ist, um die Benutzergon
55 del (97) beliebig in der X-,
Y- und Z-Ebene eines kartesischen Koordinatensystems in beliebiger Ausrichtung zu positionieren;
Bereitstellen von haptischem Feedback für den Benutzer in Übereinstimmung mit der Bewegung der Benut zergondel (97), zusätzlich zu der haptischen
Ganzkörper-Empfindung, die durch den oben genannten Robo-

16
Machine Translated by Google

EP 2 422 939 B1

terarm allein bereitgestellt wird.

2. Verfahren wie in Anspruch 1 beansprucht, das weiterhin einen oder eine Kombination der folgenden Schritte umfasst:

5 Bereitstellen eines Nutzers mit einer Wahrnehmung der simulierten Umgebung; und
Verfolgen der Bewegung des Benutzers.

3. Verfahren wie in Anspruch 1 oder 2 beansprucht, das weiterhin den Schritt von einem oder einer Kombination des
Folgenden umfast:
10
Erzeugen einer empirischen Bewegungsdatenbank, die aufgezeichnete Bewegungsdaten zum Simulieren vor
gegebener Simulationsszenarien und/oder Modellieren umfasst;
Zugreifen auf eine existierende Bewegungsdatenbank, die aufgezeichnete Bewegungsdaten zum Simulieren
vorgegebener Simulationsszenarien und/oder Modellieren umfasst.
15
4. Verfahren wie in Anspruch 2 oder 3 beansprucht, wobei Bewegungsverfolgen eines oder eine Kombination von Positions
- und/oder Ausrichtungsinformation des Benutzerkörpers und/oder von Körperteilen umfasst und erhalten wird von
einem oder einer Kombination von:

20 magnetismo;
eletromagnetismo; und
optischen Bewegungsaufzeichnungsmitteln (1112).

5. Bewegungssimulationsgerät, das in Kombination umfasst:

25
einen anthropomorphischen Roboterarm (99), der eingerichtet ist, um mindestens sechs Bewegungsfreiheits
grade bereitzustellen;
eine Benutzergondel (97) zum Aufnehmen des ganzen Körpers eines Benutzers, wobei die Benutzergondel (97)
operativ mit dem anthropomorphischen Roboterarm (99) verbunden ist, wobei der Roboterarm (99) ein gerichtet
30 ist, um die Benutzergondel (97) beliebig in der X -, Y- und Z-Ebene eines kartesischen Koordinaten systems in
beliebiger Ausrichtung zu positionieren; eine
haptische Schnittstelle, die operativ der Benutzergondel (97) zugeordnet ist, um dem Benutzer in Über
einstimmung mit der Bewegung der Benutzergondel haptisches Feedback, zusätzlich zu der haptischen Ganz
körper-Empfindung, die durch den oben genannten Roboterarm allein bereitgestell t wird, bereitzustellen.
35
6. Gerät wie in Anspruch 5 beansprucht, das weiterhin umfasst:

eine Benutzersteuerschnittstelle, die operativ der Benutzergondel (97) und dem Roboterarm (99) zugeordnet ist,
um einem Benutzer eine Wahrnehmung der simulierten Umgebung bereitzustellen; und
40 Verfolgungsvorrichtungen (1112) zum Verfolgen der Bewegung des Benutzers.

7. Gerät wie in Anspruch 6 beansprucht, wobei die haptische Schnittstelle eingerichtet ist, um die verfolgte Bewegung des
Benutzers an die Benutzersteuerschnittstelle rückzumelden, um die Wahrnehmung der simulierten Umgebung des
Benutzers anzupassen.
45
8. Gerät wie in Anspruch 7 beansprucht, das weiterhin Transformationsmittel umfasst, um ein Benutzersichtfeld um
einen negativo Betrag zu transformieren, der zu der verfolgten Bewegung passt.

9. Gerät wie in einem der Ansprüche 6-8 beansprucht, wobei die verfolgte Bewegung eines oder eine Kombination
50 der folgenden umfast:

Posição em Kartesischen Koordinaten X, Y e Z; und

Ausrichtung, umfassend Gierwinkel, Nickwinkel und Rollwinkel.

55 10. Gerät wie in einem der Ansprüche 5-9 beansprucht, wobei das Gerät eingerichtet ist, um eines oder eine Kombination
der folgenden bereitzustellen:

mindestens einen Hauptbewegungsaufruf, der durch den Roboterarm (99) erzeugt wird und mit der Position

17
Machine Translated by Google

EP 2 422 939 B1

und/oder Ausrichtung der Benutzergondel (97) korrespondiert;

mindestens einen Unterbewegungsaufruf, der durch mindestens einen haptischen Aktuator (94) erzeugt wird, der
in der Benutzergondel (97) bereitgestellt ist und dem Benutzer operativ zugeordnet ist;
mindestens einen Force-Feedback-Aufruf, derch den mindestens einen haptischen Aktuator (94) erzeugt wird,
5 zum simulieren von physikalischen Phänomenen, denen der Benutzer in der simulierten Umgebung aus gesetzt
ist.

11. Gerät, das eingerichtet ist, um Bewegung zu simulieren, wobei das Gerät umfasst:

10 Rechenmittel, die eingerichtet sind, um in Übereinstimmung mit einem vorgegebenen Befehlssatz betrieben zu
werden,
wobei das Gerät in Zusammenwirkung mit dem Befehlssatz eingerichtet ist, um das Verfahren, wie es in einem
der Ansprüche 1-4 beansprucht ist, auszuführen .

15 12. Computerprogramm, das Befehle umfasst, um, wenn diese von einem Prozessor ausgeführt werden, das Verfahren
gemäß einem der Ansprüche 1-4 auszuführen.

Reivindicações
20
1. Processo de simulação de movimento, o processo compreende as fitas ci-dessous consistindo em:

dando mais seis graus de liberdade de movimento a um usuário em associação de maneira a funcionar um braço
de robô antropomórfico (99) a uma nacele de usuário (97) destinada a receber o conjunto do corpo de usuário,
25 no leque bras de robot (99) está apto para posicionar a nacelle do utilisador (97) em um quelconque endroit no
plano X, Y et Z de um sistema de coordenadas cartesianas em uma orientação quelconque ; forneça uma
retroação háptica ao usuário em correspondência com o movimento da nacele do usuário (97), além da sensação
de toque no conjunto do corpo, fornecida pelos braços do robô lui-mesmo.

30 2. Procédé selon la revendication 1, comprenant en outre une ou une combinaison des étapes ci-dessous consistente à:

fornecer a um usuário uma percepção do ambiente simulado; et suivre

le mouvement de l'utilisateur.

35 3. Procédé selon la revendication 1 ou 2, comprenant en outre une étape ou une combinaison des étapes ci-dessous
consiste em:

gerar uma base de dados de movimentos empíricos constituídos de dados de movimentos capturados destinados
a simular cenários de simulação pré-determinados e/ou uma modelagem; acessar uma
40 base de dados de movimentos empíricos existentes constituídos de dados de movimentos capturados destinados
a simular cenários de simulação pré-determinados e/ou uma modelagem.

4. Procédé selon la revendication 2 ou 3, dans lequel le suivi du mouvement comprend une ou une combinaison
d'informations de positionnement et/ou d'orientation du corps de l'utilisateur et/ou de parties du corps de l'utilisateur,
45 et il est obtenu par un moyen ou une combinaison des moyens ci-dessous :

um momento de captura de movimento magnético;

um momento de captura de movimento eletromagnético; et un
moyen de capture de mouvement optique (1112).
50
5. Dispositivo de simulação de movimento compreensivo, em combinação:

um sutiã de robô antropomórfico (99) apte à fournir au moins seis graus de liberté de mouvement; uma
nacele de utilisador (97) destina-se a receber o conjunto do corpo de um utilisador, ladite nacelle de utilisador (97)
55 é tão reliée fonctionnellement au bras de robot anthropomorphique (99), dans lequel les bras de robot (99) está
apto a posicionar a nacelle d'utilisateur (97) a um endroit quelconque dans le plan X, Y et Z d'un système de
coordonnées cartesiennes a uneorientation quelconque ; uma
interface háptique fonctionnellement associada à nacelle d'utilisateur (97) para fornecer uma retroação

18
Machine Translated by Google

EP 2 422 939 B1

haptique ao utilisateur em correspondência com o movimento da nacelle d'utilisateur (97), além da sensação haptique no conjunto do corpo,
fornecido pelo bras do robô lui-mesmo.

6. Dispositif selon la revendication 5, comprenant en outre:

5
uma interface de função de comando do usuário associada à nacele do usuário (97) e ao braço do robô (99), em vista de fornecer a um
usuário uma percepção do ambiente simulada; et des dispositifs de suivi (1112) pour suivre le mouvement de
l'utilisateur.

10 7. Dispositif selon la revendication 6, dans lequel l'interface haptique está apto para reenviar o movimento suivi de l'utilisateur à l'interface de commande
d'utilisateur en vue d'adapter la percepção par l'utilisateur de l'environnement simulé .

8. Dispositif selon la revendication 7, comprenant en outre un moyen de transform destiné a modifier une vue de
15 o usuário de um valor negativo que completa o movimento seguinte.

9. Dispositif selon l'une quelconque des revendications 6 a 8, dans lequel le mouvement suivi comprend un ou une
combinação de elementos ci-dessous:

20 uma posição em coordenadas cartesianas X, Y et Z ; et uneorientation,

notamment en lacet, tangage et roulis.

10. Dispositif selon l'une quelconque des revendications 5 a 9, dans lequel le dispositif est apte para fornecer l'un ou une
combinação de elementos ci-dessous:
25
au moins un repère de movement majeur généré par le bras de robot (99) et correspondente à posição et/ou orientação da nacelle
d'utilisateur (97) ; au moins un repère de mouvement
mineur généré par au moins un actionneur haptique (94) délivré dans la nacelle d'utilisateur (97) et fonctionnellement associé a l'utilisateur ;
au moins un repère de retroaction de force généré por ledit au moins a actionneur
30 haptique (94) para a simulação de fenômenos físicos encontrados pelo usuário no ambiente simulado.

11. Dispositif apte à simuler un movement, ledit dispositif comprenant:

35 un moyen de traitement apte à opérer selon un ensemble d'instructions prédeterminado ; dispositivo ledit,
conjunto com conjunto de instruções ledit, étant apte à mettre en oeuvre le procédé selon l'une quelconque des revendications 1 a 4.

12. Program informatique comprenant des Instructions pour, lorsqu'il est exécuté sur un processeur, mettre en oeuvre
40 le procédé selon l'une quelconque des revendications 1 a 4.

45

50

55

19
Machine Translated by Google

EP 2 422 939 B1

20
Machine Translated by Google

EP 2 422 939 B1

21
Machine Translated by Google

EP 2 422 939 B1

22
Machine Translated by Google

EP 2 422 939 B1

23
Machine Translated by Google

EP 2 422 939 B1

24
Machine Translated by Google

EP 2 422 939 B1

25
Machine Translated by Google

EP 2 422 939 B1

26
Machine Translated by Google

EP 2 422 939 B1

27
Machine Translated by Google

EP 2 422 939 B1

28
Machine Translated by Google

EP 2 422 939 B1

29
Machine Translated by Google

EP 2 422 939 B1

30
Machine Translated by Google

EP 2 422 939 B1

31
Machine Translated by Google

EP 2 422 939 B1

32
Machine Translated by Google

EP 2 422 939 B1

33
Machine Translated by Google

EP 2 422 939 B1

34
Machine Translated by Google

EP 2 422 939 B1

35
Machine Translated by Google

EP 2 422 939 B1

REFERÊNCIAS CITADAS NA DESCRIÇÃO

Esta lista de referências citadas pelo requerente é apenas para conveniência do leitor. Não faz parte do documento de patente
europeia. Embora tenha sido tomado muito cuidado na compilação das referências, erros ou omissões não podem ser excluídos
e o EPO se isenta de qualquer responsabilidade a esse respeito.

Documentos de patente citados na descrição

• US 6776722 B [0022] [0069]

Literatura não patenteada citada na descrição

• K. SALISBURY; R. DEVENGENZO. Em direção à

manipulação virtual: de um ponto de contato para
quatro. Sen sor Review, 2004, vol. 24 (1), 51-59 [0015]

36