ROBÔ

COLABORATIVO
TM Cobot

FIT-F.24.01-02 Rev.C
Apostila do Aluno
 Estevão José dos Santos – Engenheiro I
Renan Baptista Abud – Engenheiro I
Thayná A. Rodrigues de Almeida – Assistente de Engenharia
Jailson Bina da Silva – Engenheiro I
Autores da apostila

Jailson Bina da Silva – Engenheiro I

Instrutores do curso

Larissa Jessica Alves – Analista de Suporte Pedagógico Sr.

Luana Dias Pena Forte – Estagiária Pedagógica
Revisão da apostila

Fit Instituto de Tecnologia

Manaus, Setembro de 2022.

FIT-F.24.01-02 Rev.C
 Autores/Instrutores

Estêvão José dos Santos

• Engenheiro de Controle e Automação;
• FIT desde 2021, membro do Sketch to Scale;
• Experiência com aplicações de automação industrial
e IOT;
• Desenvolvimento de soluções em Python, OpenCV e
Sistemas Embarcados.

Renan Baptista Abud

• Engenheiro de Controle e Automação;
• Mestrando em Engenharia Elétrica;
• FIT desde 2021, membro do Sketch to Scale;
• Desenvolvimento de Hardware, Firmware e
Automação.

Thayná A. Rodrigues de Almeida

• Engenheira Mecatrônica;
• FIT desde 2021, membra do Sketch to Scale;
• Experiências nos departamentos de Engenharia de
Produto e Qualidade de Software da Flex/FIT;
• Desenvolvimento de hardware, firmware e
automações.

Jailson Bina da Silva

• Engenheiro de Controle e Automação;
• FIT desde 2022;
• Experiência com aplicações de automação industrial
e IOT.

FIT-F.24.01-02 Rev.C
 APRESENTAÇÃO

A presente apostila é um instrumento teórico que complementa o curso

de capacitação de Robô Colaborativo, promovido pelo Fit- Instituto de
Tecnologia, para colaboradores do Fit Instituto de Tecnologia, Flextronics e
comunidade. Nela, veremos as principais ferramentas, componentes e
configurações para a utilização do TM5-900 e TM-12 da Omron. Este material é
baseado em artigos científicos, periódicos, revistas científicas e livros científicos.
É extremamente recomendável ao aluno que, ao final da leitura de cada seção,
realize os exercícios propostos e acesse os materiais indicados nas referências
bibliográficas, para aprofundar a leitura desse material e complementar o que foi
lido aqui.
A apostila está dividida em 11 seções, iniciando com uma introdução
sobre visão computacional com Tmvision, em seguida alguns dados sobre a
projeção do aumento do número de robôs colaborativos na indústria para os
próximos anos, posteriormente, expõem-se os componentes presentes no robô
colaborativo TM5-900 e TM-12, Workspace calibration, Vision designer Modules,
Servoing e Fixed Point.

Desejo a você, prezado aluno, que tenha um excelente curso!!

Boa Leitura !!

FIT-F.24.01-02 Rev.C
 SUMÁRIO
1. Visão Computacional com TMVision .............................................. 6

1.1 Introdução ................................................................................... 6

1.2 Bloco Visão ................................................................................. 7

1.3 Camera Kit ................................................................................ 11

1.4 Workspace Calibration .............................................................. 12

1.5 Exercício.................................................................................... 15

1.6 Task Designer ........................................................................... 15

1.7 Vision Designer Modules: .......................................................... 16

1.7.1 Enhance ............................................................................... 17

1.7.2 Find ...................................................................................... 19

1.7.3 Identify ................................................................................. 20

1.8 Visual Servoing (Servo Visão) ................................................... 21

1.9 Exercício.................................................................................... 23

1.10 Exercício ................................................................................ 23

1.11 Exercício ................................................................................ 24

1.12 Fixed Point ............................................................................. 24

1.13 Exercício ................................................................................ 27

1.14 Exercício ................................................................................ 27

1.15 AOI - only ............................................................................... 28

1.16 Exercício ................................................................................ 29

1.17 Vision IO................................................................................. 30

1.18 Exercício ................................................................................ 31

1.19 Landmark Alignment .............................................................. 31

1.20 Exercício ................................................................................ 33

1.21 Exercício ................................................................................ 34

Situação Problema................................................................................. 35

FIT-F.24.01-02 Rev.C
 Conclusão .............................................................................................. 36

Referências............................................................................................ 37

CONTROLE DE REVISÃO DO DOCUMENTO / DOCUMENT REVISION CONTROL

......................................................................................................................... 38

FIT-F.24.01-02 Rev.C
 1. Visão Computacional com TMVision

1.1 Introdução
Todos os robôs da série TM possuem uma câmera integrada com sistema
de iluminação próprio, montado próximo ao End Effector, podendo ser utilizada
como uma ferramenta para alinhamento em tarefas de manipulação de peças.
A câmera integrada, Figura 1, possui 5 MP, com resolução configurável,
o ponto de referência, conhecido como ponto 0, está localizado a 49 mm da
estrutura de fixação de ferramentas, um pouco atrás do plástico protetor da lente.
Já a distância de operação geralmente é localizada entre 100 e 300 mm após
esse ponto de referência, levando em consideração uma distância segura do
ponto de contado da garra com o ponto final da câmera.

Figura 1 - Câmera integrada do TM. Fonte: TM Cobot.

Além da câmera interna, até duas câmeras Basler GigE, Figura 2, também
podem ser utilizadas, pois a caixa de controle do robô, ou a Control Box, possui
duas portas Ethernets dedicadas com PoE para alimentação dessas câmeras.
Mais informações podem ser encontradas no manual TMvision Software Manual.

FIT-F.24.01-02 Rev.C 6
 Figura 2 – Câmeras Basler com padrão GigE Vision. Fonte: Alta Vision.

A Figura 3, apresenta algumas das características das câmeras que

podem ser utilizadas com o sistema de visão TM.

Figura 3 - Algumas das câmeras suportadas. Fonte: TM Cobot.

Alguns dos recursos dos blocos TMVision, tecnologia de visão

computacional da TM, serão abordados nesse capítulo.

1.2 Bloco Visão

No corpo da câmera, há um botão chamado VISION, quando pressionado,
irá instanciar um Vision Job, que pode ser configurado. Esse bloco, Figura 4,
possui duas saídas, Pass que informa a condição de aprovado, e Fail informando
a condição de reprovado, dependendo de uma configuração de Task (tarefa) que
também será configurada.

FIT-F.24.01-02 Rev.C 7
 Figura 4 - Bloco Visão. Fonte: Tmflow.

Ao selecionar o ícone que possui a aparência de um lápis, irá aparecer o

menu de propriedades da Figura 5.

Figura 5 - Propriedades de Visão. Fonte: Tmflow.

Para criar um Vision Job, selecione nas propriedades bloco de visão,

Figura 5, e no menu da Figura 6, clique no +, adicione um nome para o Job
(trabalho) desejado.

FIT-F.24.01-02 Rev.C 8
 Figura 6 – Criando um Vision Job. Fonte: Tmflow.

A Figura 7 é a interface dedicada para configurar um vision job, possuindo

um campo dedicada para escolha de câmera que irá ser utilizada, a Task da
visão, a imagem em tempo real e um menu para o controle do braço.

Figura 7 - Configuração de Vision Job. Fonte: Tmflow.

Existem quatro tarefas que podem ser escolhidas no menu Task, como
observado na Figura 8:

FIT-F.24.01-02 Rev.C 9
 • Câmera Kit: utilizada para ajustar a imagem, alterar o foco, brilho e
angulação.
• Calibration: usado para calibrar os parâmetros que o robô irá depender
usar em conjunto com a câmera, como tarefas do tipo Fixed-Point.
• Task Designer: é utilizado para editar uma tarefa.
• Hard Drive Settings: usado para configurar o disco utilizado para
armazenar as imagens que forem salvar pela câmera.

Figura 8 - Tarefas de visão. Fonte: Tmflow.

FIT-F.24.01-02 Rev.C 10
 1.3 Camera Kit

Figura 9 - Painel do Camera Kit. Fonte: Tmflow.

A Task Camera Kit é usada para ajustar a câmera, no menu esquerdo

teremos o Camera Parameter Settings, ou Configuração dos Parâmetros da
Câmera, que iremos utilizar para configurar:
• Resolution: a resolução da imagem;
• Shutter time: é o tempo que o obturador irá permanecer aberto em
milissegundos, diretamente relacionado com o quanto a imagem irá
ficar clara ou escura;
• Gain: ou ganho, que clareia as imagens;
• White Balance: ou Balanço de Branco, que geralmente corrige os
valores das cores;
• Focus: configurando o ponto de foco da câmera.

Uma das configurações importantes que deve ser mencionado é o Tilt

Correction, ou correção de Inclinação, pois é utilizada para calibrar a inclinação

FIT-F.24.01-02 Rev.C 11
do plano, sendo necessário a utilização do Diceboard, semelhante a um tabuleiro
de xadrez, que usaremos durante a calibração, com isso, o robô irá se mover de
uma posição que se encontra, para tentar ajustar e compensar a inclinação,
enquanto mantem o Diceboard no campo de visão, essa calibração pode ser
feita de forma automática, ao clicar em Auto-Tilt, que irá iniciar o processo após
a confirmação do botão PLAY, mas poderá ser interrompida a qualquer momento
com o uso do botão STOP.

1.4 Workspace Calibration

Quando for trabalhar com operações que envolvam a câmera, um dos
passos necessários é o Workspace Calibration, ou a calibração do espaço de
trabalho, é necessário para que os pixels capturados pela câmera sejam
parametrizados com unidade de medidas reais. Para isso, o kit do braço robô
TM possui duas placas de calibração, Figura 10, uma grande e uma pequena,
que deverão ser utilizadas dependendo do tipo de operação, essas placas
também são conhecidas como Diceboard.
Vale ressaltar que as placas de calibração devem estar na mesma altura
onde serão detectadas as peças para operação dentro dessa área de trabalho,
e caso as peças possuírem altura vertical, é recomendado que as placas estejam
na altura da peça mais alta.

Figura 10 - Placas de Calibração. Fonte: TMflow.

FIT-F.24.01-02 Rev.C 12
 Pontos que deverão ser considerados para iniciar a calibração: É
necessário que uma seção 4x4 do xadrez esteja visível pela câmera, que o
campo de visão não seja maior que a placa de calibração, que a câmera esteja
posicionada no mínimo a 70mm da placa, tendo um limite máximo de 400mm
para a placa maior e 200mm para a placa menor.
Ao criar um Vision Job, trabalho de visão, temos acesso ao painel de
Calibração ao selecionar a Task Calibration como na Figura 11.

Figura 11 - Acesso ao painel de calibração. Fonte: TMflow.

Uma janela irá aparecer com a opção de calibração automática ou

manual, como na Figura 12.

Figura 12 - Janela das opções de calibração. Fonte: Tmflow.

Se a calibração automática for optada, quatro passos serão necessários

para concluir o processo:
1. Tilt-Correction, ou correção de inclinação, que irá assegurar que o
painel de operação estará perpendicular ao plano focal da câmera.
2. Confirmação da área de trabalho, para visualmente conferir o
resultado da correção de plano, podendo repetir o processo de

FIT-F.24.01-02 Rev.C 13
 correção de inclinação novamente se necessário, a posição que a
câmera iniciar o processo de calibração será considerado a posição
inicial. Após esse passo o VPoint também será definido.
3. Calibração da área de trabalho, após a confirmação pelo botão Start o
robô irá capturar fotos em distintos ângulos da placa de calibração,
para calcular a posição relativa da área de operação.
4. Salvar resultados do novo espaço de trabalho, assim que acurácia for
verificada, salve os resultados de calibração como um arquivo para
poder acessar em trabalhos de pontos fixos.

Figura 13 - Último passo para salvar os resultados. Fonte: Tmflow.

Porém caso o processo de calibração optado seja o manual, leve em

consideração que será necessário um pino de calibragem montado no braço do
robô, já os quatro passos necessários serão:
1. Confirmação de área de trabalho, cheque se a placa de calibração está
posicionada paralelamente a zona de visibilidade do robô.
2. Definir os parâmetros TCP, posicione o ponto Z na distância das
dimensões da ferramenta.
3. Calibração de área de trabalho, posicione a ferramenta no indicado na
placa de calibração, repita o processo múltiplas vezes com alvos
distintos, se necessário utilize a aba do Controller para mover o robô
com mais precisão.
4. Salvar resultados do novo espaço de trabalho.

FIT-F.24.01-02 Rev.C 14
 1.5 Exercício
Implementando os conhecimentos, realize o processo de calibragem
automática.
Ao terminar o desafio, insira as evidências sobre a atividade (estrutura)
em arquivos: na sua estrutura original, caso os diretórios sejam HTML, CSS, JS,
JPG e/ou PNG, podendo inserir na plataforma quantos arquivos quiser ou pode
zipar os arquivos (ZIP e RAR), inserindo todos os arquivos de uma vez só. As
evidências são: Código-fonte do exercício (arquivo do codigo fonte e foto da
montagem/ tela).

1.6 Task Designer

O sistema TMVision possuem as seguintes funções que podem ser
selecionados no menu Task Designer, visto na Tabela 1.
• Visual Servoing (Servo Visão), adequado para operações que precisam
de visão da garra, cria uma base onde a origem é a câmara do robô
enquanto movimenta o braço;
• Fixed Point (Ponto Fixo), calcula a posição do objeto através de uma
coordenada absoluta com origem no objeto detectado;
• AOI-only (Algoritmos de detecção), acesso a algoritmos como leitura
de códigos de barras, leitura de QR Code, classificador de cores e
funções de comparação de String;
• Vision IO (Câmera como sensor), utiliza a câmera como um sensor,
procurando algumas mudanças na área reservada de uma imagem;
• Landmark Alignment (Alinhamento Fiducial), utilizado para identificar
uma tag padronizada e usá-la como ponto de referência;
• Object-based Calibration (Calibração orientada a objetos), usa o objeto
detectado como ponto de referência e calcula um relacionamento
relativo entre o objeto e o robô;
• Smart-Pick (Pega inteligente), trabalho passo a passo usando um TM
Landmark.

FIT-F.24.01-02 Rev.C 15
 O Usuários poderá optar por desenvolver uma aplicação escolhendo os
recursos que antederem a necessidade.
Ao escolher uma das aplicações para o uso devido leve em consideração:

Necessita
Disposição Sistema Base de
Aplicação Workspace
Adequada referência
configurado?
Câmera acoplada no
Baseado na posição
Fixed braço / Câmera não Sim
do objeto
acoplada no braço
Câmera acoplada no Baseado na posição
Servoing Não
braço do robô
Câmera acoplada no
AOI-only braço / Câmera não Não Não aplicável
acoplada no braço
Câmera acoplada no
Vision OI braço / Câmera não Não Não aplicável
acoplada no braço
Landmark Câmera acoplada no Baseado na posição
Não
Alignment braço do landmark
Object-based Câmera acoplada no Baseado na posição
Não
Calibration braço do objeto
Câmera acoplada no
Smart-Pick Não aplicável Não aplicável
braço

Tabela 1 - Análise de aplicação vs. configurações de camêra. Fonte: Autoral.

1.7 Vision Designer Modules:

As aplicações que utilizam o Task Designer, muitas vezes precisam de
ferramentas auxiliares para alterar a imagem, detectar objetos, ler código de
barras, entre outras. Porém vale ressaltar que dependendo da aplicação nem
sempre todas as ferramentas estarão disponíveis.

FIT-F.24.01-02 Rev.C 16
 Figura 14 - Ferramentas de manipulação de imagem. Fonte: Tmflow.

Na Figura 14, as marcações indicam:

1. Enhance, aprimoramento de imagem, Figura 15;
2. Find, encontrar objetos em uma imagem, Figura 17;
3. Identify, algoritmo de identificação baseado em imagem, Figura 18.

1.7.1 Enhance

Figura 15 - Ferramenta de aprimoramento de imagem. Fonte: Tmflow.

Enhance, Figura 15, ou Aprimoramento, possui funções que pode

aumentar as chances de sucesso de identificação em diferenciados ambientes,
como podemos ver na Tabela 2Erro! Fonte de referência não encontrada..

Função Descrição
Melhoria de Contraste Ajusta o contraste da imagem capturada,
pode ou não aumentar a chance de
detectar um objeto.

FIT-F.24.01-02 Rev.C 17
 Extração de Plano de Cor Extrai um plano de cor da imagem ou
saturação. Também converte o plano
RGB para HSV. Exemplo na Figura 16

Suavização Aplica um filtro para reduzir o ruido na

imagem.

Thresholding Converte uma imagem em preto e

branco.

Morfologia Usado para remover ruído ou preencher

buracos nas imagens.

Tabela 2 - Funções de aprimoramento. Fonte: Autoral.

Figura 16 - Exemplo de extração de imagem. Fonte: Tmflow.

FIT-F.24.01-02 Rev.C 18
 1.7.2 Find

Figura 17 - Ferramenta de busca na imagem. Fonte: Tmflow.

As funções de Find, Figura 17, são utilizadas para identificar a presença

de um objeto no campo de visão da câmera, como podemos ver na Tabela 3.

Função Descrição Dados de Retorno

Em relação às
Correspondência de Localiza um objeto na coordenadas X, Y
padrões (Forma) imagem com base em e ângulo de rotação R da
suas características referência inicial da
geométricas. imagem (canto superior
esquerdo).
Em relação às
Localiza um objeto na
Correspondência de coordenadas X, Y
imagem com base em
padrões (Imagem) e ângulo de rotação R da
seus recursos de
referência inicial da
distribuição de valor de
imagem (canto superior
pixel.
esquerdo).
Em relação às
Localiza um objeto pela coordenadas X, Y
Localizador de blobs
diferença de cor e ângulo de rotação R da
entre o objeto e o referência inicial da
fundo. imagem (canto superior
esquerdo).
Altera as coordenadas Em relação às
Âncora iniciais do objeto coordenadas X, Y
detectado por e ângulo de rotação R da
manualmente ajustar o referência inicial da
ponto de ancoragem.

FIT-F.24.01-02 Rev.C 19

Marca Fiduciária Usa dois recursos óbvios
Correspondente no
objeto para comparar
correspondência.
imagem (canto superior
esquerdo).
Em relação às
coordenadas X, Y
e ângulo de rotação R da
referência inicial da
imagem (canto superior
esquerdo).

Tabela 3 - Funções de busca. Fonte: Autoral.

1.7.3 Identify

Figura 18 - Algoritmo de identificação em imagem. Fonte: Tmflow.

As funções do modo Identify, Figura 18, ajudam a realizar a leitura de

padrões já existentes e quais o TMvision possui recurso de identificação, como
podemos ver na Tabela 4.
Função Descrição
Irá ler um código de
Barcode/QR code
barras serial, um 2D
DataMatrix ou um QR
code.
Color Classifier
Classificação de cores
Dados de retorno
Conteúdo de leitura do
código lido, se a leitura
for concluída, mas
retornará um valor “”
quando falhar.
Usuário irá definir os
caracteres para a String
e para o treinamento.

Tabela 4 - Funções de identificação. Fonte: autoral.

FIT-F.24.01-02 Rev.C 20
 1.8 Visual Servoing (Servo Visão)
Servo visão, Figura 19, é uma operação adequada somente para a
câmera que está acoplada ao braço do robô, não podendo ser utilizada com
câmeras externas. O alinhamento com o objeto será mantido através da
aproximação gerada pelos sistemas de coordenadas da imagem, o workspace
não é necessário que esteja calibrado para essa operação, porém, o diceboard
pode ajudar na calibração inicial de alinhamento do nível.

Figura 19 - Janela do Visual Servoing. Fonte: autoral.

A servo visão é determinada pela região de convergência entre o objeto

encontrado e o movimento do braço robótico, ele pode ser aplicado em uma
situação ao qual a relação entre a câmera, área de trabalho e o robô poderão
ser facilmente alterados através da intervenção ou atividade humana.
Após um nível estar calibrado, selecione INITIATE no lado esquerdo da
janela, para a configuração de parâmetros básicos: Parâmetros da câmera,
Fonte de imagem, Iluminação e Estabilização do robô.
Após os parâmetros básicos terem sido configurados, confirme se a
imagem de preview está visível e conforme o configurado, após isso, selecione

FIT-F.24.01-02 Rev.C 21
um algoritmo de Find, para que possamos obter uma função de comparação de
imagem.
Após o algoritmo Find tenha sido determinado, o sistema TMvision irá
comparar o que está no campo de visão com o padrão estabelecido pelo
algoritmo Find selecionado, o bloco retorna à pontuação de similaridade, o
usuário poderá definir valores de thresholds para imagens que possuem o
mesmo objeto.
Saia e retorne ao flow chart quando tiver terminado de configurar o bloco
de visão.
Se a configuração de servo visão tenha sido definida, clique em Start
Servoing e aperte o botão “+” do robô, podendo visualizar na tela o inicio do
processo.
Poderá ser necessário estabelecer um Stop Criterion, Figura 20, critério
de parada, indicando quando o movimento dos servomotores deverão
interrompidos quando completados.

Figura 20 - Stop Criterion. Fonte: Tmflow.

Os parâmetros que podem ser configurados são:

FIT-F.24.01-02 Rev.C 22
 • Distance, ou distância, indica qual a distância de operação entre o
braço e o objeto encontrado que o sistema tenta alcançar.
• Angle, determina o range da diferença angular entre o braço e o objeto
encontrado que o sistema tenta compensar.
• Depth Compesation, quando ou não habilitar a compensação de
profundidade baseada na escala de valores do objeto encontrado.

1.9 Exercício
Implementando os conhecimentos adquiridos com os blocos Visual
Servoing, realize uma operação de pick and place com servo visão.
Nesse exercício, você pegará a peça no ponto A e levará até o ponto B,
caso não haja nenhuma peça no ponto A, o robô colaborativo deve entrar em
modo pausa.
Ao terminar o desafio, insira as evidências sobre a atividade (estrutura)
em arquivos: na sua estrutura original, caso os diretórios sejam HTML, CSS, JS,
JPG e/ou PNG, podendo inserir na plataforma quantos arquivos quiser ou pode
zipar os arquivos (ZIP e RAR), inserindo todos os arquivos de uma vez só. As
evidências são: Código-fonte do exercício (arquivo do codigo fonte e foto da
montagem/ tela).

1.10 Exercício
Implementando os conhecimentos adquiridos com os blocos Visual
Servoing, realize uma operação de servo visão.
Com base no exercício anterior, edite o programa para utilizar subflow e
thread.
Ao terminar o desafio, insira as evidências sobre a atividade (estrutura)
em arquivos: na sua estrutura original, caso os diretórios sejam HTML, CSS, JS,
JPG e/ou PNG, podendo inserir na plataforma quantos arquivos quiser ou pode
zipar os arquivos (ZIP e RAR), inserindo todos os arquivos de uma vez só. As
evidências são: Código-fonte do exercício (arquivo do codigo fonte e foto da
montagem/ tela).

FIT-F.24.01-02 Rev.C 23
 1.11 Exercício
Implementando os conhecimentos adquiridos com os blocos Visual
Servoing, realize uma operação de servo visão.
Nesse exercício, a esteira transportadora está em movimento, quando a
peça for detectada pelo sensor no ponto A, a esteira deve ser desligada. Uma
vez ponto A, o cobot deve leva-lá até o ponto B.
Ao terminar o desafio, insira as evidências sobre a atividade (estrutura)
em arquivos: na sua estrutura original, caso os diretórios sejam HTML, CSS, JS,
JPG e/ou PNG, podendo inserir na plataforma quantos arquivos quiser, ou pode
zipar os arquivos (ZIP e RAR), inserindo todos os arquivos de uma vez só. As
evidências são: Código-fonte do exercício (arquivo do codigo fonte e foto da
montagem/ tela).

1.12 Fixed Point

Entre na janela TMvision Task Designer e selecione Fixed Point para usar
esta função. A função de ponto fixo é projetada para EIH e ETH, para que o robô
calcule e posicione objetos com coordenadas absolutas, criando espaços de
trabalho. A precisão varia com a calibração do espaço de trabalho. Depois de
escolher a área de trabalho, use INITIATE no Flow do lado esquerdo para definir
os parâmetros básicos.

FIT-F.24.01-02 Rev.C 24
 Figura 21 - Janela do Fixed Point. Fonte: Autoral.

Os parâmetros de configuração são mostrados abaixo:

Nome Função
Adjust Inclui obturador e foco para a câmera embutida, contraste e
camera balanço de branco para imagens extraídas. Todos os módulos
parameters possuem uma função automática uma vez. Clique em Salvar para
validar as alterações feitas.
Switch to Use as imagens internas do TM SSD para identificação.
record
image
Start at initial Verifique isso para retornar o robô à sua posição inicial antes da
position identificação visual. Desmarque isso e o robô executará a
identificação visual na posição atual.
Move to the Mova o robô para a posição inicial.
initial
position
Reset Redefina o espaço de trabalho do robô.
workspace
Lighting Ativar ou desativar a luz da câmera.
Light Use o controle deslizante para definir o nível de brilho.
Intensity
Idle for Defina o período de tempo manualmente ou automaticamente
Robot para que o robô se ajuste automaticamente antes de tirar fotos.
Stablilization

FIT-F.24.01-02 Rev.C 25
Snap-n-go Melhore a eficiência tirando instantâneos simultaneamente e
mantendo o fluxo para economizar tempo para tarefas não
visuais que se seguem. Após a captura da imagem, o sistema irá
para o próximo nó e manterá o processamento da imagem em
segundo plano do fluxo. Observe que quando os processos após
o nó Vision exigirem o resultado do nó Vision e o processamento
da imagem de fundo ainda estiver em execução, haverá
condições e retornos da seguinte forma:
• Se o próximo nó exigir os parâmetros do resultado, como
as variáveis booleanas Done e Pass geradas pelo trabalho
Vision, os usuários terão que editar um nó If para que o
sistema determine como proceder.
• Se o próximo nó também for um nó do Vision que inclui
um ponto base do Vision ou um trabalho do Vision, o fluxo
não continuará até que seja concluído com o último nó do
Vision.

Tabela 5 - Configurações Fixed Point. Fonte: TMvision.

Depois de configurar os parâmetros básicos da câmera, selecione a

função Find na parte superior e selecione a função de correspondência de
padrões conforme mostrado abaixo. O TMvision usará o recurso de formato
emoldurado para encontrar seu alinhamento na imagem e construir a base visual
no objeto.

Figura 22 - Fixed Point. Fonte: Tmvision.

FIT-F.24.01-02 Rev.C 26
 Depois que os padrões de correspondência forem determinados, o
TMvision comparará a imagem no campo de visão atual com a que está
armazenada, para calcular os recursos de forma e identificar diferenças, bem
como fornecer pontuações para correspondência. Os usuários podem configurar
limites para determinar se as duas imagens são o mesmo objeto.

1.13 Exercício
Implementando os conhecimentos adquiridos com os blocos Visual Fixed
Point, realize uma operação de point visão.
Nesse exercício, você deve desenvolver um programa para que o robô
colaborativo movimente a peça, disposta no perfil (Ponto P) da esteira
transportadora para o ponto Q (sensor de detecção). Nessa proposta, não será
utilizado a posição incial do bloco Visual Fixed Point.
Ao terminar o desafio, insira as evidências sobre a atividade (estrutura)
em arquivos: na sua estrutura original, caso os diretórios sejam HTML, CSS, JS,
JPG e/ou PNG, podendo inserir na plataforma quantos arquivos quiser ou pode
zipar os arquivos (ZIP e RAR), inserindo todos os arquivos de uma vez só. As
evidências são: Código-fonte do exercício (arquivo do codigo fonte e foto da
montagem/ tela).

1.14 Exercício
Implementando os conhecimentos adquiridos com os blocos Visual
Servoing, realize uma operação de servo visão.
Nesse exercício, você deve desenvolver um programa para que o robô
colaborativo movimente a peça quando for detectada pelo sensor no ponto A, e
encaixe-a no berço, localizado no ponto B. Caso haja uma peça no berço, o robô
colaborativo deve emitir um sinal luminoso ou sonoro em resposta. Nessa
proposta, não será utilizado a posição incial do bloco Visual Fixed Point.
Ao terminar o desafio, insira as evidências sobre a atividade (estrutura)
em arquivos: na sua estrutura original, caso os diretórios sejam HTML, CSS, JS,
JPG e/ou PNG, podendo inserir na plataforma quantos arquivos quiser ou pode
zipar os arquivos (ZIP e RAR), inserindo todos os arquivos de uma vez só. As

FIT-F.24.01-02 Rev.C 27
evidências são: Código-fonte do exercício (arquivo do codigo fonte e foto da
montagem/ tela).

1.15 AOI - only

Entre no TMvision Task Designer e selecione AOI-only para usar esta
função. A identificação somente AOI é aplicável a EIH ou ETH para ler código de
barras e código QR, classificador de cores e correspondência de strings sem
espaço de trabalho e saída do sistema básico. Para identificar um código de
barras, certifique-se de que haja apenas um código de barras claro e legível na
região enquadrada e use INICIAR no lado esquerdo do Fluxo para definir os
parâmetros básicos. Os parâmetros são mostrados abaixo:

Nome Função
Adjust Inclui obturador e foco para a câmera embutida e contraste e
camera balanço de branco para imagens extraídas. Todos os módulos
parameters possuem uma função automática uma vez. Clique em Salvar para
validar as alterações feitas.
Switch to Use as imagens internas do TM SSD para identificação.
record
image
Start at initial Verifique isso para retornar o robô à sua posição inicial antes da
position identificação visual. Desmarque isso e o robô executará a
identificação visual na posição atual.
Move to the Mova o robô para a posição inicial.
initial
position
Reset Redefina o espaço de trabalho do robô.
workspace
Lighting Ativar ou desativar a luz da câmera.
Light Use o controle deslizante para definir o nível de brilho.
Intensity
Idle for Defina o período de tempo manualmente ou automaticamente
Robot para que o robô se ajuste automaticamente antes de tirar fotos.
Stablilization
Snap-n-go Melhore a eficiência tirando instantâneos simultaneamente e
mantendo o fluxo para economizar tempo para tarefas não visuais
que se seguem. Após a captura da imagem, o sistema irá para o
próximo nó e manterá o processamento da imagem em segundo
plano do fluxo. Observe que quando os processos após o nó
Vision exigirem o resultado do nó Vision e o processamento da

FIT-F.24.01-02 Rev.C 28
 imagem de fundo ainda estiver em execução, haverá condições
e retornos da seguinte forma:
• Se o próximo nó exigir os parâmetros do resultado, como
as variáveis booleanas Done e Pass geradas pelo trabalho
Vision, os usuários terão que editar um nó If para que o
sistema determine como proceder.
• Se o próximo nó também for um nó do Vision que inclui um
ponto base do Vision ou um trabalho do Vision, o fluxo não
continuará até que seja concluído com o último nó do
Vision.

Tabela 6 - Configurações AOI - only. Fonte: TMvision

Após definir os parâmetros básicos, escolha a função de correspondência

de padrões na função Localizar na parte superior para prosseguir com a
correspondência. A identificação é apenas para um ponto específico, não para
todo o campo de visão. Os usuários podem usar a função Localizar para ajustar
o intervalo de pesquisa para localizar o recurso de objeto. Uma vez que o recurso
do objeto é encontrado, o código de barras do objeto pode ser identificado com
precisão. A identificação do código de barras produzirá o resultado da
identificação. Use o nó Exibir para confirmar a precisão do código de barras.

1.16 Exercício
Implementando os conhecimentos adquiridos com os blocos AOI-only,
realize uma operação de somente Inspeção Óptica Automatizada.
Nesse exercício, você deve desenvolver um programa para que o robô
colaborativo realize uma inspeção óptica, utilizando os módulos Find e Identify.
Caso o programa reprove a inspeção, o robô colaborativo deve emitir um sinal
luminoso ou sonoro em resposta. Nessa proposta, não será utilizado a posição
incial do bloco AOI-only.
Ao terminar o desafio, insira as evidências sobre a atividade (estrutura)
em arquivos: na sua estrutura original, caso os diretórios sejam HTML, CSS, JS,
JPG e/ou PNG, podendo inserir na plataforma quantos arquivos quiser ou pode
zipar os arquivos (ZIP e RAR), inserindo todos os arquivos de uma vez só. As
evidências são: Código-fonte do exercício (arquivo do codigo fonte e foto da
montagem/ tela).

FIT-F.24.01-02 Rev.C 29
 1.17 Vision IO
Entre na janela TMvision Task Designer e selecione Vision IO para usar
esta função. Quando ocorre uma alteração óbvia na imagem, a diferença antes
e depois da alteração pode ser usada para determinar se ocorreu uma alteração
na janela de detecção. O módulo Vision IO vê a câmera como um módulo IO e
monitora continuamente uma área específica na tela. Quando a área mostra uma
mudança significativa no conteúdo, um sinal de disparo é enviado ao Tmflow.
Método de inicialização:
Task Designer → Vision IO
Em comparação com as tarefas de visão anteriores no fluxo, ao selecionar
o Vision IO na inicialização, os usuários podem configurar no prompt conforme
mostrado à esquerda da figura abaixo.

Figura 23 - Vision IO. Fonte:TMVision

Nome Função
Move to Mova o robô para a posição inicial.
Initial
Position
Rest Initial Redefinir a posição inicial do robô.
Position
TimeOut Defina o tempo de espera pelo Vision IO. Se o IO não for ativado
dentro do limite de tempo, o processo sai pelo caminho Fail.
Set sensing Defina uma região no vídeo ao vivo como uma área para
window monitorar. Após a conclusão da configuração, se o nível de
variações ultrapassar o limite, significa que ocorreu o evento
acionado.
Threshold Sensibilidade do evento de disparo: quanto menor o limite, mais
sensível.

Tabela 7 - Configurações Vision IO. Fonte: TMvision.

FIT-F.24.01-02 Rev.C 30
 1.18 Exercício
Implementando os conhecimentos adquiridos com os blocos Vision IO,
realize uma operação de Entrada e Saída de visão.
Nesse exercício, você deve desenvolver um programa para que o robô
colaborativo realize uma visão de entrada e saída. Caso o programa reprove a
inspeção, o robô colaborativo deve emitir um sinal luminoso ou sonoro em
resposta. Nessa proposta, não será utilizado a posição incial do bloco Vision IO.
Ao terminar o desafio, insira as evidências sobre a atividade (estrutura)
em arquivos: na sua estrutura original, caso os diretórios sejam HTML, CSS, JS,
JPG e/ou PNG, podendo inserir na plataforma quantos arquivos quiser ou pode
zipar os arquivos (ZIP e RAR), inserindo todos os arquivos de uma vez só. As
evidências são: Código-fonte do exercício (arquivo do codigo fonte e foto da
montagem/ tela).

1.19 Landmark Alignment

Entre na janela TMvision Task Designer para selecionar e usar a função
Landmark Alignment. Os usuários podem executar esta função com o TM
Landmark oficial. Isto destina-se a construir pontos de ensino subsequentes no
sistema básico adicionados pelo marco TM.

Figura 24 - Landmark Alignment (1/2). Fonte: TMvision.

FIT-F.24.01-02 Rev.C 31
 Para pontos que foram registrados na base do robô, os usuários devem
ensinar todos os pontos novamente se a relação relativa entre o robô e o objeto
mudou. Se o sistema de base de visão foi criado por meio do Landmark e o ponto
de alinhamento é baseado no sistema de base de visão anterior, se a relação
relativa entre o robô e o objeto mudou, basta a execução do nó de visão para
atualizar o sistema de base de visão do Landmark.

Figura 25 - Landmark Alignment (2/2). Fonte: TMvision.

Nome Função
Adjust Inclui obturador e foco para a câmera embutida e contraste e balanço
camera de branco para imagens extraídas. Todos os módulos possuem uma
parameters função automática uma vez. Clique em Salvar para validar as
alterações feitas.
Switch to Use as imagens internas do TM SSD para identificação.
record
image
Start at initial Verifique isso para retornar o robô à sua posição inicial antes da
position identificação visual. Desmarque isso e o robô executará a
identificação visual na posição atual.
Move to the Mova o robô para a posição inicial.
initial
position
Reset Redefina o espaço de trabalho do robô.
workspace
Lighting Ativar ou desativar a luz da câmera.
Light Intensity Use o controle deslizante para definir o nível de brilho.

Idle for Robot Defina o período de tempo manualmente ou automaticamente para

Stablilization que o robô se ajuste automaticamente antes de tirar fotos.

FIT-F.24.01-02 Rev.C 32
Snap-n-go Melhore a eficiência tirando instantâneos simultaneamente e
mantendo o fluxo para economizar tempo para tarefas não visuais
que se seguem. Após a captura da imagem, o sistema irá para o
próximo nó e manterá o processamento da imagem em segundo
plano do fluxo. Observe que quando os processos após o nó Vision
exigirem o resultado do nó Vision e o processamento da imagem de
fundo ainda estiver em execução, haverá condições e retornos da
seguinte forma:
• Se o próximo nó exigir os parâmetros do resultado, como as
variáveis booleanas Done e Pass geradas pelo trabalho
Vision, os usuários terão que editar um nó If para que o
sistema determine como proceder.
• Se o próximo nó também for um nó do Vision que inclui um
ponto base do Vision ou um trabalho do Vision, o fluxo não
continuará até que seja concluído com o último nó do Vision.

Tabela 8 - Configurações fixas. Fonte: TMvision.

1.20 Exercício
Implementando os conhecimentos adquiridos com os blocos Landmark
Alignment (Servoing), realize uma operação de Alinhamento do Ponto de
Referência.
Nesse exercício, você deve desenvolver um programa para que o robô
colaborativo movimente a peça quando for detectada pelo sensor no ponto A, e
encaixe-a no berço, localizado no ponto B. Caso haja uma peça no berço, o robô
colaborativo deve emitir um sinal luminoso ou sonoro em resposta. Nessa
proposta, não será utilizado a posição incial do bloco Visual Landmark Alignment.
Ao terminar o desafio, insira as evidências sobre a atividade (estrutura)
em arquivos: na sua estrutura original, caso os diretórios sejam HTML, CSS, JS,
JPG e/ou PNG, podendo inserir na plataforma quantos arquivos quiser ou pode-
se zipar os arquivos (ZIP e RAR), inserindo todos os arquivos de uma vez só. As
evidências são: Código-fonte do exercício (arquivo do codigo fonte e foto da
montagem/ tela).

FIT-F.24.01-02 Rev.C 33
 1.21 Exercício
Implementando os conhecimentos adquiridos com os blocos Landmark
Alignment (Fixed), realize uma operação de Alinhamento do Ponto de
Referência.
Nesse exercício, você deve desenvolver um programa para que o robô
colaborativo movimente a peça quando for detectada pelo sensor no ponto A, e
encaixe-a no berço, localizado no ponto B. Caso haja uma peça no berço, o robô
colaborativo deve emitir um sinal luminoso ou sonoro em resposta. Nessa
proposta, não será utilizado a posição incial do bloco Landmark Alignment
(Fixed).
Ao terminar o desafio, insira as evidências sobre a atividade (estrutura)
em arquivos: na sua estrutura original, caso os diretórios sejam HTML, CSS, JS,
JPG e/ou PNG, podendo inserir na plataforma quantos arquivos quiser ou pode
zipar os arquivos (ZIP e RAR), inserindo todos os arquivos de uma vez só. As
evidências são: Código-fonte do exercício (arquivo do codigo fonte e foto da
montagem/ tela).

FIT-F.24.01-02 Rev.C 34
 Situação Problema
Você é um funcionário da Flex, e seu supervisor solicita a implementação
de um cobot no processo middle end para aplicação de termogel em três
componentes das pcbas dos modelos de celulares motorola. Você deve
desenvolver um programa que utilize conceitos de visão (fica a critério do
programador a utilização dos blocos de visão), para localizar uma pcba, e com
base nesse ponto, criar uma coordenada fiducial, pois as pcbas são postas em
um palete, e a esteira é responsável por transportar o palete, até o ponto de
aplicação, porém, a esteira tem folgas laterais, o que causaria erro de aplicação
de termogel nos componentes solicitados.
Implementando os conhecimentos adquiridos com os blocos Pallet, sendo
que para isso, crie uma lógica condicional usando If e outra usando Gateway.

FIT-F.24.01-02 Rev.C 35
 Conclusão

A abordagem desta apostila permite ao leitor uma interação ativa com os

principais conteúdos sobre o robô colaborativo presente na indústria. Ensinar
como um robô colaborativo opera foi trabalhada para dar ao aluno autonomia,
estímulo, senso crítico e contribuir para uma aprendizagem mais efetiva.
Nesta, foi exposto um pouco sobre o conceito de robô colaborativo,
funcionamento e as principais funcionadilades do TM5-900 e TM-12. Este
material é baseado em artigos científicos, periódicos, revistas científicas,
manuais do fabricante e livros científicos.
A apostila aborda mais o conceito de um robô colaborativo com visão
computacional, principais blocos e funçõe, ferramentas de captura de imagens e
como o robô colaborativo interage com o ambiente (I/O com outros dispositivos).
Assim, o conteúdo do curso de Robô Colaborativo é familiariza o leitor
com o mundo tecnológico, onde a virtualização ganha, cada vez mais, espaço e
agrada as empresas por reduzir custos e aumentar as margens de lucro (adaptar
a frase para seu curso). Obrigada por fazer parte do curso e ter realizado a leitura
desta apostila. Espero que o interesse pela automação industrial com robôs
colaborativos, apresentado neste curso, esteja aguçado para que você pratique
e conheça ainda mais as maravilhas da automação.

FIT-F.24.01-02 Rev.C 36
 Referências

TM Flow, 2021. Software Manual TMflow Software version: 1.82, disponível em:
< https://www.tm-robot.com/en/wpdmdownload/software-manual-tmflow-
editor_sw1-82/> acessado em Março de 2022;

Isis, G.2018. O que faz um robô colaborativo? Todas as aplicações possíveis!,

disponível em: <https://pollux.com.br/blog/o-que-faz-um-robo-colaborativo-
todas-as-aplicacoes-possiveis/ > acessado em Março de 2022;

Macrotec. Robô Colaborativo: principais vantagens dessa incrível máquina,

disponível em: < https://macrotec.ind.br/robo-colaborativo-principal-vantagem-
dessa-maquina/> acessado em Março de 2022;

FIT-F.24.01-02 Rev.C 37
 CONTROLE DE REVISÃO DO DOCUMENTO / DOCUMENT REVISION CONTROL
Revisão Descrição Razão Autor Data
A Elaboração da apostila. Revisão inicial Larissa Alves 24/03/22
Jailson
Acrescimo de conteúdo e exercícios e revisão Processo de
B Bina/Luana 22/11/22
pedagógica melhorias
Forte

FIT-F.24.01-02 Rev.C 38
 BOM CURSO!

FIT-F.24.01-02 Rev.C 39