Transformadores de visão para previsão densa*
* Revisão de alguns resultados da literatura
1st Rodrigo Sagaseta de Oliveira Souza
Programa de Pós-Graduação em Engenharia Elétrica
UFABC - Universidade Federal do ABC
Santo André - SP, Brasil
email: rodrigo.sagaseta@ufabc.edu.br
ORCID: 0000-0002-9047-2671
Resumo—In this review, we delve into the advancements and
applications of monocular depth prediction, focusing on the
intricacies of the protocol experiments, dataset transfer, and fine-
tuning. We highlight the incorporation of gradient matching loss
and the significance of employing a depth inverse representation.
Furthermore, our study underscores the expansive utility of such
predictive models, not only in surveillance within smart city
paradigms and public security but also in diverse domains such as
agribusiness, education, and biomedical engineering. Leveraging
datasets like MIX 5, MIX 6, and ADE20K, we elucidate the per-
formance enhancement achieved by Transformer-based Neural
Networks in dense prediction tasks. Through these findings, the
potential for Transformer-based models in practical applications,
respecting data protection norms like LGPD, becomes evident.
The collaborative efforts of academic and domestic partners in
realizing this review are also acknowledged.
Index Terms—Predição monocular de profundidade, Aprendi-
zado de máquina, Redes neurais com transformadores, LGPD -
Lei Geral de Proteção de Dados.
I. INTRODUÇÃO
O desempenho superior das Redes Neurais Convolucionais
(RNCs) as consolidou como a arquitetura predominante para
tarefas em visão computacional. A vasta maioria das arquite-
turas para previsão densa fundamenta-se em RNCs. O design
dessas arquiteturas se orienta por um padrão que bifurca a rede
logicamente em um codificador e um decodificador. O codifi-
cador, frequentemente, origina-se de uma rede de classificação
de imagens, referida como "backbone". O decodificador, por
sua vez, amalgama recursos do codificador e os transmuta nas
predições densas finais. Assim, a inovação arquitetônica para
previsão densa centra-se nesta lógica. Entretanto, é consensual
que a seleção da arquitetura "backbone"exerce um impacto sig-
nificativo nas capacidades do modelo global. Informações omi-
tidas no codificador tornam-se irrecuperáveis no decodificador.
Estes "backbones"convolucionais diminuem gradativamente a
resolução da imagem de entrada para extrair características
em múltiplas escalas. Esta redução facilita um crescimento
sequencial do campo receptivo, consolidando características
primárias em complexas, e simultaneamente assegura que as
O presente trabalho foi realizado com apoio da Coordenação de Aper-
feiçoamento de Pessoal de Nível Superior - Brasil (CAPES) - Código de
Financiamento 001
2nd Luiz Alberto Luz de Almeida
Programa de Pós-Graduação em Engenharia Elétrica
UFABC - Universidade Federal do ABC
Santo André - SP, Brasil
email: luiz.almeida@ufabc.edu.br
ORCID: 0000-0001-6769-0139
demandas de memória e computacionais se mantenham geren-
ciáveis. Contudo, seu campo receptivo restrito os inabilita de
discernir o contexto global.
Os Transformadores de Visão (TVs), em contrapartida,
fracionam a imagem em tokens não sobrepostos e empregam
uma série de módulos de autoatenção para processá-los. Estes
módulos possuem um campo receptivo abrangente, mas des-
providos dos vieses inatos às camadas convolucionais, tornam-
se vorazes por dados. Cada arquitetura, portanto, apresenta
seus méritos e limitações intrínsecos.
A decrescente resolução acarreta desafios particularmente
evidentes em tarefas de previsão densa, nas quais a precisão
e a especificidade das características são comprometidas nos
níveis mais profundos do modelo. Embora estas nuances não
sejam cruciais em certas tarefas, como classificação de ima-
gem, são imperativas para a previsão densa, onde a resolução
ideal das características deve aproximar-se da imagem original.
Diferentes técnicas para atenuar a perda de especificidade
têm sido propostas, incluindo treinamento em resoluções am-
pliadas, uso de convoluções dilatadas para acelerar o campo
receptivo sem degradar a resolução, e conexões diretas po-
sicionadas estrategicamente entre os estágios de codificação
e decodificação. Adicionalmente, recentes avanços sugerem a
ligação de representações de múltiplas resoluções em simul-
tâneo em todas as RNCs. Contudo, mesmo que tais métodos
induzam uma elevação notável na qualidade das predições,
eles são intrinsecamente limitados pelo mecanismo central:
a convolução. As convoluções, por natureza, são operações
lineares com um campo receptivo circunscrito. Para alcançar
um contexto vasto, é mandatório o empilhamento em sequên-
cia em arquiteturas profundas, o que demanda uma profusão
de representações intermédias e um consumo de memória
considerável. Por consequência, reduções na resolução des-
sas representações tornam-se essenciais para compatibilizar
o consumo de memória com as arquiteturas computacionais
contemporâneas.
A discrepância nos fundamentos operacionais entre os
Transformadores de Visão (TVs) e as Redes Neurais Convolu-
cionais (RNCs) gera indagações pertinentes sobre a sua perfor-
mance diante de variações de distribuição, sua robustez contra
ataques adversariais, e a sua fiabilidade em predições voltadas
para cenários reais. Surge o questionamento sobre a extensão
na qual os TVs assimilam heurísticas específicas, como a
textura de um objeto, ao invés de se inclinarem a soluções
preconcebidas. Embora várias dessas inquietações tenham sido
parcialmente discutidas no âmbito da classificação de imagens,
muitas permanecem inexploradas para tarefas mais intricadas,
como a detecção e segmentação. Neste contexto, propõe-se
uma análise detalhada, estruturando modelos elementares de
detecção que empregam o DeiT como mecanismo extrator de
características para tarefas de predição densa. Para elucidar o
procedimento, a Figura 1 oferece uma representação gráfica
do estágio inicial de codificação da imagem.
Figura 1. Arquitetura e remodelagem para detecção de objetos e segmentação
semântica com backbone TVs © Esta figura é uma reprodução de umaq
imagem apresentada no artigo [1].
Subsequentemente à etapa de codificação da imagem des-
crita anteriormente, uma reconfiguração sistemática é condu-
zida, conforme delineado na Figura 1.
• Em avaliações com conjuntos de dados de distribuição
inerente, os TVs apresentaram previsões mais precisas,
embora operassem a um ritmo mais lento em comparação
com suas contrapartes RNCs. Ademais, ao considerar
cenários de Shift Fora da Distribuição (SFD), os dados
evidenciam uma maior generalização dos TVs em relação
a variações de distribuição.
• As análises indicam que os TVs possuem uma melhor
calibração, e consequentemente, são mais confiáveis do
que os RNCs, o que os torna mais aptos para integração
em sistemas de alta criticidade em segurança.
• Ao elevar a resolução da imagem para inferência, nota-se
uma degradação na performance tanto dos TVs quanto
dos RNCs. Contudo, em tarefas de detecção, as RNCs
exibem superioridade em relação aos TVs, especialmente
em resoluções elevadas.
• Evidências sugerem que os TVs tendem a convergir para
mínimos locais mais extensos em relação aos RNCs,
característica esta associada à sua capacidade de gene-
ralização.
• Em cenários de corrupções naturais e ataques adversariais
(direcionados ou não), os TVs demonstram consistente-
mente maior robustez quando comparados aos RNCs.
• O escopo da pesquisa foi expandido para abordar o viés
de textura em tarefas de predição densa. Os resultados
corroboram que os TVs são menos susceptíveis a de-
pender de características texturais, em contraste com os
RNCs, para efetuar suas predições.
II. TRANSFORMAÇÃO DE PREDIÇÃO DENSA (TPD)
Nesta seção, introduzimos a Transformação de Predição
Densa (TPD) - uma arquitetura dedicada à predição densa.
Esta estrutura é fundamentada em um esquema de codificador-
decodificador, capitalizando o bloco de construção computa-
cional do codificador. Distintamente, emprega-se os Transfor-
madores de Visão (TVs) como arquitetura de backbone. Nesse
contexto, as representações produzidas pelos TVs são reconfi-
guradas em representações de características que assemelham-
se a imagens em múltiplas resoluções. Estas, por sua vez, são
progressivamente amalgamadas nas representações finais den-
sas, valendo-se de um decodificador convolucional. Assim, em
contraposição a redes inteiramente convolucionais, o backbone
dos TVs abdica de operações de down-sampling explícitas pós-
integração inicial da imagem. Isso é atribuído à sua capacidade
de manter dimensões constantes ao longo de todas as etapas
de processamento, assegurando simultaneamente um campo
receptivo global em cada fase. Tais características são particu-
larmente benéficas para tarefas de predição densa, conduzindo
intrinsecamente a previsões mais acuradas e congruentes.
A. Trabalho relacionado
Redes inteiramente convolucionais constituem uma arqui-
tetura emblemática para a predição densa. Ao longo do
tempo, inúmeras variantes deste paradigma fundamental foram
propostas. No entanto, todas essas arquiteturas empregam de
forma intrínseca a convolução e a subsamostragem como seus
pilares centrais, visando aprender representações em diversas
escalas e assim, capitalizar um contexto de amplitude ade-
quada. Diversas abordagens sugerem o incremento sequencial
das representações agrupadas em estágios distintos mediante a
utilização de convoluções ou a agregação paralela de caracte-
rísticas em escalas variadas. Esta prática objetiva a recuperação
de previsões mais sofisticadas mantendo, simultaneamente, um
contexto abrangente. As arquiteturas contemporâneas preser-
vam uma representação de alta resolução, complementada por
múltiplas representações de resolução inferior ao longo da
rede.
Nos últimos anos, modelos centrados em mecanismos de
atenção, em especial os transformadores, têm emergido como a
arquitetura preeminente na aprendizagem de robustos modelos
de Processamento de Linguagem Natural (PLN). Estes são ca-
racterizados por seus mecanismos intrínsecos de autoatenção.
Modelos precedentes demonstraram eficácia quando configu-
rados como arquiteturas de alta capacidade e submetidos a
treinamento em datasets volumosos. Há uma crescente proli-
feração de estudos que adaptam mecanismos de atenção para
análise de imagens, corroborando que a implementação direta
de arquiteturas transformadoras baseadas em tokens, previa-
mente bem-sucedidas em PLN, pode resultar em desempenho
competitivo na classificação de imagens. É crucial ressaltar
que, assim como seus homólogos em PLN, os transformadores
de visão requerem uma quantidade substancial de dados de
treinamento para alcançar seu potencial ótimo.
B. Arquitetura
Na abordagem do Transformador de Visão Densa (TVD),
adota-se uma estrutura canônica de codificação e decodifica-
ção, capitalizando os transformadores de visão como a arqui-
tetura backbone. Esta configuração permite que a representa-
ção produzida pelo codificador seja eficientemente convertida
em previsões densas, subjacente à intuição intrínseca para o
sucesso desta metodologia. Uma representação esquemática
da arquitetura proposta pode ser visualizada na Figura 2. Ao
analisar a Figura 2, notamos que a imagem é inicialmente con-
vertida em tokens (indicados em laranja) por meio da extração
de segmentos não sobrepostos. Estes são subsequentemente
sujeitos a uma projeção linear de sua representação achatada,
nomeadamente para os modelos TPD-Base e TPD-Large.
Alternativamente, emprega-se um extrator de recursos ResNet-
50 no modelo TPD-Hybrid. A representação da imagem é
então ampliada mediante a incorporação posicional, seguida
pela introdução de um token de leitura que é independente do
segmento (destacado em vermelho).
À medida que os tokens são processados através de múl-
tiplos estágios do transformador de visão, eles são poste-
riormente reconfigurados. Esta reconfiguração agrupa tokens
de diferentes estágios para formar uma representação remi-
niscente de uma imagem em diversas resoluções (ilustradas
em verde). Os módulos de fusão (em marrom) trabalham no
sentido de fundir e subamostrar essas representações de forma
progressiva, culminando em uma previsão meticulosamente
refinada.
Um aspecto crítico observado subsequentemente é a opera-
ção de reconstrução. Nesta fase, os tokens são reconfigurados
para formar mapas de funcionalidade que correspondem a 1s
da resolução espacial da imagem de entrada.
Finalmente, durante o processo de fusão, os recursos são
amalgamados usando unidades convolucionais residuais, pro-
movendo, assim, um aumento na resolução dos mapas de
funcionalidade.
1) Codificador do Transformador: Em uma perspectiva de
alto nível, o Transformador de Visão (TVs) opera usando
uma representação de tokens, analogamente a "palavras"em
linguagem textual. Segmentos de imagens são incorporados
isoladamente em um espaço de recursos, ou alternativamente,
em recursos profundos derivados da imagem, assumindo,
assim, o papel de "regras gramaticais das palavras". Optaremos
por referenciar estas "palavras incorporadas"como tokens ao
longo deste artigo. Os transformadores, por sua vez, modificam
esse conjunto de tokens através de blocos sequenciais de Auto
Atenção de Vários Cabeçalhos (AAVC), que correlacionam
tokens entre si para refinar sua representação.
É vital enfatizar que, em sua aplicação, um transformador
mantém a contagem de tokens constante em todas as ope-
rações. Quando um token tem correspondência direta com
um segmento de imagem, isso significa que o codificador
TVs preserva a resolução espacial da incorporação inicial
durante todas as etapas do transformador. Adicionalmente, o
AAVC executa operações intrinsecamente globais, visto que
cada token pode referenciar e, consequentemente, influenciar
todos os outros tokens. Isso contrasta notadamente com redes
convolucionais, que expandem seu campo receptivo à medida
que as características avançam através de camadas sequenciais
de convolução e subamostragem.
O TVs processa uma parte da imagem extraindo segmentos
não sobrepostos de pixels de tamanho p2 da imagem. Estes
segmentos são linearizados em vetores e, individualmente,
incorporados através de uma projeção linear. Uma variante
alternativa, e mais eficiente em termos de amostragem do
TVs, aplica um ResNet50 à imagem e utiliza os recursos
pixel a pixel dos mapas de recursos resultantes como tokens.
Uma vez que os transformadores operam como funções de
"conjunto para conjunto", eles não mantêm intrinsecamente
a informação das posições espaciais dos tokens individuais.
Assim, as incorporações da imagem são concatenadas com
uma incorporação posicional de aprendizado para adicionar
essas informações à representação. Complementarmente, no
contexto do PLN, os TVs também adicionam um token es-
pecial que não é originado da imagem de entrada, atuando
como a representação global final da imagem utilizada para
classificação. Denominamos este token especial de "token de
leitura". A aplicação do procedimento de incorporação em uma
imagem de dimensões A × L (Altura por Largura) resulta em
um conjunto t0 = {t00 , . . . , t0Np }, t0n ∈ RD de tokens, onde
Np = A×L p2 , t0 é o token de leitura e D é a dimensão do
recurso de cada token.
 Figura 2. Visão geral da arquitetura © Esta figura é uma reprodução de umaq imagem apresentada no artigo [2].
Os tokens de entrada são processados usando C camadas de
transformadores para obter novas representações tc , onde c de-
nota a saída da c-ésima camada do transformador, descrevendo
várias variantes deste modelo base. Três variantes são desta-
cadas neste artigo: TVs-Base, que utiliza o procedimento de
incorporação baseado em amostragem e contém 12 camadas de
transformador; TVs-Largo, que segue o mesmo procedimento
de incorporação, mas tem 24 camadas de transformador e uma
dimensão de feature D mais ampla; e TVs-Híbrido, que utiliza
o ResNet50 para calcular a incorporação da imagem, seguido
por 12 camadas de transformador. Adotamos a dimensão de
amostra p = 16 para todos os experimentos. Direcionamos
os leitores interessados para os trabalhos originais de onde
este estudo se originou para obter mais detalhes sobre essas
arquiteturas.
Os procedimentos de incorporação para TVs-Base e TVs-
Largo projetam as amostras linearizadas para as dimensões
D = 768 e D = 1024, respectivamente. Como ambas as
dimensões de recurso superam o número de pixels em um
segmento de entrada, isso indica que o procedimento de
incorporação pode, teoricamente, aprender a reter informações
quando isso for benéfico para a tarefa. Os recursos das
amostras de entrada podem ser reconstruídos com precisão
ao nível de pixel. Analogamente, a arquitetura TVs-Híbrido
extrai recursos em 1/16 da resolução de entrada,
C. Decodificador Convolucional
O processo de decodificação envolve a reestruturação de
um conjunto de tokens em representações de características
que se assemelham a imagens em distintas resoluções. Estas
representações são progressivamente amalgamadas até culmi-
nar na previsão densa final. Propomos uma operação tríplice
de remontagem para recuperar representações que mimetizem
imagens a partir dos tokens de saída de camadas escolhidas
aleatoriamente do codificador do transformador:
ReamostraD
s (t) = (Reamostrars · Leitura · Concatenada)
b
onde s representa a proporção entre o tamanho de saída da
representação reestruturada e a imagem original, enquanto D
b
denota a dimensão da característica de saída.
Inicialmente, os tokens Np + 1 são mapeados para um
conjunto Np , o qual é propício à concatenação espacial em
uma forma que se assemelha a uma imagem:
Leitura: RNp +1×D → RNp ×D (1)
Essencialmente, esta operação visa manipular de forma ade-
quada o token de leitura. Dado que o propósito do token de
leitura não é claramente definido para a tarefa de previsão
densa, mas pode ainda assim servir como meio para capturar
e disseminar informações globais, propusemos três variantes
deste mapeamento:
Leituraignorada (t) = {t1 , . . . , tNp } (2)
que simplesmente dispensa o token de leitura na saída,
Leituraadicionada (t) = {t1 + t0 , . . . , tNp + t0 } (3)
transmitindo informações do token de leitura a todos os outros
tokens por meio da adição de representações, e
Leitura projetada(t) =
(4)
{mlp(cat(t1 , t0 )), . . . , mlp(cat(tNp , t0 ))}
transmitindo informações a outros tokens ao concatenar o
token de leitura a todos os outros tokens e, posteriormente,
projetar a representação para a dimensão de amostragem origi-
nal D usando uma camada linear seguida pela não-linearidade
GELUs (Gaussian Error Linear Units).
Após a operação de leitura, os tokens resultantes Np podem
ser remodelados em uma forma que se assemelhe a uma
imagem, posicionando cada token de acordo com a localização
inicial do patch na imagem. De maneira formal, empregamos
uma operação de concatenação espacial resultando em um
mapa de amostra de dimensões A L
p × p com D canais:
A L
Concatenar : RNp ×D → R p × p ×D (5)
Posteriormente, esta representação é processada por uma
camada de reamostragem espacial, redimensionando-a para
A L
s × s com D amostras por pixel:
A L A L
Reamostrars : R p × p ×D → R s × s ×D (6)
b
Esta operação é implementada primeiramente usando convo-
luções 1 × 1 para projetar a entrada para D, b seguida por
uma convolução 3 × 3 quando s ≥ p, ou uma convolução
transposta 3 × 3 quando s < p para efetuar respectivamente
operações de downsample e upsample. Independente da estru-
tura base do transformador, os recursos são reestruturados em
quatro distintos estágios e resoluções. Camadas mais internas
do transformador são mapeadas em resoluções mais baixas,
enquanto recursos de camadas mais superficiais são mapeados
em resoluções mais altas. Ao utilizar o modelo TVs-Largo, re-
estruturamos tokens das camadas l = {5, 12, 18, 24}, enquanto
com o TVs-Base, os tokens das camadas l = {3, 6, 9, 12}
são utilizados. Para o TVs-Híbrido, os recursos do primeiro
e segundo bloco ResNet são aproveitados nas camadas l =
{9, 12}. Esta configuração padrão emprega projeção como
operação de leitura e produz mapas de amostragem com
Db = 256 dimensões. Referimo-nos a estas arquiteturas como
TPD-Base, TPD-Largo e TPD-Híbrido, respectivamente.
Finalmente, os mapas de amostragem obtidos de estágios
consecutivos são amalgamados utilizando um bloco de fusão
baseado no método RefineNet (Networks for High-Resolution
Semantic Segmentation) e a representação é progressivamente
aumentada em um fator de dois em cada estágio de fusão. A
representação resultante tem metade da resolução da imagem
original. Um cabeçote de saída específico da tarefa é acoplado
para produzir a previsão final. Uma visão geral completa deste
processo é ilustrada na Figura 2.
D. Manipulação de Tamanhos de Imagens Diversificados
A analogia ao comportamento das Redes Totalmente Con-
volucionais (Fully Convolutional Networks - FCN) é evidente
na capacidade do TPD (Transformador de Previsão Densa) de
gerenciar uma variedade de dimensões de imagens. Contudo, é
crucial que a dimensão da imagem seja um múltiplo de p. Uma
vez satisfeita essa condição, o procedimento de incorporação
é eficazmente aplicado, gerando um conjunto adaptável de to-
kens de imagem, Np . Dada a arquitetura do tipo conjunto para
conjunto (set-to-set), o codificador transformador se adapta
com facilidade a um número oscilante de tokens.
No entanto, é imperativo notar que a incorporação de posi-
ção é intrinsecamente dependente das dimensões da imagem,
visto que representa as coordenadas de amostragem na matriz
de entrada. Assim, adotamos uma estratégia inspirada na
transformação de reconhecimento de imagem em escala, na
qual as incorporações de posição são interpoladas linearmente
para corresponder à dimensão alvo. Esta operação é eficiente
e pode ser executada instantaneamente para cada matriz.
Ao concluir o processo de incorporação e as fases trans-
formadoras, os módulos de reestruturação e fusão adaptam-se
naturalmente a um espectro variável de tokens. No entanto,
é mandatório que a dimensão da imagem de entrada esteja
alinhada ao intervalo estabelecido pelo decodificador convo-
lucional, especificamente 32 pixels.
III. EXPERIMENTOS E ANÁLISES
Neste segmento, aplicamos o Transformador de Previsão
Densa (TPD) a duas tarefas essenciais de previsão densa:
a estimativa de profundidade monocular e a segmentação
semântica. Em ambas as atividades, evidenciamos que o TPD
é capaz de potencializar a acurácia de forma expressiva em
comparação com redes convolucionais de capacidade análoga,
sobretudo quando dispomos de um vasto conjunto de trei-
namento. Inicialmente, destacamos os resultados primordiais
com base na configuração padrão, e posteriormente, discuti-
mos análises ablativas de diversas configurações do TPD.
A. Estimativa de Profundidade Monocular
A tarefa de estimativa de profundidade monocular é fre-
quentemente caracterizada como um problema de regressão
densa. Foi corroborado que é viável a construção de extensos
conjuntos de metadados a partir de bancos de dados pré-
existentes. Contudo, para tal, é imprescindível uma meticu-
losa estratégia de unificação de diferentes representações de
profundidade em um formato padrão. Ademais, é fundamental
que ambiguidades recorrentes (como a ambiguidade de escala)
sejam minuciosamente gerenciadas durante a fase de treina-
mento. Dado que os transformadores se destacam primordial-
mente quando há uma plenitude de dados de treinamento, a
estimativa de profundidade monocular emerge como um teste
perfeito para avaliar as aptidões do TPD.
1) Protocolo de Experimentação: Utilizou-se uma rede
para previsão de profundidade monocular incorporando uma
função de perda robusta, invariante a escala e deslocamento,
que opera em uma representação inversa de profundidade,
complementada pela função de perda de correspondência de
gradiente proposta. Conjuntos de metadados foram constituí-
dos, incorporando dados originais, designados neste experi-
mento como MIX 5, e ampliados com cinco datasets adicio-
nais, sendo esta compilação denominada MIX 6. Esta última
agregação contém aproximadamente 1, 4 milhões de imagens,
estabelecendo-se, segundo este estudo, como o maior conjunto
de treinamento para estimativa de profundidade monocular já
compilado.
Adotou-se a otimização multiobjetivo, definindo taxas de
aprendizado de 1e˘5 para o backbone e 1e˘4 para os pesos

Figura 3. Resultado do modelo para estimativa de profundidade monocular.
© Esta figura foi extraída do artigo [2].
do decodificador. O codificador foi pré-inicializado com pesos
oriundos do ImageNet, enquanto o decodificador foi iniciali-
zado de forma aleatória. Implementou-se um módulo de saída
composto por três camadas convolucionais. Este módulo reduz
gradativamente a dimensão da característica pela metade,
ampliando a resolução das predições após a primeira camada
convolucional. Optou-se por desabilitar a normalização em lote
no decodificador para prevenir potenciais influências negativas
nos resultados regressivos. As imagens foram ajustadas para
que sua maior dimensão fosse de 384 pixels, com treinamento
em recortes quadrados aleatórios de 384 pixels. Conduziram-
se treinos por 60 épocas, definindo-se uma época como 72.000
passos com um tamanho de lote de 16. Dada a indissociabi-
lidade do tamanho do lote pelo número de datasets, os mini-
lotes foram elaborados pela seleção aleatória de datasets antes
da coleta de amostras dos respectivos conjuntos. Ademais,
foram adotadas inversões horizontais aleatórias como técnica
de data augmentation.
2) Transferência em Conjunto de Dados Cruzados de Tiro
Zero: Investigou-se a transferência de aprendizado de tiro
zero para datasets não contemplados no treinamento. As
leituras relacionadas foram consultadas para obter detalhes
dos procedimentos avaliativos e métricas de erro. Em todas as
métricas adotadas, menores valores correspondem a melhores
resultados. Ambas as variantes do TPD superaram notavel-
mente as abordagens existentes. A melhoria relativa média
em comparação com a arquitetura MiDaS, considerada um
referencial, foi de 23% para o TPD-Híbrido e 28% para o
TPD-Largo.
Para assegurar que os avanços observados não se originaram
meramente do aumento do conjunto de treinamento, a rede
convolucional utilizada pelo MiDaS foi reavaliada no conjunto
de metadados expandido MIX 6. Apesar da rede integralmente
convolucional se beneficiar do conjunto ampliado, ambas as
variantes do TPD mantiveram superioridade marcante. Este
fenômeno sinaliza que o TPD capitaliza de forma mais eficaz
o acréscimo no volume de treinamento, corroborando observa-
ções prévias sobre arquiteturas baseadas em transformadores
em diferentes domínios. As conclusões quantitativas são refor-
çadas por comparações visuais, conforme ilustrado na Figura
3. O TPD demonstra habilidade em reconstruir detalhes finos
e, concomitantemente, em aprimorar a coerência global em
zonas que desafiam arquiteturas convolucionais.
3) Ajuste Fino em Datasets Reduzidos: Procedeu-se ao
ajuste fino do TPD-Híbrido nos datasets KITTI e NYUv2,
visando uma avaliação mais abrangente da capacidade re-
presentacional do TPD. Dado que a rede foi instruída com
uma perda afim invariante, suas predições apresentam-se
arbitrariamente escalonadas e deslocadas, podendo alcançar
magnitudes elevadas. A otimização direta seria um desafio
devido à divergência global na magnitude das predições frente
aos dados verdadeiros. Desta forma, alinharam-se inicialmente
as predições da rede a cada amostra de treinamento, aplicando
um procedimento robusto de alinhamento.
B. Segmentação Semântica
Selecionou-se a segmentação semântica como segunda ati-
vidade, por represent
ar tarefas de rotulação discretas e ser um paradigma compe-
titivo para arquiteturas de predição densa. Utilizou-se a mesma
estrutura de backbone e decodificador dos experimentos pre-
cedentes. Implementou-se um módulo de saída que realiza
predições em meia resolução, ampliando-as para a resolução
completa através de interpolação bilinear.
1) Protocolo de Experimentação: Adotaram-se funções de
perda de entropia cruzada, incorporando adicionalmente um
módulo auxiliar de saída, associado a uma função de perda
auxiliar, na saída da penúltima camada de fusão. Estabeleceu-
se o peso desta função de perda auxiliar em 0.2. O procedi-
mento de dropout, com uma taxa de 0.1, foi aplicado antes da
camada de classificação final em ambos os módulos. Utilizou-
se SGD com momentum de 0.9 e um agendador polinomial
para a taxa de aprendizagem com fator de decaimento de 0.9.
Implementou-se a normalização de lote nas camadas de fusão
e treinamentos com tamanho de lote de 48.
2) ADE20K: O TPD foi treinado no dataset de segmentação
semântica ADE20K por 240 épocas. O TPD-Híbrido demons-
trou superioridade perante todas as arquiteturas convolucionais
existentes. Já o TPD-Largo exibiu performance ligeiramente
inferior, provavelmente devido ao menor volume do dataset
em relação aos experimentos anteriores.
Figura 4. Visão geral da arquitetura © Esta figura foi extraída do artigo [2].
A Figura 4, fornece comparações. É possível observar que o
TPD tende a produzir delineamentos mais limpos e refinados
dos limites dos objetos e que as previsões também são, em
alguns casos, menos desordenadas.
 3) Ajuste fino em pequenos conjuntos de dados: Foram
ajustados o TPD-Híbrido no conjunto de dados de contexto
Pascal para 50 épocas. Todos os outros hiper parâmetros
permanecem os mesmos, demonstrando novamente que o TPD
pode fornecer um forte desempenho mesmo em conjuntos de
dados menores.
C. APLICAÇÕES PRÁTICAS EM DIVERSOS SETORES
Ao incorporar este conceito inovador a sistemas de monito-
ramento por câmeras, e direcionando a Inteligência Artificial
(IA) para áreas como cidades inteligentes, agronegócios, edu-
cação, engenharia biomédica e segurança pública, observamos
a viabilização de uma aprendizagem robusta. Esta é capaz de
identificar objetos e analisar o fluxo de movimentação, propor-
cionando alicerces para a criação de modelos de treinamento
eficientes e acurados.
No âmbito do agronegócio, tais capacidades podem ser
utilizadas na monitorização e análise de cultivos, identificando
pragas, avaliando as condições de crescimento e otimizando
as práticas agrícolas através da análise automatizada.
Na educação, câmeras equipadas com IA podem auxiliar na
gestão do espaço físico das instituições, monitorando a utili-
zação de instalações e garantindo a segurança dos estudantes.
Além disso, poderiam ajudar na análise da eficácia das me-
todologias pedagógicas ao observar padrões de engajamento
dos alunos.
Na engenharia biomédica, os sistemas podem ser adap-
tados para monitorar pacientes em hospitais, identificar al-
terações em seus sinais vitais ou comportamentos e alertar
a equipe médica sobre possíveis complicações. A tecnologia
poderia, por exemplo, ser útil na detecção precoce de quedas
ou outros incidentes em ambientes de cuidado.
Quanto à segurança pública, a capacidade de detectar
comportamentos anômalos ou desalinhados ao padrão de mo-
vimentação usual é inestimável. A ferramenta de filtragem
de alertas minimiza a exigência de operadores monitorando
constantemente as transmissões das câmeras. Além disso,
alinhando-se à Lei Geral de Proteção de Dados (LGPD),
as gravações seriam acessadas ou monitoradas somente após
a detecção e contextualização de incidentes, permitindo que
sistemas de IA baseados em redes neurais e transformadores
de visão para predições densas desempenhem seu papel efici-
entemente.
1) CONCLUSÃO: Este estudo abordou em profundidade a
aplicação de redes neurais, particularmente transformadores de
visão para predições densas, em diversos setores e ambientes.
A eficácia da combinação de Inteligência Artificial (IA) e mo-
nitoramento por câmeras revelou-se uma solução promissora
para enfrentar desafios em áreas tão diversas quanto cidades
inteligentes, agronegócios, educação, engenharia biomédica e
segurança pública.
O valor intrínseco dessa abordagem reside em sua capaci-
dade de aprendizagem robusta e detecção acurada de padrões e
anomalias, possibilitando a criação de modelos de treinamento
mais refinados. Em ambientes agrícolas, esta abordagem pode
revolucionar a gestão e monitorização de cultivos. No setor
educacional, há um potencial inexplorado na análise de enga-
jamento e segurança dos estudantes. A engenharia biomédica,
por sua vez, pode se beneficiar enormemente da monitorização
constante e não intrusiva dos pacientes, enquanto o setor de
segurança pública vê uma ferramenta potente para detecção e
alerta precoce de incidentes.
Outro aspecto relevante destacado foi a conformidade com
a Lei Geral de Proteção de Dados (LGPD), garantindo que
os direitos individuais sejam respeitados, mesmo diante de
monitoramentos intensivos.
Em suma, a intersecção de tecnologias de monitoramento
avançado com IA moderna tem o potencial de remodelar di-
versas indústrias e setores, oferecendo melhorias significativas
em eficiência, segurança e conformidade. À medida que a
tecnologia continua a evoluir, espera-se que sua adoção se
expanda, trazendo consigo novas inovações e aplicações.
D. AGRADECIMENTOS
Expresso minha profunda gratidão ao meu orientador, Prof.
Luiz Alberto Luz de Almeida, cuja orientação e auxílio foram
imprescindíveis durante a leitura e pesquisa dos artigos que
fundamentaram esta revisão. Agradeço também à UFABC
- Universidade Federal do ABC pelo ambiente propício e
suporte acadêmico oferecidos ao longo de minha jornada. Por
fim, mas não menos importante, sou eternamente grato à minha
esposa, Cintia Florencio Sagaseta, cujo apoio incondicional foi
fundamental para a realização deste trabalho.
O presente trabalho foi realizado com apoio da Coordenação
de Aperfeiçoamento de Pessoal de Nível Superior - Brasil
(CAPES) - Código de Financiamento 001
Agradecemos aos detentores dos direitos autorais das ima-
gens usadas neste artigo.
A Figura 1 é uma reprodução de uma imagem © [1].
A Figura 2 é uma reprodução de uma imagem © [2].
As Figuras 3 e 4 foram extraídas do artigo © [2].
E. AUTOR
Mestrando em Engenharia Elé-
trica pela Universidade Federal do
ABC (UFABC), Santo André, SP,
Brasil, com término previsto para
2023. Possui graduação em Enge-
nharia Elétrica pela UNIP e em
Marketing pela Anhanguera. Con-
cluiu especializações em Perícia
Técnica Judicial, Marketing Inter-
nacional, e MBAs em Segurança
Pública e Privada e Comércio Ex-
terior. Atualmente, é pesquisador
no Programa de Pós-Graduação Figura 5. Rodrigo Sagaseta
em Engenharia Elétrica (PPGEE)
da UFABC, com enfoque em inteligência artificial. Sua pes-
quisa se concentra na automação de processos usando trans-
formações de imagens via redes neurais convolucionais, tecno-
logias de IoT e integração com OpenCV. O objetivo principal
é aprimorar sistemas de segurança pública e inteligência de
negócios, visando a melhoria da gestão pública em sintonia
com as expectativas da comunidade.
F. ACRÔNIMOS E ABREVIAÇÕES

Acrônimo Descrição
IA Inteligência Artificial
LGPD Lei Geral de Proteção de Dados
TPD (Do inglês) Predição Densa Baseado em Transformadores
MIX Metadados Expandidos
MiDaS (Do inglês) Modelo de Estimativa de Profundidade
KITTI Conjunto de Dados KITTI (Com base no inglês)
NYUv2 Conjunto de Dados NYU versão 2 (Com base no inglês)
ADE20K Conjunto de Dados ADE20K (Com base no inglês)
SGD (Do inglês) Descida Gradativa Estocástica
pixAcc (Do inglês) Acurácia de Pixel
mIoU (Do inglês) Média da Intersecção sobre a União
Tabela I
L ISTA DE ACRÔNIMOS E A BREVIAÇÕES

R EFERÊNCIAS
[1] R. Ranftl, A. Bochkovskiy, V. Koltun, “Vision Transformers for Dense
Prediction,” Intel Labs, arXiv:2103.13413v1 [cs.CV] 24 Mar 2021.
[2] K. Jeeveswaran, S. Kathiresan, A. Varma, O. Magdy, B. Zonooz,
E. Arani “A Comprehensive Study of Vision Transformers on Dense
Prediction Tasks,” Advanced Research Lab, NavInfo Europe, Eindhoven,
The Netherlands, arXiv:2201.08683v1 [cs.CV] 21 Jan 2022.