Capítulo 2

Alinhamento em Frankfurt, Colocação de Pontos

Anatômicos e Segmentação do Crânio por
Inteligência Artificial no OrtogOnBlender

Cicero Moraes
Atenção: Este material utiliza a seguinte licença
* 3D Designer, Arc-Team Brazil, Sinop-MT, Brasil -
Creative Commons: Atribuição 4.0 Internacional
Bacharel em Marketing, Dr. h. c. FATELL/FUNCAR
(CC BY 4.0).
(Brasil) e CEGECIS (México) - Membro da Mensa
Brasil (2023-2024) e da Intertel (2023) - Revisor
convidado: Elsevier, Springer Nature e PLoS -
Guinness World Records 2022: First 3D-printed
tortoise shell.
Google Scholar9 , ResearchGate10 , ORCID11 , Web of
Science12 , Homepage.13

Tedd Schreiner
* Software Developer, Alemanha.
Homepage 1.14

Bartosz Startek
* Cirurgião Dentista, Bolesławiec, Polônia.
Homepage 2.15

Thiago Beaini
* Cirurgião Dentista, Professor Assistente -
Faculdade de Odontologia da Universidade Federal
de Uberlândia, Uberlândia-MG
* Google Scholar 316 , ResearchGate 317 , ORCID 318 ,
Web of Science 319

Data da publicação: 04 de fevereiro de 2024 2.1 Introdução

ISSN: 2764-9466 (Vol. 5, nº 1, 2024)
DOI: 10.6084/m9.figshare.25140020
9 https://scholar.google.com.br/citations?user=
u33uvHUAAAAJ
10 https://www.researchgate.net/profile/Cicero-Moraes
11 https://orcid.org/0000-0002-9479-0028
12 https://www.webofscience.com/wos/author/record/
HSH-2440-2023
13 http://www.ciceromoraes.com.br
14 https://teddschreiner.de/
15 https://www.facebook.com/startek.bartosz/
16 https://scholar.google.com.br/citations?user=Y5ko_
LUAAAAJ&hl
17 https://www.researchgate.net/profile/Thiago-Beaini
18 https://orcid.org/0000-0003-0034-624X
19 https://www.webofscience.com/wos/author/record/1984859
A inteligência artificial (IA) passou a chamar muita
atenção na imprensa mainstream a partir do ano de
2019, quando a popularização da tecnologia se fez
mais evidente. Outrossim, há muito as suas bases
vêm sendo estabelecidas, uma vez que já em 1843,
por exemplo, Lady Ada Lovelace, a criadora da pri-
meira linguagem de computador não tinha certeza
sobre a possibilidade das máquinas não pensarem
por si só, indicando que apenas seria possível sabê-lo,
depois que construíssem e testassem tais máquinas
[B_McCorduck_1977]. Infelizmente a Máquina Analí-
tica de Babbage acabou não sendo construída, mas
os esforços relacionados a computação e a IA, ainda
que de modo indireto, permaneceram latentes. Mais
de cem anos depois, Alan Turing desenvolve o Teste
de Turing, que seria a base para a avaliação da efi-
cácia da IA em relação a comunicação humana. Na
mesma década, em 1956 John McCurthy oficializa o

13
OrtogOnLineMag #8, ISSN: 2764-9466 (Vol. 5, nº 1, 2024)
termo Inteligência Artificial, definindo-o como “a ci-
ência e a engenharia de criação de máquinas inteli-
gentes”. Na década posterior, em 1964 Eliza o primeiro
chatbot é criado por Joseph Weizenbaum e em 1966,
Shakey20 , o primeiro robô móvel com capacidade de
perceber e raciocinar sobre o que o rodeia é apresen-
tado ao mundo. Nem tudo correu bem na história da
IA, uma vez que dois grandes invernos nortearam o
seu desenvolvimento, o primeiro no final da década
de 1970, por conta das limitações técnicas e o segundo
no final dos anos 1980, desta vez, devido ao custo ex-
cessivo das implementações [B_Kaul_2020]. Os anos
1990 trariam a tecnologia novamente às notícias, gra-
ças as históricas partidas entre o supercomputador
da IBM, Deep Blue versus o então campeão mundial
de xadrez, o russo Garry Kasparov, onde o segundo
foi derrotado em 1997, marcando uma virada histó-
rica, posto que no ano anterior o russo tinha levado
a melhor. Depois de perder, este saiu da sala rapida-
mente, explicando o motivo posteriormente, quando
disse: “Eu sou humano, quando vejo algo que está
muito além da minha compreensão, tenho medo”
[B_Ekmekci_2020]. Na esteira do sucesso no desen-
volvimento, a mesma IBM lança em 2007 um sistema
de respostas a perguntas, o Watson [B_Kaul_2020],
que em 2011 fez história ao derrotar os dois maiores
campeões de todos os tempo do programa televisivo
Jeoparty! [B_IBM_2011]. Com a evolução do processo
de linguagem natural, os chatbots de comunicação
superficial foram se desenvolvendo e converteram-
se em interfaces com grande poder de comunicação
e sucesso comercial, como a Siri da Apple (2011) e a
Alexa da Amazon (2014) [B_Kaul_2020]. Já no final da
década de 2010 e início de da de 2020, houve uma
significativa popularização de ferramentas baseadas
em IA, como o Chat GPT (https://chat.openai.com/), o
Bard da Google (https://bard.google.com/chat) e ou-
tras.
O presente desenvolvimento da IA inspirou uma
série de especialistas a focarem os seus esforços
para o campo da saúde humana, especificamente
nas áreas da radiologia, odontologia, medicina
e afins. Em 2021 o OrtogOnBlender (OOB), um
add-on para o planejamento de cirurgias faci-
ais (https://www.ciceromoraes.com.br/doc/pt_br/
OrtogOnBlender/index.html), adicionou em seu
sistema um processo de segmentação dentária
baseada em inteligência artificial [B_Moraes_2021],
que apesar de funcionar bem em modelos limpos,
se mostrou problemático na segmentação de ar-
cadas com braquetes, presentes na maioria dos
casos de planejamento cirúrgico. Seguindo os estu-
dos relacionados à IA, os desenvolvedores do OOB
buscaram outras alternativas, não apenas para a
segmentação dos dentes, mas dos ossos faciais,
alinhamento automático do crânio e reconheci-
mento de pontos anatômicos. Uma ferramenta que
se mostrou potencialmente útil para tais tarefas
20 http://www.sri.com/hoi/shakey-the-robot
14
é a SlicerAutomatedDentalTools (https://github.
com/DCBIA-OrthoLab/SlicerAutomatedDentalTools),
desenvolvida como um módulo para o software
Slicer (https://www.slicer.org/), mas que permite
uma comunicação bastante eficaz com o Blender,
via Python script. Por ser de código aberto e rodar
em sistemas operacionais diferentes, tornou-se uma
opção perfeita para ser inserida no OOB e ser testada
como uma ferramenta que tornará o processo de pla-
nejamento mais rápido, sem abrir mão da acurácia
necessária para tal.
O objetivo deste trabalho é relatar como as ferramen-
tas de inteligência artificial para o reposicionamento
do volume alinhado ao plano de Frankfurt, a demar-
cação de pontos craniométricos e a segmentação de
estruturas faciais de maneira automática, foram adi-
cionadas à interface do add-on OrtogOnBlender.
2.2 Materiais e Métodos
O SlicerAutomatedDentalTools é composto por uma
série de ferramentas/bibliotecas:
1. AMASSS (Automatic Multi-Anatomical Skull
Structure Segmentation), uma ferramenta para
segmentação óssea que treinou o seu modelo
utilizando 618 tomografias CBCT, resultando em
uma pontuação Dice 0.962±0.02. É importante
pontuar que dentre as tomografias utilizadas
para o treinamento, estavam presentes as
de pacientes com fissura labial e/ou fenda
palatina, o que aumentou a complexidade da
predição e ampliou as possibilidades de uso da
ferramenta [B_Gillot_2022].
2. ALI-CBCT (Automated Landmark Identification
for Cone-Beam Computed Tomography), uma
ferramenta para a localização de pontos anatô-
micos que utilizou com base de trinamento 143
tomografias CBCT de centros radiológicos e paí-
ses diferentes. No total foram utilizados 119
pontos distribuídos pela superfície do crânio,
resultando em uma média de erro de 1.54±0.87
mm [B_Gillot_2023].
3. ASO-CBCT (Automated Standardized Orienta-
tion for Cone-Beam Computed Tomography),
uma ferramenta para alinhamento do crânio,
treinada com 39 modelos, cuja média de erro foi
0.089 quando 0 é o alvo [B_Anchling_2020].
O trabalho de programação consistiu em portar todos
os passos efetuados manualmente no módulo Slice-
rAutomatedDentalTools do Slicer, para um script es-
crito em Python, para que o acionamento do processo
fosse feito no Blender, via OrtogOnBlender. O objetivo
primordial foi facilitar a experiência do usuário e re-
duzir um longo processo em apenas dois passos: 1) Se-
lecionar o diretório da tomografia computadorizada e
Capítulo 2
 OrtogOnLineMag #8, ISSN: 2764-9466 (Vol. 5, nº 1, 2024)

2) Computar os dados. Deste modo, foi necessário fa-
zer uma série de edições nos scripts baixados e insta-
lados a partir do Gerenciador de Módulos do Slicer. A
solução foi testada em três sistema operacionais dife-
rentes, sendo o Linux, o Windows e o MacOS, visando
contemplar todos os usuários do OOB.
O trabalho com o script consistiu nas seguintes eta-
pas:
1. Conversão do arquivo DICOM para uma extensão
compatível (arquivo único *.nii.zg);
documentação da instalação está dividida em muitos
passos, de modo que fique mais fácil depurar eventu-
ais problemas encontrados pelos usuários para fina-
lizar o processo.
Atenção: O funcionamento dos comandos do
script depende da instalação acima, caso contrá-
rio não será possível seguir com os testes, ainda
que os botões se façam visíveis na interface do Or-
togOnBlender.

2. Alinhamento da tomografia no plano horizontal

de Frankfurt;
3. Posicionamento dos 119 pontos anatômicos e
importação dos mesmos na cena;
4. Segmentação, importação e aplicação de shader
(material) na mandíbula, maxila, via respirató-
ria, cervical e parte da região superior do crânio;
5. Geração de uma sequência DICOM com o volume
alinhado ao plano de Frankfurt, bem como a sua
importação na cena e configuração dos materi-
ais.
Foram testadas 30 tomografias aleatórias Fan-beam
e Cone-beam, para que o tempo médio do processo Figura2.1: Interface do SlicerAutomatedDentalTools no OthersOn-
fosse estabelecido. A mensuração temporal foi efe- Blender.
tuada em uma máquina com as seguintes caracterís-
ticas:
A proposta inicial da interface gráfica é ser o mais
simples possível, limitando-se a dois elementos, um
* Processador Intel Core I9 9900K 3.6 GHZ/16M; seletor de diretório para indicar onde se encontra a
* 64 GB de memória RAM; tomografia computadorizada e um botão para orde-
* GPU GeForce 8 GB GDDR6 256-bit RTX 2070; nar todos os processos envolvidos (Fig.2.1).
* Placa mãe Gigabyte 1151 Z390; O add-on apresenta a informação do tempo necessá-
* SSD SATA III 960 GB 2.5”; rio para todo o processo e testes foram efetuados em
* SSD SATA III 480 GB 2.5”; 50 tomografias, tanto Fan-beam quanto Cone-Beam.
* Water Cooler Masterliquid 240V; Em linhas gerais o tempo médio para o computo de
dados em uma Fan-beam é de 24 minutos, já em uma
* Linux 3DCS
Cone Beam a média caiu para 19 minutos.
(https://github.com/cogitas3d/Linux3DCS), baseado
no Ubuntu 20.04.

2.3 Resultados e Discussão

Depois de uma série de testes efetuados em três
sistemas operacionais diferentes (Linux, Windows
e MacOS), foi gerada uma documentação unifi-
cada, para que os interessados pudessem baixar
os programas e configurar o ambiente objetivando
permitir o pleno funcionamento do SlicerAutoma-
tedDentalTools no OOB. Tal documento pode ser
encontrado no seguinte link: https://docs.google.
com/document/d/1th6xnD9Xg7qo9-Guxpdu_3j3jV_
t-E92XWBRkMnKbzo/edit?usp=sharing.
Por conta do grande volume dos arquivos e, pelo teste Figura2.2: Resultado do processamento: Tecido mole em evidência.
inicial ter sido efetuado em poucos computadores, a

Resultados e Discussão 15
OrtogOnLineMag #8, ISSN: 2764-9466 (Vol. 5, nº 1, 2024)

Após o processamento, avista-se a face (tecido mole)

envolto pelo que parece ser uma caixa, resultado
do alinhamento ao plano horizontal de Frankfurt
(Fig.2.1).

Figura2.4: Resultado do processamento: Ossos segmentados e pon-

tos posicionados.

Figura2.3: Resultado do processamento: Ossos em evidência.

Ao se ocultar o tecido mole, é possível ver o crâ-

nio completo, tanto a face quanto o crânio (e
os dentes) foram importados utilizando o VTK-ITK
[B_Moraes_2021b] do OOB, o entanto a tomografia alvo
não foi a original, mas aquela alinhada ao plano de
Frankfurt pela ferramenta ASO. O objetivo de impor-
tar a reconstrução efetuada pela ferramenta “nativa”
do OOB é fornecer um elemento de comparação e po-
tencial validação para a malha advinda da segmenta-
ção efetuada pelo AMASSS. Nos testes efetuados, em
relação aos ossos, ambas se compatibilizaram visu-
almente (Fig.2.3), mas um estudo mais aprofundado,
focando tal abordagem se fará necessário.
Os ossos segmentados receberam as mesmas cores
da importação do Slicer, com exceção da via respira-
tória (Fig.2.4). Parece haver uma pequena perda de
dados nos dentes, o que poderia acarretar em pro-
blemas de alinhamento com o modelo digitalizado em
3D, mas a importação advinda do VTK-ITK é o sufici-
ente para resolvê-lo. A mandíbula também parece um
pouco mais fina, mas isso também não seria um pro-
blema, pois mesmo que não refletisse o a espessura
real (acurácia de 100%), poderia ser utilizada como
parâmetro de booleana para a segmentação da peça,
desde que recebesse um pequeno offset para exceder
os limites do modelo recontruído pelo VTK-ITK. Figura2.5: Resultado do processamento: Pontos em evidência.

Os pontos foram importados como esferas de 2mm

de diâmetro (Fig.2.5). Embora a ferramenta apresen-
tasse uma performance muito boa, em todos os tes-
tes efetuados, ocorriam falhas em relação a alguns
pontos anatômicos que, ou não eram encontrados,

16 Capítulo 2
 OrtogOnLineMag #8, ISSN: 2764-9466 (Vol. 5, nº 1, 2024)

ou quando encontrados poderiam estar em uma po-

sição equivocada. Usuários do OOB se manifestaram
e indicaram que poucos dos pontos são realmente
utilizados nos trabalhos diários, de modo que, ficou
acordada uma futura organização acerca do grupo,
ou grupos de pontos que serão selecionados no mo-
mento do cálculo. Outra preocupação manifestada
foi a precisão dos pontos, ainda que os autores indi-
quem uma baixa margem de erro, testes precisam ser
efetuados durante o processo de planejamento cirúr-
gico para atestar a precisão tanto do posicionamento
de pontos, como o do alinhamento e da segmentação.

Figura2.7: Iluminação da cena.

Figura2.6: Tentativa de processamento na tomografia de um Pan
troglodytes, reusltando na segmentação parcial da mandíbula e to-
tal da via respiratória.
No entanto, mesmo quando a precisão dos pontos não
é tão grande, ao menos indicam uma região relacio-
nada ao crânio, podendo servir como elemento deli-
mitador em trabalhos de levantamento de dados pré
e pós cirúrgicos, dentre outros. As ferramentas de
pontos e segmentação funcionaram muito bem com
adultos, de modo significativamente bom com crian-
ças e regionalmente satisfatórios em bebês. Até em
testes de segmentação com tomografias de gorilas e
chimpanzés a ferramenta de segmentação permitiu a
separação parcial da mandíbula e total da via respira-
tória (Fig.2.6), ainda que o objetivo da ferramenta não
fosse reconstruir outros primatas.
A iluminação e renderização em tempo real da cena
(Fig.2.7) foi efetuada com a ferramenta ILLUMINATE!,
disponível na aba ForensicOnBlender, seção Soft Tis-
sue Markers.
2.4 Conclusão
A programação via Python scrip permitiu trabalhar
com as ferramentas AMASSS, ALI-CBCT e ASO-CBCT
por chamada direta da interface do Blender 3D, uti-
lizando o ambiente do OrtogOnBlender. Caso se mos-
trem precisos, o alinhamento ao plano de Frankfurt,
a segmentação da mandíbula e o posicionamento de
pontos, efetuados de modo automático, vão reduzir
significativamente o tempo dos planejamento cirúr-
gicos, trazendo mais agilidade para essas tarefas di-
gitais. Os autores esperam que a presente publicação
instigue os usuários a instalarem, testarem e defini-
rem parâmetros para o uso das ferramentas aqui de-
monstradas, que sem dúvida, são muito promissoras
e parecem representar o futuro do planejamento ci-
rúrgico.
2.5 Agradecimentos
Ao Dr. Richard Gravalos por ceder a tomografia
utilizada para ilustrar o presente estudo e claro,
aos desenvolvedores das ferramentas abordadas, por
disponibilizarem-as de modo gratuito e com o código
aberto.

Conclusão 17
OrtogOnLineMag #8, ISSN: 2764-9466 (Vol. 5, nº 1, 2024)

2.6 Referências Bibliográficas https://ortogonline.com/doc/pt_br/

OrtogOnLineMag/3/VTK_ITK_multi.html
[B_Ekmekci_2020] Ekmekci, P. E., & Arda, B. (2020).
History of Artificial Intelligence. In Artificial
Intelligence and Bioethics (pp. 1–15). Sprin-
ger International Publishing. https://doi.org/
10.1007/978-3-030-52448-7_1
[B_Gillot_2022] Gillot, M., Baquero, B., Le, C., Deleat-
Besson, R., Bianchi, J., Ruellas, A., Gurgel, M.,
Yatabe, M., Al Turkestani, N., Najarian, K., So-
roushmehr, R., Pieper, S., Kikinis, R., Pania-
gua, B., Gryak, J., Ioshida, M., Massaro, C., Go-
mes, L., Oh, H., … Prieto, J. C. (2022). Automa-
tic multi-anatomical skull structure segmen-
tation of cone-beam computed tomography
scans using 3D UNETR. In S. V E (Ed.), PLOS ONE
(Vol. 17, Issue 10, p. e0275033). Public Library of
Science (PLoS). https://doi.org/10.1371/journal.
pone.0275033
[B_Gillot_2023] Gillot, M., Miranda, F., Baquero, B.,
Ruellas, A., Gurgel, M., Al Turkestani, N., An-
chling, L., Hutin, N., Biggs, E., Yatabe, M.,
Paniagua, B., Fillion฀Robin, J., Allemang, D.,
Bianchi, J., Cevidanes, L., & Prieto, J. C.
(2023). Automatic landmark identification in
cone฀beam computed tomography. In Ortho-
dontics & Craniofacial Research (Vol. 26,
Issue 4, pp. 560–567). Wiley. https://doi.org/10.
1111/ocr.12642
[B_IBM_2011] IBM. (2011). Watson, jeopardy!
champion. https://www.ibm.com/history/
watson-jeopardy
[B_Kaul_2020] Kaul, V., Enslin, S., & Gross, S. A. (2020).
History of artificial intelligence in medicine.
In Gastrointestinal Endoscopy (Vol. 92, Issue
4, pp. 807–812). Elsevier BV. https://doi.org/10.
1016/j.gie.2020.06.040
[B_Anchling_2020] Anchling, L. (2020). Mic Project
Weeks. NA-MIC. https://projectweek.na-mic.
org/PW38_2023_GranCanaria/Projects/ASO_
CBCT/
[B_McCorduck_1977] McCorduck, P., Minsky, M., Sel-
fridge, O.G., & Simon, H.A. (1977). History of Ar-
tificial Intelligence. International Joint Confe-
rence on Artificial Intelligence.
[B_Moraes_2021] Moraes, C., & Dakir, I. (2021). Seg-
mentação Automática dos Dentes com o Mesh-
SegNet e o OrtogOnBlender. figshare. https:
//doi.org/10.6084/M9.FIGSHARE.14850105.
https://ortogonline.com/doc/pt_br/
OrtogOnLineMag/3/SegmentaDentes.html
[B_Moraes_2021b] Moraes, C., Dakir, I., Dornel-
les, R., & Da Rosa, E. (2021). Reconstrução
de Tomografias com o VTK Python, o Sim-
pleITK e o Multiprocessing. figshare. https:
//doi.org/10.6084/M9.FIGSHARE.14370902.

18 Referências Bibliográficas