Faculdade de Engenharia da Universidade do Porto

Departamento de Engenharia de Minas

Aluno: Felipe Sinésio Trajano de Arruda

Uma revisão sistemática sobre o “Aprendizado

de Máquina” aplicado à análise da fragmentação
de rochas derivadas de desmontes.

Abstract:
Em operações de mineração, a fragmentação de rochas induzidas por desmonte afetam
a produtividade e a eficiência de toda cadeia de operações. Pela natureza do
procedimento de análise da fragmentação e com o avanço das arquiteturas de deep
learning aplicados ao reconhecimento de padrões, vemos cada vez mais avanços na
aplicação das ferramentas de Machine learning aplicados a esse problema.
O propósito desse estudo é desenvolver uma revisão sistemática do Aprendizado de
Máquina, em particular, o uso de Redes Neurais Convolucionais (em inglês:
Convolutional Neural Networks) aplicadas à análise da fragmentação de rochas.

1. Introdução

Em operações de mineração, a fragmentação de rochas induzida por desmontes afetam

a produtividade e a eficiência de toda cadeia de processos incluindo escavação,
transporte, britagem e moagem, ou seja, afeta diretamente os custos do processo de
mineração. Portanto a contínua medição da fragmentação das rochas é essencial para
otimização do design do desmonte.

Existem vários métodos para determinar o grau de fragmentação das rochas após o
desmonte. Estes métodos estão divididos em dois grupos, métodos diretos e indiretos.
Entre os métodos diretos, pode-se citar a análise de peneiras. Apesar de ser o de maior
precisão dentre os métodos disponíveis, não é prático por ser bastante caro e mais
demorado que os demais. Entre os métodos indiretos, temos os métodos observacionais,
empíricos e de processamento de imagens digitais.

Nos últimos anos ferramentas baseadas em computação visual (usaremos o termo em

inglês, “computer vision”) se desenvolveram muito e se tornaram bastante familiares
para os profissionais da área de mineração. Como podemos observar nesse trecho de um
artigo de 1996,
“Os sistemas de processamento digital de imagens estão se tornando cada vez mais
empregado em aplicações industriais, não apenas em pesquisa. Com o advento do
rápido e barato poder de computação, processamento de imagem aprimorado, técnicas e
algoritmos, e a disponibilidade de câmeras de vídeo baratas, portáteis e sensíveis à luz,
dimensionamento de materiais está se tornando rotina.” [11]

Temos vários softwares que trabalham com a segmentação de rochas nas imagens das
pilhas, softwares como Split Desktop, WipFrag, FragScan e Goldsize são os mais
populares operando com esses métodos.

Quando falamos de Computer Vision estamos falando do campo da computação que

estuda como fazer os computadores interpretarem imagens e vídeos, como subcampos
da Computação Visual temos dentre outros a parte de processamento de imagem e de
reconhecimento de padrões. No entanto, pela própria natureza da tarefa e com o avanço
no uso do aprendizado de máquina no reconhecimento de padrões foi natural a
aplicação de tais métodos no problema da fragmentação, já que o problema de construir
curvas de distribuição do tamanho das rochas pode ser resumido a identificar rochas e
fazer medições, é natural que soluções usando aprendizado de máquina venham cada
vez mais sendo utilizadas para atacar esse problema.

O “Aprendizado de Máquina” (em inglês: Machine Learning) é um subcampo da

Inteligência Artificial que está preocupado com a construção de programas que
melhoram automaticamente sua performance através da experiência [10]. Nesse campo
da ciência da computação o objetivo é criar sistemas que “aprendam” a resolver
problemas à partir de dados, sem terem sidos explicitamente ou previamente
programados para tal tarefa. Pelo conceito exposto, podemos concluir que os algoritmos
baseados em Machine Learning podem ser utilizados em uma vasta gama de aplicações.
Alguns exemplos de aplicações são: Reconhecimento de caracteres (incluindo dígitos),
reconhecimento de caligrafia, detecção de rosto, filtragem de spam, reconhecimento de
som, compreensão da linguagem falada, previsão de preço no mercado de ações ,
previsão do tempo, diagnósticos médicos, detecção de fraude, correspondência de
impressão digital etc.

Dos algoritmos utilizados nas aplicações de reconhecimento de imagens e detecção de

padrões os modelos de mais sucesso são os modelos de aprendizado profundo, mais
especificamente os modelos de Redes Neurais Convolucionais. Essa revisão sistemática
vai investigar os modelos de Machine Learning e suas formas de implementação que
são considerados estado da arte na aplicação à medição da fragmentação de rochas
resultantes de desmontes.
2. Metodologia para revisão sistemática da literatura

Uma revisão sistemática da literatura facilita a identificação, avaliação e interpretação

de uma grande parte das pesquisas disponíveis relacionadas a uma questão de pesquisa
particular, assunto ou fenômeno [9], em particular a revisão busca responder algumas
perguntas. Nesse estudo, vamos iniciar as perguntas da pesquisa para definir o escopo e
objetivos gerais da análise. Vejamos algumas perguntsa que podemos fazer sobre essa
pesquisa.

a. Quais técnicas de aprendizado profundo são usadas no problema da análise de

fragmentação?
b. Quais são os desafios para aplicação do Machine Learning/Deep Learning no
processo de análise de fragmentação?
c. Qual é o resultado das métricas utilizadas e o melhor resultado produzido
por essa estrutura de aprendizado profundo?

Posteriormente, um método de busca foi projetado para encontrar de forma

eficiente trabalhos de pesquisa relacionados com as questões de pesquisa, que foi
seguido pelo estabelecimento de padrões para selecionar estudos adequados a partir dos
resultados da pesquisa. Mais tarde, o resumo e os resultados dos artigos foram
examinados para encontrar sua relevância no campo de pesquisa. O processo foi
seguido pela extração de dados do artigo para distinguir e estruturar as informações da
seguinte forma:

A revisão pretende fornecer soluções para questões relacionadas à pesquisa.

Neste estudo, as questões de pesquisa foram inicialmente organizadas para definir o
escopo e objetivos da análise. Nesse trabalho investigamos a aplicação do “Aprendizado
de Máquina” aplicado à Engenharia de Minas, em particular, no uso de tal ferramenta ao
problema da análise da fragmentação de rochas resultante do desmonte.

Quando falamos de aprendizado de máquina existem diversos modelos que podem ser
aplicados nas mais diversas áreas. Quando falamos de reconhecimento de padrões em
imagens (que é o objeto de nossa pesquisa), os modelos mais usados são os baseados
em redes neurais e deep learning, um dos mais famosos é o “Convolutional Neural
Networks” ou CNN, tal modelo vem ganhando diversas competições ao longo dos anos.

Uma extensa pesquisa baseada em palavras-chave foi realizada nos seguintes

repositórios de artigos: Scopus, Engineering Village, IEEE xplorer e Web of Science.
Para garantir que apenas artigos científicos significativos sejam incluídos nesta busca,
apenas periódicos revisados por pares foram considerados. Com o objetivo de filtrar os
resultados relevantes da literatura publicada, foram realizadas várias buscas com
combinações de palavras chaves relevantes. Segue um pequeno resumo das buscas:

Inicialmente utilizamos as string “rock fragmentation” and “deep learning” no

Scopus e essa busca resultou num total de 28 artigos que continham uma combinação
das palavras-chaves no abstract ou no título, após uma leitura dos artigos concluímos
que 2 artigos tinham de fato conteúdo relevante sobre análise de fragmentação de rochas
utilizando deep learning. Vários artigos foram excluídos por serem artigos de previsão
utilizando parâmetros do desmonte, mas estávamos interessados somente na
segmentação das rochas e medição após o desmonte. Esse critério de exclusão
aconteceu também em outros motores de busca. No Engineering Village a busca
utilizando a mesma string retornou 3 artigos dos quais nenhum era sobre o assunto
buscado. No IEEE xplorer essa combinação não resultou em nenhum artigo.
No Web of Science a busca com a mesma string dos casos anteriores resultou em 9
artigos dos quais 6 eram de conteúdo relevante para a nossa pesquisa.

40 artigos com 9 artigos relevantes

Pela baixa quantidade de artigos nessa busca inicial, resolvemos utilizar outra estratégia.
Resolvemos procurar artigos com o estado da arte em deep learning. Essa busca feita no
google resultou em um artigo [11] com o estado da arte de vários modelos. Como para
nosso estudo estávamos interessados em modelos para segmentação de imagem fizemos
uma busca pelos algoritmos mais modernos e encontramos alguns nomes possíves para
continuar nossa pesquisa. A partir daqui usamos a estratégia de snowball e nas
referências de [11] encontramos vários artigos sobre os modelos citados. Uma forma de
escolher dentre os modelos citados optamos por selecionar os modelos por relevância.
Ao buscar o artigo de um dos modelos, encontramos o artigo [2], este referido artigo
recebeu mais de 40.000 citações confirmando a relevância e a comprovação de se tratar
do estado da arte dos modelos de segmentação.

Com o nome do modelo podemos combinar outras strings para voltar a pesquisar nos
repositórios. Dessa vez a quantidade de artigos retornados foi bastante significativo.
Ao buscar a string composta por “u-net”, “image segmentation” e “ore” ou “rock”
o repositório Engineering Village retornou um total de 135 artigos, Web of Science 35,
IEEE xplorer 8, Scopus 50.

A busca resultou em 228 artigos contendo a combinação de palavras-chave mencionada

no título do resumo, respectivamente, ou no resumo ou palavras-chave, novamente
especificamente na respectiva base de dados. ou palavras-chave. Isso também foi
complementado por uma pesquisa mais aprofundada dos artigos. Para garantir que
apenas artigos científicos significativos sejam incluídos nesta pesquisa são
considerados, apenas periódicos revisados por pares e artigos de conferências estão
sendo considerados. Depois que esses 228 artigos foram revisados manualmente,
conforme definido no início. Após uma análise mais profunda dos artigos, remoção de
artigos por repetição e por línguas (chinês) restaram apenas 8 artigos com relevância
para o estudo da revisão bibliográfica bem como atentar para a atualidade das
contribuições e para representar o estado atual da pesquisa da forma mais concreta
possível. A relevância do trabalho leva em consideração o número de citações, que pode
ser um indicador de relevância, mas não reflete diretamente a qualidade do trabalho,
mas que foi revisado e assegurado como parte desta revisão de literatura.
3. Resultados

A pesquisa empregada até agora nos indicou variações de Redes Neurais

Convolucionais. As arquiteturas são modelos baseados na arquitetura do algoritmo U-
Net, desenvolvido em [2].

A rede U-Net é uma rede totalmente convolucional que requer menos conjuntos de
treinamento e tem maior precisão de segmentação em comparação com outras redes
neurais convolucionais. A estrutura em forma de u da rede U-Net consiste em duas
partes, o caminho de contratação e caminho de expansão. O caminho de contratação é
usado para obter informações de contexto, enquanto o caminho de expansão é usado
para posicionamento preciso. O U do nome da rede vem do seu formato

O outro modelo que aparece em nossa pesquisa é o Mask R-CNN é uma outra
abordagem popular para segmentação. O Mask-RCNN é projetado para resolver
diretamente o problema de segmentação de instâncias e o esforço pode ser direcionado
para ajustar os numerosos hiperparâmetros da rede. O modelo prevê caixas
delimitadoras para núcleos e então segmenta os núcleos dentro das caixas previstas.
Embora a rede geralmente seja capaz de encontrar com precisão caixas delimitadoras
para objetos, seu desempenho na segmentação parece pior que o da U-Net. Isso se
reflete nos resultados, onde o Mask-RCNN detectou melhor os núcleos, mas não
conseguiu segmentar com precisão

Como podemos ver em [3] e [5] o uso de modelos de deep learning mais
especificamente algoritmos que tem como base redes neurais convolucionais estão
sendo usados com sucesso no processo de análise de fragmentação de rochas. Em [3]
vemos o uso do U-Net e Res-Unet. A tabela abaixo mostra a performance geral em
comparação com um método de processamento de imagem chamado watershed, onde
SA é precisão de segmentação, OS é a taxa de sobre-segmentação e US é a taxa de sub-
segmentação (US)

É evidente na Tabela acima que, para imagens de minério em esteira transportadora, o

método UR tem uma precisão de segmentação mais alta com valor médio de SA de
0,9403 em comparação com o método watershed (0,6440) e o método NUR (0,9079).
Além disso, a taxa de sub-segmentação do método UR (0,1095) é claramente inferior à
dos métodos de bacia (0,3458) e NUR (0,1588). Onde o método UR é o segmentação
utilizando a rede U-Net com otimização de contornos por Res-Net. NUR é a utilização
do U-net sem a utilização do Res-Net para otimização de contorno. Na figura abaixo
a) é a foto original, b) Método Nur, c) Algoritmo Watershed e d) Método UR

Já em [5] temos a utilização do modelo de Mask R-CNN, que diferente de [3] que foi
aplicado o modelo numa esteira, em [5] temos o modelo sendo aplicado em rochas no
sítio do desmonte. Essa situação apresenta uma dificuldade maior quando a
segmentação, já que a foto utilizada apresenta distorções de angulação e de distâncias
diferentes. Mesmo assim podemos ver que o modelo obtém um resultado bastante
razoável para a curva granulométrica.
Nesse artigo usamos uma forma diferente de calcular a precisão. Usamos a pontuação
precisão ponderada (AP) e a pontuação média de precisão ponderada (mAP), conforme
descrito abaixo, são usadas para avaliar o modelo. Essas métricas são calculadas
comparando a caixa delimitadora de verdade e a máscara de segmentação com a caixa
delimitadora prevista do modelo e a máscara de segmentação. Quanto maiores os
valores de AP e mAP, mais preciso é o modelo em sua detecção. Vamos omitir o
cálculo de AP e mAP e nos concentrarmos no cálculo do IoU.

Usamos Interseção sobre União (IoU) para identificar detecções corretas.

Os valores de IoU são calculados dividindo a área de interseção entre a Bounding Box
real (que é a caixa que contém a rocha real) e a BB prevista pelo modelo dividido pela
união das áreas, e claramente quanto maior esse valor melhor é a segmentação. Neste
estudo, a determinação de um fragmento de rocha com valor IoU maior que 0,5 é
considerada detecção correta e vice-versa.

O diagrama abaixo mostra o fluxo de trabalho da automação da medida de

fragmentação das rochas do desmonte.
Para concluir vemos na figura abaixo o resultado da segmentação obtida utilizando o
modelo de Mask R-CNN. A foto a) é a foto original, a foto b) é o resultado da
segmentação e a foto c) é a segmentação obtida usando o software SplitDesktop.
Podemos ver que o SplitDesktop não segmenta bem as rochas portanto a curva do
tamanho referente ao SplitDesktop é tão diferente da curva do Ground Truth (o
gabarito). Que mostra que o algoritmo de Mask R-CNN obtém resultados muito
satisfatórios.
4. Conclusões

Essa revisão sistemática foi conduzida para examinar as tendências atuais na pesquisa
de ML relacionada à indústria de mineração, em particular à análise da fragmentação de
rochas, e analisar estudos anteriores nas áreas temáticas específicas. A revisão fornece
uma visão geral da pesquisa realizada até agora e pode servir de assistência para
pesquisas futuras. Dito isto, podemos fazer algumas considerações sobre as dificuldades
que tal pesquisa enfrenta. A obtenção do Ground Truth desse tipo de imagem é bastante
trabalhoso de se obter, muitas vezes é feito de forma manual, além disso para existem
diversos tipos de minerais e rochas que se apresentam de formas diferentes uns em
relação aos outros, o que pode dificultar para a generalização dos modelos. Apesar disso
os avanços nesse campo de pesquisa tem se mostrado bastante promissores
principalmente em relação as soluções atuais.

Referências

[1] Alom, M. Z., Taha, T. M., Yakopcic, C., Westberg, S., Sidike, P., Nasrin, M. S.,
Hasan, M., van Essen, B. C., Awwal, A. A. S., & Asari, V. K. (2019). A state-of-the-art
survey on deep learning theory and architectures. In Electronics (Switzerland) (Vol. 8,
Issue 3). MDPI AG. https://doi.org/10.3390/electronics8030292

[2] Ronneberger, O., Fischer, P., & Brox, T. (2015). U-net: Convolutional networks for
biomedical image segmentation. Lecture Notes in Computer Science (Including
Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics),
9351, 234–241. https://doi.org/10.1007/978-3-319-24574-4_28

[3] Liu, X., Zhang, Y., Jing, H., Wang, L., & Zhao, S. (2020). Ore image segmentation
method using U-Net and Res_Unet convolutional networks. RSC Advances, 10(16),
9396–9406. https://doi.org/10.1039/c9ra05877j

[4] Bamford, T., Esmaeili, K., & Schoellig, A. P. (2021). A deep learning approach for
rock fragmentation analysis. International Journal of Rock Mechanics and Mining
Sciences, 145. https://doi.org/10.1016/j.ijrmms.2021.104839

[5] Vu, T., Bao, T., Hoang, Q. V., Drebenstetd, C., Hoa, P. van, & Thang, H. H.
(2021). Measuring blast fragmentation at Nui Phao open-pit mine, Vietnam using the
Mask R-CNN deep learning model. Mining Technology: Transactions of the Institute of
Mining and Metallurgy, 130(4), 232–243.
https://doi.org/10.1080/25726668.2021.1944458

[6] Scheurer, J., Ferrari, C., Bom, L. B. T., Beer, M., Kempf, W., & Haug, L. (2020).
Semantic Segmentation of Histopathological Slides for the Classification of Cutaneous
Lymphoma and Eczema. https://doi.org/10.1007/978-3-030-52791-4_3
[7] Suprunenko, V. v. (2020). Ore particles segmentation using deep learning methods.
Journal of Physics: Conference Series, 1679(4). https://doi.org/10.1088/1742-
6596/1679/4/042089

[8] Nikkhah, A., Vakylabad, A. B., Hassanzadeh, A., Niedoba, T., & Surowiak, A.
(2022). An Evaluation on the Impact of Ore Fragmented by Blasting on Mining
Performance. Minerals, 12(2). https://doi.org/10.3390/min12020258

[9] Kitchenham, B. (2007). Guidelines for performing Systematic Literature Reviews in

Software Engineering.

[10] Grosan, C., & Abrahan, A. (2011). Intelligent Systems. A modern approach.
Springer.