Classificação de lesões de pele através de imagens

utilizando Deep Learning?

Arthur M. Ferraz

Universidade Federal Fluminense UFF, Niterói RJ, Brasil

arthur_ferraz@id.uff.br

Resumo A Melanoma é um dos tipos de câncer de pele mais letais e

para uma maior taxa de sobrevivência dos pacientes é fundamental o
diagnóstico prematuro. Embora as técnicas para detecção dessa doença
tenham avançado bastante, isso ainda se mostra um sério problema. En-
tão são propostas soluções com rede neurais, utilizando arquiteturas Res-
Net e DenseNet de forma a conseguir classificar a lesão de pele através
de imagens. Embora a base desbalanceada tenha dificultado um melhor
resultado, os resultados foram bastante satisfatórios. Conseguindo uma
taxa superior à 80% de precisão média entre as classes.

Keywords: Aprendizado Profundo · Classificação · ResNet.

1 Introdução

A Melanoma é um crescente problema de saúde no mundo todo. Apenas nos

Estados Unidos estima-se que, nos próximos anos, 1 a cada 58 pessoas terão
a doença [1]. Embora as taxas de sobrevivência tenham aumentado de 82.6%,
nos anos 70, para 93.1% em 2002 [2], o diagnóstico tardio pode ser fatal. Se for
detectada no primeiros estágio, a taxa de sobrevivência é maior do que 90%, já
no terceiro estágio cai para 60% e no quarto estágio para menos de 15% [3].
A maneira mais acurada de se detectar a Melanoma é através de uma biópsia
[4]. Entretanto esse é um exame caro e bastante invasivo para o paciente. Por-
tanto, o mais comum é realizar uma dermoscopia. A dermoscopia é um tipo de
exame em que uma luz polarizada é incidida sob a lesão de pele de forma que o
médico consegue indentificar mais facilmente as características relevantes para
sua classificação [5]. Ainda que esse tipo de técnica tenha melhorado a detecção
de doenças mais perigosas, ele ainda está sujeito a interpretação médica e possui
alta taxa de erro, principalmente ao considerarmos médicos menos experientes
[6].
Aprendizado de máquina é uma área da computação, mais especificamente da
Inteligência Artificial, que pode ser definida como o campo de estudo que dá aos
computadores a habilidade de aprender sem serem explicitamente programados
[7].
?
Universidade Federal Fluminense
2 A. M. Ferraz et al.

Redes de aprendizado profundo, Deep Learning, são técnicas de aprendizado

de máquina que vem ganhando enorme destaque. Elas se mostraram especifica-
mente úteis, dentre outras tarefas, na classificação de imagens, em especial as
Redes Neurais Convolucionais [8].
O ISIC, International Skin Imaging Collaboration, é um instituto que agrega
bases de imagens de dermoscopia com objetivo de desenvolvimento de técnicas
para área, em especial a detecção de Melanoma [9]. Em 2018, o ISIC propôs
três desafios: segmentação, detecção de características e classificação de diversas
imagens de dermoscopia [10].
O presente trabalho tem como objetivo explorar técnicas de Deep Learning
utilizando a base de dados do ISIC para classificação de lesões de pele.

2 Problema
O desafio ISIC 2018 consistiu em três distintas tarefas essenciais para a detecção
de câncer de pele: classificações de lesões, extração de características úteis e
segmentação da lesão [10]. Em especial para esse trabalho a tarefa escolhida foi
a de classificação.
A base utilizada está disponível em [11] e está descrita em [12]. As imagens
estão classificadas entre sete tipos distintos de lesões de pele. As proporções de
cada classe estão exibidas na Tabela 1. Logo de início já é possível perceber o
grande desbalanceamento das classes, isso será uma questão importante em todo
decorrer desse trabalho.

Tabela 1. Distribuição das classes na base de dados HAM10000.

AKIEC BBC BKL DF MEL NV VASC

327 514 1099 115 1113 6705 143

O principal critério para avaliar a qualidade de uma solução proposta para o

desafio foi definido como a Acurácia Média Balanceada. A medida é definida em
(1) de forma que Pi é a precisão para cada classe e n é o número total de classes.
Dessa forma, se alguma classe minoritária tiver um valor baixo para precisão, a
métrica será bastante afetada.
n
X
Pi /n (1)
i=1
Em [10] estão disponíveis as anotações dos melhores colocados no desafio.
Baseando-se em trabalhos como [13,14,15] foram definidos o estudo de redes
neurais convolucionais com arquitetura Resnet [16] e Densenet [17], por estarem
presentes nos melhores resultados e possuirem implementações acessíveis nos
frameworks populares. Além disso, foram utilizadas algumas técnicas para tentar
diminuir o efeito do desbalanceamento das classes, a ser melhor explorado na
próxima sessão.
 Classificação de lesões de pele através de imagens utilizando Deep Learning 3

3 Propostas de Solução

Redes neurais convolucionais [8] estão entre as soluções mais consolidadas para
diversos problemas de visão computacional. Esse tipo de técnica vem sido larga-
mente utilizada em aplicações na área da saúde, principalmente auxiliando na
avaliação de exame médicos [18].
Dentre os mais recentes avanços arquiteturais em relação às redes neurais
convolucionais, podemos citar as arquiteturas Resnet [16] e Densenet [17]. As
redes Resnet procuram resolver o problema da acurácia de teste degradada, que
ocorre ao construirmos redes muito profundas. Nessa formulação existem ata-
lhos entre a camadas, de forma que existe uma conexão direta entre as camadas
um e três, por exemplo. Nas redes Resnet, os atalhos ocorrem apenas ultrapas-
sando uma camada. Já nas redes Densenet existem atalhos de uma camada para
qualquer outra mais profunda.
Algumas propostas surgem em relação ao tratamento de bases desbalance-
adas [13,14,15]. Podemos citar o uso de técnicas de Oversampling, que visam
aumentar o número de exemplos de classe minoritária, ou Undersampling, que
visam diminuir o número de exemplos da classe minoritária.
Outro forma de tratar bases desbalanceadas está relacionada a função de
perda da rede neural. A técnica consiste em colocar pesos diferentes para dife-
rentes classes na função de perda, de forma a dar mais peso ao erro de classes
minoritárias.
Outra questão a ser tratada é se o número de amostras da base é suficiente
para treinar uma rede inteiramente nova. De forma geral, obtêm-se melhores
resultados realizando Fine Tuning de uma rede pré-treinada [19], portanto essa
tática foi adotado.
Por fim, a estratégia proposta de resolução para o problema consistiu em
utilizar o framework PyTorch [20] para realizar o Fine Tuning de redes pré-
treinados com ImageNet. O script base para os experimentos pode ser encontrado
em [21].

4 Resultados Experimentais

O desafio ISIC 2018 possui uma separação pré-definida entre os conjuntos de

treinamento, validação e teste. Entretanto seria necessário se inscrever no desafio,
que já havia terminado na execução desse trabalho. Dessa forma o conjunto foi
separado de forma arbitrária, sendo 10% para a base de teste, 15% para validação
e o restante para treinamento. É importante salientar que essa separação foi feita
respeitando a distribuição das classes. O modelo escolhido como melhor entre as
iterações foi o que obteve melhor pontuação no conjunto de validação.
Em todos experimentos as imagens foram normalizada e foram enquadradad
para se adequarem ao tamanho esperado pela rede.
O primeiro experimento consistiu em realizar o Fine Tuning para a arquite-
turas ResNet14 e DenseNet, por 50 épocas. Nas Figuras 1 e 2 podemos ver a
evolução da acurácia tanto do conjunto de treinamento quando para o conjunto
4 A. M. Ferraz et al.

Acurácia de treinamento e validação para Densenet Acurácia de treinamento e validação para Resnet
1.0 1.0
Validação Validação
Treinamento Treinamento
0.9 0.9

0.8 0.8
Acurácia

Acurácia
0.7 0.7

0.6 0.6

0.5 0.5

0.4 0.4
1 6 11 16 21 26 31 36 41 46 1 6 11 16 21 26 31 36 41 46
Iterações Iterações

Figura 1. Acurácia de treina- Figura 2. Acurácia de treina-

mento e validação para DenseNet mento e validação para ResNet

de validação. Em ambos os casos o comportamento é similar, a acurácia do con-

junto de treinamento vai sempre aumentando, porém cada vez menos, enquanto
a acurácia da validação é mais oscilante. De qualquer forma é possível notar uma
leve melhora no conjunto de validação ao decorrer das épocas. Na Tabela 2 é
possível ver que a ResNet obteve resultado levemente superior ao da DenseNet,
levando em conta o critério utilizado pelo desafio.

Tabela 2. Acurácia no conjunto de teste

Arquitetura ResNet DenseNet

Acurácia 0.835228 0.818213

A matriz de confusão de ambos casos pode ser vista na Figuras 3 e 4. A

matriz está normalizada por coluna para facilitar a visualização. É possível notar
na Figura 4 que a ResNet foi capaz de acertar todos os casos da classe 3, e foi
pior do que a DenseNet em todas nas outras classes. Entretanto essa precisão de
100% foi suficiente para o Resnet obter uma pontuação melhor.
Um próximo experimento realizado consistiu em realizar um undersampling
na classe majotária, de forma a verificar se a rede poderia aprender melhor as
outras classes. Dessa forma foram retirados 50% dos exemplos da classe majori-
tária.
As Figuras 5 e 6 exibem as matrizes de confusão para execução com Under-
sampling. É possível notar que nesse caso a Resnet obteve um resultado mais
equilibrado entre suas classes, entretanto obteve um resultado pior, como pode-
mos ver na Tabela 3. Os resultados para a DenseNet se mantiveram praticamente
inalterados. Dessa forma, a retirada de 50% da classe majoritária não contribuiu
positivamente para o aprendizado da rede.
Por fim, um último experimento consistiu em colocar pesos na função de
perda. Os pesos foram calculados a partir da seguinte fórmula:

wi,j = 1/(pi,j−1 )f (2)

 Classificação de lesões de pele através de imagens utilizando Deep Learning 5

Matriz de confusão para DenseNet Matriz de confusão para Resnet

2.4
0

0
2.4
1

1
1.8
1.8
2

2
CLasse real

CLasse real
1.2
1.2
3

3
0.6 0.6
4

4
5

5
0.0 0.0
6

6
0 1 2 3 4 5 6 0 1 2 3 4 5 6
Classe predita Classe predita

Figura 3. Matriz de Confusão Figura 4. Matriz de Confusão

para DenseNet para ResNet

Tabela 3. Acurácia no conjunto de teste com Undersampling

Arquitetura ResNet DenseNet ResNet Under. DenseNet Under.

Acurácia 0.835228 0.818213 0.781044 0.810652

Matriz de confusão para ResNet

2.4 Matriz de confusão para ResNet
0

2.4
0

1.8
1

1.8
1
2

1.2
CLasse real

2
3

CLasse real

1.2
0.6
3
4

0.6
4

0.0
5

0.0
6

0.6
0 1 2 3 4 5 6
6

Classe predita
0 1 2 3 4 5 6
Classe predita

Figura 5. Matriz de Confusão

para DenseNet com Undersam- Figura 6. Matriz de Confusão
pling para ResNet com Undersampling
6 A. M. Ferraz et al.

Matriz de confusão para ResNet

2.4

0
1
1.8

2
CLasse real
1.2

3
0.6

4
5
0.0

6
0 1 2 3 4 5 6
Classe predita

Figura 7. Matriz de Confusão

para Resnet com peso na função
de perda e f = 7

Leia-se, o peso wi,j de uma classe i em uma época j é igual ao inverso de

sua precisão na época anterior, elevada a um fator f , que é um parâmetro de
entrada. Dessa forma se a rede erra proporcionalmente muito uma classe, ela é
mais punida.
Um experimento foi realizado apenas com a ResNet variando a parâmetro f
entre 1 e 8. Os resultados estão na Tabela 4. Embora com f = 7 o método tenha
atingido um melhor resultado do que a execução original, parece inconclusivo se
o uso dos pesos na funçaõ de perda são realmente úteis para esse caso.

Tabela 4. Acurácia no conjunto de teste para Peso na função de perda

f 1 2 3 4 5 6 7 8
Acurácia 0.822777 0.767582 0.804395 0.772759 0.823607 0.779684 0.835500 0.833396

A Figura 7 mostra a matriz de confusão da Resnet com pesos e fator f igual

a 7. É possível perceber que embora o resultado tenha sido só um pouco melhor
do que a execução sem pesos, existe um equilíbrio melhor de precisão entre as
classes.

5 Conclusão

O trabalho foi bastante satisfatório no sentido de explorar técnicas modernas de

aprendizado de máquina, assim como uma introdução aos frameworks modernos.
Mesmo não executando em redes muito grandes ou por uma quantidade
grande de iterações, os resultados dos experimentos foram bons e consistentes
com os resultados obtidos por outros participantes do desafio.
 Classificação de lesões de pele através de imagens utilizando Deep Learning 7

Além disso, esse problema uniu duas questões que costumam ser difíceis
de serem tratadas. Uma base desbalanceada e uma classificação não-binária,
trazendo maior desafio à sua resolução de forma eficiente.

Referências

1. Darrell S. Rigel, MD ; Julie Russak, MD 2 ; Robert Friedman, MD 3 Rigel, D. S.,

Russak, J., Friedman, R. - The Evolution of Melanoma Diagnosis: 25 Years Beyond
the ABCDs. In: CA CANCER J CLIN vol. 60 (2010), pp. 301–316
2. Altekruse, S.F., Kosary, C.L., Krapcho, M., et al, eds. SEER Cancer Statistics Re-
view, 1975-2007. Bethesda, MD: National Cancer Institute; based on November
2009 SEER data submission, posted to the SEER Web site, 2010. Disponível em:
http://seer.cancer.gov/csr/1975_2007/.
3. Why a Melanoma Blood Test Would Be Such a Big Deal,
http://fortune.com/2018/07/18/melanoma-blood-test/, Último acesso em 19
Nov 2018.
4. Coit, D.G., Andtbacka, R., Anker, C.J., Bichakjian, C.K., Carson, W.E., 3rd, Daud,
A., et al. Melanoma. Journal of the National Comprehensive Cancer Network :
JNCCN. 2012;10(3):366-400.
5. Menzies, S.W., Emery, J., Staples, M., Davies, S., McAvoy, B., Fletcher, J., et al.
Impact of dermoscopy and short-term sequential digital dermoscopy imaging for the
management of pigmented lesions in primary care: a sequential intervention trial.
The British journal of dermatology. 2009;161(6):1270-7.
6. Pehamberger, H., Steiner, A., Wolff K., In vivo epiluminescence microscopy of pig-
mented skin lesions. I. Pattern analysis of pigmented skin lesions, Journal of the
American Academy of Dermatology, vol. 17, no. 4, pp. 571–583, 1987.
7. Simon, P., T.:Too Big to Ignore: The Business Case for Big Data. Wiley, Boston
(2013).
8. Krizhevsky, A., Sutskever, I., Hinton, G.E., ImageNet Classification with Deep Con-
volutional Neural Networks, Advances in Neural Information Processing Systems 25
(NIPS 2012)
9. Codella, N.C.F., Gutman, D., Celebi, M.E., Helba, B., Marchetti, M. A., Dusza,
S.W. , Kalloo, A., Liopyris, K., Mishra, N., Kittler, H., Halpern, A., SKIN LESION
ANALYSIS TOWARD MELANOMA DETECTION: A CHALLENGE AT THE
2017 INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI),
HOSTED BY THE INTERNATIONAL SKIN IMAGING COLLABORATION
(ISIC).
10. ISIC 2018: Skin Lesion Analysis Towards Melanoma Detection,
https://challenge2018.isic-archive.com/, Último acesso em 19 Nov. 2018.
11. The HAM10000 dataset, a large collection of multi-source
dermatoscopic images of common pigmented skin lesions,
https://dataverse.harvard.edu/dataset.xhtml?persistentId=doi:10.7910/DVN/DBW86T
12. Tschandl P., Rosendahl, C., Kittler H., The HAM10000 dataset: A large collection
of multi-source dermatoscopic images of common pigmented skin lesions. CoRR,
abs/1803.10417, 2018.
13. Gessert, N., Sentker T., Madesta F., Schmitz R., Kniep H., Baltruschat I., Wer-
ner R., Schlaefer A., Skin Lesion Diagnosis using Ensembles, Unscaled Multi-Crop
Evaluation and Loss Weighting, ISIC 2018 CHALLENGE: LESION DIAGNOSIS.
8 A. M. Ferraz et al.

14. Katherine M. L., Evelyn C. L., Skin Lesion Analysis Towards Melanoma Detec-
tion via End-to-end Deep Learning of Convolutional Neural Networks, ISIC 2018
CHALLENGE: LESION DIAGNOSIS.
15. Nozdryn-Plotnicki A., Yap J., Yolland W., Ensembling Convolutional Neural
Networks for Skin Cancer Classification, ISIC 2018 CHALLENGE: LESION DI-
AGNOSIS.
16. He K., Zhang X., Ren S., Sun J., Deep Residual Learning for Image Recognition,
The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016,
pp. 770-778
17. Huang G., Liu Z., Maaten L., Weinberger K. Q., Densely Connected Convolutional
Networks, IEEE Conference on Pattern Recognition and Computer Vision (CVPR),
2017.
18. Litjens G., Kooi T., Bejnordi , B.E., Setio, A.A.A., Ciompi, F., Ghafoorian M,
Laak, J.A.W.M., Ginneken, B., Sánchez, C.I., A survey on deep learning in medical
image analysis, Medical Image Analysis vol. 42, 2017, pp. 60-88
19. Tajbakhsh N., Shin, J.Y., Gurudu S.R., Hurst, R.T., Convolutional Neural
Networks for Medical Image Analysis: Full Training or Fine Tuning? IEEE Tran-
sactions on Medical Imaging vol. 35 (2016), pp. 1299-1312
20. PyTorch Website, https://pytorch.org/, Último acesso em 19 Nov. 2018.
21. Finetuning Torchvision Models, https://pytorch.org/tutorials/beginner/finetuningt orchvisionm odelst utorial.html.l