Nome: Mateus Crepaldi da Silva

Síntese

A pesquisa intitulada “A Comprehensive Survey on Model Quantization for Deep Neural

Networks” relata, inicialmente, sobre os avanços das Redes Neurais Profundas (DNN) e os
desafios que surgiram com ela, sendo o principal a necessidade de aumentar a velocidade de
processamento dos dados. Como o hardware atual não está conseguindo processar os dados
com tanta rapidez, os pesquisadores estão buscando otimizar este processo usando métodos de
compressão. Com isso, os autores descrevem os conceitos de quantização e categorizam os
métodos a partir de diferentes perspectivas da seguinte forma:

A quantização é uma das abordagens utilizadas em muitas aplicações devido à sua

capacidade de alta compressão e pouco perda de precisão comparado a outros métodos. Neste
método, os componentes de rede são aproximados com baixa largura de bit.

A poda é um método usado para remover conexões desnecessárias ou menos

importantes na rede neural. Ao remover algumas conexões e parâmetros, a rede muda para
uma rede esparsa, que a capacidade necessária para armazenamento será reduzida, bem como
o volume de cálculos.

A aproximação de baixo nível é uma abordagem para simplificar matrizes e imagens. O

método de aproximação de baixo nível aproxima uma nova matriz próxima à matriz de peso que
tem dimensões mais baixas e menos cálculos.

A destilação do conhecimento (KD), também conhecida como professor-aluno, é

baseada em um modelo mais complexo como professor treinar o modelo mais simples e,
finalmente, é substituído pelo mais simples. O objetivo é ter um modelo mais simples com a
generalização e precisão próximas ao modelo mais complexo. Assim, a abordagem KD é eficaz
para reduzir o número de parâmetros e computação em DNNs

Além disso, os autores discutem o uso do fator de escala para combinar os níveis de
quantização com a distribuição dos valores de precisão total e descrevem os métodos baseados
em clustering.

Os autores revisam o treinamento de uma rede neural profunda quantizada e usando o

Estimador Direto de forma abrangente. Além disso, descrevem a simplicidade das operações em
redes neurais convolucionais profundas quantizadas e explicam a sensibilidade das diferentes
camadas na quantização.

Por fim, discutem a avaliação dos métodos de quantização e comparam a precisão dos
métodos anteriores com vários bit-width para pesos e ativações no CIFAR-10 e no conjunto de
dados em larga escala, ImageNet.

A pesquisa tem como foco reunir várias informações a respeito das DNNs e como a
quantização é benéfica para seu desenvolvimento e aperfeiçoamento atualmente. Além disso,
discute várias técnicas de quantização e suas vantagens e desvantagens para o processo.