Questão discursiva da segunda fase do

Concurso do TCU 2021/2022 - FGV

Enunciado da questão
Uma fábrica de peças para motores pretende integrar técnicas de inteligência
artificial ao seu processo produtivo. Em um projeto piloto, instalou um
equipamento que fotografa as peças em uma esteira e envia as imagens a um
classificador automático que identifica cada peça fotografada como sendo
defeituosa ou não.

Os trabalhadores que fazem a inspeção manual conseguem uma precisão de

aproximadamente 90% em identificar ambas as peças, boas e defeituosas, mas
estão vulneráveis a riscos ocupacionais perto das máquinas e seriam melhor
aproveitados em outras atividades.

Os analistas responsáveis pela construção e implantação do modelo

classificador ficaram bastante animados quando o sistema atingiu 95% de
precisão na classificação em um experimento inicial, com um conjunto de
imagens dividido em regime de holdout (70% treino, 15% validação e 15%
teste), todos com distribuição similar de peças boas e defeituosas.

Entretanto, após analisar a matriz de confusão (abaixo), encontraram um

problema que precisa ser resolvido para que o sistema possa funcionar
corretamente.

Matriz de Confusão

Classe Predita: Bom Classe Predita: Defeito

Classe Verdadeira: Bom 760 0

Classe Verdadeira: Defeito 40 0

Quesitos a serem respondidos:

Com relação à situação descrita acima:

a) Responda de forma fundamentada:

i) Qual foi o problema encontrado?

ii) Por que a precisão medida não atende às expectativas para o
funcionamento do sistema?

b) Indique duas técnicas que podem ser usadas para resolver o problema. A
situação descrita refere-se a uma fábrica de peças para motores que busca
integrar técnicas de inteligência artificial ao processo produtivo.

Página 1 de 6
Resolução Comentada

Contextualização
Um classificador automático foi desenvolvido para identificar peças defeituosas
em imagens, com o objetivo de substituir a inspeção manual.

O experimento inicial alcançou 95% de precisão na classificação, mas a matriz

de confusão revelou um problema.

Antes de responder, vamos calcular as métricas usuais para um problema de

classificação:

Extraímos os seguintes valores:

Verdadeiros Positivos (VP): 760 (Peças boas corretamente identificadas

como boas)
Verdadeiros Negativos (VN): 0 (Peças defeituosas corretamente
identificadas como defeituosas)
Falsos Positivos (FP): 40 (Peças defeituosas incorretamente identificadas
como boas)
Falsos Negativos (FN): 0 (Peças boas incorretamente identificadas como
defeituosas)

É importante ressaltar que, neste contexto, a partir do que foi dado no

enunciado e na matriz de confusão, identificamos a classe positiva como
sendo a "Bom" e a classe negativa como a "Defeito".

Com base nesses valores, podemos calcular as seguintes métricas:

1. Acurácia: É a proporção de predições corretas (tanto positivas quanto

negativas) em relação ao total de observações. Acurácia = (VP + VN) / (VP
+ VN + FP + FN) = (760 + 0) / (760 + 0 + 40 + 0) = 760 / 800 = 0.95 ou 95%
2. Precisão: É a proporção de predições positivas que foram corretamente
identificadas. Precisão = VP / (VP + FP) = 760 / (760 + 40) = 760 / 800 =
0.95 ou 95%
3. Recall (Sensibilidade): É a proporção de observações positivas reais que
foram corretamente identificadas. Recall = VP / (VP + FN) = 760 / (760 + 0)
= 760 / 760 = 1 ou 100%
4. Especificidade: É a proporção de observações negativas reais que foram
corretamente identificadas. Especificidade = VN / (VN + FP) = 0 / (0 + 40) =
0
5. F1-Score: É uma média harmônica entre Precisão e Recall, que busca um
balanço entre essas duas métricas. F1-Score = 2 * (Precisão * Recall) /
(Precisão + Recall) = 2 * (0.95 * 1) / (0.95 + 1) = 2 * 0.95 / 1.95 ≈ 0.974 or
97.4%

a) Resposta Fundamentada

i) Qual foi o problema encontrado?

O problema encontrado é que o modelo de classificação falhou ao

identificar corretamente as peças defeituosas.

Página 2 de 6
 A matriz de confusão mostra que o modelo classificou todas as peças
como "Bom", ou seja, não identificou nenhuma peça defeituosa
(Classe Verdadeira: Defeito).
Isso indica um viés no modelo, causado pelo desbalanceamento de
classes no conjunto de dados, onde a amostra está enviesada em favor
da classe majoritária (peças boas).
Apenas 5% das amostras de peças disponíveis para treinamento,
validação e teste referem-se à peças defeituosas.

ii) Por que a precisão medida não atende às expectativas para o

funcionamento do sistema?

A precisão medida, apesar de ser 95%, não é adequada para o

funcionamento do sistema, pois o modelo não conseguiu identificar
corretamente nenhuma peça defeituosa.
No contexto de inspeção de peças, é fundamental que o modelo seja
capaz de identificar peças defeituosas para evitar que tais peças acabem
sendo usadas em motores, o que poderia causar falhas mecânicas.
A precisão, como métrica, pode ser enganosa em cenários de
desbalanceamento de classes. Ainda que o modelo acerte a grande maioria
das previsões (peças boas), ele é ineficaz ao prever a classe minoritária
(peças defeituosas), que é essencial para o caso em questão.

b) Duas técnicas que podem ser usadas para resolver o problema.

1. Rebalanceamento de Classes:

Undersampling da classe majoritária: reduz a quantidade de

amostras da classe majoritária para equilibrar com a classe minoritária.
No entanto, esta técnica pode levar à perda de informações
importantes.
Oversampling da classe minoritária: aumenta a quantidade de
amostras da classe minoritária, replicando-as ou gerando novas
amostras sinteticamente (por exemplo, usando a técnica SMOTE).
Contudo é preciso estar ciene que esta técnica pode levar ao
overfitting, pois o modelo pode ficar muito específico para os dados de
treinamento e não generalizar bem para novos dados.
Combinação de Oversampling e Undersampling: equilibra as
classes manipulando ambas, majoritária e minoritária, usando as
técnicas acima.
2. Mudança de Métrica de Avaliação:

Utilizar métricas mais adequadas para cenários de desbalanceamento

de classes, como Especificidade, F1-Score e AUC-ROC, em vez de
apenas a acurácia.
Especificidade: É a proporção de verdadeiros negativos (peças
defeituosas corretamente identificadas). No contexto do problema,
queremos maximizar a Especificidade, pois queremos assegurar a
identificação correta de todas as peças defeituosas.
F1-Score: É a média harmônica entre Precisão e Recall. Pode ser uma
boa métrica quando se deseja um balanço entre Precisão e Recall e
quando a distribuição das classes é desigual.
AUC-ROC: Área sob a curva ROC. É uma boa métrica para avaliar a
performance geral de um classificador binário, pois leva em
Página 3 de 6
 consideração tanto a taxa de verdadeiros positivos (Especificidade)
como a taxa de falsos positivos.
3. Utilização de modelos de aprendizado de máquina mais robustos para
lidar com o desbalanceamento de classes, como por exemplo, Árvores
de Decisão, Florestas Aleatórias, Gradient Boosting, XGBoost, etc. Alguns
desses modelos possuem parâmetros que podem ser ajustados para lidar
melhor com classes desbalanceadas.
4. Uso de técnicas de aprendizado de máquina específicas para
desbalanceamento de classes, como o uso de modelos baseados em
ensemble que lidam bem com desbalanceamento, como EasyEnsemble e
BalanceCascade.

Página 4 de 6
Sobre o Professor

Rafael de Oliveira Bittencourt, natural de Salvador-BA, torcedor do Esporte

Clube Vitória, residente em Brasília desde 2015, é Auditor Federal de Controle
Externo no Tribunal de Contas da União desde dezembro de 2015.

Sou entusiasta, defensor e praticante do uso de Ciência de

Dados no âmbito do Controle Externo e no Direito, desde
que respeitados os limites éticos e legais aplicáveis.

Meu mini currículo:

Graduado em Ciência da Computação pela Universidade Federal da Bahia

(2012);
MBA em Gestão de Projetos pela Unijorge (2016);
Certificado Cobit 5 Foundation;
Especialista em Ciência de Dados (Udacity e outros cursos);
Bacharelando em Direito pela UnB (previsão de término em 2024)

Histórico no mundo dos concursos antes de ingressar no TCU:

Aprovado em 1º lugar no concurso para Técnico de Tecnologia Militar -

Programador do Exército Brasileiro, onde trabalhei entre 2012 e 2014.
Aprovado em 24º lugar no concurso para Analista Judiciário - Tecnologia da
Informação no Tribunal Regional do Trabalho da 1ª Região, onde trabalhei
no ano de 2015.

Minhas redes sociais:

Linkedin (https://www.linkedin.com/in/rafael-bittencourt-54236858/)
Instagram (https://www.instagram.com/profrafaelbitten/)

Página 5 de 6
Sobre os direitos do autor e a utilização
deste Caderno pelo aluno
©2021-2023 Rafael de Oliveira Bittencourt @profrafaelbitten
(https://instagram.com/profrafaelbitten) e Comunidade de Dados
(https://instagram.com/comunidadeanalisededados
(https://instagram.com/comunidadeanalisededados)) . Todos os direitos
reservados.

O material é para uso exclusivo do aluno que adquiriu o

produto/serviço, sendo vedada, portanto, qualquer
republicação/redistribuição e compartilhamento com terceiros
não autorizados.

O aluno, para fins de estudo, é livre para criar cópias e alterar o

conteúdo deste caderno, desde que para seu próprio uso.

E-mail para contato: profrafaelobitten@gmail.com

Página 6 de 6