05/10/2022 – IA-2022

Nomes:
João Felipe Batista de Souza - RA: 00227258
Lucas Montarroyos de Pinho - RA: 00235684

Aprendizagem de máquina usando Arvores de Decisão

A apresentação foi ministrada pelo Dayvid Castro, 27 anos, residente da cidade
de Recife-PE com formações em Bacharel em Sistemas de Informação, Mestre
em Engenharia da Computação e Doutorando em Ciência da Computação e
trabalha atualmente na ZBRA como desenvolvedor de software.
Ele inicia abordando que uma das formas de enxergar o aprendizado de
máquina é simplesmente como subcampo da área de inteligência artificial (IA)
e a IA é um termo que usamos para descrever todas essas técnicas, métodos,
abordagens que são desenvolvidos para realizar tarefas que geralmente elas
precisam de inteligência humana e é nesse contexto que a área de
aprendizado de máquina se encaixa
Machine Learning
É o complemento de duas definições, a primeira de Arthur Samuel afirma
“campo de estudo que dá aos computadores a habilidade de aprender sem ser
explicitamente programado”. A segunda da NVIDIA afirma “é a prática de usar
algoritmos para analisar dados, aprender com eles e, em seguida, fazer uma
determinação ou previsão sobre algo no mundo”. Onde uma atribui a forma de
aprender sem programar de forma explicita e outra afirma que esse processo
de aprendizagem é a partir dos dados.
A partir disso, o consegue-se fazer o paralelo entre engenharia de software
tradicional e machine learning. Na programação tradicional a gente tem a
entrada, uma lógica escrita, que é o programa que os programadores escrevem
e resulta em uma saída, que seria a computação. Já o machine learning tem
uma entrada, associada a essa entrada tem um resultado esperado e esses
dados serão usados para criar um programa e com isso podemos passar a
alimentar esse programa com novas entradas para que nos gere novos
resultados. O machine learning tem duas grandes subáreas:
Não-superviosionado
É quando só obtemos dados de entrada, a gente não tem respostas esperadas
associadas a esses dados de entrada, onde queremos que o processo de
aprendizagem seja de forma autônoma, sem surpervisão.
Superviosionado
Nesse, obtemos tanto entrada quanto as respostas esperadas associadas a
esses dados de entrada, devido a isso, podemos supervisionar o processo de
aprendizagem.
Ele pode ser dividido em dois problemas:
• Classificação: a saída é discreta, pode ser definida em termos de
categoria ou classes.
• Regressão: a saída é contínua.
Árvore de decisão
Elas apresentam uma grande relevância, pois em uma pesquisa feita pela
Kaggle, que é uma das maiores plataformas de IA, onde entrevistou mais de 25
mil cientistas de dados e engenheiros de machine learning e, responderam
quais os algoritmos e métodos que eles mais utilizavam em seu trabalho e
árvore de decisão ficou na segunda colocação.
Suas características são:
• Podem ser usados tanto para classificação, que quando tem categorias
definidas, quanto para regressão quando tem uma saída contínua.
• A função de mapeamento, E/S que é aprendida por esse tipo de
algoritmo, é representada por uma árvore.
• Também entendida pelo como conjunto de condicionais “se/então”.
Estrutura
Composta por nós de decisão e folhas. Tem o primeiro nó, na qual é chamado
de nó raíz, que ele é o nó com melhor desempenho e a partir dele, segue o
processo top-down que irão levar a outros nós de decisão, até que atinja as
folhas, que são os nós que não apresentam filhos.
Para cada nó de decisão, uma condição será testada e cada folha representa
uma decisão tomada.
Como definir os nós de decisão
Para defini-los vai precisar da medida de impuridade, pois ao construir uma
árvore de decisão estamos constantemente analisando um grupo de amostras
e precisa-se dessa medida de impuridade para identificar se um determinado
grupo de amostras ele é homogêneo ou não.
Uma métrica de impuridade é a entropia. Uma forma de interpretá-la como uma
medida de incerteza. A partir dela, consegue-se calcular uma métrica que é
bem importante para construir uma árvore de decisão que é chamado de ganho
de informação.
Ganho de informação fornece a redução esperada da entropia ao usar um
determinado atributo como nó de decisão.
Algoritmo Iterative Dichotomiser 3 (ID3)
ID3 foi um algoritmo criado em 1986 por J. R. Quilan. Ele funciona primeiro
selecionando atributos que melhor classificam os exemplos de decisão, depois
cria um nó para cada atributo escolhido e depois transporta os exemplos para
cada nó filho. Se todos os exemplos do nó se referirem a mesma classe, o nó é
convertido em folha, senão, o procedimento é repetido até constituir a árvore
completa.
Ferramentas
Algumas ferramentas úteis para construção de árvores de decisão são: scikit
learn, dmlc XGBoost, LightGBM, CatBoost.
Vantagens de Árvores de Decisão
As principais vantagens de se utilizar árvores de decisão são os fatos delas
requirirem uma preparação de dados mínima, além disso são muito rápidas e
muito interpretáveis.
Desvantagens de Árvores de Decisão
As principais desvantagens relacionadas ao uso de árvores de decisão são que
elas são limitadas à dados estruturados, portando não é possível alimentá-las
com dados estruturados, como imagens. Além disso, árvores de decisão
podem ter suas estruturas muito alteradas com qualquer simples mudança nos
dados. Por fim, outra desvantagem das árvores são que elas tendem à
overfitting, que é o excesso de ajustes nos dados, ocasionando em más
generalizações. Uma forma de se lidar com o overfitting são combinar opiniões
de diferentes árvores, e existem diferentes formas de se fazer isso, como
Gradient Boosted Trees ou Ramdom Forest.
Conclusões
Concluímos, portanto, que árvores de decisão são uma ótima ferramenta visual
que facilita o entendimento de algoritmos de decisão, apesar das suas
desvantagens, são muito aplicáveis e importante no aprendizado de máquina.