Mineração de dados

Objetivo da Aula:

 Compreender os conceitos fundamentais da mineração de dados.

 Explorar as etapas do processo de mineração de dados.
 Conhecer algumas técnicas comuns de mineração de dados.

O processo de minerar dados para descobrir padrões escondidos e prever tendências futuras tem uma longa
história. Por vezes chamado de Knowledge Discovery in Databases (KDD) "descoberta de conhecimento em
bancos de dados", o termo "mineração" só foi cunhado nos anos 1990, mas sua base compreende algumas
disciplinas científicas tais como: estatística (o estudo numérico das relações entre dados), inteligência
artificial (inteligência exibida por softwares e/ou máquinas, que se assemelha à humana), machine
learning (algoritmos que podem aprender com dados para realizar previsões) e ciência da
computação(Programação).

Mineração de dados (em inglês, data mining) é o processo de descobrir padrões, informações ,correlações e
conhecimentos úteis em grandes conjuntos de dados para tirar insights e prever resultados. Através de uma
variedade de técnicas, você pode usar essas informações para aumentar a renda, cortar custos, melhorar o
relacionamento com os clientes, reduzir riscos e acima de tudo dar apoio na tomada de decisão.

Etapas do Processo de Mineração de Dados:

1. Entendimento do Problema:
o Definir claramente os objetivos e requisitos do projeto.
o Identificar as variáveis relevantes para a análise.
2. Coleta de Dados:
o Reunir dados relevantes para a análise.
o Avaliar a qualidade dos dados e realizar pré-processamento.
3. Exploração de Dados (Análise Exploratória):
o Visualizar e explorar os dados para identificar tendências e padrões.
o Tratar valores ausentes ou outliers.
4. Pré-processamento de Dados:
o Normalizar ou padronizar dados.
o Tratar dados faltantes ou inconsistentes.
5. Escolha do Modelo:
o Selecionar a técnica de mineração de dados adequada aos objetivos.
o Escolher algoritmos de aprendizado de máquina ou técnicas estatísticas.
6. Treinamento do Modelo:
o Aplicar o modelo aos dados de treinamento.
o Ajustar parâmetros para otimizar o desempenho do modelo.
7. Avaliação do Modelo:
o Avaliar a precisão e eficácia do modelo usando dados de teste.
o Ajustar o modelo conforme necessário.
8. Interpretação dos Resultados:
o Interpretar os resultados obtidos pelo modelo.
o Extrair conclusões e insights.
9. Implementação:
o Integrar os resultados na tomada de decisões ou em sistemas existentes.
o Garantir a manutenção contínua do modelo, se necessário.
.

Técnicas Comuns de Mineração de Dados:

1. Regras de Associação:
o Descobre relações frequentes entre variáveis em conjuntos de dados.
2. Classificação:
o Atribui rótulos ou categorias a itens baseados em suas características.
3. Agrupamento (Clustering):
o Agrupa itens similares com base em características comuns.
4. Regressão:
o Prevê valores contínuos com base em variáveis independentes.
5. Análise de Sequência:
o Identifica padrões em dados sequenciais, como séries temporais.

Desafios na Mineração de Dados:

1. Dimensionalidade:

Lidar com conjuntos de dados que possuem muitas variáveis (alta dimensionalidade).

2. Ruído nos Dados:

Dados imperfeitos ou inconsistentes que podem levar a conclusões errôneas.

3. Interpretação dos Resultados:

Compreender e comunicar eficazmente os insights derivados dos modelos.

Aplicações Práticas de Mineração de dados

1. Negócios:

Previsão de demanda, segmentação de clientes, detecção de fraudes, otimização de processos, entre

outros.

2. Ciência da Saúde:

Diagnóstico médico, descoberta de medicamentos, análise de dados clínicos.

3. Governo e Segurança:

Detecção de padrões em dados de segurança, prevenção de fraudes, análise de dados governamentais.

Ferramentas Comuns:

1. Linguagens de Programação:

 Python e R são populares para implementar algoritmos de mineração de dados.

2. Ferramentas Específicas:

 Scikit-Learn, TensorFlow e PyTorch para aprendizado de máquina; RapidMiner e KNIME para

mineração de dados em geral.