ENGG21 - Ciência de dados

Métodos de reamostragem:
cross-validation & bootstrap

Profa. Karla P. Oliveira Esquerre

Lucas Mascarenhas Almeida

2021.2
Roteiro:
AULA 1
1.1 - Aquecendo os motores;
1.2 - Sobreajuste, erro x complexidade, bias-variance tradeoff;
1.3 - Desafio no LucidChart*;
1.4 - Homework;

AULA 2
2.1 - Apresentação do homework;
2.2 - Dataset validation vs LOOCV vs CV;
2.3 - Dúvidas de códigos;

2
1.1 - Aquecendo os motores

https://relogioonline.com.br/

https://youtu.be/ngrOYWgJjb4?t=216

3
1.2 - Sobreajuste, complexidade x erro, bias-variance tradeoff

● https://colab.research.google.com/drive/1DX_Wb2T63lHBPrzgvjDYTNUuWjGlGn8y?usp=sharing

4
1.3 - Desafio no LucidChart*
● Enunciado: A sala será dividida em 4 grupos, cada um deve construir um fluxograma e listar as
vantagens e desvantagens de seu respectivo método:
1. Validation set approach (laranja)
2. LOOCV (cinza)
3. Cross-validation (azul)
4. Bootstrap (vermelho)
● Entrega: Fluxograma + Lista de vantagens e desvantagens + Apresentação
● Tempo: 40 minutos para o desenvolvimento + 5 minutos de apresentação
● Link do lucidchart

5
1.3 - Desafio no LucidChart*

1. Validation set approach: https://meet.google.com/jkz-cofv-jyz

2. LOOCV: https://meet.google.com/cpd-opnc-yxt

3. Cross-validation: https://meet.google.com/ohg-aubt-qbh

4. Bootstrap: https://meet.google.com/bks-mnhy-yxb

6
1.4 - Homework
● Enunciado: Cada dupla terá que desenvolver um código de treinamento e avaliação de um modelo
de predição (pode ser classificação ou regressão)

● Requisitos:
a. Utilizar o pacote sklearn (ref)
b. Utilizar as funções Grid.Search ou Random.Search para o treinamento do modelo (ref1, ref2,
ref3)
c. Pode ser qualquer banco de dados (pode usar o do trabalho)
d. Pode ser qualquer algoritmo (ref)

● Entrega: Modelos treinado e avaliado + Célula de texto explicando sobre o Grid.Search e/ou
Random.Search + Apresentação

● Tempo: 5 minutos para cada dupla apresentar 7

2.1 - Apresentação do homework

8
 2.2 - Dataset validation vs LOOCV vs CV

● https://colab.research.google.com/drive/1NW6YDmr1yXtSUQkyiN3vB9E1vP2eRCoa?usp=sharing

9
2.3 - Dúvidas de códigos

10