IND2076 - Lista Stable

Luiz Fernando Cunha Duarte

June 2023

1 Introdução
Neste estudo, a técnica de validação cruzada foi empregada para determinar o
melhor valor de lambda na regressão com penalização L1. Diversos valores de
lambda foram explorados, variando de forma igualmente espaçada entre 10−3
e 103 , utilizando uma grade com 100 pontos. A validação cruzada permitiu
avaliar o desempenho do modelo em diferentes combinações de treinamento e
teste, calculando o MSE médio para cada valor de lambda. O valor de lambda
que resultou no menor MSE médio foi selecionado, obtendo assim um modelo
otimizado de regressão com penalização L1, capaz de equilibrar a complexidade
do modelo e sua capacidade de generalização. Essa abordagem possibilitou a
obtenção do valor de lambda que melhor se adequou à tarefa de regressão.
Adicionalmente, a técnica de validação cruzada foi utilizada para determinar
o valor ideal de K na regressão estável (stable regression). Diversos valores de
K foram explorados em um intervalo especı́fico, variando de 0.7 a 0.9 com seis
pontos igualmente espaçados. A validação cruzada permitiu avaliar o desem-
penho do modelo em diferentes combinações de treinamento e teste, calculando
uma métrica de desempenho relevante, como o MSE. O desempenho médio para
cada valor de K durante a validação cruzada foi analisado, identificando o valor
que proporcionou a melhor performance geral. Isso permitiu otimizar o modelo
de regressão estável, considerando sua capacidade de generalização e adaptabil-
idade aos dados, resultando em uma regressão estável mais precisa e confiável.
Após encontrar o melhor valor de K para a regressão estável, um novo pro-
cesso de validação cruzada foi realizado para determinar o lambda ideal na
regressão estável com penalização L1. Utilizando a mesma abordagem de di-
vidir os dados em folds de treinamento e teste, diferentes valores de lambda
foram explorados em uma grade especı́fica. Em cada iteração da validação
cruzada, o desempenho do modelo foi avaliado utilizando métricas como o MSE
médio para cada valor de lambda. O valor de lambda que resultou no melhor
desempenho médio durante a validação cruzada foi selecionado, permitindo a
obtenção de um modelo otimizado de regressão estável com penalização L1, que
equilibra a complexidade do modelo e sua capacidade de generalização. Com
esse processo, obtemos uma regressão estável com penalização L1 mais precisa
e confiável, capaz de lidar com a variabilidade dos dados e fornecer resultados
robustos.

1
A tabela abaixo contém os resultados encontrados no experimento

Model MSE STD

Regression 0.48796313071227543 0.6925759965443293
RegressionL1 0.48796631021026854 0.6925796057984352
Stable 0.5795495112137424 0.761031542699624
StableL1 0.5733041458651298 0.7522382867724221

Table 1: Model Performance