Data Science challenge Walmart Chile:

Predicción de demanda para promociones

Presentado por: Camilo Lillo

Desafío: filtros, variables, data management y EDA

1. Filtro según SKU

2. Cuadre de fechas:
(local-ítem):
07/01/2017 – 31/3/2018
#(𝐷𝑝𝑙 ≠ 0) ≥ 50
(449 días)
58mil
8446
SKU
aprox. SKU
3. Variable
promoción:
4. Variable
1: (p, 𝑡, 𝑑)-ésimo
“quiebre de
SKU está en
stock” :
Training promoción.
Set 0: (p, 𝑡, 𝑑)-ésimo
1: (p, 𝑡, 𝑑)-ésimo
SKU no está en
SKU tiene
promoción.
inventario 0.
0: (p, 𝑡, 𝑑)-ésimo
SKU no tiene
inventario 0.
6. Feriados 2: • Variable discreta de varianza pequeña.
Esto es un 5. Feriados 1: feriados • ACF y PACF en general bajos < 0,2.
supuesto feriados no- irrenunciables • Es necesario el apoyo de covariables (otros SKU, además de
irrenunciables y días de “promoción”, “quiebre de stock” y “feriados”) dentro del modelo.
activación del mercado (dicotómica) • El modelo debe ser definido de forma temporal.
(dicotómica)
Modelos utilizados: estadística clásica al Machine Learning

• Modelos Univ.

Light
Modelos GBM
• Modelos Multi. V1 Estadísticos
(más de 600 SKU). Clásicos
Performance

Ensemble
(LSTM + RF) GBM

LSTM
• Modelos Multi. V2 RF
(más de 8 mil SKU): Regresión Lasso Reg.
GARMA-PO RNA
GARMA-ZIP
Esta alternativa VAR Advanced
AIRMA VARMA Machine
permite predecir las ARMA Learning
series faltantes.

Inicio del desafío Tiempo

Light Gradient Boosting Machine (LGBM)
LGBM: versión parallel y de alto rendimiento de una máquina de aumento de gradiente, basado en árboles de decisión.
Árbol de decisión
(crecimiento por nivel)
GBM
(crecimiento por hoja)
Algoritmo General Características del modelo
1. Aprendizaje (regresión). • Aprende sobre una
secuencia de modelos.
2. Determinar el residuo.
• Suma de los predictores
3. Aprendizaje sobre el sobre el residuo aumenta la
residuo (regresión). precisión.
• La función de predicción es
4. WRepetir (2 y 3).
compleja.
Estructura del modelo:
Definir función de pérdida 𝐿 𝑦, 𝐹 𝑥 = (𝑦 − 𝐹(𝑥))2 /
Se desea optimizar la función 𝐺 de la forma: 𝑀𝑖𝑛 𝐺 = 𝑖 𝐿(𝑦𝑖 , 𝐹(𝑥𝑖 )) , dado
𝐹 𝑥1 , 𝐹 𝑥2 , … , 𝐹 𝑥𝑘 , modelos ajustados.
Se puede tratar 𝐹 𝑥𝑖 como parámetros y tomar su derivada de la forma:
𝑑𝐺 𝑑 𝑖 𝐿(𝑦𝑖 , 𝐹(𝑥𝑖 ))
= = 𝐹 𝑥 𝑖 − 𝑦𝑖 .
𝑑𝐹(𝑥𝑖 ) 𝑑𝐹(𝑥𝑖 )
Se puede interpretar el residuo como un gradiente negativo dado por:
𝑑𝐽
𝑦𝑖 − 𝐹 𝑥𝑖 = −
𝑑𝐹(𝑥𝑖 )
Modelo predictivo en el futuro

Diagrama del modelo y predicciones Predicciones

(1/4/2018 al 18/07/2018)
Feriados
Irrenunciables • Covariables en el futuro de
feriados se conocen.
Feriados • Promoción en el futuro = 0 (no
no irrenunciables Matriz:
considera promo).
Autoreg
Promociones Light • Quiebre de stock en el futuro = 0
& 𝐃𝐞𝐦𝐚𝐧𝐝𝐚𝒑𝒕𝒅 (considera distribución del producto sin
GBM
Medias problemas de quiebre de stock).
Quiebre de Móviles
stock (3-7-14-21-30) • Las covariables de SKU en el futuro son
determinadas a partir de la predicción
de otros SKU.
SKU
1 SKU NOTA IMPORTANTE:
2 Validación cruzada y test
SKU
80%, 10%, 10%, Se realizó la predicción de todos los
n
respectivamente SKU del training set (8446).
Predicción de las series sin datos
Centro de Experiencias y Servicios (UAI): sobre la nota de
satisfacción dado el precio de los clientes de supermercados Lider
Perfil del (a modo de referencia de Walmart).
cliente
Instituto de estudios urbanos y territoriales (U. Chile): sobre el
Índice de Calidad de Vida

Luego, la predicción (imputación) de la series

de SKU faltantes son generadas como:

la media del día 𝒅, de todos los SKU

que correspondan a la tienda 𝒕

y que sean del mismo departamento del

SKU a predecir

Existe perfil de cliente por comuna, entonces, existe perfil de cliente por local
Predicciones en los 109 días (1/4/2018 al 18/07/2018)

3
66
316

4 70 415

14 168 475

40 173

El número del SKU está encerrado en los círculos

Círculos verdes son SKU predichos directo del modelo.

Círculos morados son SKU imputados desde el resto de predicciones. Rojo: Predicho Azul: Real
Mejoras y nuevas variables desde Walmart

Serie de tiempo temporal de los SKU más larga (de al menos 3 o 4 años de data) para predecir una campaña

Dependencia del SKU (ekono, líder express, líder, a cuenta, etc).

Canal por donde se realiza la compra (inernet, presencial, etc).

Variables relacionadas al marketing (publicidad en el pasillo, fuera de la tienda, en la TV, etc.), en el día 𝑑, tienda 𝑡 y SKU 𝑝
Consideraciones y pasos futuros

RAM:
64 Gb Una vez entregadas las variables solicitadas
desde Walmart, la mejora sustancial del
Tarjeta de modelo podría tomar 1 mes.
video:
NVIDIA
Gforce Hard La implementación del nuevo modelo podría
GTX 1070 tardar 2 semanas.

Total: 1 mes y medio

Tiempo de ejecución: menos de 5 minutos.

+
Data Science challenge Walmart Chile:
Predicción de demanda para promociones

¿Preguntas?
Muchas Gracias
Presentado por: Camilo Lillo