Machine Learning Operations

Janeiro - 2021
 MLOps – Porquê das frentes?!
• ML Discovery (on-squad)

Devido a grande dificuldade e muitas vezes ser trabalhoso a geração de uma ABT por conta de dados não refinados, existe a necessidade de uma
camada intermediária no qual eles, Data Scientists, somente realizem o consumo de ABT’s já preparadas pelos analistas de ML e por nossos processos
automáticos de geração de variáveis.

• ML Core

Com a grande demanda de automatizações e cada vez mais velocidade nos deploys e criação de modelos, o coração da área de MLOps é o ML Core,
responsável por todas as automatizações existentes na área, bem como pela criação de ferramentas e bibliotecas de código, sendo apoiados a todo tempo
pelas áreas de ML Discovery e ML Support, não só com novas demandas mas literalmente com a mão na massa, atuando em task de desenvolvimento de
automatizações sempre que estejam disponíveis.

• ML Support (on-squad)

Depois de um complexo ambiente automatizado montado, temos que ter um processo robusto de sustentação não só de modelos em produção bem
como de todo ambiente / infraestrutura necessária para essas execuções.

• ML Innovation

Uma frente ainda embrionária mas que ganhará grande relevância no decorrer dos meses e que ainda está dentro de ML Core, visa principalmente
buscar novas tecnologias que auxiliem no dia-a-dia da equipe de DS / BA bem como em todos os processos automatizados. Esta frente pode ser extendida
para compor um DS Lab, atividades de pesquisa e melhoria dos modelos em produção usando métodos do estado da arte da área.
 MLOps – Estrutura
ML Discovery (on-squad)
- Criação de ABT
- Acompanhamento de processo junto
com BA / DS para melhor entendimento
da demanda
- Carga de dados pontual para equipe
de DS para estruturação de estudos /
modelos
- Atuar no Core sempre que estiver
disponível das atividades de exploração
ML Core
- Desenvolvimento de esteira de deploy de
modelos (batch e NRT / RT)
- Criação de processo automatizado de geração de
ABT’s
- Criação de processo automatizado de logs (todo
ambiente)
- Desenvolvimento de processo de code review
- Criação de processo de monitoramento
- Criação de processo de melhoria contínuo dos
modelos implantados em ambiente produtivo
(análise de resultados / variáveis)
- Criação de Feature Store (Features Creator) com
todas informações das variáveis da companhia
(book de variáveis)
- Criação de plataforma para testes unitários e
teste integrados
ML Innovation
- Um braço do Core, responsável pelo análise e
descoberta de novas ferramentas que possam nos
otimizar nosso dia-a-dia
ML Support (on-squad)
- Manutenção e tunning de modelos em
ambiente produtivo
- Sustentação da plataforma produtiva
- Acompanhamento da evolução de
modelos e interação com Data Scientists
para avaliação de performance e
utilização de novas variáveis / fontes de
dados
- Atuar no Core sempre que estiver
disponível das atividades de sustentação
- Suporte ao deploy de modelos realizados
pela área de DS
 MLOps - Hierarquia
Data Science

Glaucia (Ger)

MLOps

Cezar (Coord)

ML Discovery ML Core ML Support

Alexandre (Espec) Paulo (Espec) Johnatan (Espec)

ML Innovation

Jordana (Sr) Monica (Pl) Leonardo (Pl) Robinson (Pl) Dante (Sr) Matheus (Pl) Lucas (Espec) Pedro (Jr) Eric (Pl) Mario (Jr)
 MLOps - Roadmap
- Workshop de nivelamento de - Inicio de verificações para - V1 Features Store, para ML Discovery
conhecimento sobre alternativas ao Nexus (rep utilização nos modelos
- V0 Plataforma de testes
ML Core
ambiente ML (como pipinstall) RT / NRT integrados (batch)
desenvolver scripts de - Criação de arquitetura - V0 Criação de autônoma de
- V1 Inclusão de regras de ML Support
modelos nos padrões para implementação do ABT’s para modelos batch negócio no processo de
necessários para deploy) Features Store (uso do - Criação de Arquitetura de monitoramento (análise de
- Implementação Meta Store Features Creator) testes de integrados variáveis / resultados) para
(utilização de tabelas fora do - Ajustes de Jobs para nova - V0 Logs via Lib (modelos modelos batch
ambiente databricks) plataforma do Cnvrg batch)
- V1 Logs via Lib (modelos
- Estruturação de migração de RT/NRT)
Jobs do Jenkins (migração - V1 Criação de autônoma de
para ADF / Git Hub Actions / ABT’s para modelos RT /
Cnvrg) - Finalização de migração de NRT
processos do Jenkins para
- V2 Logs via Lib todos
- Migração SQL DW para o Lake
nova plataforma Cnvrg scripts
(Monitoramento / Logs de
- V0 Features Store, para
- V2 Inclusão de regras de
execução modelo)
utilização nos modelos negócio no processo de
- V0 Processo de testes
batch monitoramento (análise de
unitários Automático
- Criação de arquitetura variáveis / resultados) para
- V0 Code Review: todo modelos RT / NRT
base para geração
deploy para ambiente - V1 Plataforma de testes
autônoma de ABT’s
produtivo, será integrados (RT / NRT)
- Criação de arquitetura
analisado por alguém da
para logs do ambiente
equipe de ML + DS
como um todo via Elastic
(análise de padrões
Search (encapsulado em
pontuados no workshop)
uma lib)
- Reuniões semanais para
avaliação de código (V1
Code Review)
- Configuração do
ambiente do Cnvrg

2021
Jan Mar Mai Jul Set Nov

Fev Abr Jun Ago Out Dez

2021
Obrigado!