1

Projetos de Analytics

Negócio Administração

Projeto
de Analytics

Fatores Críticos de Sucesso

Tecnologia Os pilares para um projeto
de analytics bem sucedido
2
Projetos de Analytics – Fatores Críticos de Sucesso

Pilar Negócio
• Patrocínio da alta gestão
• Visão clara dos objetivos de negócio
• Foco no valor para o negócio (ROI)
Negócio

Administração

Tecnologia

3
Projetos de Analytics – Fatores Críticos de Sucesso

Pilar Administração
• Emprego de metodologia consistente
• Planejamento e gerenciamento de projeto
• Controle e clareza de entregas
• Gerenciamento de recursos Negócio

Administração

Tecnologia

4
Projetos de Analytics – Fatores Críticos de Sucesso

Pilar Tecnologia
• Definição da arquitetura técnica
• Definição de plataformas de software
• Definição de infraestrutura de hardware
• Equipe técnica capacitada Negócio
• Aplicação de melhores práticas
Administração

Tecnologia

5
 Projetos de Business Intelligence – Ciclo de Vida (Kimball)

Fonte: The Data Warehouse Toolkit (Kimball, 2013)

6
Projetos de Business Intelligence – Metodologia

Metodologia para Gerência do Projeto de BI&A

Planejamento
• Alinhamento com estratégia da organização
Levantamento • Aplicação de melhores práticas (PMI, Agile BI)
• Definição do ciclo de vida do Projeto BI&A
Modelagem • Definição de responsabilidades
• Envolvimento dos usuários
Extração e Carga

Aplicações BI&A

Transição

7
Projetos de Business Intelligence – Metodologia

Planejamento
Planejamento
• Concepção do projeto (Charter)
Levantamento • Definição dos objetivos (ROI, metas)
• Definição da equipe do projeto
Modelagem • Identificação de riscos, premissas e restrições
• Detalhamento de requisitos e definição do escopo
Extração e Carga
• Definição de abordagem e infraestrutura
Aplicações BI&A
• Elaboração do plano do projeto e planos de gestão

Transição

8
Projetos de Business Intelligence – Metodologia

Planejamento – Equipe
Planejamento
• Gerente de Projetos
Levantamento • Analista de Negócios
• Arquiteto de Dados (DBA)
Modelagem • Gerente de Metadados (AD)
• Arquiteto/Desenvolvedor ETL
Extração e Carga
• Arquiteto de BI e BA
Aplicações BI&A

Transição

9
Projetos de Business Intelligence – Metodologia

Planejamento – Abordagem Top-down

Planejamento

Levantamento

Modelagem

Extração e Carga

Aplicações BI&A

Transição

10
Projetos de Business Intelligence – Metodologia

Planejamento – Abordagem Bottom-up

Planejamento

Levantamento

Modelagem

Extração e Carga

Aplicações BI&A

Transição

11
Projetos de Business Intelligence – Metodologia

Levantamento
Planejamento
• Entendimento do negócio
Levantamento • Mapeamento de fontes
• Levantamento de relatórios existentes
Modelagem • Definição de indicadores
• Elaboração de especificações técnicas
Extração e Carga

Aplicações BI&A

Transição

12
Projetos de Business Intelligence – Metodologia

Modelagem
Planejamento
• Projeto da arquitetura
Levantamento • Definição dos fatos, métricas e dimensões
• Definição da granularidade de informações
Modelagem • Projeto do banco de dados

Extração e Carga

Aplicações BI&A

Transição

13
Projetos de Business Intelligence – Metodologia

Modelagem – Projeto da Arquitetura

Planejamento
Fontes de Serviços de Data Aplicações
Dados Integração Warehouse BI&A
Levantamento Servidores de
Databases DW Aplicações
Processador
Batch
Modelagem
Painéis e Relatórios

Planilhas e
Extração e Carga Flat Files Datamarts
Rotinas ETL
Análises

Aplicações BI&A

Transição Governança de
Segurança Metadados
Dados
14
Projetos de Business Intelligence – Metodologia

Extração e Carga (ETL)

Planejamento
• Definir estratégias de carga
Levantamento • Projetar rotinas de carga e transformação
• Implementar rotinas de carga
Modelagem • Promover a integração dos dados
• Validar dados carregados
Extração e Carga

Aplicações BI&A

Transição

15
Projetos de Business Intelligence – Metodologia

Extração e Carga (ETL)

Planejamento
Fontes de Dados Painéis e Relatórios

Levantamento

Modelagem
ETL OLAP

Extração e Carga

Aplicações BI&A

Transição

16
Projetos de Business Intelligence – Metodologia

Aplicações BI&A
Planejamento
• Desenvolvimento do ambiente de apresentação
Levantamento • Construção dos relatórios e painéis
• Validar dados apresentados
Modelagem

Extração e Carga

Aplicações BI&A

Transição

17
Projetos de Business Intelligence – Metodologia

Aplicações BI&A
Planejamento
Fontes de Dados Painéis e Relatórios

Levantamento

Modelagem
ETL OLAP

Extração e Carga

Aplicações BI&A

Transição

18
Projetos de Business Intelligence – Metodologia

Transição
Planejamento
• Validação integral do ambiente
Levantamento • Treinamento de usuários
• Implantação e publicação em produção
Modelagem • Suporte de utilização
• Evolução das Aplicações de BI&A
Extração e Carga

Aplicações BI&A

Transição

19
Data Mining – O que é?

É um processo não trivial de identificar padrões

válidos, novos, potencialmente úteis e
compreensíveis em um conjunto de dados.
• Processo: passos realizados no conjunto de dados, em
diversas iterações.
• Não-trivial: Implica que buscas e inferências serão envolvidas.
• Padrões: uma expressão em alguma linguagem que descreva um
subconjunto de dados ou um modelo aplicável ao conjunto de
dados.
• Válidos: Os padrões devem ser válidos em um conjunto novo de
dados com devida certeza.
Data Mining – O que é?

É um processo não trivial de identificar padrões

válidos, novos, potencialmente úteis e
compreensíveis em um conjunto de dados.
• Novos: Para o sistema e de preferência para os usuários.
• Potencialmente úteis: Que traga algum benefício para o usuário
ou para a tarefa.
• Compreensíveis: que sejam perceptíveis pelos envolvidos no
processo.
• Conjunto de Dados: Um conjunto de fatos. Casos em um
banco de dados.
Processo de Mineração de Dados
Processo de Mineração de Dados – CRISP-DM

O processo Cross Industry Standard Process

for Data Mining (CRISP-DM) envolve:

• entendimento de negócio
• entendimento dos dados
• preparação dos dados
• modelagem dos dados
• avaliação dos resultados
• deployment (produção)

Fonte: Crisp DM methodology - Smart Vision Europe (sv-europe.com)

23
Processo de Mineração de Dados
Microsoft TDSP

Fonte: What is the Team Data Science Process?

24
Processo de Mineração de Dados
Microsoft TDSP
• Definição de Papéis
– Gerente de Projetos
– Líder de Equipe
– Líder de Projetos
– Colaborador da Equipe (Cientista de Dados, Analista de Negócios, Engenheiro de
Dados)
• Definição de Processos
• Estrutura padrão de pastas (GitHub)
• Definição de Infraestrutura

Fonte: What is the Team Data Science Process?

25
 Cognitive Project Managment for AI (CPMAI)

Fontes:
• The One Practice That Is Separating The AI Successes From The Failures
• Cognitive Project Management for AI
Big Data – O que é?

Big Data é o termo que descreve o

imenso volume de dados que
impactam os negócios no dia a dia.
Big Data - O que é e por que é importante? "SAS"
http://www.sas.com/pt_br/insights/big-data/what-is-big-data.html
Big Data – O que é?

Big Data são os ativos de informação de

alto volume, alta velocidade e/ou
alta variedade que demandam formas de
processamento inovadoras e efetivas em custo
que permitem insights avançados, tomada de
decisão e automação de processos.
IT Glossary - Gartner
http://www.gartner.com/it-glossary/big-data/
Big Data – As 4 dimensões

Volume Velocidade
Quantidade de dados Análise do fluxo de dados

Big Data

Variedade Veracidade
Diferentes formatos de dados Incerteza sobre os dados
Big Data – As 4 dimensões – Volume

• De 5.1 bilhões de usuários de celulares em 2018 para 5.7 em 2023 (*)

• De 45 zettabytes de dados em 2019 para 175 até 2025 (**)

• (*) Cisco Annual Internet Report - Cisco Annual Internet Report (2018–2023) White Paper - Cisco
• (**) DataAge 2025 - The Digitization of the World (A digitalização do mundo) | Seagate Brasil

Volume Velocidade

Big Data

Variedade Veracidade

Fonte: The Four V's of Big Data - http://www.ibmbigdatahub.com/infographic/four-vs-big-data

Big Data – As 4 dimensões – Velocidade

• Carros modernos possuem em torno de 100 sensores que monitoram de

nível do combustível a pressão dos pneus
• A bolsa de Nova York captura 1 TB de transações
durante cada sessão

Volume Velocidade

Big Data

Variedade Veracidade

Fonte: The Four V's of Big Data - http://www.ibmbigdatahub.com/infographic/four-vs-big-data

Big Data – As 4 dimensões – Variedade

• 80% dos dados são considerados não estruturados

• 1 bilhão de horas assistidas por dia no Youtube
• Em 2014 haviam 420 milhões de monitores de saúde e dispositivos
vestíveis no mundo
• São publicados 30 bilhões de itens no Facebook por mês

Volume Velocidade

Big Data

Variedade Veracidade

Fonte: The Four V's of Big Data - http://www.ibmbigdatahub.com/infographic/four-vs-big-data

Big Data – As 4 dimensões – Veracidade

• 1/3 dos gestores de negócios não confiam nas informações utilizadas

para tomar suas decisões
• 27% de participantes em uma pesquisa não estão certos quanto
à acurácia dos seus dados
• Dados ruins custam em torno de US$ 3.1 trilhões para a economia
norte americana
Volume Velocidade

Big Data

Variedade Veracidade

Fonte: The Four V's of Big Data - http://www.ibmbigdatahub.com/infographic/four-vs-big-data

Big Data – Tipos de Dados

Dados em movimento – Streams Dados estáticos – Oceanos

• Publicações no Twitter e Facebook • Coleções de dados em stream

• Dados de flutuação das ações em • Logs da Web, e-mails e mídias
bolsas sociais
• Dados de sensores espalhados em • Documentos não estruturados
uma indústria • Dados de sistemas legados
 Plataforma de Big Data Analytics

• Infraestrutura
• Governança e Integração de
Informação
• Data Warehouse
• Stream Computing
• Hadoop System
• Aceleradores
• Visualização e Descoberta
• Desenvolvimento de Aplicações
• Gerenciamento de Sistemas

Fonte: Developing a big data application for data exploration and discovery
http://www.ibm.com/developerworks/library/bd-exploration/
 Análise Comparativa de Projetos

Business Intelligence x Data Mining x Big Data Analytics

Características Importantes
• Virtude da Solução
• Tipos de Dados
• Estilo de Análise
• Resultados Esperados
• Foco
• Comercialização
• Volume de Dados

Fonte: Aquarela - 7 características importantes para diferenciar BI, Data Mining e Big Data
https://aquare.la/pt/artigos/2015/04/27/7-caracteristicas-importantes-para-diferenciar-bi-data-mining-e-big-data/
 BI x Data Mining x Big Data

Característica Virtude da solução

BI Monitorar o desempenho dos indicadores das operações.

Metodologia científica e algoritmos. Descobrir padrões de

Data Mining comportamento de dados. Detecção de pontos cegos da
gestão. Análise estatística intensa e pontual.
Data mining em grande escala. Geração de conhecimento de
Big Data gestão apoiado por inteligência e capacidade
computacional. Análise estatística intensa e contínua.

Fonte: Aquarela - 7 características importantes para diferenciar BI, Data Mining e Big Data
https://aquare.la/pt/artigos/2015/04/27/7-caracteristicas-importantes-para-diferenciar-bi-data-mining-e-big-data/
 BI x Data Mining x Big Data

Característica Tipos de Dados

Dados estruturados em planilhas, banco de dados
BI
relacionais e dimensionais, etc.

Dados estruturados em planilhas, banco de dados

Data Mining
relacionais e dimensionais, etc.

Dados estruturados, semiestruturados e não estruturados em

Big Data
bancos de dados NOSQL Ou TripleStores.

Fonte: Aquarela - 7 características importantes para diferenciar BI, Data Mining e Big Data
https://aquare.la/pt/artigos/2015/04/27/7-caracteristicas-importantes-para-diferenciar-bi-data-mining-e-big-data/
 BI x Data Mining x Big Data

Característica Estilo de Análise

Reflete apenas o passado dos dados em pequena ou grande
escala. Não há inteligência no sistema, sendo necessário
BI
profissionais da gestão para interpretar as informações e
tomada de decisão.
Permite fazer a predição e descoberta de fatores relevantes ao
negócio em pequena escala usando inteligência computacional.
Data Mining
Necessita de profissionais da gestão trabalhando em
colaboração com cientistas da informação.
Permite fazer a predição e descoberta de fatores relevantes ao
negócio em grande escala usando inteligência computacional.
Big Data
Necessita de profissionais da gestão trabalhando em
colaboração com cientistas da informação.
Fonte: Aquarela - 7 características importantes para diferenciar BI, Data Mining e Big Data
https://aquare.la/pt/artigos/2015/04/27/7-caracteristicas-importantes-para-diferenciar-bi-data-mining-e-big-data/
 BI x Data Mining x Big Data

Característica Resultados esperados

Diversas visualizações de gráficos consolidadas em painéis
BI
de controle conhecidos como dashboards.

Data Mining Relatório de recomendação estratégica.

Painéis de controle com indicadores preditivos e

Big Data
recomendações estratégicas.

Fonte: Aquarela - 7 características importantes para diferenciar BI, Data Mining e Big Data
https://aquare.la/pt/artigos/2015/04/27/7-caracteristicas-importantes-para-diferenciar-bi-data-mining-e-big-data/
 BI x Data Mining x Big Data

Característica Foco
Monitorar indicadores tais como pressão do negócio, valores,
BI
temperatura, custos total, etc.

Identificar padrões de comportamento dos dados, criando

Data Mining
novos indicadores de análise para o BI.

Extração de conhecimento de grandes massas de dados com

Big Data
fontes e tipos variados.

Fonte: Aquarela - 7 características importantes para diferenciar BI, Data Mining e Big Data
https://aquare.la/pt/artigos/2015/04/27/7-caracteristicas-importantes-para-diferenciar-bi-data-mining-e-big-data/
 BI x Data Mining x Big Data

Característica Comercialização
Custo de implantação, integração do sistema e
BI
mensalidade por usuário.

Valor por projeto, envolvendo o custo da produção do

Data Mining
relatório.

Custo de implantação, integração do sistema e mensalidade

Big Data
e/ou comissionamento sobre o resultado do faturamento.

Fonte: Aquarela - 7 características importantes para diferenciar BI, Data Mining e Big Data
https://aquare.la/pt/artigos/2015/04/27/7-caracteristicas-importantes-para-diferenciar-bi-data-mining-e-big-data/
 BI x Data Mining x Big Data

Característica Volume de Dados

Alto, porém limitado ao processamento dos bancos de dados
BI
relacionais ou dimensionais.

Baixo, trabalho por amostragem (pequenas parcelas) de

Data Mining
dados com alto custo de processamento.

Alto com estruturas de processamento distribuídos e grande

Big Data
demanda de processamento.

Fonte: Aquarela - 7 características importantes para diferenciar BI, Data Mining e Big Data
https://aquare.la/pt/artigos/2015/04/27/7-caracteristicas-importantes-para-diferenciar-bi-data-mining-e-big-data/
Plataformas de Analytics (Gartner)

Analytics e Business Intelligence Data Science e Machine Learning

Rommel Vieira Carneiro
rommelcarneiro@pucminas.br
48