BI e BigData 1 - Introducao BI e Big Data

MIT em Engenharia de Bancos de Dados com Oracle, SQL
Server e Cloud DB
Bloco: Business Intelligence (BI) e Big Data
Disciplina: Aplicações de Business Intelligence (BI) e Big Data
Etapa 1
Introdução ao Business Intelligence (BI) e Big Data
Landry Duailibe Salles Filho

Professor Graduação e Pós-graduação de Banco de Dados
Microsoft Certified Trainner (MCT desde 2000)
Certificações MS SQL Server Adm e BI a partir da versão 7.0
Contatos:
E-mail: landry.salles@prof.infnet.edu.br
Cel / WhatApp: (21) 99125-5579
Blog: https://dsai.com.br/blog/
Agenda
1. Introdução ao Business Intelligence (BI)

2. Dado x Informação x Conhecimento
3. Por que utilizar BI?
4. Introdução ao Big Data
Server e Cloud DB
Introdução ao Business Intelligence (BI)
• O que é Business Intelligence (BI)?

• O que é Insights?
• O que é Business Intelligence (BI)?

 Termo definido pelo Gartner Group em meados da década de 80
 Várias denominações correlatas: Business Intelligence, Big Data, Analytics,…
 Histórico dos Termos: DataWarehouse, Data Mart, Bussiness Intelligence
“Um conjunto de arquiteturas, “BI é um conjunto de conceitos, métodos e

ferramentas, bancos de dados, aplicações recursos tecnológicos que habilitam a
e metodologias que visam coletar, obtenção e distribuição de informações
transformar e devolver os dados prontos geradas a partir de dados operacionais,
para análise, de acordo com padrões e históricos e externos, visando proporcionar
métodos que visam agregar valor aos subsídios para a tomada de decisões
dados” gerenciais e estratégicas”
Turbam (2009) Gartner Group

• Business Intelligence (BI)

 Citação na Arte da Guerra 513 ac
“Importância de se obter conhecimento sobre seus pontos fracos e fortes para vencer uma
guerra”
 Criado em 1865 por Richard Millar Devens

“Descreve como um bancário lucrou baseado em informações recuperadas do ambiente antes
da concorrência”
• Business Intelligence (BI)
 BI é um conjunto de processos que tem por objetivo entregar a

i n f o r m a ç ã o c e r t a , para a p e s s o a c e r t a , na h o r a c e r t a .
 O BI exige um alinhamento entre 3 pilares:
O BI é um conceito
de transformação dos
Dados em Insights
O que é Insights?
• Clareza súbita na mente, no

intelecto de um indivíduo;
i l u m i n a ç ã o, e s t a l o, l u z .
• Compreensão ou solução de um
problema pela súbita captação
mental dos elementos e relações
adequados.
O que é Insights?
D u r a n t e a S e g u n d a G u e r r a M u n d i a l , e s t a tí s ti c o s d a
e q u i p e d e A b ra h am Wa l d a n al i s avam to d o s o s av i õ e s
que voltavam das batalhas e destacavam as áreas com
mais marcas de balas.
Material Adicional: https://pt.wikipedia.org/wiki/Abraham_Wald

O o b j e ti v o e r a i d e n ti fi c a r o n d e a e s t r u t u r a d o s a v i õ e s
d e v e r i a s e r r e f o r ç a d a d a m a n e i r a m a i s e fi c i e n t e : n ã o
m u i t o a p o n t o d e d e i x a r o a v i ã o m u i t o p e s a d o , d i fí c i l d e
m a n o b r a r e c o n s u m i n d o m a i s c o m b u s tí v e l , e n e m t ã o
pouco a ponto de deixá-lo vulnerável.
• A distribuição das
perfurações não era
uniforme: as marcas
e m v e r m e l h o d a fi g u r a
representam as áreas
a ti n g i d a s m a i s
frequentemente.
Com base nestes dados, onde eles deviam reforçar?

Com base nestes dados, onde eles deviam reforçar?
Quais foram as recomendações de

A b ra ha m Wa ld ?
1) N ã o r e f o r ç a r a s á r e a s m a i s a ti n g i d a s ;
2) B l i n d a r a s á r e a s s e m m a r c a n e n h u m a ,
como na cabine do piloto, por exemplo.
• O s a v i õ e s q u e r e c e b e r a m m a i s ti r o s n a s á r e a s d e s t a c a d a s
foram capazes de voar de volta.
• M a s o s q u e f o r a m a ti n g i d o s n a s á r e a s s e m m a r c a s s e q u e r
voltaram.
Server e Cloud DB
Dado x Informação x Conhecimento
• Qual a diferença entre Dado, Informação e

Conhecimento?
Dados - São códigos que constituem a matéria

prima da informação, ou seja, é a informação
não tratada.
Informações - São dados tratados, resultado do

seu processamento.
Conhecimento - O conhecimento vai além da

informação, pois ele além de ter um significado
tem uma aplicação.
• Dados: Os dados representam a realidade, mas não carregam significados

em si mesmos
 Uma estação de meteorologia informou os seguintes dados: 4500, 1200, 48, 37, 29, 28.
• Informação: A informação consiste no significado associado aos dados

 A estação meteorológica 4500 relatou às 12:00h, temperatura de 48 graus Celsius,
pressão atmosférica ascendente de 37, velocidade de vento de 29 mph noroeste e
umidade de 28%.
• Conhecimento: existe a compreensão do significado da informação com a

possibilidade de utilizar este conhecimento para algum uso específico
 Qual conhecimento é possível gerar dessa informação?
Moneyball: O Homem que Mudou o Jogo (Trailer)
https://www.youtube.com/watch?v=ZpDA4ycp96M
Moneyball e o Big Data
https://www.youtube.com/watch?v=SvlgVIhwsf0
Server e Cloud DB
Por quê utilizar BI?
• Por que utilizar BI?

• Características de Sistemas Transacionais
• Características de Business Intelligence (BI)
• Maturidade em Business Intelligence
• Por que utilizar BI?
Aplicações
Transacionais
Estoque
Financeiro
Vendas
CPR
RH
• Características de Sistemas Transacionais

 Também chamados de OLTP (On-line Transaction Processing)
 Bases de dados com muito acesso e muito I/O
 Pouca redundância de dados (prioridade no armazenamento)
 Atualizações contínuas e constantes nos dados
 Muitas fontes de dados, sem padronização
 Dificuldade para trabalhar com informações históricas

• Modelo de Maturidade TDWI

 Desenvolvido por Eckerson em 2004
 Base em 3 dimensões: pessoas, processos e tecnologias

Bebê
Representa um ambiente de pré-Data Warehousing
Organização utiliza relatórios operacionais
Usuários responsáveis por recolher, higienizar e transformar os dados, de
acordo com as suas necessidades.
1º Obstáculo: Golfo
Gestores devem perceber BI como recurso estratégico
Adequar os financiamentos das iniciativas de BI
Melhorar a qualidade dos dados
Mudar a cultura organizacional na forma como analisa e toma decisões
Criança
Execução do primeiro projeto de BI no nível departamental
Desenvolvidos os primeiros Datamarts ainda departamentais
Tentativas de alinhar seus requisitos no nível organizacional
Implantadas primeiras ferramentas de BI, permitindo aos “Power Users” o
uso de novas potencialidades
Adolescente
Cada departamento cria os seus próprios Datamarts
Maior utilização dos sistemas de BI por toda a corporação
Desenvolvidos Dashboards departamentais
2o Obstáculo: Abismo
Necessidade de se ter uma visão única e convergente dos dados para a
corporação
Grande obstáculo para o BI atingir o próximo estágio
Adulto
Gestão centralizada, com repositório único de dados (DW)
BI como recursos estratégico para empresa
Maduro
BI é visto como um serviço, totalmente integrado aos processos, aplicações e
estratégias da empresa
Server e Cloud DB
Introdução ao Big Data
• O que é Big Data?

• O 5 Vs do Big Data
• Por que utilizar Big Data?
• Escalabilidade
• O que é Big Data?

 O termo Big Data surgiu em 1997
 Processamento e armazenamento de grandes volumes de Dados
 Dados estruturados e não estruturados
“Big data é a área do conhecimento que “Uma nova geração de tecnologias e

estuda como tratar, analisar e obter arquiteturas, desenhadas de maneira
informações a partir de conjuntos de econômica para extrair valor de grandes
dados grandes demais para serem volumes de dados, provenientes de uma
analisados por sistemas tradicionais.” variedade de fontes, permitindo alta
velocidade na captura, exploração e
análise dos dados”
Wikipédia IDC, 2011

Volume Velocidade
5 Vs
Big
Variedade Data Valor
Veracidade
1) Volume: quantidade de informações que são armazenadas e
processadas
2) Variedade: grande variedade dos dados, estruturados e não
estruturados, por exemplo e-mails, áudios, vídeos…
3) Velocidade: velocidade em que os dados devem ser tratados, apesar
do grande volume de ser o mais rápido possível.
4) Veracidade: o quanto uma informação é verdadeira, garantindo a
veracidade e integridade dos dados.
5) Valor: garantir que as informações sejam úteis para o negócio
• Por que utilizar Big Data?

 Aumento de volume de dados utilizáveis
 Limitação dos Bancos Relacionais para dados não estruturados
 Limitação de processamento e armazenamento de grandes volumes de

dados
 Computação em Nuvem e Internet
• Escalabilidade: Capacidade de aumentar a capacidade de

aumentar as requisições
Server e Cloud DB
BI x Big Data
• BI x Big Data
• BI e Big Data Atuando Juntos
• Bancos SQL x NoSQL
• BI x Big Data
 Acabou Modelagem Dimensional?
 Data Warehouse não tem mais sentido?
 Tudo agora é Big Data?
 Afinal, Big Data engoliu o BI?

• BI x Big Data
 Modelagem Dimensional
 Banco Relacional
 Dados Estruturados
DW
 Bancos NoSQL
 Orientados a Documentos
 Dados Não Estruturados
Orientados a
Documentos
• BI x Big Data
Fonte: https://www.linkedin.com/pulse/differentiating-business-intelligence-big-data-analytics-nedim-dedi%C4%87/

 Possuem objetivos diferentes, podendo ser complementares, trabalhando
junto para melhor analisar e entender os dados.
 BI tem foco na coleta, organização, transformação e disponibilização de
dados estruturados e conhecidos para a tomada de decisão.
 BI fornecem insights e tendências.
 Big Data, em geral, pouco se preocupa com a exatidão que é fornecida em

um sistema de BI.
 Big Data foca no processamento dos dados em busca de correlações e
descobertas.
 Big Data pode mostrar caminhos e correlações antes desconhecidos nos
grandes volumes de dados, em tempo hábil.

 Para a implementação de uma solução de Big Data é aconselhável que a
organização possua alguma vivência prévia em soluções analíticas. Sem
isso, as chances de fracasso aumentam bastante.
 BI trata basicamente de perguntas de um universo de conhecimento
conhecido.
 Big Data trata um universo de novas possibilidades e perguntas que ainda
não conhecemos.
• Bancos SQL x NoSQL
Fonte: https://db-engines.com/en/ranking
Server e Cloud DB
Profissionais de Dados
• Alta Demanda por Profissionais de Dados

• Analista de Dados
• Analista de BI
• Cientista de Dados
• Engenheiro de Dados
• Por que ser um Expert?
• Marketing Pessoal
• Alta Demanda por Profissionais de Dados

 Demanda crescente
 Excelente remuneração
 Crescimento de 485% em 2021 na abertura de vagas para cargos na área

de inteligência de dados
o Analista de Dados
o Analista de BI
o Cientista de Dados
o Engenheiro de Dados
Fonte: https://g1.globo.com/economia/concursos-e-emprego/noticia/2021/07/05/demanda-por-profissionais-da-area-de-dados-cresce-quase-500per
cent-salarios-chegam-a-r-22-mil.ghtml
• Analista de Dados
 Coletar dados e informações
 Limpeza, tratamento
 Análise e interpretação
• Analista de BI
 Levantamento, projeto e
Modelagem Dimensional
 ETL
 Dashboards
 Análise de Dados
• Cientista de Dados
 Big Data
 Bastante matemática e estatística
 Programação (R e/ou Python)
 Machine Learning
• Engenheiro de Dados
 Big Data
 Transformação de dados
 Processamento paralelo
 Integração de sistemas
 Escalabilidade nas aplicações
 Performance

• Conhecer: SQL Server, Integracions Service (Carga de dados),
Analise Services, Banco tabular ou multidecional, Power Bi,
Repport Service
• https://www.youtube.com/watch?v=uyMY2uo-iqQ
 Sua remuneração não é proporcional a sua importância e sim a sua

"As Turmalinas são comuns em várias cores no
raridade! Brasil! Mas as Turmalinas da Paraíba são as
únicas pedras com uma tonalidade turquesa
brilhante, graças ao seu teor de cobre."
Material Adicional: https://www.youtube.com/watch?v=uyMY2uo-iqQ


 Estude a pratique muito (Teoria e Prática)
 Invista em um bom ambiente de estudo em casa

• Marketing Pessoal
 Marketing pessoal é uma ferramenta usada para promoção pessoal
o Capacidade de comunicação
o Postura profissional adequada
o Cuidados com a aparência
o Honre seus compromissos e seja pontual
o Faça networking
Fonte: https://ead.unifeob.edu.br/blog/marketing-pessoal

BI e BigData 1 - Introducao BI e Big Data

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

BI e BigData 1 - Introducao BI e Big Data

Enviado por

Direitos autorais:

Formatos disponíveis

MIT em Engenharia de Bancos de Dados com Oracle, SQL

Landry Duailibe Salles Filho

1. Introdução ao Business Intelligence (BI)

Introdução ao Business Intelligence (BI)

• O que é Business Intelligence (BI)?

• O que é Business Intelligence (BI)?

 Várias denominações correlatas: Business Intelligence, Big Data, Analytics,…

 Histórico dos Termos: DataWarehouse, Data Mart, Bussiness Intelligence

“Um conjunto de arquiteturas, “BI é um conjunto de conceitos, métodos e

Turbam (2009) Gartner Group

• Business Intelligence (BI)

 Criado em 1865 por Richard Millar Devens

• Business Intelligence (BI)

 BI é um conjunto de processos que tem por objetivo entregar a

• Clareza súbita na mente, no

Material Adicional: https://pt.wikipedia.org/wiki/Abraham_Wald

Com base nestes dados, onde eles deviam reforçar?

Com base nestes dados, onde eles deviam reforçar?

Quais foram as recomendações de

Dado x Informação x Conhecimento

• Qual a diferença entre Dado, Informação e

Dados - São códigos que constituem a matéria

Informações - São dados tratados, resultado do

Conhecimento - O conhecimento vai além da

• Dados: Os dados representam a realidade, mas não carregam significados

• Informação: A informação consiste no significado associado aos dados

• Conhecimento: existe a compreensão do significado da informação com a

Moneyball: O Homem que Mudou o Jogo (Trailer)

Moneyball e o Big Data

Por quê utilizar BI?

• Por que utilizar BI?

• Por que utilizar BI?

• Características de Sistemas Transacionais

 Bases de dados com muito acesso e muito I/O

 Pouca redundância de dados (prioridade no armazenamento)

 Atualizações contínuas e constantes nos dados

 Muitas fontes de dados, sem padronização

 Dificuldade para trabalhar com informações históricas

• Modelo de Maturidade TDWI

 Base em 3 dimensões: pessoas, processos e tecnologias

• Modelo de Maturidade TDWI

• Modelo de Maturidade TDWI

• Modelo de Maturidade TDWI

Introdução ao Big Data

• O que é Big Data?

• O que é Big Data?

 Processamento e armazenamento de grandes volumes de Dados

 Dados estruturados e não estruturados

“Big data é a área do conhecimento que “Uma nova geração de tecnologias e

Wikipédia IDC, 2011

• Por que utilizar Big Data?

 Limitação dos Bancos Relacionais para dados não estruturados

 Limitação de processamento e armazenamento de grandes volumes de

• Escalabilidade: Capacidade de aumentar a capacidade de

 Data Warehouse não tem mais sentido?

 Tudo agora é Big Data?

 Afinal, Big Data engoliu o BI?

• BI e Big Data Atuando Juntos

 Big Data, em geral, pouco se preocupa com a exatidão que é fornecida em

• BI e Big Data Atuando Juntos

• Bancos SQL x NoSQL

• Alta Demanda por Profissionais de Dados

• Alta Demanda por Profissionais de Dados

 Crescimento de 485% em 2021 na abertura de vagas para cargos na área