Escolar Documentos
Profissional Documentos
Cultura Documentos
Consultor de Empresas
Conhecimentos Básicos/Técnicos TI
Data Wharehouse, Data Marts, Data Mining, ETL, Modelagem de Dados
OBJETIVOS
Entender e Comunicar
Evolução Estrutural
1º Revolução
2º Revolução
Emprego do Aço
3º Revolução - Automação
Celular
Engenharia Espacial
Revolução Industrial
Computadores
Internet
Banco de Dados
Computadores
MECÂNICOS
MECÂNICOS
Internet
ARPANET 1969 – CRIAÇÃO DA ARPANET
1971 – RAY THOMPSON CRIA @ IDENTIFICAR USUÁRIOS
1998 – GOOGLE
2004 – FACEBOOK
2005 – YOUTUBE
Se considerarmos, como exemplo, valores entre os números 0 a 10. O sinal analógico poderá passar por
qualquer um de seus valores intermediários
(0, 0,5, 0,755, 1, 1,5, 2, 2,5, 3, 3,5, 4, 4,1, 4,562, 4,5, 5, 5,5, 6, 6,5, 6,6, 7, 7,5, 8, 8,5, 9, 9,1, 9,5,
10), ocasionando uma grande oscilação do sinal e uma baixa qualidade de imagem.
2G - 1990
ARPANET
Sinal de Telefonia Digital Sistema GSM (Short Message Service)
Se considerarmos, também, como exemplo, valores entre os números 0 a 10. O sinal digital assumirá valores
discretos (0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10), ou seja, não passará pelos valores intermediários, o que ocasionará
uma menor oscilação do sinal e, consequentemente, uma melhor qualidade de imagem.
3G - 2000
ARPANET
Recursos Multimídias Sistemas jogos, vídeos e páginas
ANTES DE 1980
Quase todas as informações eram
armazenadas em datacenters
dedicados.
Os dados e o poder de processamento
estavam concentrados no mainframe1 e
seu uso era quase que exclusivamente
para fins comerciais.
ENTRE 1980 e 2000
A ascensão dos computadores pessoais
e a Lei de Moore democratizaram o
poder da computação e da transferência
de dados. O datacenter não apenas
armazenava dados em um hub, mas os
gerenciava e transmitia para
dispositivos de terminal.
A Lei de Moore diz que o número de transistores nos processador dobraria a cada 18 meses (Foto: Divulgação/Intel)
Gordon Moore,1965
PÓS 2000
A evolução das redes banda larga
wireless e por meio da Amazon,
Google, Microsoft e outros
provedores de serviços populares,
o datacenter se estendeu à
arquitetura em nuvem.,
Surgimento de novos dispositivos,
como telefones consoles de jogos e
objetos inteligentes, que por sua
vez, geram uma quantidade
enorme de dados
RESUMO
CONTEXTO DE EVOLUÇÃO CONSUMO
BABY BOOMERS Nascidos entre 1946 e 1964
Geração Pós 2º guerra mundial < Explosão na taxa de Natalidade USA >
85% preferem que as campanhas mostrem o produto da forma mais real possível
GERAÇÃO Y Nascidos entre 1980 e 1990
Consumo como expressão de identidade ( Comprar conexão com SER e não TER )
CITE EXEMPLOS
ARPANET
CONTEXTO DE EVOLUÇÃO SOCIAIS
TENDÊNCIAS COMPORTAMENTAIS
ARPANET
Tendências Comportamentais
ARPANET IDADE É SÓ UM NÚMERO
Mais.....produtos naturais
Eliminação Intermediários
Preservação do Planeta
“Tsunami” de dados
CONCEITO
Aumentar as receitas
HIERARQUIA
Processos BI
PROCESSO DESENVOLVIMENTO
VANTAGENS
CONCEITO
Ralph Kimball
Date Warehouse
2010
Big Data
Criar uma visão única e centralizada dos dados que estavam dispersos
PRINCIPAIS CARACTERÍSTICAS
Orientado a assunto
Integrado
Não-volátil
Orientação a assunto
APLICAÇÃO DE VENDAS
Produtos
Clientes
Estoques
Date Warehouse
Integração
Peso (Kg)
KILOGRAMA
Peso (Lb)
Produtos
Peso (Oz)
Date Warehouse
Não Volátil
Uma vez que corretamente gravados no DW, os dados não podem ser alterados ou eliminados
Date Warehouse
EXEMPLOS
Date Warehouse
MODELAGEM DE DADOS
GRANULIDADES
Date Warehouse
GRANULIDADE
É o nível de detalhe, ou resumo dos dados no DW
Menor Granularidade:
■ Mais detalhes ! Mais dados ! Análises mais longas ! Informação mais
detalhada
Maior Granularidade:
■ Menos detalhes ! Menos dados ! Análises mais curtas !
Date Warehouse
Tipos de Tabelas
Tabelas fato
■ Armazenam medições numéricas do negócio
Tabelas dimensão
■ Armazenam as descrições textuais das dimensões do negócio
Date Warehouse
Modelo Estrela
Abaixo apresenta um modelo dimensional simplificado para um processo de pedidos.
Processo de Construção do DW
Processo de Construção do DW
Date Warehouse
Processo de Construção do DW
2. Modelagem Dimensional
Os dados são visualizados através de uma estrutura simples
de “cubo de dados
Date Warehouse
Processo de Construção do DW
2. Modelagem Dimensional
FATOS E DIMENSÕES
Date Warehouse
Processo de Construção do DW
EXERCÍCIO 1
Data Warehouse - Modelagem Dimensional
1. Na última semana, os Diretores da Filmes Trades solicitaram um conjunto de relatórios para
a equipe da TI e ainda não foram atendidos. Os relatórios deveriam apresentar para o
período de JAN/ 2010 a JAN/2020 o número de pessoas e o valor obtido nas sessões por
• Cidade
• Sala de cinema
• Filme
• Dia,
• Turno (manhã, tarde e noite).
A partir dessa necessidade, projete o modelo dimensional que poderá atender os diretores a
partir do uso de uma solução de BI. Inicie com a elaboração da matriz de indicadores e
dimensões.
Date Warehouse
Resposta Exercício 1
Date Warehouse
Processo de Construção do DW
EXERCÍCIO 2
2. A empresa Girão Card é uma empresa que centraliza as operações realizadas com o
cartão SICA, a maior bandeira de cartão de créditos do país. Esta empresa trabalha
com diversos Bancos conveniados e em vários estados do país. Atualmente, necessita
saber a quantidade de cartões emitidos por dia, por Banco e por Estado. Considerando
apenas atributos básicos (código e descrição) para Banco e Estado. Elabore a matriz de
indicadores e dimensões e desenhe um modelo multidimensional.
Date Warehouse
Resposta Exercício 2
Pense bem ....
Pense bem ...
Pressões nos negócios
Modelo de Suporte de Respostas
Modelo de Suporte de Respostas
CONTEXTO DE AMBIENTE
Globalização Pressão
Estratégia Dados
Demanda / Clientes Parcerias Comerciais
Reg. Governamentais Armazenamento
Respostas tempo real
Condições de Mercado Complexidade Agilidade / ação Avaliação
Competição Novos modelos de negócios Decisão
Modelo de Suporte de Respostas
TECNOLOGIA
Redes Sociais
Modelo de Suporte de Respostas
ORGANIZACIONAL
O mundo é VOLÁTIL
O mundo é INCERTO
Consequência da VOLATILIDADE
O mundo é COMPLEXO
O mundo é AMBÍGUO
Realidade Turva
EVOLUÇÃO
EVOLUÇÃO
EVOLUÇÃO
DEEP LEARNING - HOJE
“Aprendizagem profunda”
IMPORTANCIA
Interferência Humana
CPS – SISTEMAS CIBER – FÍSICOS
Inteligência Artificial
PESQUISAS E TENDÊNCIAS
2018
2020
4%
Empresas
IA 50%
2019
Empresas
14% IA
Empresas
IA
Fonte: Based on the 2019 Gartner CIO Survey
CPS – SISTEMAS CIBER – FÍSICOS
Inteligência Artificial
3 QUESTÕES CHAVES IA
3 QUESTÕES CHAVES IA
3 QUESTÕES CHAVES IA
As organizações não têm as habilidades para avaliar, construir e implementar
soluções de IA
As Máquinas aprendem a realizar previsões cada vez mais certeiras e a se relacionar melhor com os humanos!
CPS – SISTEMAS CIBER – FÍSICOS
Inteligência Artificial
Machine Learning
CPS – SISTEMAS CIBER – FÍSICOS
Inteligência Artificial
APRENDIZADO SUPERVISIONADO
Reconhecimento de Imagem
Reconhecimento de voz
Empresas e universidades
adotaram o deep learning
para o reconhecimento
de fala. Xbox, Skype,
Google Now e a Siri®, por
exemplo, empregam
tecnologias de deep
learning em seus
sistemas para reconhecer
padrões de fala.
CPS – SISTEMAS CIBER – FÍSICOS
Inteligência Artificial
Sistemas de recomendações
A Amazon e a Netflix
popularizaram o conceito
de sistemas de
recomendação através de
boas chances de acertar
no que você pode estar
interessado depois de
realizar uma ação, a partir
de comportamentos
anteriores.
Visualização de Dados
Inteligência Artificial
Visualização de Dados
Inteligência Artificial
Contar a história
RELATÓRIOS
Visualização de Dados
Inteligência Artificial
Power BI
Plataforma de business intelligence desenvolvida
pela Microsoft que permite transformar dados em insights.
Visualização de Dados
Inteligência Artificial
Grafana Analytics
O Grafana é uma plataforma para visualizar e analisar métricas por meio
de gráficos.
Visualização de Dados
Inteligência Artificial
OpMon Dashboards
OpMon dashboards é a ferramenta ideal para construir painéis no
formato Canvas. Ou seja, é possível criar painéis visualizações
totalmente customizados e sem qualquer tipo de limitação gráfica.
Visualização de Dados
Inteligência Artificial
DATA MINING
Visualização de Dados
Inteligência Artificial
NINERAÇÃO DE CONHECIMENTOS
TAREFAS PREDITIVAS
As tarefas preditivas de mineração de dados apresentam
modelos do conjunto de dados disponível que é útil na
previsão de valores desconhecidos.
INCOGNITAS
Visualização de Dados
Inteligência Artificial
TAREFAS DESCRITIVAS
As tarefas descritivas de mineração de dados geralmente
encontram dados que descrevem padrões e trazem
informações novas e significativas do conjunto de dados
disponível.
TENDÊNCIAS
Visualização de Dados
Inteligência Artificial
DATA MINING
TAREFAS PREDITIVAS
CLASSIFICAÇÃO
PREVISÃO
ANÁLISE DE SÉRIES TEMPORAIS
Visualização de Dados
Inteligência Artificial
CLASSIFICAÇÃO
Coleção de registros estará disponível, e cada um com um conjunto atributos.
Atributos de Classes
INVESTIGAÇÃO DO FATO
Visualização de Dados
Inteligência Artificial
PREVISÃO
Dados disponíveis para elaboração de uma projeção valores futuros
Projeção de Renda de um
determinado modelo de persona
1900 2020
DATA MINING
TAREFAS DESCRITIVAS
ASSOCIAÇÃO
AGRUPAMENTOS
RESUMO
Visualização de Dados
Inteligência Artificial
ASSOCIAÇÃO
Identifica os relacionamentos entre os objetos
AGRUPAMENTO
Utilizado para identificar objetos de dados que são semelhantes entre si
RESUMO
Resumir é buscar informações estratégicas com a generalização de dados
Zumba Intensa
Cliente de Academia
Visualização de Dados
Inteligência Artificial
Visualização de Dados
Inteligência Artificial
CARACTERÍSTICAS
Aplicação: nível estratégico, auxilia na análise empresarial e tomada de decisões
ALGORÍTIMOS
Inteligência Artificial
Algorítimo
COMPOSIÇÃO
ESTRUTURAS
Os currículos estão sendo cada vez mais descartados antes de passar por mãos
humanas. Tudo isso acontece porque as empresas estão utilizando sistemas
automatizados em seus processos seletivos.
USA
68% Candidatos
ELIMINADOS
Sem interferência Humana
Inteligência Artificial
Algorítimo
Influência em Eleições
CONCEITO
SURGIMENTO
A ideia real de dispositivos conectados remonta aos anos 70. (Internet Embutida)
Levando o M2M para o próximo nível, a IoT é uma rede de sensores de bilhões de
dispositivos inteligentes que conectam pessoas, sistemas e outros aplicativos para
coletar e compartilhar dados.
Atual termo “Internet das Coisas” foi cunhado por Kevin Ashton, em 1999, durante
seu trabalho na Procter & Gamble.
SISTEMAS CIBER – FÍSICOS
IOT
BENEFÍCIOS
Monitorar seus processos de negócios globais;
POSICIONAMENTO
SISTEMAS CIBER – FÍSICOS
IOT
APLICABILIDADE
SISTEMAS CIBER – FÍSICOS
IOT
FABRICAÇÃO
LOGÍSTICA
ENERGIA
PESSOAS
CONCEITO
Custo
Escala Global
Desempenho
Segurança
Velocidade
Produtividade
Nuvem Pública
Nuvem Privada
Nuvem Híbrida
CONSEQUÊNCIAS
As redes 5G devem consumir até 90% menos energia que as redes 4G
Mais economia, qualidade de vida e preservação ecológica.
Peter Drucker
Atitudes que sua empresa deve tomar para abraçar cultura da inovação
ARPANET
1. Tenha valores que permitam a inovação em sua empresa
Capital Intelectual
Processos Internos
Atitudes que sua empresa deve tomar para abraçar cultura da inovação
ARPANET
2. Comece a inovação pelas lideranças
Atitudes que sua empresa deve tomar para abraçar cultura da inovação
ARPANET
3. Incentive a participação dos colaboradores
Comunicação
Velocidade
Transparência
Benefícios
Recompensas
Atitudes que sua empresa deve tomar para abraçar cultura da inovação
ARPANET
4. Mude a forma de enxergar os erros do seu negócio
Desenvolvedores de protótipos
São otimistas
Estimulam observar forma geral do projeto
ARPANET
Adaptar ideias para outros setores, com uma visão ampla negócio
Identificar
Decisão
ARPANET 1 - IDENTIFICAR DECISÃO
Reunir
Informações
Identificar
Decisão
ARPANET 2 – REUNIR INFORMAÇÕES
Avaliação de Fontes
Relevância do conteúdo
Identificar
Alternativas
Reunir
Informações
Identificar
Decisão
ARPANET 3 – IDENTIFICAR ALTERNATIVAS
Alternativas Naturais
Alternativas Cruzadas
ARPANET
Teste
Evidências
Identificar
Alternativas
Reunir
Informações
Identificar
Decisão
ARPANET 4 – TESTE DE EVIDÊNCIAS
Identifique Potencialidades
Escolher
alternativas
Teste
Evidências
Identificar
Alternativas
Reunir
Informações
Identificar
Decisão
ARPANET 5 – ESCOLHER ALTERNATIVAS
Tomar
Atitude
Escolher
alternativas
Pesar
Evidências
Identificar
Alternativas
Reunir
Informações
Identificar
Decisão
ARPANET 6 – TOMAR ATITUDE
Implemente FEEDBACK
Avalie Resultados
Porque o
ARPANET volume aumenta a cada ano ?
2. Independência: Opiniões individuais não devem ser influenciadas por outras opiniões
Dimensão
ARPANET de Dados
Volume
ARPANETEm 1 minuto...
Volume
IMPLICITA
Quando utilizamos a Observação: COMPORTAMENTOS DOS CLIENTES PONTO DE VENDAS
INFERÊNCIA
Geração de informações sobre outras: SE VOCÊ COMPRA CONGELADOS:
a) Você tem bom equipamento Freezer em casa
b) Você não suporta cozinhar
c) Você não tem tempo para se dedicar
ARPANET
VARIEDADES
Variedade
ARPANET
Levitin (2015), em 1550, ―eram conhecidas quinhentas espécies de plantas no mundo.
Hoje, conhecemos:
ARPANET
DADOS ESTRUTURADOS
Variedade
ARPANET
Integração entre dados variados
ARPANET
NÃO ESTRUTURADOS
VELOCIDADE
ARPANET
Velocidade
ARPANET
O tempo é um novo tipo de moeda
O tempo é dinheiro!
ARPANET
Velocidade da Globalização
Conforme Stiglitz (2002), a Globalização é definida pela remoção de barreiras
ao livre comércio e pela integração das economias nacionais.
Vivemos tão dependentes uns dos outros que produzir sapatos com baixo
custo na China pode eliminar empregos em Sapiranga no Rio Grande do Sul
ARPANET
Velocidade das Inovações
A Lei de Moore trata da evolução exponencial da capacidade de processamento dos
computadores.
Velocidade
ARPANET
Velocidade das Informações
Uma das qualidades da informação é a atualidade.
ARPANET
Utilização da informação velocidade certa
Jack Welch, antigo CEO da GE, dizia que vantagem competitiva se consegue com:
ARPANET
A sociedade com a variedade discutida admite
várias verdades.
ARPANET
Análise da informação e suas partes
ARPANET
Modelos e Padrões
ARPANET
Informações INCOMPLETAS
ENDEREÇO
Veracidade
ARPANET
Credibilidade da fonte
ARPANETFatos X Opiniões
No processo de comunicação as pessoas tendem a
misturar emoções, opiniões, interpretações pessoais e
sua própria experiência.
PEDRA QUEBROU VIDRO
FATO
Cada pessoa na sala irá relatar este de uma maneira diferente
OPINIÃO
Veracidade
ARPANET
INTEGRIDADE DOS DADOS
Empresas que se orientam através de bancos de dados costumam
utilizar restrições de integridade para evitar que sejam armazenados
dados sem qualidade.
ARPANET
INTEGRIDADE DOS DADOS
As restrições de integridade podem ser definidas com recursos como triggers e stored
ARPANET
AUTENTICOS RELEVANTES
EXEMPLO 1 – Autenticidade
ARPANET
Contexto:
Uma Câmera de segurança de um banco registra imagens de um cliente insatisfeito e que
começa bater na máquina.
EXEMPLO 2 – Relevância
ARPANET
Contexto:
Um arquivo de áudio capta a informação de uma operadora de Telemarketing
ARPANET
Valor
ARPANET
INFORMAÇÃO É PODER
ARPANET
Característica Informação
ARPANET
Quem paga pelas informações?
Clientes pagam por informação. Pagamos para obter conteúdo de canais de TV, para
obter música, notícias, filmes
As empresas pagam para obter cadastros de clientes potenciais, para obter orientações
de consultorias, para obter dados de mercados e concorrentes (inteligência competitiva)
Valor
ARPANET
Custos da Informação
Caro x Barato
ARPANET
Yuri van Geest denomina 5P do Big data
(Ismail, Malone e Geest, 2015):
Benefícios Big Data
PRODUTIVIDADE
PREVENÇÃO
PARTICIPAÇÃO
PERSONALIZAÇÃO
PREVISÃO
Plano de Ação
MERCADO ALVO
ARPANET
Segmentos de Negócios
Nichos de Mercado
CLIENTES ALVO
ARPANET
BSB ou B2C
Gargalhos Identificados
Lista de Prioridades
ÍNDICES DE PRODUTIVIDADES
ARPANET
Índices Isolados
INSIGHTS
Índices Cruzados
MODELAGEM / PREPARAÇÃO BD
ARPANET
IDENTIFICAR FONTES DE DADOS
ARPANET
ETL
ARPANET
APLICAÇÕES
ARPANET GERAIS
Aplicações
TOMADA DE DECISÕES
ARPANET
A primeira aplicação é na tomada de decisões que envolvam muitos
dados (grande quantidade e variedade).
PREVISÕES CLIMÁTICAS
ARPANET
Equipamentos espalhados por diversas regiões geográficas irão
coletar dados em tempo real e transmiti-los para centrais, onde estes
dados serão analisados também em tempo real.
CAMPANHAS DE MARKETING
ARPANET
Haverá mais micros segmentação, podendo vir a identificar
oportunidades para grupos específicos conforme suas necessidades e
comportamentos. ( NICHOS DE MERCADOS )
Processos de:
Imagem Corporativa
Lançamento serviços e produtos
Campanha de Fidelização base Clientes
ARPANET
FUGURE 1: MAGIC QUADRANTE FOR BI
ARPANET
ARPANET
ARPANET
ARPANET
ARPANET DADO
Vou me molhar.
ARPANET IDÉIA
Tipos de Capitais:
Recursos Financeiros
PROCESSOS INTERNOS
Capital do Cliente - Experiência
CIENTISTA DE DADOS
Quem são ?
CIENTISTA DE DADOS
Responsabilidade
Tratamento
Fluxo de Informações
Integração
Estratégia e Proatividade
Formação
Iniciaram sua carreira inicialmente como analistas de dados ou estatísticos.
Matemática Ciências da
Negócios
& Estatística Computação
Habilidades
Visão analítica
Pensamento Crítico
Facilidade de Comunicação
2016
Fonte: Gartner,2019
Vulnerabilidade
Números de cartão de
crédito, registros médicos
e contas bancárias são
tipos de informações
pessoais mais violadas no
sistema de informações
de dados.
Novas Regras de Privacidade
Regulamento Geral de Proteção de Dados (GDPR) da União Europeia (UE)
Usuários podem ver, corrigir ou até deletar as informações que empresas guardam sobre ele
Empresas devem coletar apenas dados necessários para que seus serviços funcionem
Coleta e uso de dados pessoais só podem ser feitas com consentimento explícito
Clientes que tiverem dados hackeados devem ser avisados em até 72 horas
Novas Regras de Privacidade
Regulamento Geral de Proteção de Dados (GDPR) da União Europeia (UE)
Empresas devem informar com linguagem compreensível sua política de proteção de dados
infratores são punidos com multa de € 20 milhões ou 4% do volume global de negócios da empresa
Dados de europeus podem ser transferidos só para países com lei de proteção de dados equivalente
DADOS PESSOAIS
É toda e qualquer informação relacionada a pessoa
natural identificada ou identificável. Entre os exemplos
de dados pessoais podemos citar o nome, RG, CPF, e-
mail, telefone fixo e celular, endereço residencial, etc.
LGPD estabelece definições a respeito de alguns pontos a seguir:
TITULAR
Pessoa natural a quem se referem os dados pessoais.
LGPD estabelece definições a respeito de alguns pontos a seguir:
TRATAMENTO
Toda operação realizada com dados pessoais, como as
que se referem a coleta, produção, recepção, classificação,
utilização, acesso, reprodução, transmissão, distribuição,
processamento, arquivamento, armazenamento,
eliminação, avaliação ou controle da informação,
modificação, comunicação, transferência, difusão ou
extração.
LGPD estabelece definições a respeito de alguns pontos a seguir:
CONTROLADOR
PROCESSADOR
Pessoa natural ou jurídica, de direito público ou privado,
que realiza o tratamento de dados pessoais em nome do
controlador.
LGPD estabelece definições a respeito de alguns pontos a seguir:
ENCARREGADO
É o indicado pelo controlador, denominado data protection
officer (DPO) na GDPR, que faz a comunicação entre os
titulares que terão seus dados processados e o controlador.
LGPD estabelece definições a respeito de alguns pontos a seguir:
CONSENTIMENTO
Manifestação livre, informada e inequívoca pela qual o
titular concorda com o tratamento de seus dados pessoais
para uma finalidade determinada.
ESTUDO DE CASOS
CASE MARKETING e VAREJO
Acompanhe seu
desempenho junto com
seus amigos da corrida - é
só colocar a tag nos seus
quilômetros com metas
específicas ou em desafios
para ver como você está se
saindo.
Tenha Treinamento Personalizado
Personas
Geolocalização
Pedro
Idade 32 anos
Fortaleza
Peso e Altura 1,75 m
70 kg
Ritmo Cardíaco
70 bpm
Ritmo de Corrida
Amigos
Lazer
Desgaste do produto Medos
Sonhos
Religião
Nike
1- Sensores de proximidade
2- Sensores de Temperatura
A Danone é uma empresa presente em mais de 70 países e conta com mais de 100 mil
colaboradores espalhados ao redor do mundo. É líder em produtos lácteos frescos e ainda
ocupa posições de destaque nos setores de água mineral engarrafada, alimentação infantil e
nutrição hospitalar.
Problema Foco
Propor as ações necessárias para eliminar essas restrições e reduzir os custos logísticos
IOT permite sensores que transmitem tempo real dados para tomada decisão
CARGAS