Infraestrutura de TI

Gerenciamento de Recursos de Dados

Prof. Sergio Nascimento

sergio.onascimento@sp.senac.br
Infraestrutura de TIC – Gerenciamento Recursos
de Dados
Infraestrutura de TI – Gerenciamento de Recursos de Dados

HARDWARE

TECNOLOGIA
GERENCIAMENTO
DE RECURSOS DE
DA SOFTWARE
DADOS INFORMAÇÃO

REDES E
SEGURANÇA
Conceitos Básicos

❑ 1ª Geração: Estrutura de Dados administráveis (1960)

▪ Dados estruturados (Main Frames)

▪ Relational Data Base Management Systems (RDBMS)
▪ Modelo Entidade-Relacionamento (1980)
▪ Linguagem de consultas SQL (1970)

❑ 2ª Geração: Administração web e de conteúdo

▪ Data Warehouse (1990)

▪ Web, virtualização, computação em núvem

❑ 3ª Geração: Big Data

▪ Dados estruturados, semiestruturados, desestruturados

▪ Gerenciar conteúdos web, áudio e vídeo
▪ Metadados
▪ Analytics
2ª Geração - Data Warehouse - Conceito

DW é uma coleção de dados orientados por assunto, integrados, variáveis

com o tempo e não voláteis, para dar suporte ao processo gerencial de
tomada de decisões.

DW é o processo de integração dos dados corporativos de uma empresa em

um único repositório a partir do qual os usuários podem facilmente executar
consultas, gerar relatórios e fazer análises.
 Data Warehouse - Motivação

✓Empresas de médio e grande porte com:

❖Acúmulo de grande quantidade de dados
❖Dados não diretamente relacionados entre si
❖Necessidade de tomada de decisão

✓Inadequação do ambiente operacional/transacional

❖ Não padronização
❖ Dados espalhados
❖ Ruptura do processamento diário/convencional

✓Critérios para implantação

❖ Negócio
❖ Processamento
❖ Tecnológicos
❖ Determinação da exigência da informação
Data Warehouse - Motivação

✓Explorar dados existentes

❖Obter informações necessárias
❖Tomar decisões mais acertadas
❖Obter melhor desempenho nos negócios

✓Dados => obtidos através de consultas aos BD operacionais/transacionais

❖ Dados integrados e históricos para a alta direção
❖ Dados detalhados para as gerências

✓ Áreas de Aplicação
❖ Gerenciamento de Risco
❖ Análise Financeira
❖ Programas de Marketing
❖ Tendências de Lucro com produtos
❖Gerenciamento do ativo
❖ Análise do Inventário
❖ Admnistração do relacionamento com cliente
❖.....
Data Warehouse e Data Mining

❑ Data Warehouse
▪ Banco de dados relacional que armazena dados extraídos, e
consolidados, de diversos bancos de dados operacionais da
organização
▪ Utilizado por gerentes e profissionais do negócio para análise de
dados
▪ Podem ser divididos em Data Marts

❑ Data Mining
▪ Analisa os dados dos data warehouses para revelar padrões e
tendências ocultas no histórico de atividades de negócio
Características do OLTP e Data Warehouse

(OLTP) (DW)

OLTP (Online Transaction Processing ou Processamento de Transações em

Tempo Real) são sistemas que se encarregam de registrar todas as
transações contidas em uma determinada operação organizacional.
Características do Data Warehouse

❑ Orientado por assunto: Vendas, produção, etc.

❑ Integrado
❑ Não volátil
▪ Composto por “instantâneos” dos dados

❑ Sistema Transacional
Processamento de Pedido IDPedido = 10
Contabilidade IDPedido = 12
Gerenciamento do Produto IDPedido = 8

❑ Sistema Transacional
Sistema de RH Sexo = M/F
Pagamentos Sexo = 1/2
Gerenciamento do Produto Sexo = 0/1
Características do Data Warehouse
Orientado por assunto: Vendas, produção, etc.
Integrado
Não volátil
Composto por “instantâneos” dos dados
Foco nas mudanças ao longo do tempo

Datawarehouse
Visão dos negócios de hoje
Um ‘instantâneo” por ciclo

Sistema Transacional Datawarehouse

Visão dos negócios de hoje Quadro de Tempo designado (3 –
10 anos)
Quadro de tempo operacional Um ‘instantâneo” por ciclo
Chave não necessita da data Chave inclui data
Data Warehouse - Estrutura
On-Line Analytical Process (OLAP)
Data Warehouse - Estrutura

✓Repositório de informações obtidas de múltiplas fontes

✓ Execução eficiente de consultas em uma grande diversidade de dados
✓ Dados armazenados por longo tempo => acesso a dados históricos
✓ Decisões da empresa devem levar em conta todas as informações.
DEPTO. A
BD
BD DATA
MART

ARQUIVOS FERRAMENTAS
ETL

DE ANÁLISE E
DATA WAREHOUSE CONSULTA
IMAGENS (OLAP)

OUTROS DATA
MART

ETL – EXTRASSÃO, TRANSFORMAÇÃO E CARGA DEPTO. B

OLAP – ON-LINE ANALITICAL PROCESS
OLAP- On-Line Analitical Process

❑ Conjunto de funcionalidades para facilitar a análise

multidimensional
❑ Habilidade de manipular dados que tenham sido agregados em
várias categorias.
❑ Conjunto de tecnologias projetadas para suportar Análises e
Consultas AdHoc
❑ Permitir ao usuário acesso às informações em um modelo
multidimensional, de forma intuitiva, simples e eficiente.
❑ Informações podem ser visualizadas através de
gráficos/relatórios/tabelas
❑ Visão multidimensional
❖ Visualizar cubos de informação sob diferentes ângulos
(slice and dice) e níveis de agregação (drill)
Data Warehouse - Estrutura

BD BD BD INDIVIDUAL BD BD BD

DATA
MART DEPARTAMENTAL DATA
MART

DATA WAREHOUSE
Data Warehouse(DW) X BD Operacional

CARACTERÍSTICAS BD OPERACIONAL DW

OBJETIVO OPERAÇÕES DIÁRIAS QQUER TIPO

OBJETIVO DECISÕES DECISÕES

COTIDIANAS ESTRATÉGICAS DE
LONGO PRAZO
TIPO DE OPERACIONAL INFORMATIVO
INFORMAÇÃO /USO ANALÍTICO
TIPO DE OLTP (BASE EM OLAP (BASE EM
PROCESSAMENTO TRANSAÇÕES) ANÁLISE)
UNIDADE DE INCLUSÃO, CARGA E CONSULTA
TRABALHO ALTERAÇÃO,
EXCLUSÃO
CONSULTA
Data Warehouse(DW) X BD Operacional

CARACTERÍSTICAS BD OPERACIONAL DW

N° DE USUÁRIOS 10X QQUER NÚMERO

TIPOS DE USUÁRIO OPERADORES GERÊNCIA

INTERAÇÃO COM PRÉ-DEFINIDA PRE-DEFINIDA E AD-

USUÁRIO HOC
VOLUME MB-GB GB-TB

GRANULARIDADE DADOS DETALHADOS DADOS DETALHADOS

E RESUMIDOS
ALTERAÇÃO DADOS MUDAM DADOS MUDAM
CONSTANTEMENTE RARAMENTE
Data Warehouse(DW) X BD Operacional

ESTRUTURA ORGANIZADA DE DADOS PARA DESCREVER MEDIÇÕES E

DIMENSÕES.
MEDIÇÕES
➢ DADOS NUMÉRICOS ARMAZENADOS NA TABELA FATO
DIMENSÕES
➢ PARÂMETROS DO NEGÓCIO QUE DEFINEM CADA TRANSAÇÃO
➢ ARMAZENADOS EM TABELAS SATÉLITES VINCULADAS À TABELA FATO CENTRAL
=> TABELAS DIMENSÃO

FOCO NA MODELAGEM
➢ ORGANIZAR AS INFORMAÇÕES DE ACORDO COM A FORMA DE PENSAR DOS
USUÁRIOS SOBRE SEUS NEGÓCIOS
NÃO SE PREOCUPA COM A NORMALIZAÇÃO
➢ OBJETIVO BÁSICO É TER DADOS
➢ DADOS REDUNDANES
MODELO DIMENSIONAL (STAR JOIN SCHEMA)
➢ ESTRUTURA SIMPLES PARA SER COMPREENDIDA PELO USUÁRIO
➢ DIAGRAMA SEMELHANTE A UMA ESTRELA
➢ TABELA GRANDE NO CENTRO RODEADA POR TABELAS AUXILIARES
➢ CADA TABELA AUXILIAR (TABELAS DIMENSÃO) PODE POSSUIR UMA OU
MAIS LIGAÇÕES COM A TABELA CENTRAL (TABELA FATO)
 3ª Onda - BIG DATA- Motivação

✓Necessidade de ferramentas de suporte à decisão mais elaboradas => análise de dados

❖ Armazenar grandes objetos de dados (Binary Large Objects-BLOBs);

❖ Velocidade em tempo real para negócios em tempo real;
❖ Ambientes de consumo de dados cada vez maiores (petabytes=20 milhões de
Gigabytes);
❖ Elementos de dados desestruturados (e-commerce, redes sociais, blogs, etc);
❖Base de Dados orientada a objetos (Operational Data Base Management Systems -
ODBMS);
❖Armazenamento em nuvem (Cloud Computing)

✓Obter informações para suporte à tomada de decisões:

❖Tendência de negócios (vendas, padrões de compra de clientes, mídias sociais, etc);

❖Produção (análise da qualidade de produtos durante o processo de fabricação, indústria
petroleira, etc);
❖ Ciência e Pesquisa (física quântica, genoma humano, astronomia, etc.)
❖ Governo (atividades antiterroristas, etc.).
3ª Onda - BIG DATA
Qualquer tipo de fonte de dados que possui pelo menos as seguintes características em
comum:
✓ Volume de dados extremamente grandes
✓ Velocidade de dados extremamente alta
✓ Variedade de dados extremamente ampla,
✓ Veracidade: precisão dos dados e contexto

Informação
• Como ver sentidos nos dados obtidos?
• Quão certo ou precisos deve ser os dados?
• Quantos dados a empresa precisará administra agora e no futuro?
• Qual a importância da velocidade na gestão de dados?

Empresa
• Como a organização lida com grandes quantidades de dados de maneira significativa?
• Com que frequência a empresa precisará administrar dados em tempo real ou próximo?

Mercado
• Como reconhecer padrões significativos para as decisões de negócio?
Meios físicos de armazenamento

RAID – Redundant Array of Inexpensive Disks

❖Discos mais baratos em maior quantidade

❖Tirar proveito da confiabilidade
❖Redundância permitindo remontar informações perdidas por falhas de disco (ex.:
espelhamento)
Meios físicos de armazenamento