Escolar Documentos
Profissional Documentos
Cultura Documentos
Versão 2
1
Instrutor
2
Responsável por Consultoria e Treinamento
Certificações:
• Data Governance Foundation: 5F60CC4
• IT Governance Foundation: 5F60B49
• LGPD Foundation: 5F60B4A
• GDPR Foundation: 5F60B4B
• Information Security Risk Management Foundation: 5F60B48
• InfoSec Foundation: 5F60B47
• Data Protection Officer (DPO): 5F60B50
• Big Data Foundation: 5F60CC2
Caetano de Andrade Silva
• Data Science Essentials: 5F60CC3
MBA em Gestão Estratégica da
Tecnologia da Informação • Big Data Analyst: 5F60CC6
Bacharel Física – IF USP • Cloud Essentials: 5F60CC5
30 anos de experiência em TI • Information Security Analyst: 5F60B4E
(https://www.itcerts.ca/certification-verification/)
3
Objetivo
4
Tópicos
Introdução
•Quem é o Governança de Dados
•Dados como ativos da Empresa
•O processo de Governança de Dados
•Definindo MDM corporativo
•Estratégia e abordagem
•Como e por onde começar
•Escopo do MDM Corporativo
•O que é Qualidade de Dados
•O processo de Qualidade de Dados
•O que é LGPD?
5
Tópicos
Conhecendo os processos da Gestão de Dados
•Governança de dados
•Arquitetura de dados
•Desenvolvimento de dados
•Gerenciamento operacional de banco de dados
•Segurança de dados
•Gerenciamento de dados mestres e de referência
•Gerenciamento do DW e BI
•Gerenciamento da documentação e conteúdo
•Gerenciamento de Metadados
•Gerenciamento da Qualidade de dados
Governança de dados em Big Data
•Por que Governança para Big Data?
•Data Lake versus Data Warehouse
•Ferramentas de apoio
6
Tópicos
Tipos de Curadores de dados
•O comitê de Curadores de Dados
•Curador de dados corporativo
•Curador de dados de negócio
•Curador de dados de projeto
•Curador de dados técnico e operacional
•Estrutura de Curadoria de dados
•Dinâmica: Estudo de caso de Estrutura de Curadores para
cenários diferentes
Implementando a Curadoria de Dados
•Estrutura adequada e suficiente
•Apoio das partes envolvidas
•Entendendo a empresa
•Organizando os colaboradores
•A importância da comunicação efetiva
7
Tópicos
Ferramentas iniciais do Curador de dados
•Arquitetura corporativa – Zachman Framework
•Arquitetura de Dados
•Glossários de termos de negócio
•Modelo conceitual de dados
•Elementos de dados mais importantes
•Entidades e relacionamentos
•Dinâmica 1 e 2: Criação de um Glossário de termos de
negócio e modelo conceitual de dados
•Modelo de processos e fluxo de dados
•Matriz CRUD e RACI
•Ciclo de vida de dados e informações
•Dinâmica 3: Criação de matrizes e avaliação de processos
8
Tópicos
Estabelecendo a Governança do MDM Corporativo
•O papel da Governança de dados relacionado com MDM
•Escopo de assuntos de negócio
•Definindo políticas
•Padrões de qualidade e prioridades
•Resolução de ocorrências
•Comunicação corporativa
Integração de Dados no MDM
•A necessidade da integração de dados no MDM
•O ciclo de vida da Integração de Dados
Gestão da Qualidade de dados no MDM
•Data Quality Management (DQM) em um ambiente de MDM
corporativo
•Um modelo de qualidade de dados
•Ciclo e atividades da melhoria da qualidade de dados
9
Tópicos
10
Tópicos
Medindo resultados
•Métricas de negócio
•Métricas de qualidade de dados
•Relacionando melhoria de qualidade de dados com o negócio
Evolução da Maturidade da Governança de dados
•Níveis de maturidade
•Perspectivas de avaliação da maturidade
Papel da Governança de dados na LGPD
•Data Protection Officer (DPO)
•Data Mapping com apoio da Arquitetura de dados
•Segurança da Informação e DPO
•Compliance e LGPD
•Transparência e Consentimentos para dados pessoais
•Vazamento de dados pessoais
11
INTRODUÇÃO A GOVERNANÇA, MDM,
QUALIDADE DE DADOS E LGPD
12
Introdução a Governança de Dados
Dados e Informações são ativos
da empresa.
Governança de dados combina pessoas, processos e tecnologia da informação para criar uma
gestão única de dados por toda a empresa. Ela também formaliza responsabilidades de gestão
para garantir a prestação de contas e reduzir a probabilidade de erros.
Muitas pessoas acreditam que a governança de dados é apenas uma ferramenta e muitas vezes
confundem a governança de dados com soluções de qualidade de dados.
Verificar a qualidade de dados, que é a base de uma estratégia de governança de dados, não é
um conceito novo.
As organizações tendem a monitorar a qualidade dos dados regularmente, no entanto elas
deveriam ser proativas. Muitas vezes, as organizações tomam consciência das questões de
qualidade de dados depois da ocorrência de um problema, como por exemplo produtos com a
descrição incorreta no site ou qualificação errada de um cliente. Medir a qualidade dos dados
operacionais já faz parte da maioria dos processos de gerenciamento de dados, mas geralmente
reflete apenas quantidades e valores. Uma área que recebe menos controles de qualidade são os
dados mestre que alimentam muitos processos de negócio, levando à necessidade de uma
estratégia de governança de dados formalizada e abrangente.
A equipe de governança de dados deve determinar o estado atual dos dados da organização,
criar programa de governança com os próximos passos e objetivos. Após a avaliação inicial a
equipe está pronta para criar uma estratégia para a melhoria das práticas de governança de
dados da empresa e calcular a probabilidade de risco organizacional.
Conhecer como os dados foram utilizados no passado, pode ajudar a impedir o incidentes com os
dados no futuro, normalmente as organizações tem esses dados prontamente disponíveis
relacionados as perdas de negócios. Coletá-los e relacionar o seu significado com as tendências
de perda pode ajudar a transformar a gestão de risco em um método baseado em fatos de
análise de eventos passados, previsão de perdas futuras e alterações das políticas para melhorar
as estratégias de mitigação de riscos.
13
Quem é a Governança de Dados
A Governança de Dados é a disciplina que trata dados como
ativos da empresa.
Arquitetura
de Dados
Qualidade Desenvolv.
de Dados de Dados
Operações
Governança de Dados Metadados
de Dados
alinha os objetivos
estratégicos com as áreas Governança
de conhecimento da de Dados
Gestão de dados. Documentos Segurança
e Conteúdo de Dados
14
Processo de GD
Governança de Dados DMBoK
É a autoridade de planejamento e controle sobre o gerenciamento de
Definição ativos de dados e informações.
1. Definir, aprovar e comunicar estratégias de dados, políticas,
arquitetura, procedimentos e métricas.
2. Acompanhar e forçar o cumprimento de normas regulatórias e
políticas de conformidade, padrões, arquitetura e procedimentos.
Objetivos 3. Patrocinar, acompanhar e supervisionar as entregas de projetos e
serviços de gestão de dados.
4. Gerenciar e resolver problemas relacionados a dados.
5. Entender e promover o valor dos ativos de dados
16
Benefícios da Governança de dados
Benefícios:
✓ Dados mais consistentes, seguros e confiáveis;
✓ Melhoria contínua da qualidade dos dados;
✓ Maximização o uso de dados para tomada de decisões;
✓ Melhoria no planejamento de negócios (análise de
dados);
✓ Melhoria no desempenho operacional e financeiro;
✓ Maximização do lucro da empresa.
17
MDM segundo DMBoK
Gestão de dados mestres e referência
Planejar, implementar e controlar atividades para garantir a consistências de
Definição dados mestres e referência.
Entradas: Produtos:
• Diretrizes do negócio • Requisitos de dados mestres
• Requisitos de dados • Modelos de dados e
• Políticas e regulamentações documentação
• Padrões • Dados mestres e de referência
• Dados transacionais confiáveis
• Relatórios e métricas de
qualidade de dados
• Rotinas de limpeza de dados
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br
Objetivos:
1. Prover fonte de dados mestres e de referência com confiabilidade
2. Diminuir custos e risco por meio de reuso de dados e padrões
3. Suportar BI e integrações entre sistemas
18
Definindo MDM corporativo
Assuntos de dados corporativos: São assuntos principais do
negócio da empresa representados pelas entidades, por
exemplo, Clientes, Produtos, Serviços, Fornecedores, Pacientes,
Locais, etc.
19
Objetivo do MDM
Chegar ao “Golden Data”: O conjunto de registros que
atendem os requisitos de qualidade estipulados pela
Governança de Dados e necessários para empresa atingir seus
objetivos estratégicos.
20
Escolher os domínios do MDM
Volume
Volatilidade
Reusabilidade
Complexidade
Valor para o negócio: este é o primeiro fator a ser considerado na escolha do domínio de negócio
para fazer parte do MDM, por isso em muitas empresas a gestão do cadastro de cliente aparece
como o primeiro assunto a ser tratado pelo MDM, mas ele não deve ser o único. Devemos
reconhecer o valor de outros domínios.
Complexidade: existem conjuntos de dados dentro da empresa que apresentam uma grande
quantidade de atributos, e para cada departamento ou área de negócio uma parte destes
atributos são mais importantes do que os outros. Por exemplo o cadastro de materiais em uma
indústria, para a engenharia de manufatura temos atributos relevantes a produção, e para a
equipe de contabilidade outros atributos relacionado ao custo.
21
Objetivo do MDM?
22
O que é Qualidade de Dados?
23
Características de Qualidade de Dados
Os atributos que são mais usados quando se fala de qualidade de dados, são:
- Validade e integridade, os dados existentes estão corretos?
- Acessibilidade, quando são necessários os dados estão disponíveis, ou é necessário fazer
vários pedidos até se poder ter acesso aos dados?
- Cobertura, os dados cobrem todos os aspectos do negócio? Podem existir valores absolutos,
mas também podem existir valores relativos.
- Pontualidade, Os dados estão sempre disponíveis ou é necessário esperar algum tempo pela
sua disponibilização?
- Contexto/Precisão, os dados reproduzem com precisão o que é suposto descreverem?
- Confiabilidade, a todo o momento pode haver confiança nos dados, ou existe momentos em
que essa confiança é maior e outros em que é menor?
- Integralidade, os dados contêm toda a informação relevante?
24
Processo de Qualidade de Dados
1. Identificar o perfil
dos dados.
2. Estabelecer
Métricas e Metas
3. Projetar e
6. Monitorar QD Implementar Regras
contra Metas de Qualidade de
Dados
4. Integrar Regras
5. Revisar exceções
de QD no processo
e refinar regras
aquisição de dados
25
O que não é Governança e Qualidade!
26
O que é LGPD?
Lei de Proteção de Dados Pessoais (LGPD) estabelece os princípios, direitos
e deveres que deverão ser observados no tratamento de dados pessoais.
Segurança
e
Prevenção
Finalidade e Transparência e
Qualidade Livre Acesso
Princípios
da LGPD
Responsabilização e Adequação e
prestação de contas Necessidade
27
Casos para o tratamento de dados pessoais
28
Envolvidos
Titular •A quem se referem os dados pessoais
29
CONHECENDO OS PROCESSOS DA
GESTÃO DE DADOS
30
O processo de Gestão de Dados
Gestão de Dados
O planejamento, execução e fiscalização de políticas, práticas e projetos para
Definição adquirir, controlar, proteger, entregar e enriquecer o valor dos ativos de dados e
informações.
Entradas: Produtos:
• Estratégias do negócio • Estratégias de Dados
• Atividades do negócio • Arquitetura de Dados
• Atividade de TI • Serviços de Dados
• Necessidades de Dados • Dados, Informações e
e Informações Conhecimento
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br
31
Escopo da Gestão de Dados
Arquitetura
de Dados
Desenvolvi
Qualidade
mento de
de Dados Dados
Operações
Metadados
de Dados
Governança
de Dados
Documentos e Segurança
Conteúdo de Dados
32
Governança de Dados
Governança de Dados
É a autoridade de planejamento e controle sobre o gerenciamento de ativos de
Definição dados.
Entradas: Produtos:
• Metas e estratégias de negócio • Políticas de Dados
• Objetivos e estratégias de TI • Padrões de Dados
• Necessidades de Dados • Projetos e Serviços de Dados
e Informações • Dados, Informações
• Requisitos normativos qualificadas
• e regulatórios • Valor do dado reconhecido
Governança de Dados
Definição: É a autoridade de planejamento e controle sobre o gerenciamento de ativos de dados.
Objetivos:
1. Definir, aprovar e comunicar estratégias de dados, políticas, arquitetura, procedimentos e
métricas.
2. Acompanhar e forçar o cumprimento de normas regulatórias e políticas de conformidade,
padrões, arquitetura e procedimentos.
3. Patrocinar, acompanhar e supervisionar as entregas de projetos e serviços de gestão de
dados.
4. Gerenciar e resolver problemas relacionados a dados.
5. Entender e promover o valor dos ativos de dados
Entradas: Metas e estratégias de negócio, Objetivos e estratégias de TI, Necessidades de Dados
e Informações, Requisitos normativos e regulatórios
Produtos: Políticas de Dados, Padrões de Dados, Projetos e Serviços de Dados, Dados,
Informações qualificadas, Valor do dado reconhecido
Fornecedores: Executivos de negócios, Executivos de TI, Gestores de dados, Entidades
regulatórias (que vão fornecer normas e regulamentações, por exemplo: COBIT, SOX, Basiléia II,
PCI-DSS)
Participantes: Gestores executivos, Coordenadores de sistemas de dados, Gestores de dados de
negócio, Administradores de dados, Executivos de gestão de dados, CIO
Ferramentas: Repositórios de Metadados, Ferramentas de documentação e armazenamento de
metadados, Ferramenta de gestão de problemas, Dashboard com KPI em Governança de dados
Métricas: Valor do dado, Custo da Gestão de dados, Objetivos atingidos, Quantidade de decisões
tomadas, Horas trabalhadas por profissionais da gestão de dados, Maturidade dos processos de
administração de dados
33
Estabelecendo a Governança de Dados
Construa a Visão
Defina Padrões
Organize
Envolva
Construa
Execute
Uma vez que a equipe de governança de dados foi definida, ele deve determinar o estado atual
dos dados da organização, fazer um programa de governança e entregar um plano de para o
estado futuro. Após a conclusão da avaliação, a equipe está pronta para criar uma estratégia
para a melhoria das práticas de governança de dados da empresa e calcular o risco
organizacional.
O controle de dados pode ser atingido utilizando os seis passos:
1. Construa uma visão clara e alcance sua iniciativa de governança de dados para que você possa
garantir que a sua organização é capaz de cumpri-la.
2. Defina padrões e relacionar com a lógica do negócio para dar significado a sua importância,
definir os benefícios que podem ser alcançados e qual o nível de
qualidade deve ser alcançada para perceber o benefício (nem sempre 100%) e criar indicadores
que mostram que os benefícios estão sendo alcançados.
3. Organize a governança de dados de forma adequada para a gestão dos padrões definidos. Isso
inclui papéis e responsabilidades nos processos usados para gerenciar atividades de aquisição e
coleta de dados.
4. Envolva o "dono dos dados" para obter normas e construir um roteiro de qualidade de dados
coerente com o negócio.
5. Construa um roteiro de qualidade de dados que documenta o nível de qualidade atual, mede
contra as metas de qualidade e propõe ações para
Corrigir problemas ou manter uma boa qualidade.
6. Execute as atividades de medição preenchendo os papéis de governança de dados para atingir
a conformidade atual e gerenciar as atividades identificadas no roteiro de qualidade de dados.
34
Atividades da Governança de Dados
Planejamento da Governança de Dados
1. Entender as necessidades estratégicas de dados da empresa
2. Desenvolver e manter a estratégia de dados
3. Estabelecer papéis dos profissionais e das organizações de
dados
4. Identificar e apontar gestores de dados
5. Estabelecer organizações de gestão de dados e governança
6. Desenvolver e aprovar políticas, padrões e procedimentos
7. Rever e aprovar arquitetura de dados
8. Planejar e patrocinar projetos e serviços de gestão de dados
9. Estimar valor dos ativos de dados e custos associados
35
Atividades da Governança de Dados
Controle da Gestão de Dados
1. Supervisionar equipe e organizações
2. Coordenar atividades de governança
3. Gerenciar e resolver problemas relacionados a dados
4. Monitorar e forçar o cumprimento de regulamentações
5. Monitorar e forçar a conformidade com políticas, padrões e
arquiteturas
6. Supervisionar projetos e serviços de gestão de dados
7. Comunicar e promover o valor dos ativos de dados
36
Programa Governança de Dados
Proj.
Arquitetura
de Dados Proj.
Proj.
Desenvolvi
Qualidade mento de
de Dados Dados
Proj.
Proj.
Metadados Programa Operações
de Dados
Governança
de Dados
Proj. Proj.
Documentos e Segurança
Conteúdo de Dados
Proj. Dados
Proj. BI e
Mestres e
DW Referência
37
Arquitetura de dados
Gestão da Arquitetura de Dados
Determinação dos dados necessário da organização e o desenho do diagrama
Definição mestre para atingir estas necessidades.
Entradas: Produtos:
• Metas e estratégias de negócio • Modelo de dados conceitual
• Objetivos e estratégias de TI • Cadeia de valor das
• Arquitetura de negócio informações
• Arquitetura de processos • Arquitetura de tecnologia de
• Necessidades de Dados dados
e Informações • Integração de dados
• Arquitetura técnica • Arquiteturas de MDM, BI, DW,
metadados e gestão de
documentos
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br
38
Onde entra a Arquitetura de dados
Estratégia
Programas de
melhoria do negócio
Modelos de Arquitetura de
Dados Corporativos
39
Atividades Gestão da Arquitetura de Dados
1. Entender as necessidades de informações da organização
2. Desenvolver e manter o modelo de dados corporativo
3. Analisar e alinhar com outros modelos de negócio
4. Definir e manter a arquitetura de tecnologia de dados
5. Definir e manter a arquitetura de integração de dados
6. Definir e manter a arquitetura de DW e BI
7. Definir e manter as taxonomias e domínios únicos da
organização
8. Definir e manter a arquitetura de metadados
40
Desenvolvimento de dados
Desenvolvimento de Dados
Projetar, implementar e manter soluções para atender as necessidades de dados
Definição da organização.
Entradas: Produtos:
• Metas e estratégias de negócio • Modelo de dados conceitual
• Objetivos e estratégias de TI • Modelos de dados lógicos
• Arquitetura de dados • Metadados técnicos e de
• Arquitetura de processos negócio
• Necessidades de Dados • Modelo de dados físico
e Informações • Dados migrados e convertidos
• Arquitetura técnica • Regras de negócio
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br
Desenvolvimento de Dados
Definição: Projetar, implementar e manter soluções para atender as necessidades de dados da
organização.
Objetivos:
1. Identificar e definir requisitos de dados
2. Projetar estruturas de dados e outras soluções para estes requisitos
3. Implementar e manter componentes de soluções que atendam estes requisitos
4. Garantir solução em conformidade para a arquitetura de dados e padrões apropriados
5. Garantir a integridade e segurança, usabilidade e manutenção das estruturas de dados
Entradas: Metas e estratégias de negócio, Objetivos e estratégias de TI, Arquitetura de dados,
Arquitetura de processos, Necessidades de Dados e Informações
Arquitetura técnica
Produtos: Modelo de dados conceitual, Modelos de dados lógicos, Metadados técnicos e de
negócio, Modelo de dados físico, Dados migrados e convertidos, Regras de negócio
Fornecedores: Gestores de Dados, Especialistas por área de negócio, Comitê de gestão de TI,
Conselho de Governança de dados, Analistas e Arquitetos de dados, desenvolvedores de software
Participantes: Arquitetos de dados, Analistas de dados e modeladores, DBAs, Administradores de
modelos de dados, desenvolvedores de software, executivos de ti e de gestão de dados
Ferramentas: Ferramentas de modelagem de dados, Sistemas Gerenciador de Banco de Dados
(SGBD), ferramentas de desenvolvimento de software, ferramentas de testes, ferramentas de
gestão de modelos, ferramenta de gestão configuração e mudanças, ferramentas de
produtividade e qualidade
Consumidores: Gestores de dados, Arquiteto de dados, Analistas de dados, DBAs,
Desenvolvedores de software, Gerente de projetos, Gestores do conhecimento, Gerentes e
Executivos, equipe de TI, clientes.
41
Atividade do Desenvolvimento de Dados
1. Modelagem de dados, projetos e análises de soluções, para
produzir modelos conceituais, lógicos e físicos.
2. Projeto de dados detalhado, banco de dados físico, serviços
de acesso a dados, integração de dados.
3. Gestão da qualidade de modelos de dados
4. Desenvolver padrões de modelagem de dados
5. Gerenciar o versionamento de modelos
6. Desenvolver e implementar testes em bancos de dados
7. Criar e manter dados de testes
8. Validar requisitos de informação
9. Preparar rotinas para implementação
em produção
42
Gerenciamento operacional de banco de dados
Gestão operacional de Dados
Planejar, controlar e suportar estrutura de dados por todo ciclo de vida , desde
Definição a criação e aquisição até o arquivamento e eliminação.
Entradas: Produtos:
• Requisitos de dados • Banco de dados de produção,
• Arquitetura de dados ambiente de testes,
• Modelo de dados desenvolvimento e
• Dados legados homologação.
• Acordo de nível de serviço • Desempenho do banco dados
• Arquitetura técnica • Plano de recuperação de
desastres e continuidade
• Plano de retenção,
arquivamento e eliminação
43
Atividades da Gestão da Operação
1. Suporte a banco de dados
2. Implementar e controlar ambientes de banco de dados
3. Obter dados de fontes externas
4. Planejar a recuperação de dados
5. Criar backups e recuperar
6. Ajustar níveis de serviço para desempenho de banco de
dados
44
Atividades da Gestão da Operação
45
Segurança de dados
Gestão Segurança de Dados
Planejar, desenvolver e executar procedimentos e políticas de segurança para
Definição prover autenticação, autorização, auditoria e acesso a dados e informações.
Entradas: Produtos:
• Metas do negócio • Políticas de segurança
• Estratégias do negócio • Padrões de privacidade e
• Regras e políticas de confidencialidade
segurança e privacidade • Perfis de usuários e grupos de
• Normas e regulamentações acessos
• Controles de segurança
• Trilha de auditoria de acesso a
dados
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br
46
Atividades da Segurança de Dados
1. Entender necessidades de segurança de dados e requisitos
regulatórios
2. Definir política de segurança de dados
3. Definir padrões de segurança de dados
4. Definir controles de segurança de dados
5. Gerenciar usuários, grupos e perfis
6. Monitorar comportamento de acesso e autenticações de
usuários
7. Classificar o nível de confidencialidade da informação
8. Auditar segurança de dados
47
Dinâmica de Grupo
48
Gestão de dados mestres e referência
Gestão de dados mestres e referência
Planejar, implementar e controlar atividades para garantir a consistências de
Definição dados mestres e referência.
Entradas: Produtos:
• Diretrizes do negócio • Requisitos de dados mestres
• Requisitos de dados • Modelos de dados e
• Políticas e regulamentações documentação
• Padrões • Dados mestres e de referência
• Dados transacionais confiáveis
• Relatórios e métricas de
qualidade de dados
• Rotinas de limpeza de dados
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br
49
Serviços de Dados Mestres
50
Atividades da gestão de dados mestres
1. Entender as necessidades de dados mestres e de referência
2. Identificar fontes de dados mestres
3. Definir e manter arquitetura de integração de dados
4. Implementar soluções de dados mestres e de referência
5. Estabelecer os dados “de ouro” (alta qualidade em forma e
conteúdo)
6. Definir e manter hierarquias
7. Planejar e implementar integrações de novas fontes de
dados
8. Replicar e distribuir dados mestres e de referência
9. Gerenciar mudanças de dados mestre e de referência
51
Gerenciamento do DW e BI
Gestão de DW e BI
Planejar, implementar e controlar processos para prover dados de suporte a
Definição tomada de decisão e sistemas que geram conhecimento, análises, consultas e
relatórios.
1. Suportar e permitir efetiva análise de negócio e tomada de decisões com
Objetivos base de informações precisas e confiáveis
2. Construir e manter o ambiente e infraestrutura analítica para DW e BI
Entradas: Produtos:
• Diretrizes do negócio • Arquitetura de DW e BI
• Requisitos de dados e qualidade • Data Warehouse e Data Marts
• Requisitos de segurança • Cubos OLAP
• Arquitetura de dados • Dashboards e Scoredcards
• Padrões e diretrizes de • Aplicações analíticas
modelagem de dados • Mineração de dados e
• Dados transacionais ferramentas estatísticas
• Dados mestres e de referência • Aplicações de BI
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br
Gestão de DW e BI
Definição: Planejar, implementar e controlar processos para prover dados de suporte a tomada
de decisão e sistemas que geram conhecimento, análises, consultas e relatórios.
Objetivos: Suportar e permitir efetiva análise de negócio e tomada de decisões com base de
informações precisas e confiáveis
Construir e manter o ambiente e infraestrutura analítica para DW e BI.
Entradas: Diretrizes do negócio, Requisitos de dados e qualidade, Requisitos de segurança,
Arquitetura de dados, Padrões e diretrizes de , modelagem de dados, Dados transacionais, Dados
mestres e de referência.
Produtos: Arquitetura de DW e BI, Data Warehouse e Data Marts, Cubos OLAP, Dashboards e
Scoredcards, Aplicações analíticas, Mineração de dados e ferramentas , statísticas, Aplicações de
BI.
Fornecedores: Executivos e Gerentes, Especialistas do negócio, Conselho de Governança de
dados, Analistas e arquitetos de dados
Participantes: Executivos de Negócio e TI, Gerente de BI, Gestores de dados, Gerentes de
projetos, Analistas e arquitetos de dados, Especialistas em integração de dados, Analistas de BI,
DBAs, Analistas de segurança.
Ferramentas: SGBD, ferramentas de ETL, ferramentas de BI, ferramentas de modelagem de
dados, ferramenta de qualidade de dados.
Consumidores: Usuários de sistemas, gerentes e executivos, sistemas e clientes externos,
profissionais de TI.
Métricas: Utilização do DW e BI, Nível de satisfação do usuário, cobertura das áreas de negócio,
Desempenho e tempo de resposta.
52
Atividades da Gestão de DW e BI
1. Entender as necessidades de informações de BI
2. Definir e manter a arquitetura de DW e BI
3. Implementar Datawarehouse e DataMarts
4. Implementar ferramentas de BI e interfaces para usuários
5. Criar, manter e Processar dados para o DW e BI (ETL)
6. Criar e manter modelos de dados para DW e DataMarts
7. Monitorar e otimizar processos e atividades do DW e BI
53
Gestão da documentação e conteúdo
Gestão da Documentação e Conteúdo
Planejar, implementar e controlar processos para armazenar, proteger, permitir o
Definição acesso a dados em arquivos , incluindo textos, gráficos, imagens, áudio e vídeo.
Entradas: Produtos:
• Documentos de texto • Sistema de localização de
• Relatórios registros
• Planilhas • Cartas e e-mails
• E-mail • Contratos e documentos
• Fax • Políticas e procedimentos
• Imagens • Logs e trilhas de auditoria
• Vídeos • Gerenciamento de mídias
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br
54
Atividades da Gestão de Documentos e Conteúdo
55
Gerenciamento de Metadados
Gestão da Metadados
Planejar, implementar e controlar atividades para permitir o acesso a metadados
Definição integrados e de alta qualidade
Entradas: Produtos:
• Requisitos de metadados • Repositório de metadados
• Arquitetura de dados • Qualidade de metadados
• Metadados técnicos, de negócio • Arquitetura e modelos de
operacionais, de processos e de metadados
gestão dos dados • Procedimentos de controle
Gestão da Metadados
Definição: Planejar, implementar e controlar atividades para permitir o acesso a metadados
integrados e de alta qualidade
Objetivos:
1. Prover entendimento organizacional no uso de termos
2. Integrar metadados de diversas fontes
3. Garantir qualidade e segurança para os metadados
Entradas: Requisitos de metadados, Arquitetura de dados, Metadados técnicos, de negócio,
operacionais, de processos e de gestão dos dados.
Produtos: Repositório de metadados, Qualidade de metadados, Arquitetura e modelos de
metadados, Procedimentos de controle.
Fornecedores: Gestores de dados, arquitetos de dados, modeladores de dados, DBAs, Analsitas
de sistemas, entidades regulamentadoras.
Participantes: especialistas de negócio, gestores de dados, modeladores e arquitetos de dados,
DBAs, Executivos e Gestores do Negócio.
Ferramentas: Repositório de metadados, ferramenta de modelagem de dados, SGBD, ETL, BI,
modelagem de processos, ferramentas de qualidade de dados, ferramentas de gestão de dados.
Consumidores: Gestores de dados, profissionais de TI, Gerentes e Executivos, usuários, clientes.
56
Atividades da Gestão de Metadados
1. Entender os requisitos de metadados
2. Definir e manter a arquitetura de metadados
3. Desenvolver e manter padrões de metadados
4. Implementar um ambiente gerenciado de metadados
5. Criar e manter os metadados
6. Gerenciar repositório de metadados
7. Distribuir e entregar metadados
8. Consultar e analisar metadados
57
Gerenciamento da Qualidade de dados
Gestão da Qualidade de Dados
Planejar, implementar atividades de gestão da qualidade de dados para garantir
Definição dados adequados para o uso.
Entradas: Produtos:
• Requisitos de negócio e dados • Padrões de qualidade
• Expectativa da qualidade • Certificação de qualidade
• Políticas e padrões • Acordo de nível de serviço da
• Metadados qualidade de dados
• Fontes de dados • Dados com qualidade
necessária.
58
Atividades da Gestão da Qualidade de dados
1. Desenvolver e promover a qualidade de dados
2. Definir requisitos de qualidade
3. Avaliar, analisar e entender a qualidade
4. Definir métricas de qualidade
5. Definir regras de qualidade para regras de negócio
6. Testar e validar requisitos de qualidade
7. Definir e aplicar nível de serviço da qualidade de dados
8. Medir e monitorar
9. Limpar e corrigir defeitos em dados
59
GOVERNANÇA DE DADOS EM
BIG DATA
60
Por que fazer Governança de dados para Big Data?
61
Data Lake versus Data Warehouse
Data Warehouse
✓ Alta escalabilidade e facilidade alto custo e reconfiguração
Data Lake
62
Governança para Big Data
63
Data Lake ou Data Swamp?
67
TIPOS DE CURADORES DE
DADOS
68
Curadoria de dados e Informações
Curadoria de
A palavra curadoria tem origem do latim "curator", que quer dizer
Dados e "aquele que administra", "aquele que tem cuidado e apreço".
Informações
O conceito de curadoria abrange um extenso campo de atividades,
desde o artístico-cultural até as perspectivas comerciais.
69
Um novo cargo ou um novo papel?
Conhecer as políticas e padrões de dados
70
Políticas, processos e procedimentos
Políticas
Curadores de dados
Processos
Procedimentos
71
Visão geral da Governança de Dados e os Curadores de dados
Arquitetura
de Dados
Desenvolvi
Qualidade
mento de
de Dados
Dados
Curadores Curadores
de dados de dados
Operações
Metadados
de Dados
Governança
de Dados
Documentos Segurança
e Conteúdo de Dados
Dados
BI e DW Mestres e
Referência
72
Curadoria alinhada com Arquitetura Empresarial
• Existem várias possibilidades
para organização da
curadoria de dados em uma
empresa.
• O Zachman Framework é
uma ferramenta para
arquitetura corporativa que
pode ser usada para alinhar a
Curadoria de Dados e
Informações.
• Devemos observar a
Arquitetura de dados,
Arquitetura de Sistemas
(Funções), Distribuição física
(Rede), Estrutura
Organizacional (Pessoal) e
Metas e Objetivos
Estratégicos (Motivação).
73
O Comitê de Curadores de Dados
A escolha dos membros do comitê de curadores de dados é uma política de Governança de Dados
e Informações.
Os curadores executivos membros do comitê devem estar preparados para tomar decisões de
alto nível com base na visão centrada em dados e informações, artefatos da arquitetura de dados
e processos, conhecimento sobre o negócio e as metas e objetivos que a organização deve atingir
na perspectiva da Gestão de Dados e Informações.
Este papel deve ter a capacidade de:
• Entender os processos da Gestão e Governança de dados;
• Conhecer o modelo de processos da sua área de negócio em profundidade e os
outros processos de negócio da empresa;
• Conhecer as técnicas de modelagem de dados;
• Conhecer arquitetura de sistemas transacionais e de Business Intelligence;
• Apoiar na criação e manutenção do glossário de termos de negócio;
• Apoiar na criação e manutenção do modelo de dados conceitual corporativo;
• Avaliar o valor das informações e sua qualidade;
• Avaliar riscos e oportunidades associadas aos dados e negócio;
• Corrigir problemas de qualidade de dados.
74
Curador de dados corporativo
São pessoas escolhidas dentre os gestores das áreas
de negócio. Geralmente tem cargos com poder de
Equipe de Gestão do Negócio decisão.
São estes que devem participar dos comitês de
Curadores e de Governança de dados.
75
Curador de dados de negócio
O escopo de atuação do Curador de dados de
negócio deve ser delimitado pela equipe de
Governança ou comitê de Governança de dados.
Assim ele pode atuar com responsabilidade e Curadores de dados corporativos
autoridade sobre o conjunto de dados do seu
escopo de negócio.
Deve atuar:
• Definição dos metadados corretos (glossário
de termos, nomes de entidades e atributos,
regras de validação, valores válidos, regras de
qualidade); Curadores de dados de negócio
• Identificar problemas de qualidade de dados e
suas causas;
• Acompanhar a resolução de problemas de
qualidade;
• Acompanhar o desenvolvimento de novas
soluções de tecnologia;
• Avaliar riscos e oportunidades no uso dos
dados;
• Zelar pela segurança adequada.
Curador de dados de negócio (Business Data Stewards) são tipicamente indivíduos que conhecem
os dados e trabalham diariamente com eles. Pessoas com cargos de Analista de dados ou Analista
de negócios são muitas vezes bons candidatos para assumir o papel de Curador de dados de
negócio . Naturalmente, ninguém pode saber tudo sobre todos os dados. O Curador de dados de
negócio deve saber com quem conversar em sua área para obter as informações necessárias
para cumprir o seu papel. Ter acesso a outras pessoas e recursos que trabalham com dados
significa que o Curador de dados de negócio tem autoridade para alocar o tempo do recurso para
ajudar no esforço de administração dos dados.
O escopo de atuação do Curador de dados de negócio deve ser delimitado pela equipe de
Governança ou comitê de Governança de dados. Assim ele pode atuar com responsabilidade e
autoridade sobre o conjunto de dados do seu escopo de negócio.
Deve atuar:
• Definição dos metadados corretos (glossário de termos, nomes de entidades e atributos,
regras de validação, valores válidos, regras de qualidade);
• Identificar problemas de qualidade de dados e suas causas;
• Acompanhar a resolução de problemas de qualidade;
• Acompanhar o desenvolvimento de novas soluções de tecnologia;
• Avaliar riscos e oportunidades no uso dos dados;
• Zelar pela segurança adequada.
76
Curador de dados de projeto
No cenário onde uma grande empresa tem
diversos projetos simultâneos em
desenvolvimento, Curadores de Dados de
negócio focados nas atividades diárias dos
processos, se faz necessário um Curador de
Dados focado no projeto.
Curador de dados de projeto
Uma pessoa do time de desenvolvimento de
projeto de sistemas que foi preparada para ser o
Curador de Dados do Projeto.
77
Curador de dados técnico e operacional
O Curador de dados técnico é um caso especial, ele faz parte da equipe de TI e
é responsável por manter a qualidade de dados de processos de integração,
importações de dados, migrações, rotinas de ETL, resolução de entidades no
MDM.
Esta pessoa será responsável por conjuntos de dados que são adquiridos e
mantidos diretamente pela TI.
78
Estrutura de Curadoria de dados
E mesmo assim a estrutura pode evoluir através dos anos, de acordo com as
mudanças naturais da empresa e evolução de maturidade da Gestão de dados.
79
Determinar Curadores
Existem 3 formas
para determinar os
curadores Curadores
Corporativos
Impositiva
Curadores
Negócio
Seletiva
Curadores
Projeto ou
Técnicos
Evolutiva
80
DINÂMICA: ESTUDO DE CASO DE
ESTRUTURA DE CURADORES PARA
CENÁRIOS DIFERENTES
81
Cenário 1: Seguradora
82
Como pode ser a Estrutura de Curadoria de dados da Seguradora?
Curadores de dados
83
Cenário 2: Industria
Adventure Works
• Fabrica e vende bicicletas
• América do Norte, Ásia e Europa
• 2 plantas, Bothell-EUA e México
• Várias linhas e modelos
• Vendas no atacado (Lojas)
• Vendas no varejo pela internet
• Representantes de vendas
• 4 linhas de produtos
• Vários fornecedores
• Controle de custos da produção
• Inventário de produtos
• Documentação de engenharia
• Suporte de RH e TI
84
Macro fluxo de dados da Adventure Works Cycles
Purchase request
Shipment
Manufacturing - Mexico
product prices
Proposal
Invoice
Customer Central - Headquarter Central purchasing Supplier
vendor invoice
Payment
Order
Production report
Manufacturing - Bothell
EUA
Como uma empresa fabricante de bicicletas, a Adventure Works Cycles tem as seguintes linhas
de produto:
Bicicletas fabricadas na empresa Adventure Works Cycles.
Componentes de bicicleta que consistem em peças de reposição, tais como, rodas, pedais, freio,
selim, etc.
Adornos de bicicleta adquiridos de fornecedores para revenda aos clientes.
Acessórios de bicicleta adquiridos de fornecedores para revenda aos clientes.
Na Adventure Works Cycles, o departamento de compras adquire matérias-primas e peças para a
fabricação de bicicletas. A empresa também adquire produtos para revenda, como adornos e
complementos para bicicletas, por exemplo, garrafas de água e bombas. Informações sobre esses
produtos e sobre os fornecedores de quem são obtidos são armazenadas no banco de dados e
são muito importantes na gestão dos custos de fabricação.
Os processos de fabricação são controlados e seguem um conjunto de atividades bem definidas
pelo departamento engenharia de produtos, as informações típicas de fabricação:
• Processos de fabricação;
• Lista de materiais: lista os produtos usados ou presentes em outro produto;
• Ordens de trabalho: ordens de fabricação por centro de trabalho;
• Locais: define as principais áreas de fabricação e estoque, como formação de quadro, pintura,
sub-montagem e assim por diante;
• Instruções de fabricação e montagem de produto por centro de trabalho;
• Inventário de produto: local físico de um produto no depósito ou área de fabricação e a
quantidade disponível naquela área;
• Documentação de engenharia: especificações técnicas e documentação de manutenção para
bicicletas ou componentes de bicicleta;
85
Como pode ser a Estrutura de Curadoria de dados da Industria?
Purchase request
Shipment
Manufacturing - Mexico
product prices
Proposal
Invoice
Customer Central - Headquarter Central purchasing Supplier
vendor invoice
Payment
Order
Production report
Manufacturing - Bothell
EUA
86
IMPLEMENTANDO A
CURADORIA DE DADOS
87
Estrutura adequada e suficiente
88
Apoio das partes envolvidas
89
Apoio das partes envolvidas
90
Entendendo a empresa
No exemplo ao lado temos uma representação de Hierarquia de Funções,
que é uma forma possível para representar as atividades de um processo
de negócio, no caso Gerenciar Produção.
Se refletimos sobre as
descrições das funções do
segundo nível podemos
questionar:
• Quais são os colaboradores
que realizam estas
atividades?
• Quais sistemas com bases de
dados eles usam?
• Quais os dados eles
consultam e criam nestas
atividades?
• Quem são os responsáveis
pelas informações e qual o
valor delas para o processo?
91
FERRAMENTAS INICIAIS DO
CURADOR DE DADOS
95
Arquitetura de Dados
O Arquiteto de dados usa estes artefatos para descrever como os dados são
processados, armazenados, e utilizados nos sistemas de informação da empresa.
A responsabilidade principal do arquiteto de dados é definir o estado futuro do
negócio em termos dos dados que devem transitar entre os processos de
negócio.
97
Glossários de termos de negócio
Glossário de termos:
• Termo de negócio
• Definição precisa
• Perfis de usuários
responsáveis ou
departamento
• Descrição de objetos
• Restrições de valores,
domínios discretos ou
contínuos
Podem ser mais simples, sendo controlado através de planilhas ou documentos textuais, ou em
ambientes complexos de negócios podem exigir uma infraestrutura de TI para suportar sua
manutenção e distribuição por todos os usuários interessados, através de um portal na intranet
por exemplo.
98
Níveis de abstração de Modelos de Dados
100
Abordagens para Construção do Modelo
101
O que é o Modelo Conceitual Corporativo?
Modelo Conceitual
102
Mapeamento dos Dados
Análise de
processos
Modelos Análise de
semânticos bancos de
dados
Modelo de Análise de
Modelos de dados sistemas
dados Conceitual
Entrevistas
Plano com Gestores
Estratégico e Usuários
Documentos
de Requisitos
103
Elementos do modelo Entidade-Relacionamento
São objetos do “mundo real” sobre Propriedades que descrevem Relacionamento é uma associação
os quais deseja-se manter entidades. entre Entidades.
informações no banco de dados.
105
Normalização Entidade-Relacionamento
Normalização
1ª Forma Normal
Uma relação está na 1ª forma normal (1FN) quando:
• os domínios de todos os atributos consistem apenas em valores atómicos
• não existem subgrupos de atributos repetidos
Passagem de uma entidade à 1FN:
Eliminar subgrupos repetidos, decompondo a relação em duas (ou mais) relações.
2ª Forma Normal
Uma relação está na 2ª forma normal (2FN) quando:
• estiver na 1FN;
• todos os atributos que não pertencem à chave dependem de toda a chave (e não de um
subconjunto da chave).
Passagem de uma relação à 2FN:
Separar os atributos que dependem de um subconjunto da chave, decompondo a relação em
duas (ou mais) relações.
3ª Forma Normal
Uma relação está na 3ª forma normal (3FN) quando:
• estiver na 2FN;
• os atributos que não pertencem à chave não dependem de nenhum atributo que também não
pertence à chave.
Passagem de uma relação à 3FN:
Separar os atributos que dependem de outro atributo não pertencente à chave, decompondo a
relação em duas (ou mais) relações.
108
Fluxo de dados
112
Matriz CRUD
113
Matriz RACI
Entidade/Cur Coordenad Secretaria Professor Gerente Auxiliar
ador or da de es Financeiro Administrati
Graduação Graduação vo
Aluno A R I I I
Docente A R I CI I
Curso RA I I I
Disciplina A R RCI I I
Matrícula RA I I I
Receitas I CI A R
Despesas CI A R
114
ESTABELECENDO A GOVERNANÇA
DO MDM CORPORATIVO
117
Definindo políticas
Para garantir o valor do MDM temos que focar:
• Regras e políticas de entrada de dados
• Processos operacionais para movimentar os dados
121
Padrões de qualidade e prioridades
Por exemplo:
• Todo cliente deve ter pelo menos 2 formas de contatos (e-
mails, telefones, endereços). A meta deste indicador é de
95% dos clientes
• Todo produto deve ter nome único, descrição curta, descrição
longa, preço atualizado, fotos, usando termos do dicionário
corporativo para a descrição. A meta é ter 90% dos produtos
nestas condições.
122
INTEGRAÇÃO DE DADOS NO
MDM
126
Processo “Entity Resolution”
Preparação
4-Reconhecer a
1-Identificar 2-Determinar 3-Definir chave fonte confiável
fontes elementos única para cada
atributo
Operação
2-Aplicar 3-Construir o
1-Avaliar a regras de registro final 4-Publicar/
duplicidade negócio e (Golden Sincronizar
qualidade Record)
128
APLICANDO A QUALIDADE DE
DADOS
135
Analisando e resolvendo problemas de qualidade
Identifique o processo de negócio e suas métricas
136
Atividades da Qualidade
137
Construindo uma base de conhecimento para Qualidade de dados
143
Criando domínios de dados e suas regras de qualidade
Exemplos de atributos e Característica de qualidade Exemplo do problema
seus domínios e problema encontrado
Gênero Padronização: Este elemento Sistema A Gênero= M ou F
pode estar sendo registrado Sistema B Cod_gênero = 0, 1
de forma diferente em ou 2
sistemas diferentes. Sistema C Sexo = Masculino e
Feminino
Código postal Completeza: Todos os CD_CEP está preenchido em
registros estão preenchidos 80% dos registros, 20% são
dados inválidos como 00000-
000, 99999-999 etc
Fornecedor ativo Precisão: O representa Fornecedor está com a
precisamente a realidade. status=Ativo, mas não há
registros de entregas nos
últimos 5 anos e o último
contato foi feito a 6 anos.
Quantidade de estoque Validade: O dado tem um QTDE_ESTOQUE é negativa ou
valor dentro da faixa tem valores fora da realidade
esperada. do negócio acima de 10 mil.
Pessoa Unicidade: Registros das Sistema A: Nome= Caetano
mesmas pessoas ocorrem Silva
diversas vezes no mesmo Sistema B: Nome= Caetano A
sistema ou sistemas diferentes Silva
Sistema C: Nome= Caetano
Andrade Silva
144
Limpeza de dados
145
AGREGANDO VALOR ATRAVÉS DA
CURADORIA DE DADOS
153
Melhoria da Qualidade de dados
O Curador de dados vai trabalhar identificando regras de qualidade de
dados que serão passadas para os gestores de sistemas e deverão ser
implementadas pela TI
154
Estabelecendo dados de referência
155
Resolução de dúvidas no entendimento das informações
156
Regras de segurança das informações
157
Melhoria dos metadados
“Metadados são os dados sobre os dados”
ou
“Metadados são informações estruturadas que descrevem,
explicam, localizam, ou ainda facilitem a recuperação, o uso, ou
gerenciamento de um recurso de informação.”
National Information Standards Organization(NISO)
158
MEDINDO RESULTADOS
161
Métricas de negócio
Ao definir um problema de
negócio devemos associar a
ele uma métrica que podemos
Definir um calcular para o passado, no
Problema do presente e futuro.
Negócio
Somente com o
Estabelecer
acompanhamento da evolução
um plano de
de números podemos saber se
ação
as ações são realmente
efetivas para resolver o
Implementar problema.
e Executar
Melhorias
Medir
Resultados e
qualidade
162
Métricas de qualidade de dados
Por exemplo:
163
EVOLUÇÃO DA MATURIDADE
DA CURADORIA DE DADOS
165
Níveis de maturidade
Otimizado
Gerenciado
Quantitativo
Normalizado
Repetitivo
Gerenciado
Básico
Inicial
De acordo com o Data Management CMM definido pela Software Engineering Institute’s (SEI) responsável
pelo modelo Capability Maturity Model Integration (CMMI):
Estágio 1 Básico / Inicial
Qualidade de dados desconhecida. Não tem proprietário, A TI é o proprietário padrão.
Caracterizado pela correção reativa de dados errados.
Os problemas são abordados de uma forma sequencial, tipicamente com resolução demorada e/ou
insatisfatória.
Estágio 2 Gerenciado / Básico
Um papel de qualidade de dados ou plano está definido, mas o foco é correção de dados "ruins".
Caracterizada por ter equipes de limpeza de dados formada por “Data Steward” e Analista de Dados, mas
sem abordar as causas da origem da má qualidade (causa raiz).
Estágio 3 Normalizado / Repetitivo
Padrões de qualidade de dados e organização são definidos permitindo a avaliação da qualidade dos dados.
Ferramentas de relatórios de exceção de qualidade de dados e ferramentas de workflow são usadas para
detectar dados suspeitos. Os Metadados estão definidos, são utilizados e mantidos. Algumas causas raiz são
abordadas, “work-around” são desenvolvidos e a qualidade dos dados é melhorada e pode ser verificada
pelos consumidores. Níveis de Serviço são introduzidos no controle da qualidade.
Estágio 4 Gerenciado Quantitativo / Estratégico
O papel da Qualidade de Dados é elevado dentro da organização, e muitas vezes estabelecida como um
grupo separado serviço centralizado. O foco é a ação proativa e de garantia de qualidade trabalhando em
estreita colaboração com os usuários do negócio.
Causas raízes abordadas como parte do ciclo de vida de desenvolvimento de sistemas.
Métricas são adicionadas a níveis de serviço.
Estágio 5 Otimizado
Qualidade de Dados suportados pela Governança de Dados faz parte da cultura da empresa.
Melhoria da qualidade de dados através de uma ação preventiva e proativa é o foco.
Consumidores de dados estão satisfeitos com o nível de qualidade dos dados realmente atendendo as
necessidades do negócio.
166
Promover a Curadoria de Dados
Escolha dos
Comitê de curadores curadores de dados Capacitação de
executivos de dados coordenadores e curadores de dados
técnicos
167
Perspectivas de avaliação da maturidade da Curadoria
Nível de
Consciência Políticas e Reconhecimento de
Maturidade/ Papéis e Estruturas
Organizacional Processos Valor
Perspectivas
Analises de
3 – Defined As informações mais A curadoria de dados Regras e políticas informações de
importantes tem é definida de forma aplicadas em toda qualidade levam a
Definido Curadores definidos corporativa empresa melhoria de processos
e ganhos
Indicadores de
4 – Measured Processo de Curadoria
Todos na empresa É possível medir o Curadoria de dados
pode ser monitorado
conhecem os desempenho dos estão relacionados
Gerenciado através de
quantitativo curadores de dados curadores com indicadores do
indicadores
negócio
168
MELHORIA CONTINUA NO
MDM CORPORATIVO
170
Conceitos básicos de melhoria contínua
PDCA (do inglês: PLAN - DO - CHECK – ACT) é um método iterativo de
gestão de quatro passos, utilizado para o controle e melhoria contínua
de processos e produtos. É também conhecido como o ciclo de Deming,
ciclo de Shewhart.
Planejar
Estabelecer os objetivos e processos necessários para entregar resultados de acordo com o
projetado (objetivos ou metas). Ao estabelecer expectativas de resultado, a integridade e
precisão da especificação também é uma parte da melhoria almejada.Quando possível começar
em pequena escala para testar os possíveis efeitos.
Desenvolver
Implementar o plano, executar o processo, fazer o produto. Coletar dados para mapeamento e
análise dos próximos passos "Checar" e "Ajustar". Portanto esta etapa gera muito cuidado pois
pode não ser a causa raiz.
Conferir/Checar
Estudar o resultado (medido e coletado no passo anterior “Desempenhar”) e compará-lo em
relação aos resultados esperados (objetivos estabelecidos no passo “PLANEJAR”) para determinar
quaisquer diferenças. Procurar por desvios principalmente na aplicação do plano e também olhar
para a adequação e abrangência do plano permite a execução do próximo passo, ou seja, "AGIR".
Traçar dados pode fazer isso muito mais fácil para ver as tendências ao longo de vários ciclos de
PDCA e assim converter os dados coletados em informação. Informação é o que você precisa
para a próxima etapa "Ajustar".
171
Maturidade da Governança de dados
173
Maturidade da Curadoria de dados
A Curadoria de Dados ou Data Stewardship
•Identificação dos profissionais comprometidos com o conjunto de dados
de sua responsabilidade
•Apoio total da Governança de Dados para execução da suas atividades
174
Maturidade da Integração de dados
Integração de dados:
•Conjunto de ferramentas e procedimentos que “transportam” os dados
entre sistemas
•Deve ter conjunto de regras e padrões bem definidos e aplicados
•Inclui a inspeção de critérios de qualidade por Curadores de Dados
•Supervisão da operação das rotinas de integração
•Gestão de incidentes e problemas
175
Maturidade da Qualidade de dados
A Qualidade de dados implica:
•Evolução constante da equipe de negócio, qualidade de dados e MDM
•Consolidação e comunicação de melhorias reais de qualidade de dados
•Colaboração efetiva e constante entre os times, atentos as mudanças e
a evolução
176
Maturidade da Gestão de Metadados
Gestão de Metadados deve:
•Conhecer e usar as diversas fontes de metadados
•Manter a coerência entre as diversas fontes
•Gerenciar ferramentas e repositórios de metadados
177
Processo de melhoria continua no MDM corporativo
MDM Corporativo
Governança de dados
Gestão de Metadados
Programa de
Gestão da Qualidade
Integração de dados
Curadoria de dados
Maturidade
Melhoria Contínua
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br
180
PAPEL DA GOVERNANÇA DE
DADOS NA LGPD
181
Data Protection Officer (DPO)
DPO está definido na LGPD:
Encarregado pelo tratamento de dados pessoais, pessoa
natural, indicada pelo controlador, que atua como canal de
comunicação entre o controlador e os titulares e a autoridade
nacional.
182
Data Mapping com apoio da Arquitetura de dados
183
Transparência e Consentimentos para dados pessoais
Consentimento
- Art. 5º, XII: manifestação livre, informada e inequívoca pela
qual o titular concorda com o tratamento de seus dado pessoais
para uma finalidade determinada.
187
Reflexões
191
Serviços de Consultoria
Alocação de consultores especialistas:
•Arquiteto de dados
•Administrador de dados
•Analista de Qualidade de dados
•DBAs
•Analistas de BI e DW
192
Treinamentos CS Treina
• Capacitação do Curador de Dados
• Gestão de Dados Mestres - Teoria e Prática do MDM
• Modelagem Multi Dimensional de Dados para BI e DW
• Ciclo de Vida do BI e DW
• Melhores práticas de Governança e Qualidade de Dados
• Microsoft Power BI Desktop
• Método Ágil para Modelagem de Dados
• Processos de Gestão de Dados com Método Ágil
• Análise e Modelagem de Requisitos com Método Ágil
• Arquitetura de Dados
• Modelagem de dados com SAP PowerDesigner
• Customização e Extensão do SAP PowerDesigner
• ...
193
Obrigado!
www.cstreina.com.br
Caetano de A Silva
E-mail: caetano@cstechnologies.com.br
caetano@cstreina.com.br
194