Você está na página 1de 139

Treinamento Governança, MDM,

Qualidade de dados e LGPD

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Versão 2

1
Instrutor

Caetano de Andrade Silva


MBA em Gestão Estratégica da Tecnologia da
Informação
Bacharel Física – IF USP
30 anos de experiência em TI
Projetos relevantes em Gestão de Dados Corporativos:

▪ Implantação ERwin e Metodologia de AD - Bradesco


▪ Implantação ERStudio e Ferramentas de BI - Ipiranga
▪ Desenvolvimento de ferramentas de produtividade para AD e DBA
▪ Treinamentos de Analistas e AD em Modelagem Relacional e
Multidimensional
▪ Gerenciamento de projetos de BI - Bradesco
▪ Mapeamento e Melhoria de processos SulAmerica Seguros AS
▪ Diagnóstico e Roadmap para Gestão e Governança de dados
(ANAC, Hyundai, ViaVarejo, Seguros Unimed)

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

2
Responsável por Consultoria e Treinamento

Certificações:
• Data Governance Foundation: 5F60CC4
• IT Governance Foundation: 5F60B49
• LGPD Foundation: 5F60B4A
• GDPR Foundation: 5F60B4B
• Information Security Risk Management Foundation: 5F60B48
• InfoSec Foundation: 5F60B47
• Data Protection Officer (DPO): 5F60B50
• Big Data Foundation: 5F60CC2
Caetano de Andrade Silva
• Data Science Essentials: 5F60CC3
MBA em Gestão Estratégica da
Tecnologia da Informação • Big Data Analyst: 5F60CC6
Bacharel Física – IF USP • Cloud Essentials: 5F60CC5
30 anos de experiência em TI • Information Security Analyst: 5F60B4E

(https://www.itcerts.ca/certification-verification/)

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

3
Objetivo

Capacitar os alunos nos processos da


Governança de Dados e a relação com a
Gestão de Dados Mestres (MDM) e Gestão
da Qualidade de Dados dentro das
empresas, seguindo boas práticas e de
acordo com regras e leis (LGPD).

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

4
Tópicos
Introdução
•Quem é o Governança de Dados
•Dados como ativos da Empresa
•O processo de Governança de Dados
•Definindo MDM corporativo
•Estratégia e abordagem
•Como e por onde começar
•Escopo do MDM Corporativo
•O que é Qualidade de Dados
•O processo de Qualidade de Dados
•O que é LGPD?

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

5
Tópicos
Conhecendo os processos da Gestão de Dados
•Governança de dados
•Arquitetura de dados
•Desenvolvimento de dados
•Gerenciamento operacional de banco de dados
•Segurança de dados
•Gerenciamento de dados mestres e de referência
•Gerenciamento do DW e BI
•Gerenciamento da documentação e conteúdo
•Gerenciamento de Metadados
•Gerenciamento da Qualidade de dados
Governança de dados em Big Data
•Por que Governança para Big Data?
•Data Lake versus Data Warehouse
•Ferramentas de apoio

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

6
Tópicos
Tipos de Curadores de dados
•O comitê de Curadores de Dados
•Curador de dados corporativo
•Curador de dados de negócio
•Curador de dados de projeto
•Curador de dados técnico e operacional
•Estrutura de Curadoria de dados
•Dinâmica: Estudo de caso de Estrutura de Curadores para
cenários diferentes
Implementando a Curadoria de Dados
•Estrutura adequada e suficiente
•Apoio das partes envolvidas
•Entendendo a empresa
•Organizando os colaboradores
•A importância da comunicação efetiva

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

7
Tópicos
Ferramentas iniciais do Curador de dados
•Arquitetura corporativa – Zachman Framework
•Arquitetura de Dados
•Glossários de termos de negócio
•Modelo conceitual de dados
•Elementos de dados mais importantes
•Entidades e relacionamentos
•Dinâmica 1 e 2: Criação de um Glossário de termos de
negócio e modelo conceitual de dados
•Modelo de processos e fluxo de dados
•Matriz CRUD e RACI
•Ciclo de vida de dados e informações
•Dinâmica 3: Criação de matrizes e avaliação de processos

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

8
Tópicos
Estabelecendo a Governança do MDM Corporativo
•O papel da Governança de dados relacionado com MDM
•Escopo de assuntos de negócio
•Definindo políticas
•Padrões de qualidade e prioridades
•Resolução de ocorrências
•Comunicação corporativa
Integração de Dados no MDM
•A necessidade da integração de dados no MDM
•O ciclo de vida da Integração de Dados
Gestão da Qualidade de dados no MDM
•Data Quality Management (DQM) em um ambiente de MDM
corporativo
•Um modelo de qualidade de dados
•Ciclo e atividades da melhoria da qualidade de dados

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

9
Tópicos

Aplicando a Qualidade de dados


•Conceitos de Qualidade
•Atributos de qualidade
•Construindo uma base de conhecimento para Qualidade de dados
•Criando domínios de dados e suas regras de qualidade
•Limpeza de dados
•Dinâmica 1: Criação de domínio de Endereço
•Regras de domínio, regras compostas, transformações e
padronizações
•Dinâmica 2: Aplicando regras mais complexas de qualidade
•Data Matching ou Correspondência de dados
•Problemas com dados duplicados
•O processo de correspondência de dados
•Dinâmica 3: Pequeno projeto de Data Matching

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

10
Tópicos
Medindo resultados
•Métricas de negócio
•Métricas de qualidade de dados
•Relacionando melhoria de qualidade de dados com o negócio
Evolução da Maturidade da Governança de dados
•Níveis de maturidade
•Perspectivas de avaliação da maturidade
Papel da Governança de dados na LGPD
•Data Protection Officer (DPO)
•Data Mapping com apoio da Arquitetura de dados
•Segurança da Informação e DPO
•Compliance e LGPD
•Transparência e Consentimentos para dados pessoais
•Vazamento de dados pessoais

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

11
INTRODUÇÃO A GOVERNANÇA, MDM,
QUALIDADE DE DADOS E LGPD

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

12
Introdução a Governança de Dados
Dados e Informações são ativos
da empresa.

Ativos devem ser


administrados, para
reduzir custos e
aumentar os ganhos.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Governança de dados combina pessoas, processos e tecnologia da informação para criar uma
gestão única de dados por toda a empresa. Ela também formaliza responsabilidades de gestão
para garantir a prestação de contas e reduzir a probabilidade de erros.

Muitas pessoas acreditam que a governança de dados é apenas uma ferramenta e muitas vezes
confundem a governança de dados com soluções de qualidade de dados.
Verificar a qualidade de dados, que é a base de uma estratégia de governança de dados, não é
um conceito novo.
As organizações tendem a monitorar a qualidade dos dados regularmente, no entanto elas
deveriam ser proativas. Muitas vezes, as organizações tomam consciência das questões de
qualidade de dados depois da ocorrência de um problema, como por exemplo produtos com a
descrição incorreta no site ou qualificação errada de um cliente. Medir a qualidade dos dados
operacionais já faz parte da maioria dos processos de gerenciamento de dados, mas geralmente
reflete apenas quantidades e valores. Uma área que recebe menos controles de qualidade são os
dados mestre que alimentam muitos processos de negócio, levando à necessidade de uma
estratégia de governança de dados formalizada e abrangente.

A equipe de governança de dados deve determinar o estado atual dos dados da organização,
criar programa de governança com os próximos passos e objetivos. Após a avaliação inicial a
equipe está pronta para criar uma estratégia para a melhoria das práticas de governança de
dados da empresa e calcular a probabilidade de risco organizacional.
Conhecer como os dados foram utilizados no passado, pode ajudar a impedir o incidentes com os
dados no futuro, normalmente as organizações tem esses dados prontamente disponíveis
relacionados as perdas de negócios. Coletá-los e relacionar o seu significado com as tendências
de perda pode ajudar a transformar a gestão de risco em um método baseado em fatos de
análise de eventos passados, previsão de perdas futuras e alterações das políticas para melhorar
as estratégias de mitigação de riscos.

13
Quem é a Governança de Dados
A Governança de Dados é a disciplina que trata dados como
ativos da empresa.

Arquitetura
de Dados
Qualidade Desenvolv.
de Dados de Dados

Operações
Governança de Dados Metadados
de Dados
alinha os objetivos
estratégicos com as áreas Governança
de conhecimento da de Dados
Gestão de dados. Documentos Segurança
e Conteúdo de Dados

Big Data, Dados


BI e DW Mestres
Integrações

Governança de Dados é a autoridade de planejamento e controle sobre os ativos


de dados.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Governança de Dados é a disciplina de tratamento de dados como um ativos da empresa. Ela


envolve o exercício de tomada de decisão para otimizar, assegurar e alavancar dados como um
ativo da empresa. Ela envolve a orquestração de pessoas, processo, tecnologia e política dentro
de uma organização, para obter o melhor valor a partir de dados da empresa. Governança de
dados desempenha um papel fundamental no alinhamento do negócio, muitas vezes as políticas
em conflito causam anomalias nos dados como primeiro sintoma.
Assim como no inicio do Customer Relationship Management (CRM), organizações estão
começando a nomear os proprietários de Dados. Como acontece com qualquer disciplina
emergente, existem várias definições de Governança de Dados, mas o mercado está começando
a se cristalizar em torno da definição de tratamento de dados como um ativo.
Regras contábeis tradicionais não permitem que as empresas tratem os dados como um ativo
financeiro em seus balanços, a menos que tenham sido comprados de uma entidade externa.
Apesar de este tratamento contábil conservador, as empresas agora entendem que seus dados
devem ser tratados como um ativo semelhante ao ativo imobilizado.
Tratar dados como um ativo corporativo estratégico implica que as organizações precisam
construir estoques de seus dados existentes, como fariam para ativos físicos.
A organização típica tem uma quantidade excessiva de dados sobre os seus clientes, vendedores
e produtos. A organização pode até não saber onde tudo isso está localizado. Isso pode
representar desafios, especialmente no caso das organizações que não tratam a gestão de dados
de forma centralizada.
As organizações precisam obter o máximo valor de seus dados, iniciativas de condução, tais como
a melhoria da gestão de risco e foco no cliente.
Os dados são de uma só vez maior fonte de valor e sua maior fonte de risco. Gerenciamento de
dados pobre muitas vezes significa más decisões empresariais e
maior exposição a violações de conformidades e roubos.

14
Processo de GD
Governança de Dados DMBoK
É a autoridade de planejamento e controle sobre o gerenciamento de
Definição ativos de dados e informações.
1. Definir, aprovar e comunicar estratégias de dados, políticas,
arquitetura, procedimentos e métricas.
2. Acompanhar e forçar o cumprimento de normas regulatórias e
políticas de conformidade, padrões, arquitetura e procedimentos.
Objetivos 3. Patrocinar, acompanhar e supervisionar as entregas de projetos e
serviços de gestão de dados.
4. Gerenciar e resolver problemas relacionados a dados.
5. Entender e promover o valor dos ativos de dados

O time da Governança de Dados existe para extrair o


máximo de valor dos dados e informações presentes
na empresa. Alinhados com a estratégia do negócio e
com o apoio dos curadores de dados.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

16
Benefícios da Governança de dados

Benefícios:
✓ Dados mais consistentes, seguros e confiáveis;
✓ Melhoria contínua da qualidade dos dados;
✓ Maximização o uso de dados para tomada de decisões;
✓ Melhoria no planejamento de negócios (análise de
dados);
✓ Melhoria no desempenho operacional e financeiro;
✓ Maximização do lucro da empresa.

Através de mudanças organizacionais:


✓ Eliminar silos de dados;
✓ Encorajar o compartilhamento de conhecimento;
✓ Aumentar a colaboração e a responsabilidade;
✓ Manter os dados limpos e prontos para o uso
adequado.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

17
MDM segundo DMBoK
Gestão de dados mestres e referência
Planejar, implementar e controlar atividades para garantir a consistências de
Definição dados mestres e referência.

1. Prover fonte de dados mestres e de referência com confiabilidade


Objetivos 2. Diminuir custos e risco por meio de reuso de dados e padrões
3. Suportar BI e integrações entre sistemas

Entradas: Produtos:
• Diretrizes do negócio • Requisitos de dados mestres
• Requisitos de dados • Modelos de dados e
• Políticas e regulamentações documentação
• Padrões • Dados mestres e de referência
• Dados transacionais confiáveis
• Relatórios e métricas de
qualidade de dados
• Rotinas de limpeza de dados
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Gestão de dados mestres e referência


Definição: Planejar, implementar e controlar atividades para garantir a consistências de dados
mestres e referência.

Objetivos:
1. Prover fonte de dados mestres e de referência com confiabilidade
2. Diminuir custos e risco por meio de reuso de dados e padrões
3. Suportar BI e integrações entre sistemas

Entradas: Diretrizes do negócio, Requisitos de dados, Políticas e regulamentações, Padrões,


Dados transacionais
Produtos: Requisitos de dados mestres, Modelos de dados e documentação, Dados mestres e de
referência confiáveis, Relatórios e métricas de qualidade de dados, Rotinas de limpeza de dados
Fornecedores: Diretoria Executiva, Gestores de dados, Especialistas do negócio, Arquiteto de
dados, Analistas de dados,
Participantes: Gestores de dados, Especialistas do negócio, Arquiteto de dados, Analistas de
dados, Arquitetos de aplicação, profissionais de TI.
Ferramentas: Ferramenta de modelagem de dados, ferramentas de modelagem de processos,
repositório de metadados, ferramentas de limpeza de dados, ferramentas de integração,
ferramenta de gestão de mudanças.
Consumidores: Usuários de sistemas, arquitetos e desenvolvedores de aplicações.
Métricas: Qualidade de dados mestres, indicadores de mudanças, uso e reuso dos dados mestres,
disponibilidade.

18
Definindo MDM corporativo
Assuntos de dados corporativos: São assuntos principais do
negócio da empresa representados pelas entidades, por
exemplo, Clientes, Produtos, Serviços, Fornecedores, Pacientes,
Locais, etc.

Dados Mestres: São os dados mais críticos para o bom


funcionamento operacional do negócio e para análise de seus
indicadores de performance.

A interação entre entidades de dados cadastrais resultam em


dados transacionais do negócio, os dados mestres são de
natureza cadastral e não transacional.

Enterprise Master Data Management: É o processo que


trata os Dados Mestres de vários assuntos do negócio.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

19
Objetivo do MDM
Chegar ao “Golden Data”: O conjunto de registros que
atendem os requisitos de qualidade estipulados pela
Governança de Dados e necessários para empresa atingir seus
objetivos estratégicos.

O dado de ouro expressam uma única versão de uma entidade, são a


“verdade” conhecida sobre a entidade na corporação.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

20
Escolher os domínios do MDM

Valor para Negócio

Volume

Volatilidade

Reusabilidade

Complexidade

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Valor para o negócio: este é o primeiro fator a ser considerado na escolha do domínio de negócio
para fazer parte do MDM, por isso em muitas empresas a gestão do cadastro de cliente aparece
como o primeiro assunto a ser tratado pelo MDM, mas ele não deve ser o único. Devemos
reconhecer o valor de outros domínios.

Volume: está diretamente relacionado a necessidade de automação de dados mestres, por


exemplo uma empresa com pouca variedade de produtos, algumas dezenas de registros não
deve ter a mesma necessidade de automação de gestão de cadastros que uma empresa que tem
milhares de produtos, como uma empresa de varejo de pode ter milhares de produtos.

Volatilidade: diz respeito a frequência de mudanças do conjunto de dados, se o dado é estável


provavelmente não será tão necessário tratá-lo processo de MDM, mas por exemplo, na gestão
de dados de clientes pessoa física, o nome e CPF devem ser constantes (se estão corretos), mas
dados de contato como endereço e telefone, alteram com certa frequência e se são importantes
para o negócio devem ser mantidos através de um processo de MDM.

Reusabilidade: quanto mais um conjunto de dados é reutilizado através dos processos da


empresa, mais benefícios teremos do MDM. O que a empresa precisa são de dados precisos,
consistentes e corretos para o perfeito funcionamento de todos os seus processos.

Complexidade: existem conjuntos de dados dentro da empresa que apresentam uma grande
quantidade de atributos, e para cada departamento ou área de negócio uma parte destes
atributos são mais importantes do que os outros. Por exemplo o cadastro de materiais em uma
indústria, para a engenharia de manufatura temos atributos relevantes a produção, e para a
equipe de contabilidade outros atributos relacionado ao custo.

21
Objetivo do MDM?

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

22
O que é Qualidade de Dados?

Conceito geral de qualidade:


A qualidade é simultaneamente um atributo e uma propriedade inerente das coisas,
que permite que estas sejam comparadas com outras da mesma tipologia ou
natureza. Nem sempre é fácil dar uma definição exata do termo qualidade, uma vez
que a respectiva apreciação é subjetiva.

Qualidade é sempre relativa a um padrão ou parâmetro.

Gestão da Qualidade de Dados DMBoK


Planejar, implementar atividades de gestão da qualidade de dados para garantir
Definição dados adequados para o uso.

1. Promover a melhoria contínua da qualidade dos dados


2. Definir e monitorar controles de qualidade de dados dentro do ciclo de
Objetivos desenvolvimento de sistemas
3. Definir processos para medir, monitorar e reportar os níveis de qualidade de
dados aceitáveis.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

23
Características de Qualidade de Dados

- Validade e integridade, os dados existentes estão corretos?

- Acessibilidade, quando são necessários os dados estão disponíveis, ou é


necessário fazer vários pedidos até se poder ter acesso aos dados?

- Cobertura, os dados cobrem todos os aspectos do negócio? Podem existir


valores absolutos, mas também podem existir valores relativos.

- Pontualidade, Os dados estão sempre disponíveis ou é necessário esperar


algum tempo pela sua disponibilização?

- Contexto/Precisão, os dados reproduzem com precisão o que é suposto


descreverem?

- Confiabilidade, a todo o momento pode haver confiança nos dados, ou existe


momentos em que essa confiança é maior e outros em que é menor?

- Integralidade, os dados contêm toda a informação relevante?

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

A Qualidade de Dados é um conjunto de características que podemos atribuir ao um conjunto de


dados, se este conjunto de dados atende os requisitos que estabelecemos para julgar a sua
qualidade podemos dizer que ele tem um nível de qualidade aceitável. Portanto a Qualidade de
Dados não é um booleano, sim ou não, na verdade é gradual e cada processo de negócio vai
estabelecer a sua escala de medida e qual o nível de aceitação.

Os atributos que são mais usados quando se fala de qualidade de dados, são:
- Validade e integridade, os dados existentes estão corretos?
- Acessibilidade, quando são necessários os dados estão disponíveis, ou é necessário fazer
vários pedidos até se poder ter acesso aos dados?
- Cobertura, os dados cobrem todos os aspectos do negócio? Podem existir valores absolutos,
mas também podem existir valores relativos.
- Pontualidade, Os dados estão sempre disponíveis ou é necessário esperar algum tempo pela
sua disponibilização?
- Contexto/Precisão, os dados reproduzem com precisão o que é suposto descreverem?
- Confiabilidade, a todo o momento pode haver confiança nos dados, ou existe momentos em
que essa confiança é maior e outros em que é menor?
- Integralidade, os dados contêm toda a informação relevante?

24
Processo de Qualidade de Dados

1. Identificar o perfil
dos dados.
2. Estabelecer
Métricas e Metas

3. Projetar e
6. Monitorar QD Implementar Regras
contra Metas de Qualidade de
Dados

4. Integrar Regras
5. Revisar exceções
de QD no processo
e refinar regras
aquisição de dados

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

O início, os perfis de dados (1) é o elemento-chave na definição da abrangência e escopo da


qualidade de dados, a analise dos metadados, os valores de domínios, todo o contexto de
negócio, as regras do negócio, em fim tudo que lhe permite determinar o conteúdo esperado dos
dados e sua estrutura e qualidade de estruturas de dados e para descobrir inconsistências
escondidas e incompatibilidades entre as fontes de dados e aplicativos.
O estabelecimento de métricas e definição de metas (2) ajuda a TI e os gestores do negócio
medir os resultados dos esforços de qualidade de dados como parte de uma iniciativa de
Governança de Dados.
O projeto e implementação de regras de qualidade de dados (3) vai ajudar a definir e medir as
metas e os critérios para a qualidade dos dados.
Integrando regras e atividades (validação de domínio, limpeza, correspondência, correção
automatizada e gestão) com os processos de aquisição de dados com qualidade de dados (4) é
fundamental para aumentar a precisão e valor dos ativos de dados, tornando a qualidade
proativa.
Revisão de exceções e refino de regras (5) deverá ser realizado como um esforço conjunto
envolvendo membros da equipe de Qualidade de Dados e as partes interessadas da Governança
de Dados, Gestores do Negócio, equipes de BI e Data Warehouse.
Por exemplo, em muitos casos, as equipes de BI não tem controle sobre os processos de
negócios e sistemas operacionais que causam má qualidade dos dados, é por isso que é
importante envolver os principais interessados ​e executivos de toda a empresa para identificar
questões de qualidade de dados para apoiar um programa formal de qualidade dos dados.
Finalmente, o monitoramento da qualidade de dados proativa (6) por meio de painéis e
notificações em tempo real está rapidamente se tornando uma prática padrão. As equipes de BI
usam o seu conhecimento e ferramentas no processo de qualidade de dados, pois eles sabem
melhor que outras equipes quais os níveis de qualidade necessários para seus dados.

25
O que não é Governança e Qualidade!

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

26
O que é LGPD?
Lei de Proteção de Dados Pessoais (LGPD) estabelece os princípios, direitos
e deveres que deverão ser observados no tratamento de dados pessoais.

LGPD entra em vigor com multas em 01/08/2021.


Lei nº 13.709, de 14/08/2018 modificada pela Medida Provisória nº 869 de
28/12/2018 que cria a Autoridade Nacional de Proteção de Dados (ANPD).

Segurança
e
Prevenção

Finalidade e Transparência e
Qualidade Livre Acesso
Princípios
da LGPD

Responsabilização e Adequação e
prestação de contas Necessidade

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

27
Casos para o tratamento de dados pessoais

Consentimento Cumprimento Execução de Interesses Proteção ao


, autorização de obrigação contrato ou legítimos do crédito
consciente do legal ou procedimentos controlador ou
titular dos regulatória. preliminares de terceiros.
dados em que é parte
armazenada e e a pedido
com validade deste.
definida.

Os dados devem ser utilizados para a realização das suas


finalidades, com abrangência dos dados pertinentes,
proporcionais e não excessivos em relação às finalidades do
tratamento de dados.
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

28
Envolvidos
Titular •A quem se referem os dados pessoais

Controlador •Responsável pelas decisões sobre o tratamento

Operador •Quem faz o tratamento em nome do controlador

Encarregado •Canal de comunicação entre controlador, titulares e a ANPD

ANPD •Autoridade Nacional de Proteção de Dados vinculada a presidência da republica


que deverá regulamentar e fiscalizar órgãos públicos e empresas privadas.

Direitos do titular de dados:


• Confirmação da existência de tratamento;
• Acesso e correção de dados incompletos, inexatos ou desatualizados;
• Anonimização, bloqueio ou eliminação de dados desnecessários;
• Portabilidade (resguardados os segredos comercial e industrial);
• Revogação do consentimento/eliminação dos dados;
• Informação sobre com quem os dados foram compartilhados...

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

29
CONHECENDO OS PROCESSOS DA
GESTÃO DE DADOS

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

30
O processo de Gestão de Dados

Gestão de Dados
O planejamento, execução e fiscalização de políticas, práticas e projetos para
Definição adquirir, controlar, proteger, entregar e enriquecer o valor dos ativos de dados e
informações.

Garantir disponibilidade, qualidade e segurança necessárias para todos os


Missão Stakeholders.
1. Entender quais são as informações necessárias para a organização e seus
Stakeholders
2. Capturar , armazenar, proteger, garantir a integridade dos ativos de dados
Objetivos 3. Incrementar continuamente a qualidade dos dados e informações
4. Assegurar privacidade e confidencialidade, visando evitar o acesso não
autorizado ou inapropriado
5. Maximizar a efetividade do uso dos ativos de dados e informações

Entradas: Produtos:
• Estratégias do negócio • Estratégias de Dados
• Atividades do negócio • Arquitetura de Dados
• Atividade de TI • Serviços de Dados
• Necessidades de Dados • Dados, Informações e
e Informações Conhecimento
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Definição: O planejamento, execução e fiscalização de políticas, práticas e projetos para adquirir,


controlar, proteger, entregar e enriquecer o valor dos ativos de dados e informações.
Missão: Garantir disponibilidade, qualidade e segurança necessárias para todos os Stakeholders.
Objetivos :
1. Entender quais são as informações necessárias para a organização e seus Stakeholders
2. Capturar , armazenar, proteger, garantir a integridade dos ativos de dados
3. Incrementar continuamente a qualidade dos dados e informações
4. Assegurar privacidade e confidencialidade, visando evitar o acesso não autorizado ou
inapropriado
5. Maximizar a efetividade do uso dos ativos de dados e informações
Entradas: Estratégias do negócio, Atividades do negócio, Atividade de TI, Necessidades de Dados
e Informações
Produtos: Estratégias de Dados, Arquitetura de Dados, Serviços de Dados, Dados, Informações e
Conhecimento
Fornecedores: Criadores de dados, Executivos, Fontes externas, Entidades regulatórias
Participantes: Criadores de dados, Consumidores de informações, Gestores de dados,
Profissionais de dados, Executivos
Ferramentas: Ferramentas de Modelagem de dados, Sistemas de gerenciamento de banco de
dados, Ferramentas de integração de dados e qualidade, Ferramentas de BI, Ferramentas de
gerenciamento de documentação, Repositórios de metadados
Consumidores: Funcionários em geral, Analistas de negócio, Gerentes, Executivos, Clientes
internos e externos
Métricas: Valor dos dados, Qualidade de dados, Métricas dos processos abaixo da Gestão de
Dados (custo da gestão de dados, atingimento de objetivos, disponibilidade dos bancos de dados,
etc)

31
Escopo da Gestão de Dados

Arquitetura
de Dados
Desenvolvi
Qualidade
mento de
de Dados Dados

Operações
Metadados
de Dados

Governança
de Dados
Documentos e Segurança
Conteúdo de Dados

Big Data, Dados


BI e DW Mestres
Integrações

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

O framework mais abrangente da Gestão de Dados Corporativo é uma estrutura


de funções ou processos para implementação da Gestão de Dados. Foi
documentado pelo DAMA através da coleta de informações dos seus associados e
colaboradores e está documentado no DMBOK - Data Management Body of
Knowledge.

A visão global da Gestão de Dados é dividida em 10 funções, ou processos de


gestão:
1. Governança de dados
2. Gestão da Arquitetura de dados
3. Desenvolvimento de dados
4. Gerenciamento operacional de banco de dados
5. Gestão da Segurança de dados
6. Gerenciamento de dados mestres e de referência
7. Gerenciamento do DW e BI
8. Gerenciamento da documentação e conteúdo
9. Gerenciamento de Metadados
10. Gerenciamento da Qualidade de dados

32
Governança de Dados
Governança de Dados
É a autoridade de planejamento e controle sobre o gerenciamento de ativos de
Definição dados.

1. Definir, aprovar e comunicar estratégias de dados, políticas, arquitetura,


procedimentos e métricas.
2. Acompanhar e forçar o cumprimento de normas regulatórias e políticas de
conformidade, padrões, arquitetura e procedimentos.
Objetivos 3. Patrocinar, acompanhar e supervisionar as entregas de projetos e serviços
de gestão de dados.
4. Gerenciar e resolver problemas relacionados a dados.
5. Entender e promover o valor dos ativos de dados

Entradas: Produtos:
• Metas e estratégias de negócio • Políticas de Dados
• Objetivos e estratégias de TI • Padrões de Dados
• Necessidades de Dados • Projetos e Serviços de Dados
e Informações • Dados, Informações
• Requisitos normativos qualificadas
• e regulatórios • Valor do dado reconhecido

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Governança de Dados
Definição: É a autoridade de planejamento e controle sobre o gerenciamento de ativos de dados.
Objetivos:
1. Definir, aprovar e comunicar estratégias de dados, políticas, arquitetura, procedimentos e
métricas.
2. Acompanhar e forçar o cumprimento de normas regulatórias e políticas de conformidade,
padrões, arquitetura e procedimentos.
3. Patrocinar, acompanhar e supervisionar as entregas de projetos e serviços de gestão de
dados.
4. Gerenciar e resolver problemas relacionados a dados.
5. Entender e promover o valor dos ativos de dados
Entradas: Metas e estratégias de negócio, Objetivos e estratégias de TI, Necessidades de Dados
e Informações, Requisitos normativos e regulatórios
Produtos: Políticas de Dados, Padrões de Dados, Projetos e Serviços de Dados, Dados,
Informações qualificadas, Valor do dado reconhecido
Fornecedores: Executivos de negócios, Executivos de TI, Gestores de dados, Entidades
regulatórias (que vão fornecer normas e regulamentações, por exemplo: COBIT, SOX, Basiléia II,
PCI-DSS)
Participantes: Gestores executivos, Coordenadores de sistemas de dados, Gestores de dados de
negócio, Administradores de dados, Executivos de gestão de dados, CIO
Ferramentas: Repositórios de Metadados, Ferramentas de documentação e armazenamento de
metadados, Ferramenta de gestão de problemas, Dashboard com KPI em Governança de dados
Métricas: Valor do dado, Custo da Gestão de dados, Objetivos atingidos, Quantidade de decisões
tomadas, Horas trabalhadas por profissionais da gestão de dados, Maturidade dos processos de
administração de dados

33
Estabelecendo a Governança de Dados
Construa a Visão

Defina Padrões

Organize

Envolva

Construa

Execute

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Uma vez que a equipe de governança de dados foi definida, ele deve determinar o estado atual
dos dados da organização, fazer um programa de governança e entregar um plano de para o
estado futuro. Após a conclusão da avaliação, a equipe está pronta para criar uma estratégia
para a melhoria das práticas de governança de dados da empresa e calcular o risco
organizacional.
O controle de dados pode ser atingido utilizando os seis passos:
1. Construa uma visão clara e alcance sua iniciativa de governança de dados para que você possa
garantir que a sua organização é capaz de cumpri-la.
2. Defina padrões e relacionar com a lógica do negócio para dar significado a sua importância,
definir os benefícios que podem ser alcançados e qual o nível de
qualidade deve ser alcançada para perceber o benefício (nem sempre 100%) e criar indicadores
que mostram que os benefícios estão sendo alcançados.
3. Organize a governança de dados de forma adequada para a gestão dos padrões definidos. Isso
inclui papéis e responsabilidades nos processos usados ​para gerenciar atividades de aquisição e
coleta de dados.
4. Envolva o "dono dos dados" para obter normas e construir um roteiro de qualidade de dados
coerente com o negócio.
5. Construa um roteiro de qualidade de dados que documenta o nível de qualidade atual, mede
contra as metas de qualidade e propõe ações para
Corrigir problemas ou manter uma boa qualidade.
6. Execute as atividades de medição preenchendo os papéis de governança de dados para atingir
a conformidade atual e gerenciar as atividades identificadas no roteiro de qualidade de dados.

34
Atividades da Governança de Dados
Planejamento da Governança de Dados
1. Entender as necessidades estratégicas de dados da empresa
2. Desenvolver e manter a estratégia de dados
3. Estabelecer papéis dos profissionais e das organizações de
dados
4. Identificar e apontar gestores de dados
5. Estabelecer organizações de gestão de dados e governança
6. Desenvolver e aprovar políticas, padrões e procedimentos
7. Rever e aprovar arquitetura de dados
8. Planejar e patrocinar projetos e serviços de gestão de dados
9. Estimar valor dos ativos de dados e custos associados

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

35
Atividades da Governança de Dados
Controle da Gestão de Dados
1. Supervisionar equipe e organizações
2. Coordenar atividades de governança
3. Gerenciar e resolver problemas relacionados a dados
4. Monitorar e forçar o cumprimento de regulamentações
5. Monitorar e forçar a conformidade com políticas, padrões e
arquiteturas
6. Supervisionar projetos e serviços de gestão de dados
7. Comunicar e promover o valor dos ativos de dados

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

36
Programa Governança de Dados

Proj.
Arquitetura
de Dados Proj.
Proj.
Desenvolvi
Qualidade mento de
de Dados Dados

Proj.
Proj.
Metadados Programa Operações
de Dados
Governança
de Dados
Proj. Proj.
Documentos e Segurança
Conteúdo de Dados

Proj. Dados
Proj. BI e
Mestres e
DW Referência

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

37
Arquitetura de dados
Gestão da Arquitetura de Dados
Determinação dos dados necessário da organização e o desenho do diagrama
Definição mestre para atingir estas necessidades.

1. Planejar com visão e previsão para prover dados de alta qualidade


2. Identificar e definir requisitos comuns de dados
Objetivos 3. Desenhar estruturas conceituais e planos para atingir requisitos atuais e de
longo-prazo da organização

Entradas: Produtos:
• Metas e estratégias de negócio • Modelo de dados conceitual
• Objetivos e estratégias de TI • Cadeia de valor das
• Arquitetura de negócio informações
• Arquitetura de processos • Arquitetura de tecnologia de
• Necessidades de Dados dados
e Informações • Integração de dados
• Arquitetura técnica • Arquiteturas de MDM, BI, DW,
metadados e gestão de
documentos
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Gestão da Arquitetura de Dados


Definição: Determinação dos dados necessário da organização e o desenho do diagrama mestre
para atingir estas necessidades.
Objetivos:
1. Planejar com visão e previsão para prover dados de alta qualidade
2. Identificar e definir requisitos comuns de dados
3. Desenhar estruturas conceituais e planos para atingir requisitos atuais e de longo-prazo da
organização

Fornecedores: Executivos, Gestores de Dados, Produtores de Dados, Consumidores de


Informação
Participantes: Gestores de Dados, Especialistas por área de negócio, Arquitetos de dados,
Analistas de dados e modeladores, Executivos e gerentes da gestão de dados, CIO, DBAs,
Administradores de modelos de dados
Ferramentas: Ferramentas de modelagem de dados, Repositórios de metadados, Ferramentas de
produtividade e automação, Ferramentas de gestão e qualidade de modelos de dados
Consumidores: Gestores de dados, Arquiteto de dados, Analistas de dados, DBAs,
Desenvolvedores de software, Gerente de projetos, Gestores do conhecimento, Gerentes e
Executivos

38
Onde entra a Arquitetura de dados

Estratégia

Programas de
melhoria do negócio

Modelos de Arquitetura de
Dados Corporativos

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

39
Atividades Gestão da Arquitetura de Dados
1. Entender as necessidades de informações da organização
2. Desenvolver e manter o modelo de dados corporativo
3. Analisar e alinhar com outros modelos de negócio
4. Definir e manter a arquitetura de tecnologia de dados
5. Definir e manter a arquitetura de integração de dados
6. Definir e manter a arquitetura de DW e BI
7. Definir e manter as taxonomias e domínios únicos da
organização
8. Definir e manter a arquitetura de metadados

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

40
Desenvolvimento de dados
Desenvolvimento de Dados
Projetar, implementar e manter soluções para atender as necessidades de dados
Definição da organização.

1. Identificar e definir requisitos de dados


2. Projetar estruturas de dados e outras soluções para estes requisitos
3. Implementar e manter componentes de soluções que atendam estes
requisitos
Objetivos 4. Garantir solução em conformidade para a arquitetura de dados e padrões
apropriados
5. Garantir a integridade e segurança, usabilidade e manutenção das
estruturas de dados

Entradas: Produtos:
• Metas e estratégias de negócio • Modelo de dados conceitual
• Objetivos e estratégias de TI • Modelos de dados lógicos
• Arquitetura de dados • Metadados técnicos e de
• Arquitetura de processos negócio
• Necessidades de Dados • Modelo de dados físico
e Informações • Dados migrados e convertidos
• Arquitetura técnica • Regras de negócio
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Desenvolvimento de Dados
Definição: Projetar, implementar e manter soluções para atender as necessidades de dados da
organização.
Objetivos:
1. Identificar e definir requisitos de dados
2. Projetar estruturas de dados e outras soluções para estes requisitos
3. Implementar e manter componentes de soluções que atendam estes requisitos
4. Garantir solução em conformidade para a arquitetura de dados e padrões apropriados
5. Garantir a integridade e segurança, usabilidade e manutenção das estruturas de dados
Entradas: Metas e estratégias de negócio, Objetivos e estratégias de TI, Arquitetura de dados,
Arquitetura de processos, Necessidades de Dados e Informações
Arquitetura técnica
Produtos: Modelo de dados conceitual, Modelos de dados lógicos, Metadados técnicos e de
negócio, Modelo de dados físico, Dados migrados e convertidos, Regras de negócio
Fornecedores: Gestores de Dados, Especialistas por área de negócio, Comitê de gestão de TI,
Conselho de Governança de dados, Analistas e Arquitetos de dados, desenvolvedores de software
Participantes: Arquitetos de dados, Analistas de dados e modeladores, DBAs, Administradores de
modelos de dados, desenvolvedores de software, executivos de ti e de gestão de dados
Ferramentas: Ferramentas de modelagem de dados, Sistemas Gerenciador de Banco de Dados
(SGBD), ferramentas de desenvolvimento de software, ferramentas de testes, ferramentas de
gestão de modelos, ferramenta de gestão configuração e mudanças, ferramentas de
produtividade e qualidade
Consumidores: Gestores de dados, Arquiteto de dados, Analistas de dados, DBAs,
Desenvolvedores de software, Gerente de projetos, Gestores do conhecimento, Gerentes e
Executivos, equipe de TI, clientes.

41
Atividade do Desenvolvimento de Dados
1. Modelagem de dados, projetos e análises de soluções, para
produzir modelos conceituais, lógicos e físicos.
2. Projeto de dados detalhado, banco de dados físico, serviços
de acesso a dados, integração de dados.
3. Gestão da qualidade de modelos de dados
4. Desenvolver padrões de modelagem de dados
5. Gerenciar o versionamento de modelos
6. Desenvolver e implementar testes em bancos de dados
7. Criar e manter dados de testes
8. Validar requisitos de informação
9. Preparar rotinas para implementação
em produção

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

42
Gerenciamento operacional de banco de dados
Gestão operacional de Dados
Planejar, controlar e suportar estrutura de dados por todo ciclo de vida , desde
Definição a criação e aquisição até o arquivamento e eliminação.

1. Proteger e garantir a integridade dos ativos de dados


Objetivos 2. Gerenciar a disponibilidade do dado em todo ciclo de vida
3. Melhorar continuamente o desempenho das transações de banco de dados

Entradas: Produtos:
• Requisitos de dados • Banco de dados de produção,
• Arquitetura de dados ambiente de testes,
• Modelo de dados desenvolvimento e
• Dados legados homologação.
• Acordo de nível de serviço • Desempenho do banco dados
• Arquitetura técnica • Plano de recuperação de
desastres e continuidade
• Plano de retenção,
arquivamento e eliminação

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Gestão operacional de Dados


Definição: Planejar, controlar e suportar estrutura de dados por todo ciclo de vida , desde a
criação e aquisição até o arquivamento e eliminação.
Objetivos:
1. Proteger e garantir a integridade dos ativos de dados
2. Gerenciar a disponibilidade do dado em todo ciclo de vida
3. Melhorar continuamente o desempenho das transações de banco de dados
Entradas: Requisitos de dados, Arquitetura de dados, Modelo de dados, Dados legados, Acordo
de nível de serviço, Arquitetura técnica.
Produtos: Banco de dados de produção, ambiente de testes, desenvolvimento e homologação,
Desempenho do banco dados, Plano de recuperação de desastres e continuidade, Plano de
retenção, arquivamento e eliminação
Fornecedores: Gestores de Dados, Especialistas por área de negócio, Comitê de gestão de TI,
Conselho de Governança de dados, Analistas e Arquitetos de dados, desenvolvedores de software
Participantes: Arquitetos de dados, Analistas de dados e modeladores, DBAs, Administradores de
modelos de dados, desenvolvedores de software, gerentes de projetos, gestores de dados,
operadores de TI (produção)
Ferramentas: Ferramentas de modelagem de dados, Sistemas Gerenciador de Banco de Dados
(SGBD), ferramentas de administração de banco de dados, ferramenta de gestão configuração e
mudanças, ferramentas de produtividade e qualidade
Consumidores: Usuários de sistemas, Gerente de projetos, Gestores do conhecimento, Gerentes e
Executivos, equipe de TI, clientes.
Métricas: Disponibilidade e Desempenho

43
Atividades da Gestão da Operação
1. Suporte a banco de dados
2. Implementar e controlar ambientes de banco de dados
3. Obter dados de fontes externas
4. Planejar a recuperação de dados
5. Criar backups e recuperar
6. Ajustar níveis de serviço para desempenho de banco de
dados

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

44
Atividades da Gestão da Operação

1. Monitorar e otimizar o banco de dados


2. Planejar a retenção e eliminação de dados
3. Entender os requisitos de tecnologia de dados
4. Definir a arquitetura de tecnologia de dados
5. Avaliar novas tecnologias para operação de dados
6. Instalar e administra tecnologias de dados
7. Suportar o uso da tecnologia de dados

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

45
Segurança de dados
Gestão Segurança de Dados
Planejar, desenvolver e executar procedimentos e políticas de segurança para
Definição prover autenticação, autorização, auditoria e acesso a dados e informações.

1. Permitir o acesso e alteração de dados de forma apropriada, e prevenir o


acesso e alterações indevidas
2. Atender requisitos regulatórios e normativos de privacidade e
Objetivos confidencialidade
3. Garantir que as necessidades de segurança, privacidade e confidencialidade
sejam atendidas

Entradas: Produtos:
• Metas do negócio • Políticas de segurança
• Estratégias do negócio • Padrões de privacidade e
• Regras e políticas de confidencialidade
segurança e privacidade • Perfis de usuários e grupos de
• Normas e regulamentações acessos
• Controles de segurança
• Trilha de auditoria de acesso a
dados
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Gestão Segurança de Dados


Definição: Planejar, desenvolver e executar procedimentos e políticas de segurança para prover
autenticação, autorização, auditoria e acesso a dados e informações.
Objetivos:
1. Permitir o acesso e alteração de dados de forma apropriada, e prevenir o acesso e alterações
indevidas
2. Atender requisitos regulatórios e normativos de privacidade e confidencialidade
3. Garantir que as necessidades de segurança, privacidade e confidencialidade sejam atendidas
Entradas: Metas do negócio, Estratégias do negócio, Regras e políticas de segurança e
privacidade, Normas e regulamentações.
Produtos: Políticas de segurança, Padrões de privacidade e confidencialidade, Perfis de usuários e
grupos de acessos, Controles de segurança, Trilha de auditoria de acesso a dados
Fornecedores: Gestores de dados, Comitê gestor de TI, Conselho de Gestão, Governo, clientes.
Participantes: Gestores de dados, Administradores de segurança da informação, DBAs, Analistas
de BI, Arquitetos de dados, CIO, Analista de suporte.
Ferramentas: Sistemas de Gerenciador de Banco de Dados (SGBD), Ferramentas de BI,
Frameworks de Aplicação, Sistemas de Gestão de Identidades, Sistemas de gestão de mudanças.
Consumidores: Usuários de sistemas, Gerentes, Executivos, Clientes, Profissionais da gestão de
dados.

46
Atividades da Segurança de Dados
1. Entender necessidades de segurança de dados e requisitos
regulatórios
2. Definir política de segurança de dados
3. Definir padrões de segurança de dados
4. Definir controles de segurança de dados
5. Gerenciar usuários, grupos e perfis
6. Monitorar comportamento de acesso e autenticações de
usuários
7. Classificar o nível de confidencialidade da informação
8. Auditar segurança de dados

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

47
Dinâmica de Grupo

Discutir em grupo projetos para melhoria da


Arquitetura, Desenvolvimento, Operação e
Segurança de Dados. E como estes projetos
podem fazer parte de um Programa de
Governança de Dados.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

48
Gestão de dados mestres e referência
Gestão de dados mestres e referência
Planejar, implementar e controlar atividades para garantir a consistências de
Definição dados mestres e referência.

1. Prover fonte de dados mestres e de referência com confiabilidade


Objetivos 2. Diminuir custos e risco por meio de reuso de dados e padrões
3. Suportar BI e integrações entre sistemas

Entradas: Produtos:
• Diretrizes do negócio • Requisitos de dados mestres
• Requisitos de dados • Modelos de dados e
• Políticas e regulamentações documentação
• Padrões • Dados mestres e de referência
• Dados transacionais confiáveis
• Relatórios e métricas de
qualidade de dados
• Rotinas de limpeza de dados
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Gestão de dados mestres e referência


Definição: Planejar, implementar e controlar atividades para garantir a consistências de dados
mestres e referência.
Objetivos:
1. Prover fonte de dados mestres e de referência com confiabilidade
2. Diminuir custos e risco por meio de reuso de dados e padrões
3. Suportar BI e integrações entre sistemas
Entradas: Diretrizes do negócio, Requisitos de dados, Políticas e regulamentações, Padrões,
Dados transacionais
Produtos: Requisitos de dados mestres, Modelos de dados e documentação, Dados mestres e de
referência confiáveis, Relatórios e métricas de qualidade de dados, Rotinas de limpeza de dados
Fornecedores: Diretoria Executiva, Gestores de dados, Especialistas do negócio, Arquiteto de
dados, Analistas de dados,
Participantes: Gestores de dados, Especialistas do negócio, Arquiteto de dados, Analistas de
dados, Arquitetos de aplicação, profissionais de TI.
Ferramentas: Ferramenta de modelagem de dados, ferramentas de modelagem de processos,
repositório de metadados, ferramentas de limpeza de dados, ferramentas de integração,
ferramenta de gestão de mudanças.
Consumidores: Usuários de sistemas, arquitetos e desenvolvedores de aplicações.
Métricas: Qualidade de dados mestres, indicadores de mudanças, uso e reuso dos dados mestres,
disponibilidade.

49
Serviços de Dados Mestres

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

50
Atividades da gestão de dados mestres
1. Entender as necessidades de dados mestres e de referência
2. Identificar fontes de dados mestres
3. Definir e manter arquitetura de integração de dados
4. Implementar soluções de dados mestres e de referência
5. Estabelecer os dados “de ouro” (alta qualidade em forma e
conteúdo)
6. Definir e manter hierarquias
7. Planejar e implementar integrações de novas fontes de
dados
8. Replicar e distribuir dados mestres e de referência
9. Gerenciar mudanças de dados mestre e de referência

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

51
Gerenciamento do DW e BI
Gestão de DW e BI
Planejar, implementar e controlar processos para prover dados de suporte a
Definição tomada de decisão e sistemas que geram conhecimento, análises, consultas e
relatórios.
1. Suportar e permitir efetiva análise de negócio e tomada de decisões com
Objetivos base de informações precisas e confiáveis
2. Construir e manter o ambiente e infraestrutura analítica para DW e BI

Entradas: Produtos:
• Diretrizes do negócio • Arquitetura de DW e BI
• Requisitos de dados e qualidade • Data Warehouse e Data Marts
• Requisitos de segurança • Cubos OLAP
• Arquitetura de dados • Dashboards e Scoredcards
• Padrões e diretrizes de • Aplicações analíticas
modelagem de dados • Mineração de dados e
• Dados transacionais ferramentas estatísticas
• Dados mestres e de referência • Aplicações de BI
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Gestão de DW e BI
Definição: Planejar, implementar e controlar processos para prover dados de suporte a tomada
de decisão e sistemas que geram conhecimento, análises, consultas e relatórios.
Objetivos: Suportar e permitir efetiva análise de negócio e tomada de decisões com base de
informações precisas e confiáveis
Construir e manter o ambiente e infraestrutura analítica para DW e BI.
Entradas: Diretrizes do negócio, Requisitos de dados e qualidade, Requisitos de segurança,
Arquitetura de dados, Padrões e diretrizes de , modelagem de dados, Dados transacionais, Dados
mestres e de referência.
Produtos: Arquitetura de DW e BI, Data Warehouse e Data Marts, Cubos OLAP, Dashboards e
Scoredcards, Aplicações analíticas, Mineração de dados e ferramentas , statísticas, Aplicações de
BI.
Fornecedores: Executivos e Gerentes, Especialistas do negócio, Conselho de Governança de
dados, Analistas e arquitetos de dados
Participantes: Executivos de Negócio e TI, Gerente de BI, Gestores de dados, Gerentes de
projetos, Analistas e arquitetos de dados, Especialistas em integração de dados, Analistas de BI,
DBAs, Analistas de segurança.
Ferramentas: SGBD, ferramentas de ETL, ferramentas de BI, ferramentas de modelagem de
dados, ferramenta de qualidade de dados.
Consumidores: Usuários de sistemas, gerentes e executivos, sistemas e clientes externos,
profissionais de TI.
Métricas: Utilização do DW e BI, Nível de satisfação do usuário, cobertura das áreas de negócio,
Desempenho e tempo de resposta.

52
Atividades da Gestão de DW e BI
1. Entender as necessidades de informações de BI
2. Definir e manter a arquitetura de DW e BI
3. Implementar Datawarehouse e DataMarts
4. Implementar ferramentas de BI e interfaces para usuários
5. Criar, manter e Processar dados para o DW e BI (ETL)
6. Criar e manter modelos de dados para DW e DataMarts
7. Monitorar e otimizar processos e atividades do DW e BI

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

53
Gestão da documentação e conteúdo
Gestão da Documentação e Conteúdo
Planejar, implementar e controlar processos para armazenar, proteger, permitir o
Definição acesso a dados em arquivos , incluindo textos, gráficos, imagens, áudio e vídeo.

1. Proteger e garantir a disponibilidade de ativos de dados armazenados em


formatos não estruturados ou semi-estruturados
2. Permitir a recuperação e uso efetivo e eficiente de dados e informações em
formatos não estruturados
Objetivos 3. Cumprir obrigações legais e expectativas dos clientes
4. Garantir a continuidade do negócio por meio da retenção, recuperação e
conversão de documentos e conteúdos
5. Controlar custos operacionais de armazenamento de documentos

Entradas: Produtos:
• Documentos de texto • Sistema de localização de
• Relatórios registros
• Planilhas • Cartas e e-mails
• E-mail • Contratos e documentos
• Fax • Políticas e procedimentos
• Imagens • Logs e trilhas de auditoria
• Vídeos • Gerenciamento de mídias
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Gestão da Documentação e Conteúdo


Definição: Planejar, implementar e controlar processos para armazenar, proteger, permitir o
acesso a dados em arquivos , incluindo textos, gráficos, imagens, áudio e vídeo.
Objetivos:
1. Proteger e garantir a disponibilidade de ativos de dados armazenados em formatos não
estruturados ou semi-estruturados
2. Permitir a recuperação e uso efetivo e eficiente de dados e informações em formatos não
estruturados
3. Cumprir obrigações legais e expectativas dos clientes
4. Garantir a continuidade do negócio por meio da retenção, recuperação e conversão de
documentos e conteúdos
5. Controlar custos operacionais de armazenamento de documentos
Entradas: Documentos de texto, Relatórios, Planilhas, E-mail, Fax, Imagens, Vídeos.
Produtos: Sistema de localização de registros, Cartas e e-mails, Contratos e documentos, Políticas
e procedimentos, Logs e trilhas de auditoria, Gerenciamento de mídias.
Fornecedores: Funcionários e fontes externas.
Participantes: Todos os funcionários, Gestores de dados, Profissionais de TI, Executivos e
gerentes.
Ferramentas: Sistema de gestão de documentos, ferramentas de colaboração, sistemas de e-
mail, internet, sistemas de digitalização de imagens e documentos.
Consumidores: Usuários de TI e negócios, agências regulatórias, Diretores Executivos, clientes.

54
Atividades da Gestão de Documentos e Conteúdo

1. Planejar gestão de registros e documentos


2. Implementar sistema de gestão de registros e documentos
3. Backup e recuperação de documentos
4. Retenção e eliminação de documentos
5. Auditoria de documentos
6. Definir e manter as taxonomias da organização

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

55
Gerenciamento de Metadados
Gestão da Metadados
Planejar, implementar e controlar atividades para permitir o acesso a metadados
Definição integrados e de alta qualidade

1. Prover entendimento organizacional no uso de termos


Objetivos 2. Integrar metadados de diversas fontes
3. Garantir qualidade e segurança para os metadados

Entradas: Produtos:
• Requisitos de metadados • Repositório de metadados
• Arquitetura de dados • Qualidade de metadados
• Metadados técnicos, de negócio • Arquitetura e modelos de
operacionais, de processos e de metadados
gestão dos dados • Procedimentos de controle

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Gestão da Metadados
Definição: Planejar, implementar e controlar atividades para permitir o acesso a metadados
integrados e de alta qualidade
Objetivos:
1. Prover entendimento organizacional no uso de termos
2. Integrar metadados de diversas fontes
3. Garantir qualidade e segurança para os metadados
Entradas: Requisitos de metadados, Arquitetura de dados, Metadados técnicos, de negócio,
operacionais, de processos e de gestão dos dados.
Produtos: Repositório de metadados, Qualidade de metadados, Arquitetura e modelos de
metadados, Procedimentos de controle.
Fornecedores: Gestores de dados, arquitetos de dados, modeladores de dados, DBAs, Analsitas
de sistemas, entidades regulamentadoras.
Participantes: especialistas de negócio, gestores de dados, modeladores e arquitetos de dados,
DBAs, Executivos e Gestores do Negócio.
Ferramentas: Repositório de metadados, ferramenta de modelagem de dados, SGBD, ETL, BI,
modelagem de processos, ferramentas de qualidade de dados, ferramentas de gestão de dados.
Consumidores: Gestores de dados, profissionais de TI, Gerentes e Executivos, usuários, clientes.

56
Atividades da Gestão de Metadados
1. Entender os requisitos de metadados
2. Definir e manter a arquitetura de metadados
3. Desenvolver e manter padrões de metadados
4. Implementar um ambiente gerenciado de metadados
5. Criar e manter os metadados
6. Gerenciar repositório de metadados
7. Distribuir e entregar metadados
8. Consultar e analisar metadados

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

57
Gerenciamento da Qualidade de dados
Gestão da Qualidade de Dados
Planejar, implementar atividades de gestão da qualidade de dados para garantir
Definição dados adequados para o uso.

1. Promover a melhoria contínua da qualidade dos dados


2. Definir e monitorar controles de qualidade de dados dentro do ciclo de
Objetivos desenvolvimento de sistemas
3. Definir processos para medir, monitorar e reportar os níveis de qualidade de
dados aceitáveis.

Entradas: Produtos:
• Requisitos de negócio e dados • Padrões de qualidade
• Expectativa da qualidade • Certificação de qualidade
• Políticas e padrões • Acordo de nível de serviço da
• Metadados qualidade de dados
• Fontes de dados • Dados com qualidade
necessária.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Gestão da Qualidade de Dados


Definição: Planejar, implementar atividades de gestão da qualidade de dados para garantir dados
adequados para o uso.
Objetivos:
1. Promover a melhoria contínua da qualidade dos dados
2. Definir e monitorar controles de qualidade de dados dentro do ciclo de desenvolvimento de
sistemas
3. Definir processos para medir, monitorar e reportar os níveis de qualidade de dados aceitáveis.
Fornecedores: Fontes externas, entidades reguladoras, especialistas do negócio, arquitetos de
dados, usuários do negócio, modeladores de dados.
Participantes: Analistas de qualidade de dados, analistas de dados, DBAs, Gestores de dados.
Ferramentas: de análise estatísticas, de limpeza de dados, ETL, ferramentas de qualidade de
dados.
Consumidores: Gestores de dados, Profissionais de dados, Gerentes e Executivos, clientes.

58
Atividades da Gestão da Qualidade de dados
1. Desenvolver e promover a qualidade de dados
2. Definir requisitos de qualidade
3. Avaliar, analisar e entender a qualidade
4. Definir métricas de qualidade
5. Definir regras de qualidade para regras de negócio
6. Testar e validar requisitos de qualidade
7. Definir e aplicar nível de serviço da qualidade de dados
8. Medir e monitorar
9. Limpar e corrigir defeitos em dados

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

59
GOVERNANÇA DE DADOS EM
BIG DATA

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

60
Por que fazer Governança de dados para Big Data?

✓Evitar problemas de conformidade e regulatórios


(ex.: LGPD);
✓Aumentar a confiabilidade das informações
(garantia da qualidade);
✓Gerenciar e reduzir riscos relacionados ao
vazamento e perda de dados;
✓Qualidade de dados reduz desperdícios, retrabalho
e atrasos;
✓Maximização do uso dos ativos de dados,
melhorando a acessibilidade aos dados e
aumentando o ROI.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

61
Data Lake versus Data Warehouse

ELT ETL Data Warehouse


Data Lake
✓ Armazena qualquer tipo de ✓ Armazena dados estruturados,
dados estruturados, não- relacional e/ou dimensional;
estruturados, dados brutos; ✓ Schema-on-write, os dados são
✓ Schema-on-read, os dados são carregados no formato pré-
modelados nos programas de definido;
análises e leitura dos dados; ✓ Alto custo para grandes
✓ Baixo custo de Replicação Transformação volumes;
armazenamento; ✓ Escalabilidade limitada ou de

Data Warehouse
✓ Alta escalabilidade e facilidade alto custo e reconfiguração
Data Lake

de reconfiguração; ETL depende esforço de análise;


✓ Segurança em maturação ✓ Segurança madura
(novas ferramentas); (ferramentas consolidadas);
✓ Usuários: Cientistas de dados, ✓ Usuários: Equipe de gestão e
Analistas de dados operação da empresa.
especializados.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

62
Governança para Big Data

Organização •Estrutura de Governança de dados, Curadores de dados, comitês e


comissões;

Metadados •Definições, linhagem dos dados, metadados técnicos;

Conformidade •Políticas, segurança, privacidade, regulamentações e leis;

Qualidade •Garantia que os dados estão completos e corretos, com indicadores,


procedimento de melhoria e enriquecimento;

Integrações •Processos padronizados e documentados, fontes de dados, disponibilidade,


frequência, monitoração;

MDM •Identificação e gestão dos dados mestres, provedores e consumidores,


curadores de dados mestres;

ILM •Ciclo de vida dos dados, tempo de retenção, conformidade regulatória,


programação de expurgos, arquivamento e armazenamento.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

63
Data Lake ou Data Swamp?

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

67
TIPOS DE CURADORES DE
DADOS

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

68
Curadoria de dados e Informações

O ato de "curar" está relacionado com o zelo, cuidado e atenção com


alguma coisa.

Curadoria de
A palavra curadoria tem origem do latim "curator", que quer dizer
Dados e "aquele que administra", "aquele que tem cuidado e apreço".

Informações
O conceito de curadoria abrange um extenso campo de atividades,
desde o artístico-cultural até as perspectivas comerciais.

Classificar Avaliar Manter Proteger Distribuir

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

69
Um novo cargo ou um novo papel?
Conhecer as políticas e padrões de dados

Dominar o processo de negócio e o fluxo de dados, onde são criados, alterados e


usados

Compreender as atividades da Governança de dados e suas decisões

Desenvolver e analisar processos de gestão de dados

Ter noção de modelagem de dados e bancos de dados

Pesquisar e analisar dados de negócio

Monitorar a qualidade de dados e condições de erros

Corrigir problemas com dados

Apoiar atividade de manutenção, controle de mudanças que envolvam dados

Gerenciar o acesso a dados

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

O Curador de Dados deve:


•Conhecer as políticas e padrões de dados
•Dominar o processo de negócio e o fluxo de dados, onde são criados, alterados
e usados
•Compreender as atividades da Governança de dados e suas decisões
•Desenvolver e analisar processos de gestão de dados
•Ter noção de modelagem de dados e bancos de dados
•Pesquisar e analisar dados de negócio
•Monitorar a qualidade de dados e condições de erros
•Corrigir problemas com dados
•Apoiar atividade de manutenção, controle de mudanças que envolvam dados
•Gerenciar o acesso a dados

70
Políticas, processos e procedimentos

Políticas

Curadores de dados
Processos

Procedimentos

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Criar políticas, processos e procedimentos é um dos principais resultados iniciais do esforço da


Governança de Dados.
As políticas estabelecem um conjunto de metas e afirmam "é isso que precisamos fazer"
alinhadas com os objetivos da empresa.
Os processos, indicam as atividades, pessoas, ferramentas, regras que são necessárias para
cumprir as políticas. Um processo especifica um conjunto de tarefas de alto nível, o fluxo das
tarefas e quem é responsável por concluir cada tarefa.
Finalmente, os procedimentos descrevem em detalhes como exatamente executar as tarefas
usando conhecimento, ferramentas e técnicas.
Por exemplo uma empresa pode ter uma política que elementos de dados redundantes não são
permitidos. O processo definirá as tarefas e o fluxo, por exemplo, consultará o Curador de dados,
iniciará uma pesquisa pelo glossário de negócios pelo termo usado para o nome do elemento de
dado, efetuará uma comparação de definições, resolverá possíveis duplicidade e criará um novo
elemento de dado. Os procedimentos indicariam exatamente como você executa uma pesquisa,
que quantidade de sobreposição na definição deve sinalizar uma duplicidade, como você resolve
duplicatas e exatamente como um novo elemento de dados de negócios é criado. As políticas
estabelecidas por uma iniciativa de Governança de Dados podem incluir políticas para a própria
Governança de Dados, qualidade de dados, correção de dados, comunicação e gerenciamento de
mudanças.
Os Curadores de Dados não escrevem as políticas, mas devem estar cientes das políticas que
foram criadas. Os processos e procedimentos visam a realização de metas estabelecidas pelas
políticas. Os Curadores de Dados contribuem para a criação e melhoria dos processos e
procedimentos. Processos e procedimentos indicam como o trabalho realmente é feito, incluindo
que medidas devem ser tomadas e quem precisa aprovar as decisões. Por exemplo, quando um
problema de dados é levantado, há um processo (ou deve haver) para analisar o problema,
atribuir os indivíduos responsáveis, corrigir (ou optar por ignorar) o problema e obter aprovações
para as decisões.

71
Visão geral da Governança de Dados e os Curadores de dados

Arquitetura
de Dados
Desenvolvi
Qualidade
mento de
de Dados
Dados

Curadores Curadores
de dados de dados
Operações
Metadados
de Dados
Governança
de Dados

Documentos Segurança
e Conteúdo de Dados

Dados
BI e DW Mestres e
Referência

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

O framework mais abrangente da Gestão de Dados Corporativo é uma estrutura de


funções ou processos para implementação da Gestão de Dados. Foi documentado pelo
DAMA através da coleta de informações dos seus associados e colaboradores e está
documentado no DMBOK - Data Management Body of Knowledge.

O papel do Curador de dados aparece nos diversos processos da Gestão de dados


corporativo e suas funções.

A visão global da Gestão de Dados é dividida em 10 funções, ou processos de gestão:


• Governança de dados
• Gestão da Arquitetura de dados
• Desenvolvimento de dados
• Gerenciamento operacional de banco de dados
• Gestão da Segurança de dados
• Gerenciamento de dados mestres e de referência
• Gerenciamento do DW e BI
• Gerenciamento da documentação e conteúdo
• Gerenciamento de Metadados
• Gerenciamento da Qualidade de dados

72
Curadoria alinhada com Arquitetura Empresarial
• Existem várias possibilidades
para organização da
curadoria de dados em uma
empresa.

• O Zachman Framework é
uma ferramenta para
arquitetura corporativa que
pode ser usada para alinhar a
Curadoria de Dados e
Informações.

• Devemos observar a
Arquitetura de dados,
Arquitetura de Sistemas
(Funções), Distribuição física
(Rede), Estrutura
Organizacional (Pessoal) e
Metas e Objetivos
Estratégicos (Motivação).

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

73
O Comitê de Curadores de Dados

Comitê de Curadores de Dados


• Metas e objetivos estratégicos
• Artefatos da arquitetura de dados • Avaliam riscos e oportunidades
• Modelos de processos • Definem prioridades
• Indicadores de BI • Estabelecem objetivos
• Indicadores de Qualidade de dados • Resolvem conflitos
• Riscos e oportunidades de negócio

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

A escolha dos membros do comitê de curadores de dados é uma política de Governança de Dados
e Informações.
Os curadores executivos membros do comitê devem estar preparados para tomar decisões de
alto nível com base na visão centrada em dados e informações, artefatos da arquitetura de dados
e processos, conhecimento sobre o negócio e as metas e objetivos que a organização deve atingir
na perspectiva da Gestão de Dados e Informações.
Este papel deve ter a capacidade de:
• Entender os processos da Gestão e Governança de dados;
• Conhecer o modelo de processos da sua área de negócio em profundidade e os
outros processos de negócio da empresa;
• Conhecer as técnicas de modelagem de dados;
• Conhecer arquitetura de sistemas transacionais e de Business Intelligence;
• Apoiar na criação e manutenção do glossário de termos de negócio;
• Apoiar na criação e manutenção do modelo de dados conceitual corporativo;
• Avaliar o valor das informações e sua qualidade;
• Avaliar riscos e oportunidades associadas aos dados e negócio;
• Corrigir problemas de qualidade de dados.

74
Curador de dados corporativo
São pessoas escolhidas dentre os gestores das áreas
de negócio. Geralmente tem cargos com poder de
Equipe de Gestão do Negócio decisão.
São estes que devem participar dos comitês de
Curadores e de Governança de dados.

Este papel deve ter a capacidade de:


•Entender os processos da Gestão e Governança de
dados;
•Conhecer o modelo de processos da sua área de
Curadores de dados corporativos negócio em profundidade e os outros processos de
negócio;
•Conhecer as técnicas de modelagem de dados;
•Conhecer arquitetura de sistemas transacionais e
de Business Intelligence;

•Apoiar na criação e manutenção do glossário de termos de negócio;


•Apoiar na criação e manutenção do modelo de dados conceitual corporativo;
•Avaliar o valor das informações e sua qualidade;
•Avaliar riscos e oportunidades associadas aos dados e negócio;
•Corrigir problemas de qualidade de dados.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

75
Curador de dados de negócio
O escopo de atuação do Curador de dados de
negócio deve ser delimitado pela equipe de
Governança ou comitê de Governança de dados.
Assim ele pode atuar com responsabilidade e Curadores de dados corporativos
autoridade sobre o conjunto de dados do seu
escopo de negócio.
Deve atuar:
• Definição dos metadados corretos (glossário
de termos, nomes de entidades e atributos,
regras de validação, valores válidos, regras de
qualidade); Curadores de dados de negócio
• Identificar problemas de qualidade de dados e
suas causas;
• Acompanhar a resolução de problemas de
qualidade;
• Acompanhar o desenvolvimento de novas
soluções de tecnologia;
• Avaliar riscos e oportunidades no uso dos
dados;
• Zelar pela segurança adequada.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Curador de dados de negócio (Business Data Stewards) são tipicamente indivíduos que conhecem
os dados e trabalham diariamente com eles. Pessoas com cargos de Analista de dados ou Analista
de negócios são muitas vezes bons candidatos para assumir o papel de Curador de dados de
negócio . Naturalmente, ninguém pode saber tudo sobre todos os dados. O Curador de dados de
negócio deve saber com quem conversar em sua área para obter as informações necessárias
para cumprir o seu papel. Ter acesso a outras pessoas e recursos que trabalham com dados
significa que o Curador de dados de negócio tem autoridade para alocar o tempo do recurso para
ajudar no esforço de administração dos dados.
O escopo de atuação do Curador de dados de negócio deve ser delimitado pela equipe de
Governança ou comitê de Governança de dados. Assim ele pode atuar com responsabilidade e
autoridade sobre o conjunto de dados do seu escopo de negócio.
Deve atuar:
• Definição dos metadados corretos (glossário de termos, nomes de entidades e atributos,
regras de validação, valores válidos, regras de qualidade);
• Identificar problemas de qualidade de dados e suas causas;
• Acompanhar a resolução de problemas de qualidade;
• Acompanhar o desenvolvimento de novas soluções de tecnologia;
• Avaliar riscos e oportunidades no uso dos dados;
• Zelar pela segurança adequada.

76
Curador de dados de projeto
No cenário onde uma grande empresa tem
diversos projetos simultâneos em
desenvolvimento, Curadores de Dados de
negócio focados nas atividades diárias dos
processos, se faz necessário um Curador de
Dados focado no projeto.
Curador de dados de projeto
Uma pessoa do time de desenvolvimento de
projeto de sistemas que foi preparada para ser o
Curador de Dados do Projeto.

Com as habilidades de um curador de dados,


conhecimento no assunto de negócio objeto do
projeto.

MAS sem a autoridade do Curador de Dados de


Negócio.

Todas as decisões devem ser aprovadas pelos


Curadores de Dados de Negócio envolvidos no
projeto.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

77
Curador de dados técnico e operacional
O Curador de dados técnico é um caso especial, ele faz parte da equipe de TI e
é responsável por manter a qualidade de dados de processos de integração,
importações de dados, migrações, rotinas de ETL, resolução de entidades no
MDM.

Esta pessoa será responsável por conjuntos de dados que são adquiridos e
mantidos diretamente pela TI.

Curadores de dados técnico


Curadores de dados de negócio

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Este perfil é responsável pelo bom funcionamento de sistemas que manipulam


dados, e que eventualmente, podem apresentar problemas de qualidade.

Devem estar em constante contato com os Curadores de dados de negócio para


resolução de problemas e conflitos.

78
Estrutura de Curadoria de dados

Curadores de dados corporativos Curadores de dados corporativos

Comitê de Curadores de Dados

Curador de dados de projeto


Curadores de dados de negócio Curadores de dados técnico

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Esta é uma sugestão de estrutura de Curadoria de Dados para uma grande


empresa.

Na verdade sempre temos que analisar todos os aspectos da arquitetura


corporativa para decidir qual a estrutura de curadoria mais adequada para nossa
empresa, levando em conta as pessoas disponíveis, estrutura organizacional,
cultura empresarial, sistemas e equipe de TI, metas e objetivos da empresa
relacionados com a Gestão e Governança de dados.

E mesmo assim a estrutura pode evoluir através dos anos, de acordo com as
mudanças naturais da empresa e evolução de maturidade da Gestão de dados.

79
Determinar Curadores

Existem 3 formas
para determinar os
curadores Curadores
Corporativos
Impositiva
Curadores
Negócio
Seletiva
Curadores
Projeto ou
Técnicos
Evolutiva

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

80
DINÂMICA: ESTUDO DE CASO DE
ESTRUTURA DE CURADORES PARA
CENÁRIOS DIFERENTES

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

81
Cenário 1: Seguradora

UN: Seguro Saúde UN: Seguro Auto

UN: Seguro Dental UN: Seguro Residencial

UN: Seguro de Vida UN: Seguro Diversos

Processos de apoio – RH, TI, Jurídico, etc...

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Cenário da empresa de Seguros


A nossa empresa de seguros atua no mercado brasileiro com diversos tipos de produtos:
• Seguro Saúde
• Seguro Dental
• Seguro de Vida
• Seguro Automóveis
• Seguro Residencial
Cada produto é administrado por sua Unidade de Negócio correspondente e os sistemas que
suportam o ambiente de negócio é heterogêneo. E foram desenvolvidos em momentos diferentes
por equipes diferentes.
Temos aproximadamente 5 milhões de clientes, mas existem problemas para identificar
unicamente cada cliente, pois os sistemas das UN s são separados e completamente diferentes
em estrutura de dados.
O desafio atual da empresa é unificar a administração dos clientes em uma base centralizada,
pois atualmente cada Unidade de Negócio cuida da sua base de clientes sem nenhum tipo de
consistência ou integração, isso gera muita insatisfação dos clientes quando este contrata mais
de um produto da seguradora, e perdemos muitas oportunidades de vendas cruzadas por não
fazer a gestão unificada do cliente.
Um dos objetivos estratégico da empresa é implementar uma base centralizada de CRM para
gestão dos clientes e ao mesmo tempo integrada com os sistemas legados de cada unidade de
negócio.

82
Como pode ser a Estrutura de Curadoria de dados da Seguradora?

Curadores de dados

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

83
Cenário 2: Industria

Adventure Works
• Fabrica e vende bicicletas
• América do Norte, Ásia e Europa
• 2 plantas, Bothell-EUA e México
• Várias linhas e modelos
• Vendas no atacado (Lojas)
• Vendas no varejo pela internet
• Representantes de vendas
• 4 linhas de produtos
• Vários fornecedores
• Controle de custos da produção
• Inventário de produtos
• Documentação de engenharia
• Suporte de RH e TI

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Cenários de negócios da Adventure Works


Adventure Works Cycles é uma grande fabricante de bicicletas com presença em vários países.
A empresa fabrica e vende bicicletas de metal e compostas para os mercados norte-americano,
europeu e asiático. Embora as operações principais estejam situadas em Bothell, Washington,
com 290 funcionários, várias equipes regionais de vendas estão distribuídas por todo seu
mercado.
Em 2000, a Adventure Works Cycles adquiriu uma fábrica pequena, a Neptuno, situada no
México. A Neptuno fabrica vários subcomponentes importantes para a linha de produto Adventure
Works Cycles. Esses subcomponentes são transportados às instalações de Bothell para montagem
do produto final. Em 2001, a Neptuno se tornou o fabricante e distribuidor exclusivo do grupo de
produtos de bicicleta de passeio.
Após um ano fiscal próspero, a Adventure Works Cycles pretende ampliar sua participação no
mercado, direcionando suas vendas para seus melhores clientes, estendendo a disponibilidade
dos produtos através de um site externo e reduzindo o custo de vendas em consequência de
despesas de produção mais baixas.
As informações relativas a cliente e a vendas são uma parte significativa do negócio da Adventure
Works.
Como uma empresa fabricante de bicicletas, a Adventure Works Cycles tem dois tipos de clientes:
Indivíduos: Trata-se dos consumidores que adquirem produtos da loja online Adventure Works
Cycles.
Lojas: Trata-se das lojas de varejo ou atacado que compram produtos para revenda de
representantes de vendas Adventure Works Cycles.

84
Macro fluxo de dados da Adventure Works Cycles

Purchase request
Shipment

Manufacturing - Mexico

Production report Order


Product Request

product prices
Proposal

Order Purchase order


Vendor invoice

Invoice
Customer Central - Headquarter Central purchasing Supplier
vendor invoice

Payment

Order
Production report

Shipment Purchase request

Manufacturing - Bothell
EUA

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Como uma empresa fabricante de bicicletas, a Adventure Works Cycles tem as seguintes linhas
de produto:
Bicicletas fabricadas na empresa Adventure Works Cycles.
Componentes de bicicleta que consistem em peças de reposição, tais como, rodas, pedais, freio,
selim, etc.
Adornos de bicicleta adquiridos de fornecedores para revenda aos clientes.
Acessórios de bicicleta adquiridos de fornecedores para revenda aos clientes.
Na Adventure Works Cycles, o departamento de compras adquire matérias-primas e peças para a
fabricação de bicicletas. A empresa também adquire produtos para revenda, como adornos e
complementos para bicicletas, por exemplo, garrafas de água e bombas. Informações sobre esses
produtos e sobre os fornecedores de quem são obtidos são armazenadas no banco de dados e
são muito importantes na gestão dos custos de fabricação.
Os processos de fabricação são controlados e seguem um conjunto de atividades bem definidas
pelo departamento engenharia de produtos, as informações típicas de fabricação:
• Processos de fabricação;
• Lista de materiais: lista os produtos usados ou presentes em outro produto;
• Ordens de trabalho: ordens de fabricação por centro de trabalho;
• Locais: define as principais áreas de fabricação e estoque, como formação de quadro, pintura,
sub-montagem e assim por diante;
• Instruções de fabricação e montagem de produto por centro de trabalho;
• Inventário de produto: local físico de um produto no depósito ou área de fabricação e a
quantidade disponível naquela área;
• Documentação de engenharia: especificações técnicas e documentação de manutenção para
bicicletas ou componentes de bicicleta;

85
Como pode ser a Estrutura de Curadoria de dados da Industria?

Purchase request
Shipment

Manufacturing - Mexico

Production report Order


Product Request

product prices
Proposal

Order Purchase order


Vendor invoice

Invoice
Customer Central - Headquarter Central purchasing Supplier
vendor invoice

Payment

Order
Production report

Shipment Purchase request

Manufacturing - Bothell
EUA

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

86
IMPLEMENTANDO A
CURADORIA DE DADOS

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

87
Estrutura adequada e suficiente

Ações de Governança de dados para planejar a Curadoria de dados:


• Analisar a estrutura organizacional da empresa
• Analisar metas e objetivos relacionados com a Gestão de dados
• Analisar sistemas, módulos, aplicações
• Analisar artefatos da arquitetura de dados
• Analisar processos de negócio
• Identificar Curadores de dados
• Planejar a estrutura de Curadores e especificar suas
responsabilidades e habilidades
• Implementar através da formalização do papel do Curador de dados
com treinamentos, reuniões, palestras e ações em conjunto para
resolver problemas reais.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

88
Apoio das partes envolvidas

Uma das tarefas mais difíceis para iniciar a Governança de dados é


conquistar o apoio de todos os envolvidos no processo.

É uma mudança cultural, portanto depende do convencimento de


muitas pessoas através de argumentos teóricos e uma visão prática
dos seus resultados.

Para conquistar o apoio dos Gestores do negócio é preciso encontrar os


problemas ou oportunidades do negócio associados aos dados. Quando
demonstramos que melhorando a qualidade dos dados temos como
consequência menos riscos ou prejuízos, ou ainda ganhamos
performance ou aumento de lucro, será este o momento que teremos o
apoio necessário dos Gestores.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

89
Apoio das partes envolvidas

Precisamos obter o apoio de todos o envolvidos desde de usuários de


sistemas, analistas de negócio, analistas de sistemas, programadores,
arquitetos de sistemas, DBAs, arquitetos de dados, etc. Todos devem
entender o papel do Curador de dados na implementação da
Governança de dados.

Por isso a escolha dos Curadores é um passo fundamental para o


sucesso, principalmente dos primeiros Curadores de dados, eles devem
ser reconhecidos por todos envolvidos como pessoas experientes que
conhecem profundamente o negócio e agem para a evolução da
empresa.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

90
Entendendo a empresa
No exemplo ao lado temos uma representação de Hierarquia de Funções,
que é uma forma possível para representar as atividades de um processo
de negócio, no caso Gerenciar Produção.

Se refletimos sobre as
descrições das funções do
segundo nível podemos
questionar:
• Quais são os colaboradores
que realizam estas
atividades?
• Quais sistemas com bases de
dados eles usam?
• Quais os dados eles
consultam e criam nestas
atividades?
• Quem são os responsáveis
pelas informações e qual o
valor delas para o processo?

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

91
FERRAMENTAS INICIAIS DO
CURADOR DE DADOS

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

95
Arquitetura de Dados

A arquitetura de dados cria, mantém e divulga um


conjunto de artefatos:
- Padrões e elementos da arquitetura de dados
- Lista de termos de negócio e seu significado
- Modelo semântico, modelo conceitual de dados
- Modelo lógico de dados
- Modelo de dados físico
- Banco de dados

O Arquiteto de dados usa estes artefatos para descrever


como os dados são processados, armazenados, e utilizados
nos sistemas de informação da empresa.

A responsabilidade principal do arquiteto de dados é definir


o estado futuro do negócio em termos dos dados que
devem transitar entre os processos de negócio.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

A arquitetura de dados é disciplina que rege a estrutura dos componentes de


dados de uma organização - considerados sob diferentes níveis de abstração,
suas inter-relações, bem como os princípios, diretrizes, normas e padrões que
regem seu projeto e evolução ao longo do tempo.

A arquitetura de dados cria, mantém e divulga um conjunto de artefatos:


Padrões e elementos da arquitetura de dados
Lista de termos de negócio e seu significado
Modelo semântico, modelo conceitual de dados
Modelo lógico de dados
Modelo de dados físico
Banco de dados

O Arquiteto de dados usa estes artefatos para descrever como os dados são
processados, armazenados, e utilizados nos sistemas de informação da empresa.
A responsabilidade principal do arquiteto de dados é definir o estado futuro do
negócio em termos dos dados que devem transitar entre os processos de
negócio.

97
Glossários de termos de negócio

Glossário de termos:
• Termo de negócio
• Definição precisa
• Perfis de usuários
responsáveis ou
departamento
• Descrição de objetos
• Restrições de valores,
domínios discretos ou
contínuos

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Um glossário de termos é uma coleção de metadados que contêm definições e representações de


elementos de dados importantes para o entendimento correto do negócio. Pode conter as
seguintes informações:
• Termo de negócio
• Definição precisa
• Perfis de usuários responsável ou departamento
• Descrição de objetos
• Restrições de valores, domínios discretos ou contínuos

Podem ser mais simples, sendo controlado através de planilhas ou documentos textuais, ou em
ambientes complexos de negócios podem exigir uma infraestrutura de TI para suportar sua
manutenção e distribuição por todos os usuários interessados, através de um portal na intranet
por exemplo.

Quando uma organização constrói um dicionário de dados de dimensão empresarial, o intuito


deve ser o de criar precisamente definições semânticas a serem adotadas na empresa toda;
portanto, ele deve incluir tanto definições semânticas como de representação para elementos de
dados, sendo que os componentes semânticos focam na criação precisa do significado dos
elementos de dados, e de outro lado, as definições de representação indicam como os elementos
de dados são armazenados em uma estrutura de computador de acordo com seu tipo, ou seja, se
são dados do tipo inteiro, carácter ou formato de data. Os dicionários de dados são menos
precisos que glossários (termos e definições) porque costumam ter uma ou mais representações
de como o dado é estruturado.

98
Níveis de abstração de Modelos de Dados

Visão Detalhes Detalhes


Alto Nível do Negócio Tecnológicos

Modelagem Modelagem Modelagem


Conceitual Lógica Física

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

100
Abordagens para Construção do Modelo

Top-Down: Modelo construído a partir de


requisitos de negócio e sistemas para
suportar processos de negócio.

Bottom-up: Modelo construído a partir de


bancos de dados existentes em sistemas
que já suportam os processos de negócio.

Hybrid: Modelo construído com base tanto em


requisitos de negócio quanto em sistemas
existentes.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

101
O que é o Modelo Conceitual Corporativo?

Descreve as Entidades Principais


e seus Relacionamentos em um
diagrama simples.

Ferramenta ideal para traduzir


requisitos de sistemas, casos de
uso ou histórias de usuários para
Modelo Relacional de banco de
dados.

Modelo Conceitual

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

102
Mapeamento dos Dados

Análise de
processos
Modelos Análise de
semânticos bancos de
dados

Modelo de Análise de
Modelos de dados sistemas
dados Conceitual

Entrevistas
Plano com Gestores
Estratégico e Usuários
Documentos
de Requisitos

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

103
Elementos do modelo Entidade-Relacionamento

São objetos do “mundo real” sobre Propriedades que descrevem Relacionamento é uma associação
os quais deseja-se manter entidades. entre Entidades.
informações no banco de dados.

Entidades Atributos Relacionamento

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

105
Normalização Entidade-Relacionamento

O processo de identificação dos agrupamentos necessários e da localização


correta de cada atributo consiste num conjunto de técnicas designadas por
normalização. A normalização converte cada entidade gradualmente para
“Formas Normais”, através da aplicação sucessiva de regras que alteram o
formato dos dados da 1ªForma Normal até à 5ª Forma normal.

Normalização

• os domínios de todos os • estiver na 1FN; • estiver na 2FN;


atributos consistem apenas • todos os atributos que • os atributos que não
em valores atômicos não pertencem à chave pertencem à chave não
• não existem subgrupos dependem de toda a chave dependem de nenhum
de atributos repetidos atributo que também
não pertence à chave.

1FN 2FN 3FN

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

1ª Forma Normal
Uma relação está na 1ª forma normal (1FN) quando:
• os domínios de todos os atributos consistem apenas em valores atómicos
• não existem subgrupos de atributos repetidos
Passagem de uma entidade à 1FN:
Eliminar subgrupos repetidos, decompondo a relação em duas (ou mais) relações.
2ª Forma Normal
Uma relação está na 2ª forma normal (2FN) quando:
• estiver na 1FN;
• todos os atributos que não pertencem à chave dependem de toda a chave (e não de um
subconjunto da chave).
Passagem de uma relação à 2FN:
Separar os atributos que dependem de um subconjunto da chave, decompondo a relação em
duas (ou mais) relações.
3ª Forma Normal
Uma relação está na 3ª forma normal (3FN) quando:
• estiver na 2FN;
• os atributos que não pertencem à chave não dependem de nenhum atributo que também não
pertence à chave.
Passagem de uma relação à 3FN:
Separar os atributos que dependem de outro atributo não pertencente à chave, decompondo a
relação em duas (ou mais) relações.

108
Fluxo de dados

Fluxo de dados: Nas


linhas que ligam as
atividades estão os
dados recebidos e
produzidos em cada
atividade.

No exemplo acima de descrição de um processo na notação BPMN temos:


• Nome do Processo: Concessão de Crédito
• Cargos que executam as atividades: Gerente de Conta e Gerente do
Produto
• Eventos iniciais e finais
• Sequência de atividades
• Fluxo de dados
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

112
Matriz CRUD

A matriz de CRUD apresenta um cruzamento entre processos de


negócio e entidades informacionais, ou seja, permite visualizar
que dados são usados (e de que forma) em cada processo de
negócio.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

113
Matriz RACI
Entidade/Cur Coordenad Secretaria Professor Gerente Auxiliar
ador or da de es Financeiro Administrati
Graduação Graduação vo

Aluno A R I I I
Docente A R I CI I
Curso RA I I I
Disciplina A R RCI I I
Matrícula RA I I I
Receitas I CI A R
Despesas CI A R

Podemos construir várias matrizes RACI, por


área de negócio, por processos, por projeto,
por módulo de sistemas. O importante definir
este artefato como uma ferramenta de trabalho
dos Gestores, da Governança de dados,
Equipe de TI e os Curadores de dados.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Como usar a matriz de responsabilidades na Governança de dados?

Para atribuir as responsabilidades R, A, C e I em diversas Entidades Conceituais,


basta criar uma tabela, onde as linhas correspondem às Entidades e colunas aos
papéis e/ou cargos envolvidos (Curadores de dados).

A sigla RACI significa:

R: Responsável por manipular uma Entidade, colaborador ou grupo de


colaboradores (o executor);
A: Autoridade, quem deve responder pela entidade, o Curador de Negócio
(apenas uma autoridade pode ser atribuída por atividade);
C: Consultado, quem deve ser consultado e participar da decisão;
I: Informado, quem deve receber a informação.

Lembre-se das regras básicas:


• para toda entidade, deve existir pelo menos 01 um responsável em cadastrar
ou incluir o dado na empresa (R) e um único dono (A);
• não pode existir mais de uma autoridade para uma mesma atividade (A).

114
ESTABELECENDO A GOVERNANÇA
DO MDM CORPORATIVO

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

117
Definindo políticas
Para garantir o valor do MDM temos que focar:
• Regras e políticas de entrada de dados
• Processos operacionais para movimentar os dados

A Governança de Dados apoia o MDM na definição:


•Controle de qualidade e integridade
•Formato apropriado
•Regras de validação
•Domínios discretos (valores válidos)

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

O Valor do MDM depende fortemente da qualidade dos dados e da importância


do uso destes dados.

Para garantir o valor do MDM temos que focar:


•Regras e políticas de entrada de dados
•Processos operacionais para movimentar os dados

A Governança de Dados apoia o MDM na definição:


•Controle de qualidade e integridade
•Formato apropriado
•Regras de validação
•Domínios discretos (valores válidos)

121
Padrões de qualidade e prioridades

A criação de Dashboards com métricas de qualidade de dados mestres é


fundamental para guiar os trabalhos da equipe que mantém o MDM e
apoiar a evolução da sua maturidade.

A Governança de Dados deve apontar quais os indicadores de qualidade


de dados para cada Assunto de Negócio.

Por exemplo:
• Todo cliente deve ter pelo menos 2 formas de contatos (e-
mails, telefones, endereços). A meta deste indicador é de
95% dos clientes
• Todo produto deve ter nome único, descrição curta, descrição
longa, preço atualizado, fotos, usando termos do dicionário
corporativo para a descrição. A meta é ter 90% dos produtos
nestas condições.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

122
INTEGRAÇÃO DE DADOS NO
MDM

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

126
Processo “Entity Resolution”
Preparação
4-Reconhecer a
1-Identificar 2-Determinar 3-Definir chave fonte confiável
fontes elementos única para cada
atributo

Operação
2-Aplicar 3-Construir o
1-Avaliar a regras de registro final 4-Publicar/
duplicidade negócio e (Golden Sincronizar
qualidade Record)

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

128
APLICANDO A QUALIDADE DE
DADOS

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

135
Analisando e resolvendo problemas de qualidade
Identifique o processo de negócio e suas métricas

Identifique os sistemas que suportam o processo

Problemas do negócio associados aos defeitos nos dados

Requisitos para criar as métricas de qualidade de dados

Implemente o cálculo das métricas de qualidade de dados

Crie um plano de ação para corrigir defeitos

Execute o plano de ação e valide a efetividade através das


métricas
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Analisando e resolvendo problemas de qualidade

Através de um processo organizado podemos seguir as seguintes etapas para


identificar, medir e resolver problemas de qualidade de dados. Caso existam
muitos problemas ocorrendo ao mesmo tempo, as métricas e os processos de
negócio vão ajudar a priorizar os recursos para solucionar os problemas.

Etapas do processo de analise e solução de problemas de qualidade de dados:

1. Identifique o processo de negócio e suas métricas


2. Identifique os sistemas que suportam o processo
3. Identifique os problemas do negócio associados aos defeitos nos dados
4. Defina e organize os requisitos para criar as métricas de qualidade de dados
5. Especifique e implemente o cálculo das métricas de qualidade de dados
6. Crie um plano de ação para corrigir defeitos do passado e melhorias nos
sistema para evitar novos defeitos de dados
7. Execute o plano de ação e valide a efetividade através das métricas

136
Atividades da Qualidade

Validação Limpeza Consolidação

Reconciliação Padronização Enriquecimento

Monitoração Rastreabilidade Classificação

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

137
Construindo uma base de conhecimento para Qualidade de dados

Uma base de conhecimento para Qualidade de dados é compostas de


várias regras de qualidade que podem ser aplicadas a conjuntos de
dados para que eles sejam classificados quanto ao cumprimento da
regra.

Exemplos de regras de qualidade:


• O nome de uma pessoa ou empresa deve ser
exatamente como está no cadastro na Receita
Federal
• Pessoas vivas devem ter uma data de nascimento
coerente, isto é, o valor da idade deve estar entre 0
e 120 anos. Acima desta idade devem estar com
data de falecimento preenchida.
• Todo produto deve estar relacionado com um
departamento, categoria e sub-categoria, coerentes
com o SKU do produto.
• A totalização de vendas não devem incluir vendas
canceladas, devoluções ou estornos.
• A quantidade de estoque não pode ser um número
negativo.
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

143
Criando domínios de dados e suas regras de qualidade
Exemplos de atributos e Característica de qualidade Exemplo do problema
seus domínios e problema encontrado
Gênero Padronização: Este elemento Sistema A Gênero= M ou F
pode estar sendo registrado Sistema B Cod_gênero = 0, 1
de forma diferente em ou 2
sistemas diferentes. Sistema C Sexo = Masculino e
Feminino
Código postal Completeza: Todos os CD_CEP está preenchido em
registros estão preenchidos 80% dos registros, 20% são
dados inválidos como 00000-
000, 99999-999 etc
Fornecedor ativo Precisão: O representa Fornecedor está com a
precisamente a realidade. status=Ativo, mas não há
registros de entregas nos
últimos 5 anos e o último
contato foi feito a 6 anos.
Quantidade de estoque Validade: O dado tem um QTDE_ESTOQUE é negativa ou
valor dentro da faixa tem valores fora da realidade
esperada. do negócio acima de 10 mil.
Pessoa Unicidade: Registros das Sistema A: Nome= Caetano
mesmas pessoas ocorrem Silva
diversas vezes no mesmo Sistema B: Nome= Caetano A
sistema ou sistemas diferentes Silva
Sistema C: Nome= Caetano
Andrade Silva

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Na definição dos atributos de uma entidade começamos o trabalhado de criação


as regras de qualidade dos dados, portanto é um trabalho de definição dos
metadados e nada melhor que os Curadores de dados, que conhecem o negócio,
registrarem o escopo ou domínio dos dados que devem ser registrados nas
entidades.

144
Limpeza de dados

As ações para corrigir, remover, padronizar ou completar os


dados, usando programas ou de forma manual, são ações de
Limpeza de dados.

Portanto a aplicação das regras de qualidade nos conjuntos de


dados consiste em atividades de Limpeza de dados.

IMPORTANTE: Definir as regras de qualidade antes de sair


fazendo a limpeza, e para isso você deve olhar para os dados e
observar ou medir o que está errado. Isso é o que chamado
DATA PROFILE.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

145
AGREGANDO VALOR ATRAVÉS DA
CURADORIA DE DADOS

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

153
Melhoria da Qualidade de dados
O Curador de dados vai trabalhar identificando regras de qualidade de
dados que serão passadas para os gestores de sistemas e deverão ser
implementadas pela TI

O Curador de dados pode ter um relatório ou dashbord para monitorar


a qualidade dos dados de sua responsabilidade. Somente através da
monitoração de indicadores ele pode avaliar se a qualidade de dados
está no padrão determinado pela Governança de Dados.

Quando ações corretivas forem necessárias o Curador deve participar


da iniciativa ou projeto.

O Curador de dados pode ter acesso a ferramentas de consultas para


investigar novos problemas de qualidade, fazer o Data Profile.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

154
Estabelecendo dados de referência

Dados de referência são domínios de atributos com regras de valores


válidos bem definidas e que devem ser usadas por toda empresa, de
preferencia da mesma forma.

Portanto os Curadores de Dados devem estabelecer o conjunto de


valores válidos e a forma correta de representá-los.

É papel do Curador de Dados de Negócio fazer esta definição de


Metadados e comunicar por toda empresa, através dos canais de
comunicação da Governança de Dados.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

155
Resolução de dúvidas no entendimento das informações

A visão da realidade do negócio que o Curador de Dados tem dá a ele a


capacidade e conhecimento prático para esclarecer o correto
entendimento dos dados e informações que ele é responsável.

O Curador de dados deve ser capaz de fazer o Perfil de Dados ou Data


Profile.
Data Profiling visa definir o real estado e significado dos dados. É um
dos primeiros passos associados com as boas práticas de Governança
de Dados.

O processo de Profiling de dados é visto como um conjunto de esforços


de descoberta “do que” está armazenado nos BD e como os valores
podem diferir daqueles listados em repositórios de metadados.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

156
Regras de segurança das informações

Os Curadores de dados de Negócio tem a responsabilidade e


autoridade para determinar quem pode acessar os dados e como eles
devem ser usados.

A Governança de Dados deve apoiar este trabalho deixando claro para


organização a responsabilidade e autoridade sobre as informações e
como a empresa segue as políticas de conformidade da Segurança da
Informação.

A classificação de nível de acesso e sigilo das informações são


metadados que o Curadoria de dados deve manter.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

157
Melhoria dos metadados
“Metadados são os dados sobre os dados”
ou
“Metadados são informações estruturadas que descrevem,
explicam, localizam, ou ainda facilitem a recuperação, o uso, ou
gerenciamento de um recurso de informação.”
National Information Standards Organization(NISO)

A Curadoria de dados deve desenvolver metadados adequados para a


empresa:
• Metadados de Negócio: definições de termos de negócio, regras de
negócio, classificações, algoritmos
• Metadados técnicos: estruturas físicas de banco de dados, modelos
de dados, linhagem dos dados, transformações.
• Metadados operacionais ou de processos: estatísticas de
movimentação de dados, contagem de registros, indicadores de
qualidade dos dados.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

158
MEDINDO RESULTADOS

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

161
Métricas de negócio
Ao definir um problema de
negócio devemos associar a
ele uma métrica que podemos
Definir um calcular para o passado, no
Problema do presente e futuro.
Negócio
Somente com o
Estabelecer
acompanhamento da evolução
um plano de
de números podemos saber se
ação
as ações são realmente
efetivas para resolver o
Implementar problema.
e Executar
Melhorias

Medir
Resultados e
qualidade

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

162
Métricas de qualidade de dados

Métricas de qualidade de dados são números que podemos calcular e acompanhar


sua evolução através do tempo.

Por exemplo:

• Percentual de registros completos de cadastro de clientes


• Quantidade de CEPs que não tem correspondente na base DNE do Correio
• Percentual de produtos com estoque negativo ou valor incoerente
• Quantidade de produtos com a classificação fiscal incorreta
• Quantidade de Notas Fiscais canceladas por erro na entrada de dados de pedidos

As métricas de qualidade de dados precisam ser preservadas em um Data Mart de


qualidade de dados, pois ao corrigir problemas perdemos o histórico na base
transacional e assim perdemos a capacidade de acompanhar a evolução da
qualidade.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

163
EVOLUÇÃO DA MATURIDADE
DA CURADORIA DE DADOS

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

165
Níveis de maturidade

Otimizado
Gerenciado
Quantitativo
Normalizado
Repetitivo
Gerenciado

Básico
Inicial

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

De acordo com o Data Management CMM definido pela Software Engineering Institute’s (SEI) responsável
pelo modelo Capability Maturity Model Integration (CMMI):
Estágio 1 Básico / Inicial
Qualidade de dados desconhecida. Não tem proprietário, A TI é o proprietário padrão.
Caracterizado pela correção reativa de dados errados.
Os problemas são abordados de uma forma sequencial, tipicamente com resolução demorada e/ou
insatisfatória.
Estágio 2 Gerenciado / Básico
Um papel de qualidade de dados ou plano está definido, mas o foco é correção de dados "ruins".
Caracterizada por ter equipes de limpeza de dados formada por “Data Steward” e Analista de Dados, mas
sem abordar as causas da origem da má qualidade (causa raiz).
Estágio 3 Normalizado / Repetitivo
Padrões de qualidade de dados e organização são definidos permitindo a avaliação da qualidade dos dados.
Ferramentas de relatórios de exceção de qualidade de dados e ferramentas de workflow são usadas para
detectar dados suspeitos. Os Metadados estão definidos, são utilizados e mantidos. Algumas causas raiz são
abordadas, “work-around” são desenvolvidos e a qualidade dos dados é melhorada e pode ser verificada
pelos consumidores. Níveis de Serviço são introduzidos no controle da qualidade.
Estágio 4 Gerenciado Quantitativo / Estratégico
O papel da Qualidade de Dados é elevado dentro da organização, e muitas vezes estabelecida como um
grupo separado serviço centralizado. O foco é a ação proativa e de garantia de qualidade trabalhando em
estreita colaboração com os usuários do negócio.
Causas raízes abordadas como parte do ciclo de vida de desenvolvimento de sistemas.
Métricas são adicionadas a níveis de serviço.
Estágio 5 Otimizado
Qualidade de Dados suportados pela Governança de Dados faz parte da cultura da empresa.
Melhoria da qualidade de dados através de uma ação preventiva e proativa é o foco.
Consumidores de dados estão satisfeitos com o nível de qualidade dos dados realmente atendendo as
necessidades do negócio.

166
Promover a Curadoria de Dados

Escolha dos
Comitê de curadores curadores de dados Capacitação de
executivos de dados coordenadores e curadores de dados
técnicos

Criação do Glossário Modelo de dados


Modelagem lógica de
de Termos de conceitual por área
dados em projetos
Negócio de negócio

Ações de qualidade dados

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

167
Perspectivas de avaliação da maturidade da Curadoria
Nível de
Consciência Políticas e Reconhecimento de
Maturidade/ Papéis e Estruturas
Organizacional Processos Valor
Perspectivas

1 – Performed Não existe a


Responsabilidade de
responsabilidade Nenhum definido Não existe
dados da TI
Inicial formal pelos dados

Para algumas áreas Melhoria de qualidade


2 – Managed de negócio existe a de dados ajuda a
Algumas aplicações Melhores práticas em
tem “Curadores” responsabilização por algumas áreas cortar custos e evitar
Gerenciado
qualidade de dados prejuízos

Analises de
3 – Defined As informações mais A curadoria de dados Regras e políticas informações de
importantes tem é definida de forma aplicadas em toda qualidade levam a
Definido Curadores definidos corporativa empresa melhoria de processos
e ganhos
Indicadores de
4 – Measured Processo de Curadoria
Todos na empresa É possível medir o Curadoria de dados
pode ser monitorado
conhecem os desempenho dos estão relacionados
Gerenciado através de
quantitativo curadores de dados curadores com indicadores do
indicadores
negócio

Todos na empresa Ações de melhoria A empresa reconhece


5 – Optimized Curadores de dados
entendem e praticam contínua de processos novas oportunidades
fazem parte dos
as atividades de com base em analise de negócio a partir da
Otimizado processos de negócios
curadoria de indicadores Gestão de Dados

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

168
MELHORIA CONTINUA NO
MDM CORPORATIVO

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

170
Conceitos básicos de melhoria contínua
PDCA (do inglês: PLAN - DO - CHECK – ACT) é um método iterativo de
gestão de quatro passos, utilizado para o controle e melhoria contínua
de processos e produtos. É também conhecido como o ciclo de Deming,
ciclo de Shewhart.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Planejar
Estabelecer os objetivos e processos necessários para entregar resultados de acordo com o
projetado (objetivos ou metas). Ao estabelecer expectativas de resultado, a integridade e
precisão da especificação também é uma parte da melhoria almejada.Quando possível começar
em pequena escala para testar os possíveis efeitos.

Desenvolver
Implementar o plano, executar o processo, fazer o produto. Coletar dados para mapeamento e
análise dos próximos passos "Checar" e "Ajustar". Portanto esta etapa gera muito cuidado pois
pode não ser a causa raiz.

Conferir/Checar
Estudar o resultado (medido e coletado no passo anterior “Desempenhar”) e compará-lo em
relação aos resultados esperados (objetivos estabelecidos no passo “PLANEJAR”) para determinar
quaisquer diferenças. Procurar por desvios principalmente na aplicação do plano e também olhar
para a adequação e abrangência do plano permite a execução do próximo passo, ou seja, "AGIR".
Traçar dados pode fazer isso muito mais fácil para ver as tendências ao longo de vários ciclos de
PDCA e assim converter os dados coletados em informação. Informação é o que você precisa
para a próxima etapa "Ajustar".

171
Maturidade da Governança de dados

O estabelecimento da colaboração entre departamentos


para Gestão de Dados

A equipe/comitê de governança decidindo e agindo com


frequência

O processo de governança sendo ajustando as mudanças de


estratégia do negócio com velocidade

Pontos de Medidas da Maturidade


Os dados mestres
Mapeamento dos identificados por Métricas e indicadores
Políticas e padrões
assuntos de negócio, assunto de negócio, de qualidade definidos
definidos e
seus responsáveis e aprovados por seus para os dados
implementados
times envolvidos responsáveis e mestres
principais usuários

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

Temos que avaliar:


•O estabelecimento da colaboração entre departamentos para Gestão de Dados
•A equipe/comitê de governança decidindo e agindo com frequência
• O processo de governança sendo ajustando as mudanças de estratégia do
negócio com velocidade

Pontos de medida da maturidade:


•Mapeamento dos assuntos de negócio, seus responsáveis e times envolvidos
•Os dados mestres identificados por assunto de negócio, aprovados por seus
responsáveis e principais usuários
•Políticas e padrões definidos e implementados
•Métricas e indicadores de qualidade definidos para os dados mestres

173
Maturidade da Curadoria de dados
A Curadoria de Dados ou Data Stewardship
•Identificação dos profissionais comprometidos com o conjunto de dados
de sua responsabilidade
•Apoio total da Governança de Dados para execução da suas atividades

Pontos de medida da maturidade:


• Processos, ferramentas e treinamentos definidos para o
Curador de Dados
• Pontos de controle do MDM definidos para cada assunto de
negócio
• Curadores de dados identificados e associados a controles de
qualidade de dados e metadados
• Curadores comprometidos com os requisitos de qualidade e
reportando regularmente o time de Governança

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

174
Maturidade da Integração de dados

Integração de dados:
•Conjunto de ferramentas e procedimentos que “transportam” os dados
entre sistemas
•Deve ter conjunto de regras e padrões bem definidos e aplicados
•Inclui a inspeção de critérios de qualidade por Curadores de Dados
•Supervisão da operação das rotinas de integração
•Gestão de incidentes e problemas

Pontos de medida da maturidade:


• Projetos de integração de dados para MDM devem seguir regras da
Governança de dados
• Curadores de dados estão envolvidos em projetos de integração
• Requisitos de qualidade definidos e implementados
• Reutilização de padrões e regras de qualidade nas integrações

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

175
Maturidade da Qualidade de dados
A Qualidade de dados implica:
•Evolução constante da equipe de negócio, qualidade de dados e MDM
•Consolidação e comunicação de melhorias reais de qualidade de dados
•Colaboração efetiva e constante entre os times, atentos as mudanças e
a evolução

Pontos de medida da maturidade:


• Equipe de qualidade de dados trabalhando alinhada com a
Governança de dados
• Em cada assunto de negócio existe a análise e priorização
dos problemas de qualidade
• A melhoria de qualidade é observada seguindo regras e
políticas
• Monitoração constante de métricas e indicadores de
qualidade

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

176
Maturidade da Gestão de Metadados
Gestão de Metadados deve:
•Conhecer e usar as diversas fontes de metadados
•Manter a coerência entre as diversas fontes
•Gerenciar ferramentas e repositórios de metadados

Pontos de medida da maturidade:


• Os metadados associados aos dados mestres são
identificados e sua qualidade assegurada
• A Governança de dados estabeleceu objetivos e prioridades
para metadados
• As políticas e padrões de gestão dos metadados estão sendo
seguidas pelos times envolvidos no MDM
• As definições dos elementos de dados do MDM estão todas
definidas e sob gestão de seus Curadores

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

177
Processo de melhoria continua no MDM corporativo

MDM Corporativo
Governança de dados

Gestão de Metadados
Programa de

Gestão da Qualidade
Integração de dados
Curadoria de dados
Maturidade

Melhoria Contínua
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

180
PAPEL DA GOVERNANÇA DE
DADOS NA LGPD

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

181
Data Protection Officer (DPO)
DPO está definido na LGPD:
Encarregado pelo tratamento de dados pessoais, pessoa
natural, indicada pelo controlador, que atua como canal de
comunicação entre o controlador e os titulares e a autoridade
nacional.

As atribuições DPO, conforme a LGPD:


1. aceitar reclamações e comunicações dos titulares, prestar
esclarecimentos e adotar providências;

2. receber comunicações da autoridade nacional e adotar providências;

3. orientar os funcionários e os contratados da entidade a respeito das


práticas a serem tomadas em relação à proteção de dados pessoais;

4. executar as demais atribuições determinadas pelo controlador ou


estabelecidas em normas complementares.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

182
Data Mapping com apoio da Arquitetura de dados

O Data Mapping para LGPD são modelos de dados


conceitual/lógico/físico com foco nos dados pessoais, mostrando
sua relação em diversos processos de negócios, regras de
negócio, integrações, base legal e normativas para tratamento
destes dados.

Deve responder as seguintes perguntas:


1. Quais dados pessoais são tratados em cada processo de negócio?
2. Por quanto tempo são armazenados?
3. Para quais finalidades (motivos justos e necessidades)?
4. De onde eles vêm (integrações)?
5. Com quem são compartilhados (integrações)?
6. Quais as bases legais (normas e leis)?

• Diagnóstico de gaps jurídicos;


• Identificação dos contratos que precisam ser estabelecidos ou
revisados;
• Identificação de riscos e definição de prioridades.
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

183
Transparência e Consentimentos para dados pessoais

Consentimento
- Art. 5º, XII: manifestação livre, informada e inequívoca pela
qual o titular concorda com o tratamento de seus dado pessoais
para uma finalidade determinada.

Uma frase Específica, não Deve ser Pode ser


clara e ambígua, comprovada desfeito de
afirmativa. manifestada pela forma fácil
espontaneame controlador. pelo titular.
nte.

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

187
Reflexões

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

191
Serviços de Consultoria
Alocação de consultores especialistas:
•Arquiteto de dados
•Administrador de dados
•Analista de Qualidade de dados
•DBAs
•Analistas de BI e DW

•Projetos de Diagnóstico da Gestão de Dados


•Projetos de implantação de Gestão de Dados
•Modelagem de banco de dados para DW e BI
•Desenho e melhoria de Arquitetura de Dados

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

192
Treinamentos CS Treina
• Capacitação do Curador de Dados
• Gestão de Dados Mestres - Teoria e Prática do MDM
• Modelagem Multi Dimensional de Dados para BI e DW
• Ciclo de Vida do BI e DW
• Melhores práticas de Governança e Qualidade de Dados
• Microsoft Power BI Desktop
• Método Ágil para Modelagem de Dados
• Processos de Gestão de Dados com Método Ágil
• Análise e Modelagem de Requisitos com Método Ágil
• Arquitetura de Dados
• Modelagem de dados com SAP PowerDesigner
• Customização e Extensão do SAP PowerDesigner
• ...

Consulte nosso site datas de turmas abertas e entre em contato


para turmas “in company”.
www.cstreina.com.br
Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

193
Obrigado!

www.cstreina.com.br
Caetano de A Silva
E-mail: caetano@cstechnologies.com.br
caetano@cstreina.com.br

Por : Caetano de A Silva Governança, MDM e Qualidade de dados - www.cstreina.com.br

194

Você também pode gostar