Roteiro para implantar um BI

Marcelino Saraiva Mota

Sobre este livro

Licença

Esta obra está licenciada com uma Licença Creative Commons CC BY-NC. Que permite sua livre
distribuição para fins não comerciais, desde que mantida a autoria

Sobre o autor

Marcelino Saraiva Mota

Carreira desenvolvida na área de Tecnologia da Informação, com ampla
experiência no gerenciamento de projetos, desenvolvimento, implantação e
manutenção de sistemas, gestão de equipes e implementação de melhorias
desenvolvendo trajetória em empresas multinacionais de grande porte;

Agradecimentos

Incialmente a Deus, pois devemos tudo a Ele. A minha família que sempre está ao
meu lado e também a você por estar lendo este e‐book.
Prefácio
O objetivo deste texto é transmitir a você leitor, um pequeno roteiro de implantação de projetos
de BI, baseado em mais de 20 anos de experiencia na área.

Para uma melhor compreensão o roteiro está dividido em 4 partes:

Definição do problema
A maioria dos insucessos nos projetos de BI devem-se a precariedade da definição do problema
que o BI se propõe a resolver. Todo projeto de BI serve para responder as perguntas que o
cliente faz sobre determinadas áreas para decidir suas ações.

Nesta fase definiremos o escopo do projeto, ou seja, as perguntas que nosso BI deverá
responder e quais requisitos serão necessários.

Modelagem do data warehouse

Outro grande problema que encontramos em alguns projetos de BI, é a utilização de acessos ao
sistema OLTP do cliente para geração das consultas e dashboards. Para corrigir esse problema,
apresentaremos as diferenças entre um sistema OLTP, OLAP e por que devemos criar uma nova
base SEMPRE para seu projeto de BI.

Apresentaremos algumas técnicas para a criação da modelagem dimensional necessária a

criação dos nossos data warehouse ou datamarts que deveram estar separados do ambiente de
produção.

Desenho dos processos de ETL

A importância desse processo é muito grande, pois é ele que ira alimentar nosso data
warehouse/datamart. Nele faremos a extração, tratamento e limpeza para a transferência dos
dados do sistema OLTP para carga no banco de dados do BI.

Desenho dos dashboards

Muita gente acha que o projeto de BI começa pelo desenho dos dashboards, quando na verdade
essa é a última etapa do processo. Se seguimos o roteiro direito, nessa fase vamos nos divertir
criando as consultas e relatórios junto ao nosso cliente. Todo projeto de BI é desenvolvido para
quando chegarmos nessa fase, não termos problemas de performance e nem de ausência de
informações relevantes para o cliente.
Definição do problema

Nosso objetivo é começar com os dados, transformá-los em informações e conhecimento e

permitir que tomadores de decisão usem sua inteligência para resolver problemas, a partir do
conhecimento adquirido.

Mas como descobrir o problema que o cliente quer resolver? Como na figura acima, não adianta
ter a melhor ferramenta, os melhores profissionais e os melhores sistemas se eles NÃO atendem
as necessidades do cliente.

Uma dica para descobrir qual o problema que o cliente quer resolver é usando a técnica 5W2H
para descobrir e validar seu entendimento do problema.

Mas como funciona essa técnica? Ela serve para fazer um checklist de atividades específicas que
devem ser desenvolvidas com o máximo de clareza e eficiência por todos os envolvidos em um
projeto.

What Why Who Where When How How much

O que? Por que? Quem? Onde? Quando? Como? Quanto?
Ação, Justificativa, Responsável Local Prazo, Procedimentos, Custo,
problema, explicação, cronograma etapas desembolso
desafio motivo
Ou seja, é uma metodologia cuja base são as respostas para estas
sete perguntas essenciais. Com estas respostas em mãos, você terá
um mapa de atividades que vai te ajudar a construir um protótipo
para validar junto ao cliente o que ele quer realmente e o escopo
do projeto.

Com essa importante informação na mão, você deverá então validar

com a TI se todos os dados necessários estão acessíveis.

Caso não estejam disponíveis a TI ou o cliente deverá informar de onde você poderá utilizar os
dados necessários para o projeto.

É importante saber de onde saíram os dados para alimentar os nossos datamarts para evitar
problemas posteriores.

Esses dados vão compor os requisitos necessários para o desenvolvimento do data warehouse
e das consultas para que o BI responda as perguntas que o cliente colocou como objetivo do
projeto.
Modelagem do data warehouse

Antes de começar a desenhar o modelo dimensional, você precisa entender as necessidades do

negócio e a real situação dos dados de origem. Considerando que você seguiu nosso roteiro e
já descobriu o que seu cliente quer que o BI responda e que também validou se todos os dados
necessários estão acessíveis, vamos fazer então nossa modelagem dimensional.

Mas antes de começarmos nossa modelagem, vamos conceituar o que são sistemas OLTP e
OLAP. Quando devemos usar cada um deles?

O OLTP, do inglês "On-line Transaction Processing", é o termo usado para se referir aos sistemas
transacionais, ou seja, os sistemas utilizados para controlar os processos nas organizações e que
dão suporte às operações do negócio.

Enquanto o OLAP, do inglês "On-line Analytical Processing", é um conjunto de tecnologias,

ferramentas e atividades que permitem a manipulação e análise de dados sob diversas
perspectivas diferentes, de forma rápida, consistente e interativa.

Agora que você já sabe as diferenças entre OLTP e OLAP, chegou a hora de entender o que é e
como funciona um cubo analítico, ou seja, com foco total em análise de dados e extração de
informações estratégicas.

Um cubo OLAP é uma estrutura de dados montada de forma multidimensional, e que

proporciona uma rápida análise de valores quantitativos ou medidas relacionadas com
determinado assunto, sob diversas perspectivas diferentes.

A visualização é realizada em dados agregados, e não em dados operacionais porque a aplicação

OLAP tem por finalidade apoiar os usuários finais a tomar decisões estratégicas. Os dados são
apresentados em termos de medidas e dimensão, a maior parte das dimensões é hierárquica.
O nível operacional e o nível administrativo utilizam o modelo OLTP (vendas, compra, estoque.
etc) para operações que ocorrem no dia-dia da empresa.

O nível gerencial e o nível estratégico da empresa utilizam o OLAP para as tomadas de decisões
e planejamento estratégico.

Veja na tabela abaixo o resumo das principais diferenças entre OLTP e OLAP:

OLTP OLAP

Online Transaction Online Analytical Processing

Processing
Escala de tempo Dados atuais Dados históricos
Indexação Índices poucos Índices especiais
Normalização Totalmente normalizadas Parcialmente normalizado
Finalidade dos Controlar e executar tarefas Auxiliar no planejamento, resolução de
dados operacionais do negócio problemas e apoio à decisão
O que os dados Um instantâneo de processos Dados históricos unitários que podem
revelam de negócios em andamento ser agregados por período
Inserções e Inserções e atualizações por Os dados não são alterados e a inserção
atualizações usuários finais no momento de novos instantâneos tem
do evento normalmente periodicidade diária
Requisitos de Pode ser relativamente Maior devido à existência de estruturas
espaço pequena de dados históricos
Modelagem Usa o modelo relacional Usa Modelo Dimensional (Estrela e
Floco de neve)

Vamos agora conceituar o que é um data warehouse?

Segundo Bill Inmon : “É um banco de dados, orientado por assunto, integrado, não volátil e
histórico, criado para suportar o processo de tomada de decisão.”

Segundo Ralph Kimball : “Um armazém é uma cópia dos dados da transação especificamente
estruturado para consulta e análise.”

Nós conceituamos como sendo uma cópia das transações orientado por assunto, integrada, não
volátil e histórica que tem como finalidade suportar o processo de tomada de decisão através
de consultas e análises.

Como a maior parte dos dados vem de nosso sistema OLTP, devemos verificar pelo assunto que
o cliente quer trabalhar, qual a tabela que centraliza todos os processos do modulo do assunto.
Por exemplo: se precisamos descobrir qual o produto que vendeu mais no final de semana, para
clientes mulheres com mais de 25 anos? Depois comparar a venda desse produto nos demais
dias da semana? Teremos que criar um datamart de vendas com a tabela do sistema OLTP de
vendas sendo desnormalizada para ter todos os dados das dimensões que servirão de filtro para
as consultas.

O modelo mais utilizado para a criação dos datamarts é o esquema estrela, onde você tem uma
tabela fato, com todos os dados necessários para responder as perguntas, relacionado com as
dimensões que são os filtros das consultas.

Após a modelagem dos dados, devemos criar a estrutura necessária para o nosso data
warehouse/datamart em um banco de dados separado dos sistemas OLTP Se possível em outro
servidor exclusivo para o DW.
Desenho dos processos de ETL

ETL significa Extração, Transformação e Carga (em inglês Extract, Transform and Load) e visa
trabalhar com toda a parte de extração de dados de fontes externas ao DW. Esse processo busca
atender às necessidades de negócios e carga dos dados dentro do Data Warehouse ou Data
Mart.

EXTRAÇÃO: fase em que os dados são extraídos dos OLTPs e conduzidos para a staging area
(área de transição ou área temporária).

TRANSFORMAÇÃO: nesta etapa realizamos os ajustes necesserários, podendo assim

melhorar a qualidade dos dados e consolidar dados de duas ou mais fontes.

CARGA: Consiste em migrar fisicamente os dados para dentro do modelo dimensional.

O processo de ETL é essencial para a carga das estruturas do Data Warehouse. É nele que
fazemos a ligação entre os sistemas OLTP e o OLAP.

Este processo deve ser bem planejado para evitar problemas futuros e para que não ocasione,
em alguns casos, a interrupção da operação da empresa. Neste processo, os dados são
transformados em informações, para apoiar as decisões organizacionais.

Um bom ETL deve ter escalabilidade e ser apto a ter manutenção. Como vamos tirar um retrato
dos dados da empresa e trata-los para transformar em informação, devemos analisar o tempo
para realizar a operação, pois como trabalha com grandes volumes de dados não é em qualquer
momento que ele poderá ser executado. Devemos também analisar a periodicidade de
execução em função das perguntas que o BI terá que responder.

Um processo bem definido e bem desenvolvido é fator primordial para obter êxito no projeto.
Esse processo, por acontecer na maioria das vezes fora do horário comercial das empresas, não
é visto pela área usuária, por conta disso muitas vezes ele é negligenciado. Mas sem o ETL não
temos BI.
Desenho dos dashboards

Dashboard ou Painel de Controle é a apresentação visual das informações mais importantes e

necessárias para alcançar um ou mais objetivos de negócio, consolidadas e ajustadas em uma
tela para fácil acompanhamento do seu negócio.

Vou citar algumas coisas que temos que levar em conta na construção dos nossos dashboards.

Não adianta ser bonito se não é objetivo. A comunicação é o objetivo

A questão não é a beleza do painel, com seus gráficos de pizza, barras ou animações, é sobre
sua capacidade de transmitir de forma rápida e clara a informação certa na hora certa e da
melhor forma possível! Assim a tomada de decisão se torna mais rápida e baseada em fatos
relevantes.

Disponibilidade em todo lugar e a qualquer hora

Se não for possível ter acesso a informações em tempo real, como uma empresa vai estar apta
para uma nova oportunidade ou evitar uma crise? Como você pode compartilhar ideias e
despertar conversas com outros decisores envolvidos de forma rápida e imediata? A resposta é
simples, tudo está e deve estar online, do seu software de gestão de projetos ao seu sistema de
RH. O trabalho fica mais rápido, inteligente e conveniente. A mesma coisa vale para o dashboard,
eles precisam estar disponível online.

Várias abas não é uma boa opção. Tudo deve estar em uma só tela
Todos os relatórios e informações relevantes devem ser exibidos em uma única tela, sempre
que possível, ao fazê-lo, ele deve permitir analisar os dados de forma mais rápida e com maior
facilidade de compreensão.

Fica bem mais fácil de visualizar se todas as informações estiverem juntas, desta forma, é
possível entender a importância e significado global delas com maior precisão. Com isso,
permitimos comparações mais fáceis e rápidas entre os diferentes tipos de gráficos, bem como
a identificação de tendências e relações dentro do conjunto de dados global, levando a uma
percepção mais profunda. Um painel que é mais longo do que o comprimento de uma tela, e
requer o deslocamento, é menos eficaz. Isso ocorre porque não conseguimos ter uma visão do
todo e perdemos o inter-relacionamento entre elas.

Parta sempre do todo para o detalhe

As informações devem ser apresentadas sempre como um resumo de alto nível que
rapidamente fornecem uma visão geral do que está acontecendo no ambiente organizacional,
permitindo aos usuários explorar os detalhes hierárquicos para diagnosticar por que algo
ocorreu e revelar sua origem

O alinhamento natural como ordem lógica de gráficos

A posição das informações dentro de um painel de controle deve seguir a premissa da leitura
natural, que é da esquerda para a direita e de cima para baixo, a fim de auxiliar a compreensão
da informação.

Devemos evitar que os usuários se desloquem para cima e para baixo, em vez da sequencia da
tela. Além disso, os gráficos dentro do painel devem ser ordenados de uma forma que permite
o consumo mais rápido e fácil das informações. Por exemplo, o posicionamento de uma série de
cinco relatórios sobre um painel, onde o significado da primeira não pode ser plenamente
compreendido até que o usuário tenha lido o quarto, acarreta em má compreensão da
informação como um todo.

Personalização é fundamental
Os relatórios e visualizações associados devem ser personalizados para atender às necessidades
e demandas específicas do destinatário (individual ou grupo). Devem ser relevante para o papel
funcional dessa entidade para a organização, para apoiar a tomada de decisões adequadas e
oportunas de cada área. Em princípio, não tem muito sentido misturar informações de várias
áreas da empresa. Como por exemplo: permitir a equipe de marketing saber sobre as iniciativas
de RH?

Destacar as informações mais importantes

Painéis devem ser concebidos de modo a chamar a atenção dos usuários para OS PONTOS MAIS
RELEVANTES (viu como seu olho parou na frase) da informação dentro de um dashboard. Para
conseguir isso, você deve evitar:

Desordenar o painel com tipos de gráficos visualmente chamativos que resultam em um assalto
sobre os olhos, e, portanto, chamar a atenção para um único ponto acima de outros dados
exibidos
Conclusão

Um projeto de BI, para ter sucesso, deve ter a participação do cliente de forma efetiva, em
quase todas as fases.

Atualmente existem no mercado varias ferramentas que auxiliam MUITO a construção de um

projeto de BI, talvez, por esta razão, alguns desenvolvedores acham que conhecem mais do
negócio, do que seu próprio cliente.

Para chegar nesse nível de disputar com seu cliente, sobre os processos do negócio dele, você
precisará de anos de experiencia e vivência na atividade que seu cliente vive cada dia. Então não
se iluda e aceite que ele sabe mais que você do que ele precisa. Dói menos!

Para exemplificar, a um tempo atrás, fui convidado a desenvolver um projeto de BI para uma
grande empresa de varejo. Eu já tinha na época muita experiencia com banco de dados e
desenvolvimento de ERPs, mas mesmo assim, fiquei durante um mês revisando os processos do
meu cliente e descobrindo o que ele precisava de informações para que o BI desse a ele
informações sobre a área comercial. Depois levamos uma semana para montar todas as
consultas que tinham drill-dawm, pivotamento, relatórios e gráficos. Esse projeto, foi um
sucesso, case apresentado em congresso nacional de informática e ficou durante muitos anos
no ar.

Abaixo o link de algumas ferramentas para todos os gostos e bolsos.

Ferramenta Site
Tableau http://www.tableau.com/
Microsoft Power BI https://powerbi.microsoft.com/pt-br/
Pentaho https://sourceforge.net/projects/pentaho/
IBM WATSON ANALYTICS https://www.ibm.com/br-pt/marketplace/watson-
analytics#product-header-top
QlikView https://www.qlik.com/pt-br

DICAS PARA ESCOLHER O MELHOR PARA VOCÊ

Necessidade
Tenha bem claro o que você necessita e saiba o limite do seu projeto. Avalie as funcionalidades
e a usabilidade da ferramenta. A maioria delas fornece uma versão teste de 30 dias.

Suporte
Verifique se, no contrato, está incluído o valor da manutenção e suporte. Porque normalmente
esse tipo de ferramenta precisa de um período de adaptação e, certamente, sua equipe
necessitará de apoio durante esse período.

Avaliação
Procure por feedbacks dos usuários e avalie como está o grau de satisfação deles, com relação
ao fabricante da ferramenta. Importante identificar quando o problema é da consultoria ou é
da ferramenta. Obtenha o máximo de informações possíveis para fazer a escolha certa e não se
arrepender posteriormente.
A cada dia surgem novas ferramentas prometendo soluções milagrosas, por isso, fique atento e
seja sensato no momento da escolha. O BI é uma atividade que vem profissionalizando a
maneira como as pessoas tomam decisões e como as empresas se posicionam no mercado.

Se precisar de mentoria para seus projetos de BI, conte conosco:

Linguagem Consultoria e Treinamento

http://www.linguagem.com.br/blog/
comercial@linguagem.com.br
Whatsapp: (85) 98723-1002

Até breve!