Você está na página 1de 19

Analytics em tempo real com

o TARGIT Decision Suite


1
Data: Setembro de 2015
Verso: 1.2

ndice
3 Analytics em tempo real

4 A arquitetura em tempo real

6 A base de dados em tempo real


6 Linked Server
8 SQL Views
9 Tabelas estticas

10 O modelo de dados em tempo real do TARGIT


10 Conexo
11 Criando o modelo de dados
12 Criando dimenses e medidas
15 Cubos virtuais
16 Clculos globais

17 Relatrios de dados em tempo real

19 Concluso

2
Analytics em tempo real
Assim como o business intelligence est se tornando cada vez mais essencial nas atividades
dirias do negcio, relatrios e analytics em tempo real j no so mais um bnus; so uma
necessidade. A fim de serem verdadeiramente orientados a dados em todos os aspectos da
empresa, os dados precisam, muitas vezes, serem atualizados a cada minuto para garantir que
os dashboards exibidos nos storyboards e dispositivos mveis forneam a representao mais
precisa da empresa.
A proposta desse whitepaper descrever como realizar a configurao do TARGIT Decision
Suite a fim de executar dados em tempo real. O escopo deste whitepaper nos mostrar desde
a arquitetura do back-end da soluo at o que deve ser levado em considerao ao configurar
dashboards e anlises em tempo real atravs do front-end do TARGIT Decision Suite.
H vrias coisas que precisam ser levadas em considerao no projeto de uma soluo de BI
para analytics em tempo real, tais como as consultas que sero executadas diretamente nas
bases de dados do sistema de origem (muitas vezes um sistema ERP de misso crtica) tais
como Dynamics AX, NAV, GP, SL, ou outros sistemas baseados em SQL.
A soluo desenvolver uma correo de modo que a busca de dados no sobrecarregue
recursos desnecessrios do sistema de origem. Isto tambm pode ser feito atravs da limitao
do tamanho dos conjuntos de dados que precisam ser manipulados pelo modelo de dados em
tempo real, ou ao executar uma rplica da base de dados que funciona separadamente do
sistema de origem.
Muitas fontes de dados, tais como Dynamics AX 2012 e posterior, oferecem suporte utilizao
de uma rplica da base de dados para fins relatoriais. Uma rplica da base de dados um
cpia em tempo real da base de dados do ERP original. Toda vez que uma nova transao
criada, ela imediatamente copiada para a rplica da base de dados. Este o cenrio ideal
para a execuo do analytics, pois este no gera presso desnecessria sob o sistema de
origem onde a consulta est sendo realizada.
Se voc est executando diretamente sob a base de dados de origem, recomendvel trabalhar
somente com conjuntos de dados pequenos e consultas simples, sem utilizao de muitas
junes a fim de garantir o desempenho satisfatrio do sistema de origem e da soluo de BI.
Partindo do principio que os dados da soluo esto rodando em tempo real, no h tempo
para trazer dados de um data warehouse.Uma base de dados SQL em tempo real ser utilizada
para o armazenamento das views e tabelas estticas que faro referncia base de dados do
sistema de origem ou a base de dados de rplica. Este modelo permite a utilizao de um data
warehouse e evita a criao de objetos na base de dados do sistema de origem.
Por fim, um modelo de dados ROLAP em tempo real ser construdo sobre a base de dados
SQL em tempo real, a fim de disponibilizar os dados aos usurios finais do TARGIT Decision
Suite.

3
3
The Real-time architecture
A arquitetura de tempo real
1. Conexao direta ao sistema de origem:

Modelo
BD de SQL
Sistema de dados Front End
em tempo
De origem Views ROLAP do do TARGIT
real do
(ERP) TARGIT
TARGIT

Linked Server Tabelas de


Mapeamento
Tabela de
Perodo
Sistema De
origem 2

2. Conexo via rplica do Sistema de Origem (Abordagem recomendada):

BD de SQL Modelo
Sistema Sistema
Views em tempo de dados Front End
De origem De origem
real do ROLAP do do TARGIT
(ERP) (Rplica)
TARGIT TARGIT

Tabelas de
Linked Server Mapeamento
Tabela de
Perodo

Sistema
Sistema De
De origem
origem 2
(Rplica)

A arquitetura ao redor da soluo de BI em tempo real desenvolvida para oferecer o mximo de


flexibilidade ao modelar um repositrio sem possuir um data warehouse. As bases de dados SQL
em tempo real do TARGIT oferecem essa possibilidade atravs de consultas simples aos sistemas
de origem.

4
Para que isso seja possvel, necessrio configurar um Linked Server entre a base de
dados do servidor fsico onde a base de dados em tempo real do TARGIT ficar alocada
e a base de dados do servidor fsico onde sistema de origem ficar alocado. Caso ambas
sejam alocadas no mesmo servidor fsico, no h a necessidade de configurao do
Linked Server.

Em teoria, no h necessidade de ter um servidor SQL separado da base de dados em


tempo real do TARGIT, visto que este realizar apenas a interligao entre o modelo
ROLAP e a base de dados do sistema de origem. Contudo, se o data warehouse j estiver
em funcionamento e for necessrio que algumas anlises sejam realizadas em tempo real,
alocar a base de dados em tempo real do TARGIT junto com o data warehouse pode ser
uma boa ideia.

Conforme as ilustraes acima mostram, existem duas arquiteturas ao realizar a


configurao da conexo de dados em tempo real. Uma vai direto para o(s) sistema(s) de
origem e o outro passa por uma rplica do sistema de origem. A rplica mantm uma cpia
em tempo real do sistema de origem alocada em outro servidor, dessa forma, sempre que
uma nova transao for criada no sistema de origem ela ser copiada para a rplica da
base de dados.

Ter uma rplica ideal para analytics em tempo real, j que separa a plataforma de
relatrios do sistema de transaes e ainda oferece dados em tempo real. Sistemas de
origem como o Dynamics AX 2012 possui a opo de rplica e, a utilizao desta opo
altamente recomendvel ao criar relatrios em tempo real. A replicao SQL pode ser
utilizada em um sistema de origem que no oferea replicao.

Uma vez que o linked server for conectado ao sistema de origem ou rplica, um
conjunto de views deve ser configurado a fim de fazer referncia ao sistema de origem.
Neste processo possvel selecionar quais campos voc gostaria de exibir e aplicar
filtros (clusulas where) para limitar os dados que sero fornecidos ao modelo ROLAP do
TARGIT. Note que a organizao das views conforme um modelo dimensional com views
de dimenso e views de dados, torna mais fcil a construo do modelo de dados ROLAP.

possvel utilizar algumas tabelas estticas na base de dados em tempo real do TARGIT,
o que permite a juno (tabelas de mapeamento) ou melhoria dos dados do sistema de
origem (tabelas de perodo ou tabelas de dados mestre).

Atravs da utilizao de tabelas de mapeamento para a juno dos dados, possvel


construir views em diversos sistemas de origem da mesma maneira que o data warehouse
faria.
Uma vez que o modelo de dimenso for construdo na base de dados em tempo real do
TARGIT, a construo de um modelo de dados ROLAP a partir da ferramenta de Gesto
do TARGIT pode ser iniciada.
5
A base de dados em tempo real
Conforme descrito acima, a base de dados em tempo real do TARGIT precisar ser
criada para armazenar as views e os objetos estticos necessrios para a construo
do modelo ROLAP em tempo real.

Antes de iniciarmos a construo de views na base de dados em tempo real do


TARGIT, voc precisa se certificar de que possui um linked server configurado caso a
base de dados de origem esteja alocada em um servidor diferente.

Linked server

Para a configurao do linked server acesse Objetos de Servidores > Servidores


Vinculados no SQL Management Studio:

Adicione um novo linked server e relacione-o ao servidor SQL onde a base de dados de
origem do ERP ou rplica est alocada:

6
Certifique-se de que um usurio com acesso a base de dados de origem esteja
configurado para realizar a comunicao com o linked server. A comunicao pode ser
configurada inclusive atravs do usurio que est realizando a consulta conforme abaixo:

SQL Views
Uma vez que o linked server for configurado, as views SQL podem ser configuradas da
seguinte maneira:
A partir das views, clique com o boto direito e faa o relacionamento das tabelas com a
seguinte sintaxe:
[Linked server].[Base de dados].[Esquema].[Tabela]
Por exemplo: [AXServer].[MicrosoftDynamicsAX].[dbo].[CusttableCube]

7
Caso a base de dados de origem esteja alocada no mesmo servidor, ela pode ser
referenciada conforme abaixo:

[Nome da base de dados].[Esquema].[Tabela]


Evite utilizar junes e subconsultas para garantir o rpido desempenho das consultas e
evite tambm colocar muita presso na base de dados de origem. Caso a rplica esteja em
utilizao, voc tem mais liberdade para realizar consultas complexas, visto que estas no
iro ser realizadas na base de dados de origem real.
Para facilitar o projeto do modelo de dados ROLAP, recomendada a incluso somente
dos campos que sero utilizados para exibir as views. A adio de campos extras s views
fcil de ser realizada caso seja necessria posteriormente.

Tabelas estticas
O mapeamento de tabelas ou tabelas MDM (Master Data Management) podem ser
utilizadas e alocadas na base de dados em tempo real do TARGIT a fim de auxiliar na
juno de dados de diversos sistemas de origem. Outros exemplos de tabelas estticas
so as tabelas do data warehouse ou tabelas de oramento importadas do Excel.

Segue um exemplo de uma tabela de perodo esttica alocada na base de dados em


tempo real do TARGIT:

8
A tabela de perodo ser utilizada para interligar as colunas de datas no modelo ROLAP
em tempo real, a fim de construir hierarquias de perodo.

O modelo de dados em tempo real do TARGIT


Uma vez que todas as SQL views tenham sido construdas, um modelo de dados
ROLAP pode ser criado a partir do TARGIT Management.

Conexo
Crie uma conexo com a base de dados em tempo real do TARGIT e certifique-se de
que as configuraes tenham sido realizadas conforme abaixo:

9
Desmarque a opo Gerar SQL com base em dados consistentes. Isto ir permitir
valores nulos e inconsistncias de dados, que possivelmente estaro presentes em um
conjunto de dados em tempo real. Desmarcar esta opo importante, pois assim, os
dados no passaro pelo processo ETL de limpeza.

Certifique-se de desmarcar as opes Solicitar dados de cache e solicitar critrios


de cache no servidor ao utilizar conjuntos de dados em tempo real.

10
Construindo o modelo de dados
Para definir o modelo de dados, clique com o boto direito em nova conexo e clique
em Editar modelo de dados:

No editor do modelo de dados, arraste e solte as views at o Esquema Global, faa


a ligao das tabelas arrastando o atributo da tabela fato para a tabela de dimenso.
(Nota: se as interligaes forem desfeitas, o modelo de dados no funcionar)

11
A partir da verso TARGIT Decision Suite 2014, possvel dividir o Esquema Global em
guias para uma fcil visualizao.

Clique com o boto direito em Esquema Global e selecione Gerenciar Guias. Uma nova
guia ser criada e as tabelas podem ser selecionadas a partir da Seleo de Tabelas.

Criando dimenses e medidas


Uma vez que o esquema global tenha sido construdo, as dimenses podem ser criadas
arrastando e soltando partir do esquema at a lista de dimenses compartilhadas.

recomendvel que todas as dimenses


sejam criadas no formato de dimenses
compartilhadas para que estas possam ser
utilizadas nos cubos virtuais posteriormente.

Confira as propriedades para configuraes


adicionais para nveis de dimenses, tais
como a definio da chave primria e nome
das colunas, etc.

12
Note que o SQL pode ser desenvolvido nas colunas Key e Name para concatenaes,
funes SQL e, etc, para cada nvel:

uma boa ideia prefixar cada referncia de campo com os nomes das tabelas no caso
de os mesmos nomes de campo estarem sendo utilizados em diversas tabelas.

Uma vez que todas as dimenses tiverem sido adicionadas, clique em um novo cubo:

Selecione a tabela de fatos e o nome do cubo.


Quando o cubo estiver completo, clique em dimenses para adicionar a dimenso
compartilhada:

13
Para a adio de medidas, arraste da tabela de fatos e solte as colunas numricas na
lista de medidas.

Clculos podem ser adicionados na aba Clculos:

14
Note que este um modelo ROLAP em tempo real, dessa forma, agregaes devem
ser evitadas, pois impedem que o modelo seja, de fato, em tempo real.

Cubos virtuais
Vrios cubos podem ser configurados apontando para diferentes tabelas de fatos e
combinados em um cubo virtual. Clique no cone para criar um cubo virtual e selecione
todas as dimenses e medidas compartilhadas de ambos os cubos:

Se todas as medidas e dimenses estiverem inclusas no cubo virtual, possvel ocultar


cubos subjacentes de modo que somente o cubo virtual ficar visvel:

A opo ocultar cubos esta disponvel somente a partir do TARGIT Decision Suite 2014.

15
Clculos globais
Os clculos podem ser configurados para referirem-se s medidas em diversos cubos
de um cubo virtual. Isto feito a partir da lista de Clculos globais:

Algumas funes de clculo esto disponveis para verificar se h valores nulos e execu-
tar afirmaes if-then-else no TARGIT Decision Suite 2014 e posteriores.

Por exemplo:
If-Then-Else:
IIF([ACTUALREVENUE]=0,NULL,[BUDGETREVENUE]/[ACTUALREVENUE]*100)

16
ISNULL:

IIF(ISNULL([ACTUALREVENUE]),NULL, [BUDGETREVENUE]/[ACTUALREVENUE]*100)

COALESCE: (Retorna o valor da primeira expresso em uma lista que no exibe valores NULL.
Retornar NULL se todas as expresses retornarem NULL).

COALESCE([ACTUALREVENUE],[BUDGETACCRUEDREVENUE])
A expresso retornar BudgetAccuruedRevenue quando ActualRevenue for null.

Relatrios com dados em tempo real


Algumas consideraes devem ser levadas em conta ao criar relatrios e dashboards baseados
em dados em tempo real. Sempre tenha em mente que os dados podem sofrer alteraes a
qualquer momento. Uma anlise tradicional com multiobjetos pode gerar confuso, pois, os
dados de um objeto podem exibir informaes divergentes se comparados a outros objetos.

Se uma nova transao for realizada durante o carregamento deste objeto, o segundo objeto do
dashboard mostrar valores diferentes. Dessa maneira, convm evitar a utilizao das mesmas
medidas em objetos diferentes ao criar dashboards e anlises com dados em tempo real.

Anlises e relatrios com um nico objeto fornecem os resultados mais confiveis.

Outra boa utilizao do modelo de dados em tempo real a exibio de informaes


atualizadas das diferentes reas do negcio, em dashboards e storyboards. Neste
caso, mesmo se um dashboard ou storyboard contiver mltiplos objetos, no haver
nenhum problema desde que cada medida seja utilizada em apenas um objeto.

Por exemplo, se os pedidos em aberto realizados no dia e os pedidos de


produo em aberto realizados no dia forem extrados em perodos diferentes,
cada objeto mostrar o panorama em tempo real da medida especfica.

17
Por fim, o modelo ROLAP em tempo real pode ser utilizado para integrao completa
do TARGIT Decision Suite com os sistemas ERP Dynamics AX 2012+ e Dynamics
CRM 2012 e superior.
Para mais informaes sobre a integrao completa, verifique o manual de instalao e
configurao do TARGIT disponvel no TARGIT download center.

18
Concluses
Os modelos de dados em tempo real oferecem oportunidades de business intelligence
significativas para os departamentos de uma empresa que de outra forma no podem
utilizar o BI. Funes operacionais acessam as informaes instantaneamente con-
forme a necessidade o que significa que todas as reas do negcio podem se tornar
orientadas a dados e trabalharem de maneira mais inteligente.

Conforme os dados tornam-se cada vez mais indispensveis para o nosso dia a dia,
trabalhar com dados que foram validados e testados tambm se torna essencial.
difcil fazer isso com dados em tempo real, pois no h tempo para realizar a limpeza
dos dados antes de apresent-los aos usurios. Por este motivo crucial escrever con-
sultas (views para o modelo de dados) que trate questes relacionadas aos dados tais
como, informaes faltantes, registros faltantes, clculos que so inteligentes o bastan-
te para lidar com excees, e outros erros de entrada de dados.

Um data warehouse bem estruturado ainda a abordagem recomendada para a maio-


ria dos consumidores de informaes de solues de BI. Este o lugar de onde ns
retiramos relatrios financeiros, histrico de vendas e tendncias de estoque. Mas para
reas como vendas, compras, ordens de produo ou gerenciamento de projetos, con-
tabilidade e atividade de vendas dirias, ter um modelo em tempo real pode ser crtico.
A construo de uma soluo inteira adotando um modelo em tempo real no seria
aconselhvel do ponto de vista do desempenho ou qualidade dos dados. Em vez disso,
introduza reas menores de dados que podem se beneficiar de serem em tempo real.

Esta a nova era do BI; que deve ser adotada e manuseada com cuidado.

19