Aula 01 Tutorial Pdi 101118063416 Phpapp01 PDF

1
Jarley Nbrega jpn@cin.ufpe.br
Pentaho Data Integration
Dezembro de 2009
Agenda
O PDI e o Pentaho BI Suite

Instalando o PDI
Trabalhando com arquivos
Pentaho BI Suite
Coleo de Aplicaes de Software
Criao e deployment de solues para
tomada de deciso
Open source
Enterprise /Community Editions
http://www.pentaho.com
IN1177 - Banco de Dados para Suporte Deciso
Janeiro de 2010
Pentaho BI Suite
Anlise
multidimensional
Integrao
de dados
Reporting
Funcionalidades
Dashboards
Minerao
de dados
Janeiro de 2010
Pentaho BI Suite
Janeiro de 2010
Arquitetura do Pentaho BI
Camadas da arquitetura do Pentaho BI Suite (Bouman and Dongen, 2009)

Janeiro de 2010
Pentaho BI Suite
Pentaho BI Platform demo
Instalao pr-configurada da plataforma Pentaho
Demonstrao do uso de relatrios, cubos e
dashboards
Base de dados Steel Wheels
Download
http://sourceforge.net/projects/pentaho/files/
Pasta Business Intelligence Server: arquivo
biserver-ce-3.6.0.stable.zip (~170MB)
Janeiro de 2010
Pentaho BI Suite
Um pequeno roteiro para rodar o BI Server
Baixar e descompactar o arquivo
Certifique-se que existe uma JVM instalada
Verifique a varivel de ambiente JAVA_HOME
Se estiver no Linux, d acesso de gravao e leitura
para a pasta do tomcat.
sudo chmod 755 ./tomcat/*
Janeiro de 2010
Pentaho BI Suite
Inicie o BI Server
Windows: <pasta>\bi-server-ce\start-pentaho.bat
Janeiro de 2010
Pentaho BI Suite
Inicie o BI Server
Linux: <pasta>/bi-server-ce/sh
./start-pentaho.sh
Janeiro de 2010
Pentaho BI Suite
Acesse a url
http://localhost:8080/pentaho
Janeiro de 2010
Pentaho BI Suite
Entre com o usurio joe e navegue na aplicao
Janeiro de 2010

Uma das ferramentas de
BI da plataforma Pentaho
Projeto open source

encampado pelo
Pentaho em 2006
Desenvolvido por Matt
Casters
Anteriormente
conhecido como Kettle
KDE Extraction,
Transportation,
Transformation and
Loading Environment
Janeiro de 2010

Timeline do PDI
Janeiro de 2010

Principais funcionalidades
do PDI
Integrao
de Dados
Processo
de ETL
Janeiro de 2010

Carregando dados em um DW ou datamart
Extrao
Processo de
ETL
Transformao
Carregamento
Janeiro de 2010
Extrao
de dados de diferentes
fontes e formatos
Validao e descarte
de dados de acordo
com regras e padres
Transformao
dos dados de acordo

com requisitos
tcnicos e de negcio
Converso dos tipos

de dados, filtragem de
dados, sumarizao
Carregamento
dos dados
transformados em
uma base de dados
Reescrita dos dados e

adio de novas
informaes
Janeiro de 2010
Carregamento
Extrao
Transformao
Janeiro de 2010

Atividades de Extrao
Captura dos dados
Leitura a partir de diversas fontes
Identificao de mudanas desde a ltima extrao.
Staging
Armazenamento temporrio dos dados.
Janeiro de 2010

Fontes de entrada de
dados
Sistemas de
gerenciamento de
banco de dados
Janeiro de 2010

dados
Planilhas
Janeiro de 2010

dados
Arquivos texto ou XML
Janeiro de 2010

Atividades de Transformao
Validao dos dados
Verificao se os dados esto corretos e precisos.
Filtragem de dados invlidos.
Limpeza dos dados
Correo de dados invlidos.
Decodificao
Converso de atributos (numricos, categricos) para
adequao a um padro ou regra.
Agregao
Gerao e gerenciamento de chaves

Dimenses identificadas por chaves substitutas (surrogates).
Janeiro de 2010

Atividades de Carregamento
Carregamento das tabelas de fatos
Adio de linhas tabela de fatos.
Atualizao de atributos de status.
Carregamento e manuteno das tabelas de
dimenses
Adio e atualizao de linhas das tabelas de
dimenses.
Janeiro de 2010
Instalando o PDI
Pr-requisito
JRE (ou JDK) 5.x ou superior.
Download
http://sourceforge.net/projects/pentaho/files/
Pasta Data Integration

Obter a ltima verso estvel
4.0.1 95.2 MB
3.2.0 77.2 MB
Janeiro de 2010
Instalando o PDI
Aps descompactar o arquivo
Executar spoon.bat ou Kettle.exe (ou spoon.sh no
Linux)
Janeiro de 2010
Instalando o PDI
Clique no boto No repository
A interface grfica do PDI (Spoon) ser carregada,
mostrando uma pgina de boas vindas.
Janeiro de 2010
Instalando o PDI
Dicas de configurao da rea de trabalho do Spoon
(Menu Editar -> Opes)
Aba General
Show tips at startup?
Show welcome page at startup?
...
Aba Look-and-feel
Preferred language
...
As mudanas estaro visveis aps reiniciar o Spoon
Janeiro de 2010
Principais Componentes do PDI

O PDI trabalha com dois tipos bsicos de
componentes:
Transformaes
Jobs
Caractersticas de transformaes e jobs

Definem o fluxo do processo de ETL
Contm os metadados do processo de ETL
Descrio dos dados;
Fontes de entrada e sada;
Scheduling;
Scripting.
Janeiro de 2010

Como as transformaes
e jobs so executados?
Uma transformao ou
job consiste de uma
coleo de itens
interconectados
Janeiro de 2010

Conexes entre os itens
das transformaes e jobs
Hops
Pipeline do fluxo de
registros
Janeiro de 2010

Steps, hops e o fluxo de registros
(Bouman and Dongen, 2009)

Janeiro de 2010
Principais Componetes do PDI

Transformaes
Jobs
Consiste de uma coleo de
Consiste de uma coleo de
steps de transformao
Cada step denota uma
operao do processo de ETL
A sada de um step produz um
conjunto de registros
Fluxo dos steps da
transformao ocorre de
forma simultnea e
assncrona
Arquivo .ktr
transformaes ou de steps
de jobs
Cada entrada do job denota
uma tarefa do processo de
ETL
A sada de cada entrada do
job produz um status de
execuo
Fluxo dos steps do job ocorre
de forma sequencial
Arquivo .kjb
Janeiro de 2010
Metamodelo dos componentes do PDI
Janeiro de 2010

Outros componentes do PDI:
Repositrios
Os metadados das transformaes e jobs podem ser
persistidos em um banco de dados (repositrio)
Ferramentas:
Spoon: IDE para desenvolvimento visual.
Pan: execuo de transformaes em linha de comando.
Kitchen: execuo de jobs em linha de comando.
Carte: servidor de para execuo remota de
transformaes e jobs.
Janeiro de 2010
Arquitetura do PDI
(Bouman and Dongen, 2009)
Janeiro de 2010
Exerccios 1 e 2
Criando as primeiras transformaes no PDI
Transformao simples
Processo de ETL
Extrao de dados de uma fonte (arquivo texto)
Transformao dos dados
Carregamento dos dados transformados (arquivo
texto)
Janeiro de 2010
Exerccio 3
Criando uma conexo com um banco de
dados
Janeiro de 2010
Extraindo dados no PDI

Vrios steps para extrair dados
Banco de dados;
Informaes do sistema;
Arquivos texto;
...
Janeiro de 2010
Extraindo dados no PDI

Principais propriedades dos steps de extrao
Nome do step
Obrigatrio e nico para cada step
Nome e localizao do arquivo
Descrio do contedo
Separador, codificao, cabealho, etc.
Depende do tipo do step
Campos
Filtros
Ex.: pular linhas em branco, ler as primeiras n linhas, etc.
Janeiro de 2010
Extraindo dados de arquivos

Modo primitivo de armazenar dados
Comma-separated values (CSV);
Planilhas;
Arquivos flat;
XML.
Janeiro de 2010
Extraindo dados de arquivos

Nome do Step
Fonte dos dados
CSV File Input
Campos de um arquivo .CSV
Excel Input
Clulas de uma planilha .XLS
Fixed file input
Texto de tamanho fixo
Text file input
Idem ao CSV + tratamento de erros +

filtros
Get data from XML
Ns e atributos de tags no formato

XML
Janeiro de 2010
Exerccio 4
Extraindo dados de um arquivo texto,
realizando uma transformao e carregando o

resultado em um arquivo texto.
Janeiro de 2010
Lendo vrios arquivos

At agora extramos dados de um nico
arquivo texto
Extrao de dados de vrios arquivos:
Lista de arquivos
Expresses regulares
Janeiro de 2010
Exerccios 5 e 6
Adicionando uma lista de arquivos de
entrada.
Usando expresses regulares
Janeiro de 2010
Expresses regulares
Em vrios steps do PDI podemos usar
expresses regulares
Exemplos
Expresso regular
Combina com...
Exemplos
.*\.txt
Qualquer arquivo .txt
Arquivo.txt
test(19|20)\d\d-(0[19]|1[012])\.txt
Qualquer arquivo
comeando com test,
seguido por uma data
usando o formato yyyymm
test2009-12.txt
test2009-01.txt
(?i)test.+\.txt
Qualquer arquivo .txt

comeando com test
escrito em maisculo ou
minsculo
TeSTcaseinsensitive.tXt
Janeiro de 2010
Expresses regulares
Para saber mais sobre expresses regulares
Regular Expression Quick Start:
http://www.regularexpressions.info/quickstart.html
The Java Regular Expression Tutorial:
http://java.sun.com/docs/books/tutorial/essential/r
egex/
Java Regular Expression Pattern Syntax:
http://java.sun.com/javase/6/docs/api/java/util/reg
ex/Pattern.html
Janeiro de 2010
Enviando dados para arquivos

Vrios steps para enviar dados para arquivos
Nome do Step
Destino dos dados
Excel output
Clulas de uma planilha no formato .xls
SQL file output
Comandos SQL em arquivo texto
Text file output
Linhas em um arquivo texto (txt ou

CSV)
XML output
Ns e atributos de tags no formato

XML
Janeiro de 2010
Enviando dados para arquivos

Principais propriedades
Nome do step
Obrigatrio e nico para cada step
Nome e localizao do arquivo
Opo Append
Descrio do contedo
Separador, codificao, cabealho, etc.
Depende do tipo do step
Campos
Janeiro de 2010
Definies de dados do PDI

Dois conceitos importantes de
dados para o PDI
Rowset
Streams
Janeiro de 2010

Rowset
Streams
Dados representados de
Dados enviados de um step
forma tabular (datasets)

Cada coluna representa um
campo
Nome (obrigatrio)
Tipo: Number (float),
String, Date, Boolean,

Integer e Big Number
Cada linha corresponde a
um membro do dataset
para outro
Os hops apenas repassam o
fluxo de dados
Cada step pode ter um
rowset de entrada e outro

de sada
Boto direito -> Mostra
campos de entrada/sada
Janeiro de 2010
Janeiro de 2010
Transformaes no dataset de arquivos

A forma mais simples de fazer
transformaes no rowset de um arquivo

Step Select Values
Operaes bsicas
Selecionar e Alterar Campos
Remover Campos
Alterar metadados dos campos
Janeiro de 2010
Exerccio 7
Alterando os campos do Exerccio 6
Gerando a sada para uma planilha Excel
Janeiro de 2010
Extraindo informaes do Ambiente

O que vimos at agora?
Extrao dos dados de arquivos
Realizando transformaes bsicas
Carregando dados em arquivos
Como obter dados sem conhecer previamente
o nome dos arquivos?

Lendo informaes do ambiente
Step Get System Info
Janeiro de 2010
Extraindo informaes do Ambiente

Variveis do S.O.
Datas
Sistema de arquivos
Rede
Variveis de ambiente
do PDI
Janeiro de 2010
Exerccio 8
Extraindo informaes do sistema
Janeiro de 2010
Tipos de Dados
Todo campo de um dataset possui um tipo de
dado
Tipos suportados pelo PDI
Number (float)
String
Date
Boolean
Integer
Big Number
Janeiro de 2010
Tipos de Dados
Date (padro API Java)
Janeiro de 2010
Tipos de Dados
Date - Exemplos
Formato padro: yyyy/MM/dd

Janeiro de 2010
Tipos de Dados
Campos numricos (padro API Java)
O PDI tenta interpretar dados numricos
Campos mais elaborados precisam de um formato

Formatos mais usados
Smbolo
Significado
Dgito zero no mostrado (pode arredondar)
Se o dgito no estiver presente, o zero mostrado no

lugar
Separador decimal
Sinal de menos
Campo deve ser multiplicado por 100 e exibido como

percentual
Janeiro de 2010
Tipos de Dados
Exemplos - campo com valor 99.55
Formato
Resultado
100 (arredondamento)
100 (arredondamento)
#.#
99.6
#.##
99.55
#.000
99.550
000.000
099.550
Janeiro de 2010
Tipos de Dados
Algumas consideraes:
Se no especificar o formato -> informar tamanho e
preciso
Por padro, o PDI tenta interpretar o nmero e
repassa pelo hop sem aplicar nenhum formato.
Janeiro de 2010
Exerccio 9
Aplicando formatos para datas e nmeros do
Exerccio 8
Janeiro de 2010
Arquivos XML
Arquivos (ou documentos) XML so utilizados
para:
Armazenar dados
Troca de dados entre sistemas heterogneos
Entrada de dados XML

Step Get data from XML
Sada de dados XML

Step XML output
Janeiro de 2010
Arquivos XML
Como o PDI trata arquivos XML?
<?xml version="1.0" encoding="UTF-8"?>
<world>
...
<country>
<name>Argentina</name>
<capital>Buenos Aires</capital>
<language isofficial="T">
<name>Spanish</name>
<percentage>96.8</percentage>
</language>
<language isofficial="F">
<name>Italian</name>
</language>
<language isofficial="F">
<name>Indian Languages</name>
</language>
</country>
...
</world>
elemento
atributo
Janeiro de 2010
Arquivos XML
Step Get data from XML
Notao Xpath: Conjunto de regras para recuperar
informao de um documento XML
Documento XML tratado como uma rvore formada
por ns.
Tipos de ns:
Elementos;
Atributos;
Texto
Janeiro de 2010
Arquivos XML
Relacionamento entre os ns
Um n tem um pai
Um n tem zero ou mais filhos, irmos, ancestrais
ou descendentes
Arquivo de exemplo: country o pai dos elementos name,

capital e language. Os trs elementos so filhos de country.
Janeiro de 2010
Arquivos XML
Para acessar um n
Usar uma expresso no formato XPath relativa ao n
corrente.
Janeiro de 2010
Arquivos XML
Exemplos XPath
Expresso
Descrio
node_name
Seleciona todos os ns filhos do n node_name.
Seleciona o n corrente
..
Seleciona o pai do n corrente
Seleciona um atributo
Janeiro de 2010
Exerccio 10
Extraindo uma lista com dados de pases em
XML
Salvando o resultado em uma planilha
Janeiro de 2010
Resumo da Semana 1
Arquitetura do Pentaho BI server

Instalao do PDI
Arquitetura do PDI
Extrao de dados em arquivos texto (plain e
XML)
Carregamento de dados em arquivos texto e
planilhas
Extrao de informao a partir de informaes
do ambiente
Tipos de dados suportados pelo PDI
Operaes bsicas de transformaes
Janeiro de 2010
Bibliografia
Site do PDI: http://kettle.pentaho.com/

Janeiro de 2010

Aula 01 Tutorial Pdi 101118063416 Phpapp01 PDF

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Aula 01 Tutorial Pdi 101118063416 Phpapp01 PDF

Enviado por

Direitos autorais:

Formatos disponíveis

1

Jarley Nbrega jpn@cin.ufpe.br

Pentaho Data Integration

O PDI e o Pentaho BI Suite

Trabalhando com arquivos

IN1177 - Banco de Dados para Suporte Deciso

IN1177 - Banco de Dados para Suporte Deciso

IN1177 - Banco de Dados para Suporte Deciso

Camadas da arquitetura do Pentaho BI Suite (Bouman and Dongen, 2009)

IN1177 - Banco de Dados para Suporte Deciso

IN1177 - Banco de Dados para Suporte Deciso

IN1177 - Banco de Dados para Suporte Deciso

IN1177 - Banco de Dados para Suporte Deciso

IN1177 - Banco de Dados para Suporte Deciso

IN1177 - Banco de Dados para Suporte Deciso

Pentaho Data Integration

Projeto open source

Pentaho Data Integration

IN1177 - Banco de Dados para Suporte Deciso

Pentaho Data Integration

IN1177 - Banco de Dados para Suporte Deciso

Pentaho Data Integration

IN1177 - Banco de Dados para Suporte Deciso

Pentaho Data Integration

dos dados de acordo

Converso dos tipos

Reescrita dos dados e

IN1177 - Banco de Dados para Suporte Deciso

Pentaho Data Integration

IN1177 - Banco de Dados para Suporte Deciso

Pentaho Data Integration

IN1177 - Banco de Dados para Suporte Deciso

Pentaho Data Integration

IN1177 - Banco de Dados para Suporte Deciso

Pentaho Data Integration

IN1177 - Banco de Dados para Suporte Deciso

Pentaho Data Integration

IN1177 - Banco de Dados para Suporte Deciso

Arquivos texto ou XML

Pentaho Data Integration

Gerao e gerenciamento de chaves

Pentaho Data Integration

IN1177 - Banco de Dados para Suporte Deciso

Pasta Data Integration

IN1177 - Banco de Dados para Suporte Deciso

IN1177 - Banco de Dados para Suporte Deciso

mostrando uma pgina de boas vindas.

IN1177 - Banco de Dados para Suporte Deciso

(Menu Editar -> Opes)

As mudanas estaro visveis aps reiniciar o Spoon

IN1177 - Banco de Dados para Suporte Deciso

Principais Componentes do PDI

Caractersticas de transformaes e jobs

IN1177 - Banco de Dados para Suporte Deciso

Principais Componentes do PDI

IN1177 - Banco de Dados para Suporte Deciso

Principais Componentes do PDI

IN1177 - Banco de Dados para Suporte Deciso

Principais Componentes do PDI

(Bouman and Dongen, 2009)

Principais Componetes do PDI

Consiste de uma coleo de

Consiste de uma coleo de