UNIVERSIDADE FEDERAL DE PERNAMBUCO GRADUAO EM CINCIA DA COMPUTAO CENTRO DE INFORMTICA

RELATRIO

DE

BUSINESS INTELLIGENCE

INTEGRAO

DE DADOS WEB E WAREHOUSE

Aluno:

Marden Menezes Costa (mmc3@cin.ufpe.br)

Recife, 20 de novembero de 2005.

Introduo............................................................................................................................3 Conceitos..............................................................................................................................3 Disputa no mundo empresarial............................................................................................3 Business Intelligence ..........................................................................................................4 Mtricas................................................................................................................................6 Identificando indicadores.................................................................................................6 reas analisadas ..............................................................................................................6 Categorias dos indicadores..............................................................................................7

Tecnologias .........................................................................................................................8 OLAP...............................................................................................................................8 Modelo de Dados.............................................................................................................8 Aplicaes .......................................................................................................................9 Data Warehouse...............................................................................................................9 Data Mining...................................................................................................................12 Tipos de Padres........................................................................................................13 Minerao de Regras de Associao..........................................................................13 Medidas de Interesse em Minerao de Dados..........................................................14 Projetando um BI...............................................................................................................14 Ferramentas de BI..............................................................................................................15 Microsoft SQL Server 2005...........................................................................................15 Plataforma integrada para Business Intelligence.......................................................16 Integration Services...................................................................................................17 Analysis Services.......................................................................................................18 Reporting Services.....................................................................................................18 Integrao com o Microsoft Office System..............................................................19 O Projeto Eclipse BIRT.................................................................................................19 A anatomia de um relatrio........................................................................................20 Concluso...........................................................................................................................20 Referncias.........................................................................................................................21

Introduo
Business Intelligence (mais conhecido como BI) - que pode ser traduzido como Inteligncia de Negcios ou Inteligncia Empresarial - um conjunto de metodologias de gesto implementadas atravs de ferramentas de software, cuja funo proporcionar ganhos nos processos decisrios gerenciais e da alta administrao nas organizaes. [1]. Com o uso de BI crescendo cada vez mais nas empresas, cresce o nmero de ferramentas e de bancos de dados provendo relatrios e anlise de dados para processos de BI. Apesar disso no apenas a aquisio de ferramentas que traz inteligncia aos negcios de uma empresa. Tanto para utilizao quanto para desenvolvimento de um sistema de BI preciso estudar e analisar as prticas da empresa, dos concorrentes e do ecossistema comercial. Este documento descreve os princpios para a criao do termo Business Intelligence, alm do porqu de sua utilizao e quais estratgias empresariais devem ser usadas para implantao do BI em empresas. Tambm descreve passos a serem seguidos para o desenvolvimento de softwares de BI. Sero ento analisadas duas ferramentas, o Microsoft SQL Server 2005 e a ferramenta Open Source BIRT, do Projeto Eclipse

Conceitos
Alguns conceitos sero utilizados nas prximas sees e so definidos abaixo: Dado: Os dados so os elementos bsicos pertencentes a um conjunto determinado de informaes. (Wikipedia) Informao: uma coleo de dados dos quais pode se tomar alguma concluso (WordNet) Conhecimento: o entendimento de fatos, verdades e informaes obtidas atravs de experincias ou aprendizado (Wikipedia)

Disputa no mundo empresarial

Com o advento da internet e a globalizao cada vez mais acirrada a disputa entre as empresas por espao no mercado, h uma procura cada vez maior por formas de diferenciao da concorrncia. Para tomar decises importantes e vencer a concorrncia necessrio que os diretores das empresas consigam, de alguma forma, prever o prximo passo dos concorrentes e agir de forma antecipada. Sun Tzu, em seu livro A Arte da Guerra, afirma que para vencer na guerra preciso ter total conhecimento de suas foras e fraquezas alm de total conhecimentos das

foras e fraquezas do seu inimigo. Este princpio mostra a necessidade de haver uma forma de guardar dados sobre a empresa e sobre seus concorrentes de forma a gerar anlises importantes e que auxiliem na tomada de deciso dos gestores da empresa. Dados passam a no ser to teis se no estiverem ligados a um contexto, sendo usados como informao necessria a um conhecimento tanto da prpria empresa, de seus clientes, parceiros e concorrentes. At poucas dcadas atrs a recuperao de tais dados no era fcil. Os dados de cada empresa e de cada sistema seguiam diferentes padres, alm da comunicao no ser to fcil. Em vrias ocasies podiam ser encontrados diferentes sistemas da mesma empresa que, desenvolvido por diferentes empresas, no conseguiam se comunicar ou trabalhavam com diferentes sistemas de armazenamento. Com o desenvolvimento da informtica e a crescente busca pela padronizao de dados os sistemas ficaram mais poderosos e as informaes mais disponveis, inclusive com uma crescente tendncia de busca pela comunicao entre empresas diferentes, o processo de recuperao de dados e ficou facilitado, o que impulsionou bastante a necessidade de uma melhor anlise de tais dados. exatamente ai que o Business Intelligence (BI) entra em ao. Business Intelligence um conjunto de ferramentas e aplicativos que permitem tomadores de deciso ter a possibilidade de organizar, analisar, distribuir e agir, ajudando as empresas tomar decises melhores e mais rpidas. Ferramentas bem sucedidas de BI fornecem uma viso integral do negcio e ajudam a distribuir os dados de maneira uniforme entre os usurios, no importando onde estes dados estejam. "Dar vida aos dados existentes nos diversos sistemas transacionais de uma empresa e transform-los em conhecimento sobre o negcio a essncia de Business Intelligence, visando conhecer melhor seus clientes, conhecer melhor o prprio negcio e descobrir novos produtos e novas formas de atender a esses clientes, antes mesmo que eles descubram tais necessidades." Muitos sistemas de ERP e Gerenciamento de Clientes geralmente no fornecem relatrios adequados para cada necessidade. A complexidade do sistema acaba sendo uma restrio para que usurios comuns possam ter acesso a dados corporativos importantes. Como resultado, gerentes no conseguem receber informaes corretas, no tempo e no formato adequado, gerando uma perda de produtividade e conseqentemente,de lucro. Do lado empresarial, utilizar ferramentas de BI ter uma postura proativa em relao aos negcios. Do ponto de vista tecnolgico engloba uma srie de sistemas inteligentes, formulrios, consultas e ferramentas OLAP (Online-Analytical-Processing).

Business Intelligence
O termo Business Intelligence foi criado pelo Gartner Group (consultoria que pesquisas de mercado na rea de tecnologia da informao) nos anos 80. Tambm chamado de BI, engloba as tecnologias, processos, e melhores prticas que coloquem na

ponta dos dedos os indicadores chave de desempenho e tornam a gerncia proativa do seu negcio uma realidade. O conceito de BI pode se referir a: Um conjunto de processos de negcios A tecnologia usada nestes processos A informao obtida neste processo

Organizaes normalmente obtm tais informaes com o objetivo de conhecer o ambiente de negcios e cobrir campos como pesquisa de marketing, pesquisa de mercado alm anlise dos concorrentes. Organizaes competitivas usam BI para ganhar vangagem competitiva e podem usar tal inteligncia como uma vantagem. Pessoas envolvidas em processos de BI podem usar softwares ou outras tecnologias para buscar, guardar, analisar e prover acesso aos dados. Alguns observadores definem BI como o processo de transformer dados em informao e depois em conhecimento. Os softwares tm o objetivo de ajudar as pessoas a tomarem melhores decises de negcios permitindo o acesso a mais atual e relevante as informaes que estaro disponveis para os gestores quando eles precisarem. De forma geral, coletores de dados para BI usam como fonte primria de seus dados as prprias fontes internas dos negcios. Algumas fontes ajudam os tomadores de deciso a entender bem como a empresa funciona. Fontes secundrias de informao incluem necessidades dos clientes, processos de tomada de deciso de clientes, a competio e as presses da concorrncia, condies relevantes na indstria, economia geral, tecnologia e aspectos culturais. Cada sistema de Business Intelligence possui um objetivo especfico, que deriva de um objetivo da organizao ou de uma viso empresarial. Existem tanto objetivos de curto prazo (como nmeros para Wall Street) como de longo prazo (como parcela de mercado, alvo de clientes, etc). Espionagem industrial pode prover informaes de BI. Existe uma linha um pouco acizentada entre formas normais de recuperar dados para BI e espionagem industrial que usada por algumas empresas. Algumas pessoas usam o termo BI como sistemas de informao executiva e outros definem um sistema de Business Intelligence como um Sistema de Suporte a Deciso (SSD). O gerenciamento de performance de negcios oferece Business Intelligence orientado a software, que definem uma outra gerao do BI, apesar de a maioria das pessoas utilizarem tais termos de forma errnea.

Mtricas
Business Intelligence utiliza Key Performance Indicators (KPIs) para representar o estado do negcio e descrever o curso de uma ao. Cada vez mais organizaes comeam a ter dados disponveis mais rapidamente. No passado, dados tornavam-se disponveis apenas aps meses, o que no ajudava os gestores a ajustar atividades em tempo de alcanar seus objetivos. Os KPIs, tambm conhecidos como Key Success Indicators (KSI) so mtricas financeiras ou n-financeiras usadas para refletir os fatores crticos para o sucesso de uma organizao. As KPIs diferem dependendo da natureza da organizao. Elas ajudam uma organizao a medir o progresso em busca do alcance de objetivos.

Identificando indicadores
Indicadores de performance diferem dependendo das preocupaes e objetivos de uma empresa. Uma escola pode considerar o nvel da graduao de seus estudantes como um indicador chave que pode ajudar o entendimento da posio da instituio na comunidade educacional, assim como pode considerar a porcentagem de clientes que retornam como um KPI potendical. necessrio que uma organizao identifique quais KPIs so importantes. Antes de identificar KPIs importante:

Possuir processos de negcios definidos Possuir objetivos claros e requisitos de performance para processos de negcios Possuir uma medida quantitativa e qualitativa dos resultados e comparao com o conjunto de objetivos Investigar variaes e processos ou recursos a serem utilizados para alcanar objetivos de longo prazo

reas analisadas
Geralmente, tais reas so analisadas nas KPIs: Nmeros relacionados a clientes: o Novos clientes conquistados o Status dos clientes existentes o Perda de clientes Filtros demogrficos de segmentos de clientes Balanos dos pagamentos dos segmentos de clientes filtrados demograficamente Coleo de problemas (dbitos) em relacionamentos com clientes

Anlise demogrfica de potenciais clientes, nvel de aprovao, rejeio e nmeros pendentes Anlise dos clientes em relao a seus pagamentos Lucratividade dos clientes em relao a seus segimentos demogrficos e segmentao dos clientes por lucratividade

Esta uma lista que pode crescer. A lista acima descreve mais ou menos o que um banco faria, mas pode tambm se referir a uma empresa telefnica ou de servios similares. O que importante : Obter dados relativos a KPIs que sejam consistentes e corretos Disponibilidade dos dados em tempos definidos Disponibilidade de dados est comeando a se tornar uma preocupao para mais e mais organizaes. Normalmente espera-se por um ms ou dois para certos tipos de dados se transformarem em informaes resumidas e com algum significado. Esta demora prejudica na tentativa de tomar decises antes dos adversrios e antecipando o mercado. Vrios bancos tentaram disponibilizar dados em intervalos menores e com menos atrasos. Recentemente bancos tm tentado disponibilizar dados em intervalos de tempo menores e tm reduzido a demora. Por exemplo, para negcios que possuem alto risco operacional ou de crdito (por exemplo, carto de crdito e planos de sade). O Citibank disponibiliza dados relacionados com KPIs semanalmente e algumas vezes oferece uma anlise diria dos nmeros. Isto facilita as empresas carregarem seus sistemas de BI para terem relatrios atuais de forma mais rpida.

Categorias dos indicadores

As KPIs definem um conjunto de valores usados como mtrica. Este conjunto de valores so usados por sistemas para resumir informaes. Indicadores identificados como candidatos possveis para KPIs podem ser resumidos nas seguintes categorias: Indicadores quantitativos que possam ser representaods como nmeros Indicadores prticos que se comuniquem com processos da empresa Indicadores direcionais que especificam se uma organizao est indo bem ou no Indicadores de ao que definem o controle de uma organizao em relao a efetuar mudanas

Tecnologias
OLAP
"Online analytical processing", ou OLAP fornece para organizaes um mtodo de acessar, visualizar, e analisar dados corporativos com alta flexibilidade e performance. No mundo globalizado de hoje as empresas esto enfrentando maior concorrncia e expandindo sua atuao para novos mercados. Portanto, a velocidade com que executivos obtm informaes e tomam decises determina a competitividade de uma empresa e seu sucesso de longo prazo. OLAP apresenta informaes para usurios via um modelo de dados natural e intuitivo. Atravs de um simples estilo de navegao e pesquisa, usurios finais podem rapidamente analisar inmeros cenrios, gerar relatrios "ad-hoc", e descobrir tendncias e fatos relevantes independente do tamanho, complexidade, e fonte dos dados corporativos. De fato, colocar informao em bancos dados corporativos sempre foi mais fcil do que retir-los. Quanto maior e complexa a informao armazenada, mais difcil para retir-la. A tecnologia OLAP acaba com estas dificuldades levando a informao mais prxima ao usurio que dela necessite. Portanto, o OLAP freqentemente utilizado para integrar e disponibilizar informaes gerenciais contidas em bases de dados operacionais, sistemas ERP e CRM, sistemas contbeis, e Data Warehouses. Estas caractersticas tornaram-no uma tecnologia essencial em diversos tipos de aplicaes de suporte deciso e sistemas para executivos.

Modelo de Dados
Em um modelo de dados OLAP, a informao conceitualmente organizada em cubos que armazenam valores quantitativos ou medidas. As medidas so identificadas por duas ou mais categorias descritivas denominadas dimenses que formam a estrutura de um cubo. Uma dimenso pode ser qualquer viso do negcio que faa sentido para sua anlise, como produto, departamento ou tempo. Este modelo de dados multidimensional simplifica para os usurios o processo de formular pesquisas ou "queries" complexos, criar relatrios, efetuar anlises comparativas, e visualizar subconjuntos (slice) de maior interesse. Por exemplo, um cubo contendo informaes de vendas poder ser composto pelas dimenses tempo, regio, produto, cliente, cenrio (orado ou real) e medidas. Medidas tpicos seriam valor de venda, unidades vendidas, custos, margem, etc. Dentro de cada dimenso de um modelo OLAP, os dados podem ser organizados em uma hierarquia que define diferentes nveis de detalhe. Por exemplo, dentro da dimenso tempo, voc poder ter uma hierarquia representando os nveis anos, meses, e dias. Da mesma forma, a dimenso regio poder ter os nveis pas, regio, estado e cidade. Assim, um usurio visualizando dados em um modelo OLAP ir navegar para cima (drill

up) ou para baixo (drill down) entre nveis para visualizar informao com maior ou menor nvel de detalhe sem a menor dificuldade.

Aplicaes
A aplicao do OLAP bastante diversificada e seu uso encontra-se em diversas reas de uma empresa. Alguns tipos de aplicao aonde a tecnologia empregada so: Finanas Vendas Marketing Recursos Humanos Manufatura Anlise de L&P, Relatrios L&P, Oramento, Anlise de Balano, Fluxo de Caixa, Contas a Receber, Anlise de vendas (por regio, produto, vendedor, etc.), Previses, Lucratividade de Cliente/Contrato, Anlise de Canais de Distribuio, . Anlise de Preo/Volume, Lucratividade de Produto, Anlise de Mercados, Anlise de Benefcios, Projeo de Salrios, Anlise de "Headcount", Gerncia de Estoque, Cadeia de Fornecimento, Planejamento de Demanda, Anlise de custos de matria-prima,

Data Warehouse
Data Warehouse (armazm de dados) uma coleo de dados, organizados por assunto, integrados, no-volteis, histricos, cujo propsito fornecer suporte tomada de deciso nas organizaes. O conceito de Data Warehouse surgiu da necessidade de integrar dados corporativos espalhados em diferentes mquinas e sistemas operacionais, para tornmos acessveis a todos os usurios dos nveis decisrios. Outro fator que contribuiu para o estabelecimento desse conceito foi a evoluo da Tecnologia da Informao, particularmente os Sistemas de Apoio Deciso (DSS). O Data Warehouse surge como uma soluo para suprir as necessidades de informaes para o usurio de nvel decisrio.

Importncia
Os sistemas de informao disponveis foram concebidos e implantados para atender ao nvel operacional, agilizar procedimentos administrativos das organizaes, sendo mantidos por reas estanques e independentes. Verifica-se que, atualmente, a maioria dos usurios conhece e delimita suas necessidades de informao graas aprendizagem adquirida nas trs ltimas dcadas de relao com

os centros de processamento de dados. Conseqentemente, os nveis gerencial e estratgico passaram a requerer informaes mais trabalhadas, o que provocou uma alterao no perfil da demanda por informaes, o qual, atualmente, identificado pelas seguintes, caractersticas essenciais: ser flexvel, favorecendo a autonomia dos usurios e auxiliando-os nas funes gerenciais, surgindo assim uma nova demanda por Sistemas de Apoio Deciso, em complementao s listagens e telas caractersticas dos sistemas operacionais; ser integrado, de tal forma que os bancos de dados sejam interligados interna e externamente organizao; ser til para a mudana de comportamento da organizao e para torn-la mais competitiva; resultar de um processamento mais dinmico e flexvel de identificao de necessidades, a partir da participao mais ativa do usurio final; ser mais gil para atender necessidade de informaes na hora certa.

As necessidades de informaes para o nvel estratgico da organizao so supridas por meio de processamentos ad hoc sobre os dados de nvel operacional depositados em fitotecas, arquivos e bases on-line. No entanto, o acesso aos dados corporativos torna-se difcil. devido falta de integraro dessas bases. A carncia de uma base de conhecimento nica leva os analistas a malabarismos, quando da necessidade de gerao de informaes para suporte tomada de deciso, gerando retardo na resposta aos usurios. Nos ltimos anos, programas de extrao de dados tm sido utilizados na gerao de informaes para o suporte deciso. Esses dados so obtidos e gerenciados por equipes de "Apuraes Especiais". Cada caso tratado especificamente, sendo necessrio escrever diferentes programas para diferentes necessidades, mesmo que demandem um nico banco de dados. Como conseqncia, o nmero de programas e de dados cresce sem controle, resultando em mais manuteno. Essa abordagem em geral convive com as seguintes caractersticas: baixa produtividade, onde a busca de dados em vrias fontes consome tempo, devido s restries de processamento e schedule (obedincia a uma seqncia de prioridades de processamento, que variam de sistema para sistema); falta de integraro entre os dados, onde os formatos desses e suas semnticas nem sempre so coerentes entre bases diferentes; flexibilidade restrita, pois as mudanas no so previstas nos requisitos dos negcios.

Ambiente
Em sistemas do nvel operacional. os dados relevantes abrangem, geralmente, os do ms anterior at o ms atual. J no ambiente de Data Warehouse, os dados consistem de um snapshot (retrato no tempo) e abrangem perodos de at 10 anos, sendo atualizados periodicamente e no em tempo real. Toda estrutura de dados no Data Warehouse tem, implcita ou explicitamente, um elemento de tempo como referncia, tais como: dia, semana, ms, ano, quase sempre concatenado com a identificao do dado. Os conceitos de paralelismo (de hardware e de software), repositrio de dados, centro de informaes, anlise e modelagem multidimensional, data mining(garimpagem dos dados) e OLAP - On Line Analytical Processing (processamento analtico), dentre outros, esto em processo de aprimoramento e se firmando como componentes de um novo ambiente: o de Data Warehouse. Um fator importante que o dado, oriundo de vrios sistemas, bancos de dados e plataformas, seja integrado e transformado antes de ser carregado no Data Warehouse. A transformao um processo utilizado para alterar as caractersticas dos dados extrados das bases operacionais. A transformao pode incluir uma ou mais das seguintes operaes: limpeza dos dados; integraro dos tipos de dados das diversas origens; alterao de cdigos; seleo dos dados pertinentes. As ferramentas de transformao de dados visam automatizar o processo de extrao a partir de fontes heterogneas (bases internas e externas), mapeamento da origem (source data) no dado destino (target data), criando as DDL (Data Definition Language) e gerando o cdigo para transformao, manipulao e carga do dado na base destino. Possivelmente para efetuar todas essas operaes o usurio tenha que recorrer a vrias ferramentas. Dentre os aspectos mais importantes do Data Warehouse destacam-se: os dados encontrados dentro das suas fronteiras so integrados. A integraro acontece de diferentes maneiras, por meio de conveno de nomes, de conveno de domnios e de converso da estrutura do atributo; a arquitetura de um ambiente de Data Warehouse deve ser composta por ferramentas utilizadas para facilitar a gerao de bases a partir dos dados operacionais; os dados operacionais devem ser modelados em um formato fcil para utilizao pelo usurio final o acesso e anlise desses dados; a possibilidade de escalabilidade do ambiente.

Alm disso, pelo fato de os dados do Data Warehouse estarem separados das bases operacionais, os usurios podem acess-los, explorando e descobrindo as informaes disponveis sem impacto no processamento operacional. Nesse caso, os sistemas so orientados por assunto ou temas, enquanto os Sistemas de Processamento de Transaes On-Line (OLTP) so historicamente orientados por transaes. A estrutura do Data Warehouse abrange diferentes nveis de sumarizao e detalhes, tais como: dados correntes em nvel de detalhe, dados histricos em nvel de detalhe, baixo nvel de sumarizao e alto nvel de sumarizao. Para o sucesso da implementao de Data Warehouse muito importante incluir a construo de um metadados, que , simplificadamente, um catlogo com a descrio dos dados que participam do novo ambiente.

Data Mining
Minerao de dados, ou data mining, o processo de anlise de conjuntos de dados que tem por objetivo a descoberta de padres interessantes e que possam representar informaes teis. Um padro pode ser definido como sendo uma afirmao sobre uma distribuio probabilstica. Estes padres podem ser expressos principalmente na forma de regras, frmulas e funes, entre outras. O interesse por este tipo de informao se deve principalmente ao fato de que as empresas e organizaes esto coletando e armazenando grandes quantidades de dados como consequncia da queda dos preos de meios de armazenamento e computadores e

do aumento da capacidade de ambos. A popularizao na utilizao de armazm de dados, ou data warehousing, que so grandes bancos de dados criados para anlise e suporte deciso, tende a aumentar ainda mais a quantidade de informaes disponvel. Os mtodos tradicionais de anlise de dados, como planilhas e consultas, no so apropriados para tais volumes de dados, pois podem criar relatrios informativos sobre os dados, mas no conseguem analisar o contedo destes relatrios a fim de obter conhecimentos importantes.

Tipos de Padres
Os dois objetivos de mais alto nvel da minerao de dados tendem ser a predio ou a descrio. Os padres preditivos so encontrados para resolver o problema de predizer o valor futuro ou desconhecido de um ou mais atributos do banco de dados a partir do valor conhecido dos demais atributos. Os padres descritivos, ou informativos, tm por objetivo encontrar padres interessantes, de forma interpretvel pelo homem, que descrevam os dados. A importncia relativa de ambos os tipos para uma aplicao particular de minerao pode variar consideravelmente, porm, no contexto da descoberta de conhecimento em bancos de dados, os padres descritivos tendem a ser mais importantes do que os preditivos. Por outro lado afirmam que este tipo de padro mais difcil de avaliar, pois seu valor verdadeiro no deixa claro se ele sugere alguma ao para o especialista do domnio e quanto efetiva esta ao seria. Isto deve-se ao fato de que a predio normalmente utilizada quando se tem um problema claro e bem especificado a ser resolvido, sendo que busca-se, atravs da minerao, uma resposta para este problema. No caso da descrio, tem-se apenas um volume de dados como ponto de partida. Cabe ao analista perceber se algo pode ser feito com as informaes extradas. A seguir sero apresentados alguns tipos de padres comuns, sendo trs deles descritivos (agrupamento, regras de associao e padres sequenciais) e dois preditivos (regresso e classificao).

Minerao de Regras de Associao

A descoberta de regras de associao, introduzida uma bem sucedida e importante tarefa de minerao de dados e que tem por objetivo encontrar relacionamentos ou padres frequentes entre conjuntos de dados. Uma regra de associao um padro descritivo que representa uma decalrao na forma X Y. O interesse nesta busca de informaes ocorre devido, principalmente, aos progressos feitos na tecnologia de cdigos de barra, que tornou possvel para organizaes de varejo coletar e armazenar grandes quantidades de dados referentes s vendas efetuadas, conhecidos como dados da cesta. Um registro destes dados tipicamente consiste da data da transao e dos itens comprados. Organizaes de sucesso vem tais bancos de dados como importantes peas da sua infraestrutura de marketing pois permitem que o processo de marketing seja dirigido, alm de

auxiliar em programas e estratgias customizadas como reorganizao do layout das lojas e projeto de catlogos . Como exemplo de uma regra que poderia ser encontrada em um banco de dados de um supermercado seria o fato de que 90% dos clientes que compram o produto A, tambm adquirem, na mesma ocasio, o produto B Alm da anlise do comportamento do consumidor no comrcio varejista, outras reas onde a minerao de regras de associao poderia ser aplicada incluem servios bancrios e de telecomunicao, histrico de pacientes e anlise de admisso em cursos universitrios.

Medidas de Interesse em Minerao de Dados

Todos os algoritmos de minerao incorporam alguma medida para representar quanto bom ou interessante um padro. Estas medidas so utilizadas na pesquisa por padres para decidir o que deve ser mantido, o que deve ser descartado ou o que deve ser explorado melhor. Um dos problemas centrais no campo da descoberta do conhecimento s o desenvolvimento de boas medidas de interese, uma vez que deveria ser apresentado ao usurio, no uma enorme quantidade de padres, mas apenas aqueles que so de fato originais, inslitos, interessantes; Padres preditivos podem ser avaliados na maneira bvia: julgando quanto bem eles fizeram o seu trabalho. Uma vez que eles predizem o valor de um atributo e que atributos existem no banco de dados de treinamento, o mtodo comum para avaliao de padres preditivos a comparao da predio com o valor real no conjunto de treinamento. Calculando com que frequncia e em quanto os padres esto errados, o algoritmo de minerao de dados pode avaliar os resultados. A mesma lgica no pode ser utilizada na minerao de padres descritivos, uma vez que o objetivo fornecer algo de novo para o especialista humano, assim o padro no pode ser avaliado em quanto bem ele fez o seu trabalho. Desta forma, critrios matemticos so utilizados para reter os padres potencialmente mais interessantes, enquanto os de menor interesse so descartados.

Projetando um BI
Para projetar uma aplicao de BI preciso fazer algumas perguntas sobre o negcio e consideraes sobre o ambiente. As informaes devem ser atualizadas quando necessrio, transformando o sistema em algo vivo. Alguns consideraes a serem tomadas: 1. Alinhamento com os objetivos: O primeiro passo determina os objetivos do sistema. Com quais estratgias da empresa o programa trabalhar? A qual misso/viso isto est relacionado? importante definir como possivelmente tal sistema ir melhorar os resultados da empresa. 2. Fonte dos dados: A organizao possui capacidade de monitorar importantes fontes de informaes? Que dados so coletados pela organizao e como so

3. 4.

5.

6.

7.

guardados? Quo aleatrios esses dados so ou vm de uma fonte confivel e organizada? A organizao mede tais aspectos? Custo e Risco: As consequncias financeiras de uma iniciativa de BI deve ser estimada. Quais os riscos de falha desta iniciativa? Como o custo das operaes atuais sero comparados com as operaes da iniciativa de BI? Clientes e stakeholders: Determinar quem ser beneficiado e quem ir pagar. Quem est interessado em todo o processo direta e indiretamente? Quais so os benefcios quantitativos e qualitativos? Esta iniciativa a melhor forma de crescer a satisfao dos clientes ou h uma melhor forma? Como os benefcios sero monitorados? O que coberto em relao a funcionrios, parceiros, etc? Mtricas: Estes requisitos de informaes devem ser operacionalizados em mtricas bem definidas. Deve-se definir quais mtricas sero usada por cada informao recuperada. preciso definir quais so as melhores mtricas, como utiliz-las e como compar-las com outras de organizaes concorrentes. Quais os padres de mtricas que esto disponveis Metodologia de medidas dos resultados: Deve ser estabelecida uma metodologia ou um procedimento para determinar a melhor maneira de medir as mtricas. Que mtodos sero usados e com que frequncia os dados sero coletados? Existem padres para isso? a melhor maneira para se fazer tais medies? Como possvel saber disso? Resultados: Algum deve monitorar o sistema de BI para garantir que os objetivos esto sendo alcanados. Ajustes ao software devem ser feitos quando necessrio. Ele deve ser testado para garantir a validade dos dados e a sua consistncia. Como possvel demonstrar que a iniciativa de BI contribuiu na mudana dos resultados? Quanto dessa mudana foi simnplesmente algo aleatrio?

Ferramentas de BI
Com o crescimento da utilizao das tcnicas de Business Intelligence os prprios Sistemas Gerenciadores de Banco de Dados passaram a incorporar ferramentas de BI. Dentre os mais famosos se destacam o IBM DB2, Oracle e Microsoft SQL Server. H ainda projetos de Open Source que trabalham com BI, como o BIRT, ferramenta desenvolvida pelo Projeto Eclipse.

Microsoft SQL Server 2005

O SQL Server 2005 traz a Microsoft para a liderana na rea de Business Intelligence (BI) atravs de inovaes em escalabilidade, integrao de dados, ferramentas de desenvolvimento e de anlise. O SQL Server 2005 possui algumas melhorias nas seguintes reas: Plataforma integrada para Business Intelligence Ferramenta Integration Services (Data Warehouse)

Ferramenta Analysis Services (OLAP) Ferramenta Reporting Services Integrao com o Microsoft Office System

Plataforma integrada para Business Intelligence

O conjunto de ferramentas para BI do SQL Server 2005 prov integrao de: Projeto: O Business Intelligence Development Studio o primeiro ambiente de desenvolvimento integrado projetado para desenvolvedores de BI. Constuido em cima da ferramenta Visual Studio 2005, o Business Intelligence Development Studio provm uma plataforma de desenvolvimento rica, integrada e profissional para desenvolvedores de sistemas de BI. Ela permite Debugging, controle de cdigo e cdigo de script para todos os componentes de uma plataforma de BI Integrao: o SQL Server Integration Services (SSIS) foi reescrito para executar integraes complexas de dados, transformao e snteses em uma alta velocidade para grandes quantidades de dados.O Business Intelligence Development Studio facilita o processo de criao de pacotes. Integration Services, Analysis Services e Reporting Services trabalham juntos para apresentar um viso de dados de fontes diferentes. Anlise: O Microsoft Data Mining sempre foi fcil de usar. Agora mais fcil com a adio de novos algoritmos, incluindo regras de associao, sries de tempo, rvores de regresso, sequncias, redes neurais, etc. O SQL Server 2005 quebra a dificuldade existente entre dados relacionais e dados multidimensionais. possvel guardar dados em uma base relacional, multidimensional ou usar a nova funcionalidade de cache proativo, que exibe dados nos dois mundos. Novas e importantes funcionalidades analticas foram adicionadas ao trabalho com cubos no produto, como um framework para Key Performance Indicators (KPI), scripts MDX e outras avanadas anlises de negcios. O relatrio do Reporting Services permite a distribuio fcil de anlises complexas para diferentes tipos de audincia. Relatrio: Reporting Services extende a plataforma de BI da Microsoft para alcanar o usurio que necessita de anlise de dados. Reporting Services um ambiente de relatrios produzido e gerenciado atravs de Web Services. Relatrios podem ser personalizados e entregues em diferentes formatos, com vrias formas de interatividade e opes de impresso. Anlises complexas podem alcanar uma larga audincia travs da distribuio de relatrios como fonte de dados para Business Intelligence. Na figura pode ser visto o Report Builder, ferramenta para criao de relatrios.

Gerncia: O SQL Server Management Studio integra o gerenciamento de todos os componentes do SQL Server 2005. Praticantes de BI so beneficiados desta possibilidade de ter o gerenciamento em uma nica ferramenta de todas as caractersticas necessrias em bases relacionais como escalabilidade, confiabilidade e disponibilidade.

Integration Services
O SQL Server 2005 inclui uma plataforma para extrao, transformao e carga (ETL extract, transform, load) de dados corporative totalmente reprojetada chamada SQL Server Integration Services (SSIS). O SSIS possibilita que empresas gerenciem e integrem mais facilmente dados de mltilas fontes de dados heterogneas. Analisando dados atravs de uma coleo de sistemas operacionais, organizaes podem ganhar competitivadade atravs de um entendimento holstico de seus negcios. Plataforma ETL Esta nova plataforma a sucessora da popular funcionalidade do SQL Server 2000 chamada Data Transformation Services (DTS). O SSIS foi completamente renovado para o SQL Server 2005. SSIS provm funcionalidades de alta escala e performance que so necessrias para construir aplicaes ETL corporativas. SSIS totalmente programvel, pode ser colocado dentro de aplicaes e extensvel caractersticas que fazem dele uma plataforma ETL ideal. Beyond Traditional ETL O SQL Server 2005 suporta fontes de dados no tradicionais (Web Services, XML) facilmente, da seguinte forma:

Faz anlise dos dados sem persist-los Minerao de dados e de textos podem ser feitas no fluxo dos dados Minerao de dados e a anlise so trazidas para o fluxo dos dados para uma melhor qualidade dos dados.

Analysis Services
Com o SQL Server 2005, o Analysis Services provm, pela primeira vez, uma forma integrada e unificada de ver todos os dados do negcio como uma fundao para o tradicional relatrio de dados, analise OLAP e minerao de dados. Modelo dimensional unificado Combinando os melhores aspectos da tradicional anlise OLAP e relatrios relacionais, o Analysis Services provm um modelo de metadados que cobre todas as necessidades. Um conjunto de cubos e dimenses definidas no Analysis Services referenciada como um Modelo Dimensional Unificado (MDU). O MDU um repositrio central de metadados definindo entidades de negcio, lgica de negcio, clculos e mtricas que servem como fontes para todos os relatrios, planilhas, navegadores OLAP, KPIs e aplicaes analticas. Utilizando a funcionalidade do Data Source View, os MDU mapeado para um local de fontes de dados heterogneas, provendo uma figura completa e integrada dos negcios, independente da localizao dos dados. Data Mining A minerao de dados no SQL Server 2005 a tecnologia de BI que ajuda voc a construir modelos analticos complexo e integrar estes modelos com operaes de negcio. Analysis Services estabelece um novo patamar para minerao de dados. Criando uma plataforma fcil, extensvel, acessvel e flexvel, as capacidades do Analysis Services Data Mining introduzem a minerao de dados em empresas que nunca tinham antes nem considerado tal tipo de soluo. Atravs de uma arquitetura corporative e uma forte integrao com a famlia SQL Server de ferramentas de BI, um rico conjuntos de ferramentas, APIs e algoritmos, o SQL Server permite a criao de aplicaes inteligentes que aumentem a produtividade, aumentem os lucros e reduzam custos provendo solues orientadas a dados flexveis destinadas a vrios problemas de negcios.

Reporting Services

O Reporting Services extende a plataforma de BI da Microsoft com a finalidade de alcanar o usurio que necessita acessar os dados de negcio. Reporting Services um ambiente de relatrios baseado no servidor, gerenciado atravs de Web Services. Relatrios podem ser entregues em vrios formatos. Como um componente integrado do SQL Server 2005, Reporting Services provm: Um ambiente de de alta performance para processamento e formatao de relatrios Um conjunto completo de ferramentas para criao, gerenciamento e visualizao de relatrios Uma arquitetura extensvel e interfaces abertas para relatrios embutidos em aplicaes e solues de relatrios em diversos ambientes de TI. Ambiente para criao de relatrios como o Report Builder

Integrao com o Microsoft Office System

Relatrios construdos no Reporting Services podem executar em um contexto do Microsoft SharePoint Portal Server e em aplicaes Microsoft Office System como o Microsoft Word e o Microsoft Excel. possvel usar funcionalidades do SharePoint para inscrever relatrios, criar novas verses de relatrios e distribu-los. Tambm possvel abrir relatrios no Word ou Excel ou visualiz-los em verses HTML.

O Projeto Eclipse BIRT

BIRT um sistema de cdigo aberto de relatrios baseado no Eclipse para aplicaes web, especialmente as baseadas em Java e J2EE. BIRT tem dois componentes principais: um designer para relatrios baseado no Eclipse e um componente de tempo de execuo que pode ser adicionado no servidor de aplicao. O BIRT tambm oferece um ambiente de grficos que permite adicionar grficos a aplicao. Com o BIRT possvel adicionar uma rica variedade de relatrios a aplicao. With BIRT, you can add a rich variety of reports to your application. Listas: os relatrios mais simples so as listas de dados. Quanto mais a lista cresce possvel adicionar grupos para organizar listas de dados relacionados (ordenar grupos por clientes, produtos agrupados por fornecedor). Se os dados so numricos, possvel adicionar totais, mdias e outros tipos de resumos. Grficos: Dados numricos so muito mais fcil de serem entendidos se apresentados em um grfico. BIRT provm grficos de torta, linhas e barras e mais. Matrizes Exibem dados em duas dimenses: vendas por trimeste ou acessos em uma pgina da web.

Cartas e documentos notcias, formulrios, cartas e outros documentos textuais so facilmente criados no BIRT Relatrios compostos: muitos relatrios necessitam da combinao dos tipos acima em um nico documento. Por exemplo, um relatrio de clientes necessita listar as informaes para cada cliente, prover texto sobre promoes atuais e prover uma lista lado-a-lado de pagamentos e taxas. Um relatrio financeiro pode incluir tabelas, grficos e todo o tipo de formatao que se adeque aos esquemas de cores da empresa.

A anatomia de um relatrio
Relatrios BIRT consistem de quatro partes principais: dados, transformaes de dados, lgica de negcios e apresentao. Dados: Bases de dados, web services, objetos java podem prover dados para o relatrio BIRT. Existe o suporte a acesso aos dados via JDBC, assim como suporte para acesso programaticamente a outras fontes de dados. O framework BIRT Open Data Access (ODA) permite que qualquer pessoa possa construir uma nova interface grfica com suporte a dados tabulares, alm de permitir que um nico relatrio possua vrias fontes de dados. Transformaes de dados: Relatrios apresentam dados organizados, resumidos, filrtados e agrupados de forma a satisfazer as necessidades do cliente. Enquanto bases de dados podem fazer tal trabalho, o BIRT faz isso para fontes de dados mais simples como arquivos ou objetos Java. BIRT permite operaes sofisticadas como agrupamentos em somas, porcentagens, totais e mais. Lgica de negcios: dados do mundo real dificilmente esto na estrutura exata necessria para um relatrio. Muitos relatrios necessitam de lgica especfica para converter dados em informaes teis para o usurio. Se a lgica apenas para o relatrio, ela pode ser descrita usando o suporte do BIRT a Javascript. Se a aplicao completa j possui tal lgica, possvel cham-la em cdigo Java. Apresentao: Uma vez que os dados esto prontos h uma larga quantidade de diferentes opes de apresentao para o usurio. Tabelas, grficos, textos e mais. Um nico conjunto de dados pode aparecer de vrias formas e um nico relatrio pode apresentar dados de vrios conjuntos de dados.

Concluso
Mais do que uma tecnologia, Business Intelligence (BI) uma filosofia de utilizao de tecnologias alinhadas a processos de negcios, dados da empresa, de concorrentes e do ambiente comercial. Para utiliz-lo preciso primeiro organizar os processos da empresa e as necessidades que surgem, para poder saber o porqu da utilizao de tais ferramentas. Com o crescimento da utilizao vrios bancos de dados e ferramentas vo

dando suporte a BI, onde se destacam o SQL Server da Microsoft e o projeto BIRT como um projeto Open Source.

Referncias
1. 2. 3. 4. 5. 6. 7. Wikipedia www.wikipedia.org Microsoft SQL Server www.microsoft.com/sqlserver Eclipse Project www.eclipse.org SERPRO www.serpro.gov.br SIEMENS www.siemens.com.br POLITEC www.politec.com.br SIA www.sia.com.br