Escolar Documentos
Profissional Documentos
Cultura Documentos
Autores:
INTELIGENCIA DE NEGOCIO
Se define por Inteligencia de Negocio o Business Intelligence (BI) a la transformacin de los datos de la compaa en conocimiento para obtener una ventaja competitiva. Desde un punto de vista ms pragmtico, y asocindolo directamente a las tecnologas de la informacin, podemos definir Business Intelligence como el conjunto de metodologas, aplicaciones y tecnologas que permiten reunir, depurar y transformar datos de los sistemas transaccionales e informacin desestructurada (interna y externa a la compaa) en informacin estructurada, para su explotacin directa (reporting, anlisis OLAP...) o para su anlisis y conversin en conocimiento soporte a la toma de decisiones sobre el negocio. [6] Este conjunto de herramientas y metodologas tienen en comn las siguientes caractersticas: Accesibilidad a la informacin. Los datos son la fuente principal de este concepto. Lo primero que debe garantizar este tipo de herramientas y tcnicas ser el acceso de los usuarios a los datos con independencia de la procedencia de estos. Apoyo en la toma de decisiones. Se busca ir ms all en la presentacin de la informacin, de manera que los usuarios tengan acceso a herramientas de anlisis que les permitan seleccionar y manipular slo aquellos datos que les interesen. Orientacin al usuario final. Se busca independencia entre los conocimientos tcnicos de los usuarios y su capacidad para utilizar estas herramientas. El trmino inteligencia empresarial se refiere al uso de los datos de una empresa para facilitar la toma de decisiones a las personas que deciden, es decir, la comprensin del funcionamiento actual y la anticipacin de acciones para dar una direccin bien informada a la empresa. Las herramientas de inteligencia se basan en la utilizacin de un sistema de informacin de inteligencia que se forma con distintos datos extrados de los datos de produccin, con informacin relacionada con la empresa o sus mbitos y con datos econmicos. Mediante las herramientas y tcnicas ETL (extraer, transformar y cargar) se extraen los datos de distintas fuentes, se depuran y preparan (homogeneizacin de los datos) para cargarlos en un almacn de datos. Por ltimo, las herramientas de inteligencia analtica posibilitan el modelado de las representaciones en base a consultas para crear tablas; esto se conoce como presentacin de informes. [7] 4
La figura 1 muestra las etapas por la que transitan los datos que forman parte del proceso de informacin en una organizacin, pero con los roles involucrados en este proceso de toma de decisiones. [3]
Fig.1 Etapas por las que transitan los datos en un proceso de toma de decisiones Desde un punto de vista ms pragmtico, y asocindolo directamente con las tecnologas de la informacin, podemos definir Business Intelligence como el conjunto de metodologas, aplicaciones y tecnologas que permiten reunir, depurar y transformar datos de los sistemas transaccionales e informacin desestructurada (interna y externa a la compaa) en informacin estructurada, para su explotacin directa (reporting, anlisis OLTP / OLAP, alertas...) o para su anlisis y conversin en conocimiento, dando as soporte a la toma de decisiones sobre el negocio. [1]
DATA WAREHOUSE
Un Data Warehouse (DW) o Almacn de datos es una base de datos corporativa que se caracteriza por integrar y depurar informacin de una o ms fuentes distintas, para luego procesarla permitiendo su anlisis desde infinidad de pespectivas y con grandes velocidades de respuesta. La creacin de un datawarehouse representa en la mayora de las ocasiones el primer paso, desde el punto de vista tcnico, para implantar una solucin completa y fiable de Business Intelligence. [4] Los "almacenes de datos" son una tecnologa relativamente reciente, encaminada a proporcionar metodologas para recopilar e integrar los datos histricos de una organizacin, cuyo fin es el anlisis, la obtencin de resmenes e informes complejos y la extraccin de conocimiento. Esta tecnologa est diseada especialmente para organizar grandes volmenes de datos de procedencia generalmente estructurada (por ejemplo bases de datos relacionales). La ventaja principal de este tipo de bases de datos radica en las estructuras en las que se almacena la informacin (modelos de tablas en estrella, en copo de nieve, cubos relacionales, etc). Este tipo de persistencia de la informacin es homognea y fiable, y permite la consulta y el tratamiento jerarquizado de la misma (siempre en un entorno diferente a los sistemas operacionales). La siguiente tabla describe las diferencias que se deben tener en cuenta para estructurar y disear almacenes de datos en comparacin con las bases de datos transaccionales. [5] Parmetros Propsito Tipo de datos Caractersticas de los datos Modelo de datos Nmero y tipo de usuarios Acceso Base de Datos Transaccional Operaciones diarias. Soporte a las aplicaciones. Datos de funcionamiento de la organizacin. Datos de cambiantes, incompletos. funcionamiento, internos, Almacn de Datos Recuperacin de informacin, informes, anlisis y minera de datos. Datos tiles para sumarizacin, etc. el anlisis, la y
Datos normalizados. Cientos/miles: aplicaciones, operarios, administrador de la base de datos. SQL. Lectura y escritura.
Datos en estrella, en copo de nieve, parcialmente desnormalizados, multidimensionales. Decenas: analistas. directores, ejecutivos,
SQL y herramientas propias (slice & dice, drill, roll, pivot). Lectura.
Tabla 1. Diferencias entre las bases de datos transaccionales y los almacenes de datos. 6
warehouse:
Proporciona una herramienta para la toma de decisiones en cualquier rea funcional, basndose en informacin integrada y global del negocio. Facilita la aplicacin de tcnicas estadsticas de anlisis y modelizacin para encontrar relaciones ocultas entre los datos del almacn; obteniendo un valor aadido para el negocio de dicha informacin. Proporciona la capacidad de aprender de los datos del pasado y de predecir situaciones futuras en diversos escenarios. Simplifica dentro de la empresa la implantacin de sistemas de gestin integral de la relacin con el cliente. Supone una optimizacin tecnolgica y econmica en entornos de Centro de Informacin, estadstica o de generacin de informes con retornos de la inversin espectaculares.
Existen dos paradigmas en el campo del Data Warehousing, el paradigma de Bill Inmon y el paradigma de Ralph Kimball, ambos conocidos como los padres del Data Warehouse. El paradigma de Inmon: La tecnologa de data warehouse, forma parte de los sistemas de inteligencia de negocio. Una empresa debe tener un Data Warehouse y varios Data Marts que se nutran de la informacin del Data Warehouse. En un Data Warehouse la informacin puede estar almacenada en 3 ra Forma Normal. [2] Segn defini el propio Bill Inmon, un datawarehouse se caracteriza por ser: Integrado: los datos almacenados en el datawarehouse deben integrarse en una estructura consistente, por lo que las inconsistencias existentes entre los diversos sistemas operacionales deben ser eliminadas. La informacin suele estructurarse tambin en distintos niveles de detalle para adecuarse a las distintas necesidades de los usuarios. Temtico: slo los datos necesarios para el proceso de generacin del conocimiento del negocio se integran desde el entorno operacional. Los datos se organizan por temas para facilitar su acceso y entendimiento por parte de los usuarios finales. Por ejemplo, todos los datos sobre clientes pueden ser consolidados en una nica tabla del datawarehouse. De esta forma, las peticiones de informacin sobre clientes sern ms fciles de responder dado que toda la informacin reside en el mismo lugar. Histrico: el tiempo es parte implcita de la informacin contenida en un datawarehouse. En los sistemas operacionales, los datos siempre reflejan el estado de la actividad del negocio en el momento presente. Por el contrario, la informacin almacenada en el datawarehouse sirve, entre otras cosas, para realizar anlisis de tendencias. Por lo tanto, el datawarehouse se carga con los distintos valores que toma una variable en el tiempo para permitir comparaciones. No voltil: el almacn de informacin de un datawarehouse existe para ser ledo, pero no modificado. La informacin es por tanto permanente, significando la actualizacin del datawarehouse la incorporacin de los ltimos valores que tomaron las distintas variables contenidas en l sin ningn tipo de accin sobre lo que ya exista.
El paradigma de Kimball: Un Data Warehouse es la unin de todos los Datamarts de las diferentes reas de una empresa. La informacin se almacena siguiendo un modelo dimensional. [2] Ambos paradigmas son vlidos pero se considera al de Ralph Kimball como el ms ajustado a la evolucin de esta tecnologa dado que la mayora de las organizaciones por diversos motivos, casi siempre tiempo y costo de produccin, comienzan por la implementacin de varios Data Marts que 7
Para comprender ntegramente el concepto de datawarehouse, es importante entender cual es el proceso de construccin del mismo, denominado ETL (Extraccin, Transformacin y Carga), a partir de los sistemas operacionalees de una compaa: Extraccin: obtencin de informacin de las distintas fuentes tanto internas como externas. Transformacin: filtrado, limpieza, depuracin, homogeneizacin y agrupacin de la informacin. Carga: organizacin y actualizacin de los datos y los metadatos en la base de datos. El desarrollo de los sistemas de informacin sustentados sobre bases de datos, ha trado como consecuencia la proliferacin de herramientas de consultas cada vez ms complejas. Por tanto, es necesario distinguir los diferentes tipos de procesamiento existentes: el procesamiento transaccional y el procesamiento analtico.
PROCESAMIENTO ANALTICO
Los datawarehouse soportan el procesamiento analtico en lnea, conocido como OLAP ( On-Line Analytical Processsing), El procesamiento OLAP rene un gran nmero de operaciones (solamente de consulta), en las se cruzan gran cantidad de informacin con el objetivo final de crear informes y resmenes que sean tiles en la toma de decisiones. Los algoritmos que utiliza estn implementados para optimizar los tiempos de respuesta a las consultas, logrando eficiencia y almacenando los datos en estructuras especializadas. [12] OLAP fue creado bajo las siguientes ideas: Lograr rapidez de respuesta: entregar la informacin a los usuarios finales en el menor tiempo posible, de 0 a 5 segundos. Posibilitar el anlisis: Ofrecer anlisis numrico y estadstico de los datos, con valores agregados. Esto permite analizar tendencias, causas, detectar variables de inters y descender hasta los niveles ms bajos de la informacin, lo que se complementa con la ayuda de los motores de reportes y grficos que se incluyen. Tambin incluye vistas personalizadas. Compartir Datos: Incluye los mecanismos de seguridad necesarios para compartir la informacin entre los usuarios que se definan. Basado en un Estructura Multidimensional : Haciendo sencilla la seleccin y navegacin de los datos. 8
M-OLAP
Consulta rpidas debido a la optimizacin del rendimiento de almacenamiento, la indexacin multidimensional y la memoria cach. La etapa de procesamiento (carga de datos) puede ser bastante larga, sobre todo para grandes volmenes de datos. Normalmente, esto se puede evitar con un procesamiento incremental, es decir, solo el procesamiento de los datos que han cambiado (por lo general, los nuevos datos) en lugar de volver a procesar de todo el conjunto de datos. Las herramientas M-OLAP tradicionalmente tienen dificultades para consultar con modelos con dimensiones muy altas (del orden de millones de miembros). Eficaz extraccin de datos lograda gracias a la pre-estructuracin de los datos agregados. El modelo de almacenamiento en vectores/matrices proporciona una indexacin natural.
R-OLAP
Las herramientas R-OLAP tienen menor rendimiento que las herramientas MOLAP. Con una gran variedad disponible de herramientas de carga de datos, y la posibilidad de ajustar el cdigo ETL(Extract, Transform, Load) a un modelo de datos particular, los tiempos de carga son generalmente mucho menores que con las cargas M-OLAP automatizadas. R-OLAP se considera ms escalable para manejar grandes volmenes de datos, especialmente modelos con dimensiones de gran cardinalidad. La carga de tablas agregadas debe ser gestionado por cdigo personalizado ETL. Las herramientas R-OLAP no ayudan con esta tarea. Esto significa que se necesita ms tiempo de desarrollo de cdigo. R-OLAP se basa en una base de datos de propsito general para consultar y cachear, y por lo tanto hay varias tcnicas especiales empleadas por las herramientas M-OLAP que no estn disponibles (tales como el indexado jerrquico especial). Sin embargo, las herramientas modernas R-OLAP toman ventaja de las ltimas mejoras en el lenguaje SQL tales como los operadores CUBE y ROLLUP, Vistas de Cubo DB2, as como tambin otras extensiones SQL OLAP. Estas mejoras SQL pueden mitigar los beneficios de las herramientas M-OLAP.
MODELO MULTIDIMENSIONAL
El modelo multidimensional dentro del entorno de las bases de datos, es una disciplina de diseo que se sustenta en el modelo entidad relacin y en las realidades de la ingeniera de texto y datos numricos. [9] Dadas las caractersticas de los almacenes de datos es ideal la utilizacin en su diseo de un Modelo Multidimensional (MMD). Este tipo de diseo tiene como ventajas sobre el Modelo EntidadRelacin (MER), que es muy flexible, est desnormalizado y orientado a los intereses de un usuario final, aunque esto no significa que existan inconsistencias en los datos. Mediante la
10
Fig.3 Arquitectura funcional de PENTAHO Las soluciones que Pentaho ofrece se componen fundamentalmente de una infraestructura de herramientas de anlisis e informes, integrados con un motor del flujo de los procesos de negocio. La plataforma ser capaz de ejecutar las reglas de negocio necesarias, expresadas en forma de procesos y actividades y de presentar y entregar la informacin adecuada en el momento adecuado. Presenta una organizacin por productos: Reporting, Anlisis, Dahsboards y Data Mining. [16] Est construdo en torno al servidor de aplicaciones J2EE JBoss y Jboss Portal, habilitando que toda la informacin sea accesible mediante un browser. Presenta informes en los formatos habituales (html, excel, pdf...) mediante JfreeReport. Para la generacin de PDFs utiliza Apache FOP. Asimismo incorpora la librera JPivot, gracias a la cual se pueden ver tablas OLAP a travs de un browser y realizar las aplicaciones tpicas de anlisis OLAP (drill down, slice and dice...). Adems, integra Pentaho Report Design Wizard, una herramienta de diseo de informes y facilita el trabajo con JfreeReport. Para generar grficos se apoyan en JFreeChart, una librera para generar los grficos ms comunes (2D, 3D, barras, lneas series temporales, Gantt...), interfaces para acceder a diferentes fuentes de datos, exportacin a PNG, JPEG y PDF y soporte para servlets, JSPs, applets y aplicaciones clientes. Los WebServices son una caracterstica fundamental de Pentaho. Las acciones, que son las tareas ms sencillas que constituyen una solucin de Pentaho, pueden publicarse como WebServices. Pentaho utiliza como motor de WebServices Apache Axis, quedando los servicios descritos en el lenguaje de definicin de servicios web WSDL.
EL SERVIDOR OLAP
Para obtener la funcionalidad de procesamiento analtico en lnea (OLAP) se utilizan otras dos aplicaciones: el servidor OLAP Mondrian, que combinado con Jpivot, permiten realizar consultas al data warehouses y permite que los resultados sean presentados mediante un navegador de modo que el usuario pueda realizar las actividades tpicas de navegacin. Mondrian utiliza MDX como 13
"Jdbc=jdbc:odbc:MondrianFoodMart;" + "Catalog=/WEB-INF/FoodMart.xml;", null, false); Query query = connection.parseQuery( "SELECT {[Measures].[Unit Sales], [Measures].[Store Sales]} on columns," + " {[Product].children} on rows " + "FROM [Sales] " + "WHERE ([Time].[1997].[Q1], [Store].[CA].[San Francisco])"); Result result = connection.execute(query); result.print(new PrintWriter(System.out)); Fig.5 Ejemplo de fragmento java para conectar a Mondrian, ejecutar una consulta e imprimir el resultado El modelo fsico es la fuente de datos, la cul es presentada a travs del modelo lgico. Es tpicamente un esquema estrella, el cual consiste en un conjunto de tablas en una base de datos relacional. Los esquemas Mondrian se alojan en un archivo XML. Este esquema puede ser editado de forma manual, o utilizando las herramientas Workbench o Cube Designer de Mondrian. Jpivot es un conjunto de bibliotecas configurables JSP que permiten mostrar tablas y grficos, para mostrar la navegacin tpica de los entornos OLAP: drill-down, rotar ejes, dril-through, etc. Utiliza Mondrian como servidor OLAP preferente, pero tambin podra acceder a los cubos OLAP de Microsoft Analysis Services. La conexin con las Bases de Datos se realiza via JDBC y realiza los clculos en memoria, sin generar nuevos ficheros y bases de datos que mantener y almacenar. La principal diferencia de JPivot respecto a otras bibliotecas en Javascript es que JPivot nicamente realiza la consulta de los datos necesarios, es decir los que se muestran en ese momento a diferencia de las bibliotecas de Javascript que contienen todos los datos de la consulta y los muestran de diferente manera en funcin de los filtros aplicados.
LA INTELIGENCIA DE NEGOCIO. SU IMPLEMENTACIN MEDIANTE LA PLATAFORMA PENTAHO HERRAMIENTAS CUBE DESIGNER Y WORKBENCH
Para crear el modelo de los datos en la plataforma Pentaho se configura la fuente de los datos y el cubo OLAP en el fichero de configuracin XML llamado fichero del esquema Cubo Mondrian (Mondrian Cube Schema). En este fichero de esquema se pueden definir las dimensiones, los niveles de jerarqua de dimensiones, los hechos y conexin a la base de datos relacional que sirve los datos para el cubo OLAP. El fichero del esquema Cubo Mondrian es un fichero del tipo XML que se puede crear con cualquier editor de texto. Esto puede resultar muy difcil y consumir mucho tiempo, pero la plataforma cuenta con las aplicaciones open source Pentaho Cube Designer y Schema Workbench que constituyen un buen apoyo al proceso de creacin de los cubos.
Fig.7 Ejemplo de diseo de un cubo utilizando Cube Designer Mondrian Schema Workbench (ver figura 8) es un entorno visual para el desarrollo y prueba de cubos OLAP Mondrian. Si bien la definicin del XML para esquemas Mondrian no es extremadamente compleja, en la prctica resulta engorroso recordar cada uno de los elementos junto a sus atributos y sub-elementos. Con esta aplicacin, se puede configurar una conexin JDBC como el modelo fsico, para luego elaborar el esquema lgico de manera simple y efectiva. Para ello el entorno ofrece un editor de esquemas con la fuente de datos subyacente para su validacin. Permite la ejecucin de consultas MDX contra el esquema y la base de datos y la navegacin por la base de datos subyacente. [11]
17
18
19
20
[10] Manuel de la Herrn Gascn, http://www.eside.deusto.es/profesores/mherran/. Fecha de consulta julio 2008. [11] Mondrian Schema Workbench, http://wiki.pentaho.com/display/PMOPEN/Mondrian+ Schema+Workbench. Fecha de consulta septiembre 2008. [12] OLAP, http://en.wikipedia.org/wiki/OLAP. Fecha de consulta julio 2008. [13] Pentaho. Architecture. Layers of a Mondrian System, http://mondrian.pentaho.org/documentation/architecture.php. Fecha de consulta septiembre 2008. [14] PENTAHO: Creacin de un cubo con Mondrian, http://www.gravitar.biz/index.php/herramientas-bi/. Fecha de consulta julio 2008. [15] Pentaho Data Mining, http://www.pentaho.com/products/data_mining/. Fecha de consulta septiembre 2008. [16] Pentaho: la solucion Open Source Business Intelligence, http://todobi.blogspot.com/2006/05/pentaho-la-solucion-open-source.html. consulta Julio 2008. Fecha de
[17] R-OLAP vs. M-OLAP, http://businessintelligence.ittoolbox.com/documents/popular-q-anda/molap-vs-rolap-1990#. Fecha de consulta julio 2008. [18] TODO BI, Informe Business Intelligence. Recopilacin de los mejores artculos de inteligencia de negocio del 2006. Abril 2006. [19] Transformacin grafica ETL con Spoon un componente de Pentaho Data Integration (Kettle), http://www.gravitar.biz/index.php/bi/introduccion-pentaho-parte-1/#comment-46. Fecha de consulta septiembre 2008. 21
22