VALIDACION DE TECNICAS DE MIGRACIÓN Y HERRAMIENTAS ETCL

ING LUIS FELIPE NIQUINAS

SENA

2019
Existen varias técnicas para realizar el proceso de migración de datos, a
continuación se relacionan las más utilizadas en los procesos actuales.

Sincronización de bases de datos

Consiste en hacer que dos bases de datos sean equivalentes en el mismo tiempo,
esto se consigue mediante la copia de datos y metadatos de una base de datos
origen a una base de datos destino mediante una herramienta tecnológica, los
asistentes de sincronización de los SMBD son configurados con las bases de datos
origen y las bases de datos destino parametrizando la ubicación de las particiones y
los métodos de seguridad.

Importación/Exportación de archivos CSV O XML a través de comandos de

consola o interfaz gráfica

Para las actividades de migración de datos es común el uso de archivos para el

traspaso de los datos, se pueden utilizar diferentes tipos de archivos pero los
formatos más usados son los archivos de texto (archivos planos) que guardan la
información sin formato usando solo caracteres. Los sistemas de codificación más
comunes para estos archivos son:

● ASCII
● ISO-8859-1
● Unicode

Un formato de archivo plano muy usado es el “.CSV” (Valores Separados por Coma)
en donde el delimitador usado es una coma, otro tipo de formato común para la
migración de datos es el “.XML” (Lenguaje de Marcado Extensible)​, que utiliza un
metalenguaje extensible de etiquetas las cuales sirven como estándar para
intercambio de información estructurada entre distintas plataformas.

Sentencias DML

Una posibilidad de los SMBD es la utilización de sentencias DML para generar

scripts SQL que permiten realizar migraciones de bases de datos existentes, en un
script SQL se pueden realizar las siguientes tareas:

● Copia de seguridad para creación de los usuarios, grupos, inicios de sesión y

permisos
 ● Creación o actualización de código para la implementación de una base de
datos
● Creación de un entorno de pruebas

Procedimientos ETCL (Extracción, Transformación, Limpieza y Carga)

Esta técnica se basa en el diseño y construcción de procedimientos técnicos para

realizar extracción, transformación, limpieza y carga de datos (ETCL), los
procedimientos o pasos necesarios para el desarrollo de un proyecto de migración
de datos utilizando la metodología ETCL son:

En todo proceso de migración se procede a integrar dos o más sistemas por lo cual
pueden usarse diferentes técnicas siendo las más comunes:

● Perfilado de datos: permite explorar los propios datos agregando las reglas
necesarias, esta técnica hace posible también hallar resultados acerca de
duplicidades o errores en los datos
● Limpieza de datos: se lleva a cabo mediante la implementación de una
herramienta de calidad de datos que ayude a eliminar errores, incorrecciones
o duplicidades y que al mismo tiempo enriquezca y homologue los datos
preparandolos para el sistema de destino
 ● Conexión a distintas fuentes de datos: precisa de una herramienta ad hoc
que garantice condiciones de simultaneidad

Las ventajas al usar estas técnicas conllevan a un aumento de la precisión,

reducción de errores, mayor agilidad y optimización del tiempo ya que la
automatización evita los procesos manuales.

Existen muchas herramientas de ETCL como también hay infinidad de bases de

datos, sistemas y organizaciones distintas, al momento de seleccionar la
herramienta a utilizar puede tomarse en consideración:

● Adaptabilidad a distintos sistemas operativos y plataformas

● Capacidad de gestión de datos
● Habilidades para monitorizar, gestionar y controlar procesos de integración
de datos en cuanto a gestión de errores, recolección de estadísticas de
ejecución, controles de seguridad, etc
● Diseño y entorno de desarrollo como soporte para test, interfaz gráfica,
modelos y flujos de datos

Aunque la elección de un software de ETL no es sencilla la automatización

garantiza:

● Aumento en la velocidad de desarrollo del proyecto

● Descentralización del control de ejecución y de todos los procesos
● Agilidad en el negocio
● Mayor precisión
● Minimización de errores

Microsoft Integration Services es una plataforma diseñada para la creación de

soluciones empresariales en transformación e integración de datos. Integration
Services sirve para resolver complejos problemas empresariales mediante la copia o
descarga de archivos, el envío de mensajes de correo electrónico como respuesta a
eventos, la actualización de almacenamiento de datos, limpieza y minería de datos y
la administración de datos SQL Server, Integration Services puede extraer y
transformar datos de diversos orígenes como archivos planos, de datos XML y otros
orígenes, también cuenta con un variado conjunto de tareas integradas,
herramientas para la creación de paquetes y servicio para ejecutar y administrar
paquetes, también se puede programar objetos de Integration Services para crear
paquetes mediante programación y codificar tareas personalizadas.
Import/Export Wizard permite mover datos de origen a destino sin modificar los
datos del origen y permitiendo hacer iteraciones y cambios de información antes de
llegar al destino dentro de tablas de ETL. Business Intelligence Development Studio
puede realizar tareas de migración fácilmente usando tareas visuales, los paquetes
que son las unidades de almacenamiento de estas tareas de migración se pueden
guardar en archivos dtsx o en la base de datos en formato XML.

Oracle Warehouse Builder es una herramienta de administración de datos y

metadatos que brinda características para asegurar la calidad de los datos que
integran el modelado relacional y multidimensional que permiten la administración
de todo el ciclo de vida de datos y metadatos.

Opciones Avanzadas para Carga de Datos

En grandes implementaciones los procesos se ejecutan en paralelo agotando los

recursos debido a la gran cantidad de datos, Warehouse Builder permite ejecutar
cargas de datos usando métodos rápidos y eficientes tales como el Oracle Data
Pump, esta es una forma diferente de movimiento de datos ya que se realiza por
medio de conjuntos de datos controlados por el motor de base de datos.

Soporte Integrado a Dimensiones Lentamente Cambiantes

En Warehouse Builder la lógica de dimensiones lentamente cambiantes es diseñada

en los metadatos de la dimensión, esta captura toda la lógica que será aplicada a
los datos que se insertan dentro de la misma, una vez los usuarios han decidido que
atributos son importantes el modelador de datos diseña la dimensión, el siguiente
paso es definir cómo efectuar los cambios y actualizaciones en la dimensión,
Warehouse Builder automatiza esto basado en la definición de la dimensión, el
diseño y la estandarización lo que hace que los procesos relacionados con
dimensiones lentamente cambiantes presenten un alto desempeño durante su
ejecución.

Traza Lineal de Principio a Fin

Los servicios de administración de dependencias (Warehouse Builder Dependency

Management) permiten prever el efecto que puedan tener los cambios que se hagan
a los metadatos del sistema ETL antes de que estos puedan ser afectados y/o
deteriorados.
Administración de Configuraciones Avanzadas

Tener que mover sistemas o aplicaciones de un ambiente a otro es un problema

frecuente, con Enterprise ETL Option de Warehouse Builder es posible generar un
modelo para configurar ambientes de desarrollo, pruebas y producción. Para mover
los cambios desde el ambiente de desarrollo al de producción el código generado en
desarrollo es modificado en producción solo en áreas específicas.