Problemtica que plantea Big

Data
Laboratorio

ibigdata.es
Agenda

Introduccin a la problemtica del Big Data

Problemas
Volumen
Integracin de las fuentes
Verificacin de la calidad
Gestin de datos Streaming
Otros problemas

2
Introduccin a la problemtica del Big Data
Big Data proporciona un gran abanico de posibilidades a las
organizaciones pero ...

Velocidad Veracidad

Variedad
Valor

Volumen

Las 5vs son un problema en s mismas

3
Introduccin a la problemtica del Big Data

Encuesta reciente a empresas que usan Big Data muestra que:

Solo un 12% afirman tener gran

xito en su uso

Frente a un 64% de xito moderado

y un 24% de fracaso

Fuente:

4
Introduccin a la problemtica del Big Data

El fracaso se debe a problemas como:

Complejidad de la integracin de las fuentes de datos
Pobre calidad de los datos
Gestin de datos generados en tiempo real
Falta de personal con las habilidades adecuadas
Eleccin de la arquitectura incorrecta

5
Problemas. Volumen

El procesamiento y anlisis de los enormes

volmenes es uno de los problemas ms
NoSQL
evidentes y antiguos.
Sin embargo, la tecnologa actual aporta
soluciones como Apache Hadoop y las bases de
datos NoSQL
De bajo coste y escalables en volumen
Procesamiento y anlisis de terabytes de datos en
minutos o segundos sobre hardware comercial

6
Problemas. Gestin de datos Streaming
Datos
generados y
distribuidos

Retos
en tiempo real
Streaming

i) Integracin
ii) Verificacin de
la calidad
Oportunidad * En tiempo real
de Anlisis.
Real Time

7
Problemas. Gestin de datos Streaming
Datos
generados y
distribuidos

Retos
en tiempo real
Streaming

i) Integracin
ii) Verificacin de
la calidad
Oportunidad * En tiempo real
de Anlisis.
Real Time

8
Problemas. Gestin de datos Streaming
Datos
generados y
distribuidos
en tiempo real
Streaming Retos
i) Integracin
ii) Verificacin de la
calidad
Oportunidad * En tiempo real
de Anlisis.
Real Time

9
Problemas. Integracin de las fuentes

Combinacin o integracin de fuentes de datos,

internas y externas
Una de las formas de aadir valor a los datos
originales y prepararlos para el anlisis

10
Problemas. Integracin de las fuentes

Combinacin o integracin de fuentes de datos,

internas y externas
Una de las formas de aadir valor a los datos
originales y prepararlos para el anlisis
La Variedad o heterogeneidad de las fuentes,
hace que esta tarea requiera un gran esfuerzo
humano
Sobre todo cuando se maneja un gran nmero de
fuentes
A tener en cuenta: Distintos modelos de datos,
distinto formato, falta o inexistencia de metadatos...
11
Problemas. Verificacin de la calidad

Es muy difcil comprobar la Veracidad o precisin de los datos

contenidos en las fuentes externas
Su generacin no depende de
nosotros
Falta de datos, ruido, alteraciones

12
Problemas. Verificacin de la calidad

Es muy difcil comprobar la Veracidad o precisin de los datos

contenidos en las fuentes externas
Su generacin no depende de
nosotros
Falta de datos, ruido, alteraciones

Es necesario garantizar la calidad de los datos antes y despus de

los procesos de integracin

13
Otros problemas

La falta de personal con las habilidades adecuadas

14
Otros problemas

La falta de personal con las habilidades adecuadas

Seleccin de la arquitectura idnea
Qu base datos NoSQL es la ms adecuada?
Clster local o uso de servicios y almacenamiento en la nube?

15
Otros problemas

La falta de personal con las habilidades adecuadas

Seleccin de la arquitectura idnea
Qu base datos NoSQL es la ms adecuada?
Clster local o uso de servicios y almacenamiento en la nube?
Otros problemas
Coexistencia con Almacenes de Datos (Data Warehouses)
Coste de implementacin y mantenimiento
Pobre integracin entre herramientas Big Data existentes

16
18