Você está na página 1de 26

El valor de la informacin: el reto del Big Data

Una introduccin al Big Data


y su impacto en la sociedad
Francisco Herrera
Grupo de Investigacin
Soft Computing y Sistemas de Informacin Inteligentes

Dpto. Ciencias de la Computacin e I.A.


Universidad de Granada
herrera@decsai.ugr.es
http://sci2s.ugr.es
Nuestro mundo gira en torno a los datos

Ciencia
Medicina
Ciencias Sociales y Humanidades
Negocio, Comercio e Industria
Entretenimiento y Ocio
La explosin de los datos

Exabytes: 1018 bytes.


La explosin de los datos
Zettabyes: 1021 bytes.
Qu hacemos con estos datos?

El progreso y la innovacin ya no se ven


obstaculizados por la capacidad de recopilar datos,
sino por la capacidad de

Extraer el valor de los datos

Convertir datos en conocimiento


El valor de la informacin: el
reto del Big Data

Por qu Big Data? Tecnologas para Big Data y


Big Data Analytics. Ciencia de Datos

El poder de los datos y su impacto en la sociedad


El valor de la informacin: el
reto del Big Data

Por qu Big Data? Tecnologas para Big Data


y Big Data Analytics. Ciencia de Datos

El poder de los datos y su impacto en la sociedad


Por qu Big Data?
Terabyte: 1012 bytes

Problema: Escalabilidad de grandes cantidades de datos


Ejemplo:
Exploracin 100 TB en 1 nodo @ 50 MB/sec = 23 das
Solucin Divide-Y-Vencers
Exploracin en un clster de 1000 nodos = 33 minutos

Cmo podemos procesar 1000 TB (1 PB) 10000 TB?


Propuesta de Google 2004:
Fragmentacin Datos
Paradigma MapReduce Procesamiento Paralelo
(aproximacin ms popular a big data) Fusin de Modelos
Big Data

Big Data en 3 Vs

Volumen

Big
Data
Variedad Velocidad
Doug Laney, Gartner Feb. 6, 2001
3-D Data Management: Controlling Data Volume, Velocity and Variety.
Qu es Big Data? 3 Vs de Big Data

Some Make it 4Vs: Veracity

Big Data son datos cuyo volumen,


diversidad y complejidad requieren
nueva arquitectura, tcnicas,
algoritmos y anlisis para gestionar y
extraer valor y conocimiento oculto en
ellos ...
Big Data: Tecnologa
2001-2010
2010-2015 y Cronologa

2001
3Vs Gartner
Doug Laney
2009-2013 Flink 2010-2015:
2004
TU Berlin MapReduce
Flink Apache (Dec. Google Big Data
2014) Volker
Markl
Big Jeffrey Dean
Analytics:
Mahout, MLLib,

Data Hadoop
Ecosystem
2010 Spark 2008
U Berckeley Hadoop Aplicaciones
Apache Spark Yahoo!
Feb. 2014 Nuevas
Doug Cutting Tecnologas
Matei Zaharia
11
Big Data Analytics Potentiales escenarios

Real Time Analytics/


Classification Big Data Streams
Clustering

Social Media Mining


Recommendation Social Big Data
Association
Systems
Ciencia de Datos
mbito del conocimiento que engloba las habilidades
asociadas al anlisis inteligente de datos, incluyendo Big Data

Cientfico de datos
El valor de la informacin: el
reto del Big Data

Por qu Big Data? Tecnologas para Big Data y Big


Data Analytics. Ciencia de Datos

El poder de los datos y su impacto en la sociedad


Anlisis de transacciones El poder de los datos
Amazon: Sistema de recomendacin

Los datos incrementaron Crticos y editores literarios


tremendamente las ventas La voz de Amazon (1995)
Ahora ms de 1/3 de las ventas son
gracias a las recomendaciones

Dilema: Lo que los


clics decan o lo que
opinaban los
crticos?

Greg Linde (1997) propuso un


sistema de recomendaciones,
filtrado colaborativo
artculo a artculo
Fuente: Big Data. La revolucin de los datos masivos. Pag. 69. The power of habit, Charles Duhigg. Feb. 2012
El poder de los datos
Anlisis de transacciones

Modelo de prediccin de
Disculpas Empresa. clientes embarazadas por
Disculpas del padre, medio de sus patrones de
confirmacin del compra.
embarazo de la hija

Enfado de un padre: Su Hija v


recibe publicidad de
productos para embarazadas

Descubrimiento: Cremas
Accin: Envo de sin perfume al tercer mes.
cupones para cada Dos docenas de productos
fase del embarazo
Prediccin de fecha parto
Fuente: Big Data. La revolucin de los datos masivos. Pag. 77
Anlisis de transacciones: El poder de los datos

Un chivo expiatorio
Target (cadena de grandes almacenes) que utiliza el
anlisis de transacciones y asociaciones.

Unos das despus el director llam al padre para


disculparse.
Respuesta conciliadora del padre:
He estado hablando con mi hija dijo el padre
Resulta que en mi casa han tenido lugar ciertas
actividades de las que yo no estaba del todo
informado. Mi hija sale de cuentas en agosto. Soy
yo el que les debe una disculpa.

Fuente: Big Data. La revolucin de los datos masivos. Pag. 77.


Analizando Twitter para medir la
Salud Pblica You Are What You Tweet

Un sistema de filtrado de datos de Twitter puede inferir


aspectos de salud analizando 144M de tuits (2011-2013)

Se obtienen 13 grupos coherentes de mensajes correlacionados


- Gripe estacional (r= 0.689) y alergias (r = 0.810)
- Ejercicio y obesidad relacionados con datos geogrficos, ..
Discovering Health Topics in Social Media Using Topic Models
Michael J. Paul, Mark Dredze, Johns Hopkins University, Plos One 9(8) e103408, 2014
doi:10.1371/journal.pone.0103408
Banca: Identificacin de personas con
las compras de tarjetas de crdito
http://elpais.com/elpais/2015/01/29/ciencia/1422520042_066660.html

http://www.sciencemag.org/content/347/6221/536
Banca: Identificacin de personas con
las compras de tarjetas de crdito

Identificacin por el gnero

Identificacin por el nmero de compras


Identificacin por el
poder adquisitivo
Impacto en la sociedad
Salud
Redes sociales como fuente de datos
Industria, comercio, banca,
Ocio y cultural (Ej. Recomendaciones)
Poltica
Bien social (Social good)
Big Data: Gran Impacto en la Sociedad y
presencia en los medios de comunicacin

http://www.elmundo.es/elmundo/2013/09/03/navegante/1378243782.html
Impacto Econmico

La demanda de profesionales
formados en Ciencia de Datos
y Big Data es enorme.

Se estima que la conversin de


datos en informacin til gener
un mercado de 132.000 millones
de dlares en 2015 y que se crearn
ms de 4.4 millones de empleos.

Espaa necesitaba para 2015 ms


de 60.000 profesionales con
formacin en Ciencia de Datos y Big
Data. http://economia.elpais.com/economia/2013/09/27/actualidad/1380
283725_938376.html
http://www.revistacloudcomputing.com/2013/10/espana-necesitara-60-000-profesionales-de-big-data-hasta-
2015/?goback=.gde_4377072_member_5811011886832984067#!
El valor de la informacin: el
reto del Big Data

2 Lecturas rpidas: Sobre la tecnologa y


sobre el poder de los datos

Captulo 3.
http://issuu.com/secacult_uja/docs/libro_francisco_herrera.indd
Comentarios Finales

Nube de datos (Noviembre 2014)


Gracias!