Treinamento Hadoop

Parte 2
Alexandre Uehara
Analista Desenvolvedor (E-commerce)
Coordenador Trilha Big Data (TDC
2013)
http://www.thedevelopersconference.com.
br/tdc/2013/saopaulo/trilha-bigdata#programacao

Geek e nerd, trabalha com Python,

Java, C, BigData, NoSQL, e outras
coisas mais que aparecem no dia a dia
 Nossa
Agenda:
Dia 2!!!
 Dia 1:
Desafio
Introduo

BI x Big Data
Conceitos Bsicos
Profissional de
Big Data
Big Data
O que ?
Ferramentas
4 V's
Dicas
Por que
agora?
Onde Usar?
 Dia 2 e 3:
Map Reduce e
Hadoop
Histria
(Google)
Conceito
MapReduce
Hadoop
Cases
 Dia 4
Outras
Ferramentas
Ecossistema NoSQL Tipos
Ferramentas NoSQL
Distribuies Exemplos
Hadoop Data Science
Hadoop na Machine
Nuvem Learning
 Dia 5, 6 e 7
Hands-on
Pyhton
Hadoop
Antes disso...
 Antes disso...
lembram o quer era Big Data?
 Antes disso...
lembram o quer era Big Data?

CONCEITO!!!
 Antes disso...
lembram o quer era Big Data?

Agora que entedemos que um

CONCEITO, vamos ver a FERRAMENTA
Mas o que ?
Map Reduce
 Map Reduce
Hadoop baseado no modelo de
programao MapReduce
 "MapReduce um modelo de
programao desenhado para processar
grandes volumes de dados em paralelo,
dividindo o trabalho em um conjunto
de tarefas independentes."
http://en.wikipedia.org/wiki/MapReduce
Map Reduce
Vem da onde?
Map Reduce

Framework
introduzido
pelo ...
Map Reduce

Framework
introduzido pelo
Google
Map Reduce

http://research.google.com/archive/mapreduce.html
Map Reduce

http://research.google.com/archive/mapreduce.html
Map Reduce

No inventou, apenas implementou

Mas, "definiu" / "padronizou"

algortimo e arquitetura
Map Reduce

paradigma de programao
para processar e analisar
grandes conjuntos de dados
Map Reduce

Processamento tolerante a falha e

fcil abstrao
Facilidade de escalar
Decompe tudo em Pares - chave :
valor
Depois sumariza os resultados
 Map Reduce

Map Reduce FileSystem

 Google Map
Reduce

Map Reduce Google

FileSystem
Map Reduce
Map Reduce
Map Reduce

Inspirado pelas funes

map e reduce usadas em
programao funcional.
Map Reduce
"Programao funcional um paradigma de programao que trata a
computao como uma avaliao de funes matemticas e que evita
estados ou dados mutveis. Ela enfatiza a aplicao de funes, em
contraste da programao imperativa, que enfatiza mudanas no
estado do programa"
Wikipedia - http://pt.wikipedia.org/wiki/Programa%C3%A7%C3%A3o_funcional

Exemplos de linguagem:
Lisp
Haskell
Scala
 Map Reduce

Se encarrega de toda
complexidade de
processamento
paralelo, e o
programador cuida
apenas da lgica
 Map Reduce

Voc especifica
funo map()
Voc especifica
funo reduce()
O framework cuida
do restante
Map Reduce

Lembra o
que era Map
/ Mapa?
Map Reduce

Map -
associao
chave-valor
(key-value) k,v
Map Reduce
Duas fases: Map Reduce

Entre MapReduce : shuffle e sort

Map Reduce
No Linux seria mais ou
menos:
cat /my/log | grep '*.*\.
html' | sort | uniq -c >
/output -file
Map Reduce

Map Reduce
Outros Map Reduce
Hadoop
http://hadoop.apache.org/
Twister
http://www.iterativemapreduce.org/
Phoenix
http://mapreduce.stanford.edu/
FileMap
http://mfisk.github.io/filemap/
Map Reduce
Modelo Simples de
programao

Sistema de arquivos
distribuidos com
gerenciamento de tarefas
Map Reduce
Gerenciamento de cluster

Excelente em
processamento em batch

No feito para processos

online
 Google
Filesystem
Google Filesystem (GFS)
Sistema de arquivos distribudos
otimizados para atuar em dados no
estruturados
Necessrio pois os arquivos pode
comear a tornar grandes demais para
serem armazenados em apenas uma
mquina
Google Filesystem (GFS)
Google Filesystem (GFS)
Tolerancia a falhas (se falhar um n,
automaticamente replica para outro)
Suporte a falha parcial
Suporte a recuperao de
dados
Suporte a recuperao
individual de ns
Google Filesystem (GFS)
Consistncia
Escalvel (pode aumentar / diminuir
sem afetar a aplicao)
Milhares de ns
Processamento paralelo
Ns independentes
Map Reduce + GFS
Ou seja:
Escalvel Eficiente
Econmico Confivel
Map Reduce

Exemplo "Word Count"

 Alexandre Uehara
@AleUehara

linkedin.com/in/aleuehara

uehara.alexandre@gmail.com

slideshare.net/aleuehara