3

0

ENCONTRO DE USURIOS DE BI


!"#$%&$'()*+(#,"

uuranLe o segundo enconLro de usurlos de 8l,
o Lema 8lg uaLa surglu vrlas vezes duranLe as
dlscusses e promeLemos que serla assunLo de
um prxlmo evenLo. no Lercelro enconLro
resolvemos pagar essa promessa e dlscuur um
pouco sobre o concelLo, a Lecnologla por Lrs
do mesmo, suas posslvels apllcaes e
lmpacLos nas organlzaes.

Como se LraLa de um Lema novo para a malorla
das pessoas, resolvemos lnlclar o evenLo com
uma breve dlscusso sobre o esLglo de maLurldade do mercado de 8lg uaLa e dos
faLores que levaram ao desenvolvlmenLo da plaLaforma Padoop, presenLe na grande
malorla das lnlclauvas de 8lg uaLa.

uuranLe a apresenLao vlmos que alnda exlsLe mulLa confuso sobre o slgnlcado
do Lermo 8lg uaLa e suas dlferenas em relao a ouLros concelLos como uaLa
Warehouse e 8uslness lnLelllgence. Apesar da manelra agresslva com que o mercado
de Lecnologla procurou explorar o Lema nos ulumos anos, 8lg uaLa conunua sendo
um pro[eLo fuLuro para a grande malorla das organlzaes e no so mulLos os casos
de sucesso documenLados fora do segmenLo de lnLerneL.

L fol no segmenLo de lnLerneL que a Lecnologla assoclada a 8lg uaLa comeou a ser
desenvolvlda.

Lm 2003 a Coogle, famosa por seu
mecanlsmo de buscas na lnLerneL,
publlcou um arugo descrevendo
seu slsLema de arqulvos
dlsLrlbuldo (Coogle llle SysLem).
Logo depols, em 2004, apresenLou
o Map8educe, !"#$%&'"( que
permlua o desenvolvlmenLo de
programas de processamenLo
paralelo de grandes volumes de dados
e que servlu de base para a crlao do pro[eLo Padoop, que lnlcla oclalmenLe em
2006, na comunldade Apache.

C sucesso da plaLaforma Padoop no segmenLo de lnLerneL fol mulLo grande e a[udou
a rmar de vez o concelLo de 8lg uaLa no mercado.

Mas anal, o que slgnlca o Lermo 8lg uaLa?

8eallzado em Abrll de 2014 - 8lo de !anelro / So aulo 1uW 8l Consulung age #
Big data is like teenage sex:
everyone talks about it, nobody
really knows how to do it, everyone
thinks everyone else is doing it, so
everyone claims they are doing it.
Segundo o CarLner Croup, 8lg uaLa so auvos de lnformao de alLo volume, alLa
velocldade e alLa varledade que
demandam formas lnovadoras e
efeuvas em cusLo de
processamenLo que permlLam
melhorar a vlslbllldade e
Lomada de declso.

A parur desse breve resumo
sobre o slgnlcado do Lermo
8lg uaLa, da orlgem de sua
Lecnologla e da maLurldade do
mercado, o grupo lnlclou sua
dlscusso buscando responder
algumas pergunLas que foram esLabelecldas ao nal da apresenLao.

.*/0'//1%/ % !"#0)'/1%/

A segulr apresenLamos as pergunLas apresenLadas e um resumo da reexo felLa em
Lorno de cada uma delas.

2'() ( ,*3%4%#5( %#$4% 6*7 .($( % .($( 8(4%9"'/%:

lnlclalmenLe o grupo explorou a posslbllldade da dlferena esLar no volume de dados
envolvldo, mas vrlos paruclpanLes lembraram de pro[eLos de uaLa Warehouse
envolvendo dezenas ou cenLenas de LerabyLes que foram lmplanLados h vrlos anos
com sucesso.

Alguns paruclpanLes levanLaram a posslbllldade da dlferenclao esLar relaclonada
com o armazenamenLo de dados mals consolldados, orlenLados ao aLendlmenLo de
relaLrlos corporauvos ou formao de lndlcadores, versus a uullzao de dados que
preclsam ser anallsados de forma #)*'+, mas o
grupo enLendeu que exlsLem vrlos casos de
sucesso de pro[eLos de uaLa Warehouse que
armazenam dados de forma mals deLalhada e
onde consulLas #)*'+ so permludas e aLe
mesmo lncenuvadas.

uepols de algumas dlscusses lnLeressanLes, a
concluso fol de que as grandes dlferenas enLre
8lg uaLa e uaLa Warehouse esLarlam assocladas
com necessldade de lldar com dados no
esLruLurados ou de esLruLura exlvel como vldeos, lmagens LexLos ou logs de
lnLerneL.

CuLro ponLo conslderado relevanLe fol a capacldade de receber e processar de forma
conunua dados que chegam em grandes volumes e varledade. As Lecnologlas de
banco de dados aLuals aLe conseguem lldar com o processamenLo conunuo de
8eallzado em Abrll de 2014 - 8lo de !anelro / So aulo 1uW 8l Consulung age $
Big data is high-Volume, high-Velocity and
high-Variety information assets that demand
cost-effective, innovative forms of information
processing for enhanced insight and decision
making.

Gartner Group
grandes volumes de dados mas elas possuem llmlLaes para lldar com a varledade
dos dados.

Apesar das dlferenas enconLradas, o consenso do grupo fol de que 8lg uaLa e uaLa
Warehouse so concelLos com alLo nlvel de superposlo. Alguem chegou a sugerlr
que os concelLos deverlam ser usados como slnnlmos, [ que ambos se referem ao
processo de armazenar e processar grandes volumes de dados com o ob[euvo de
auxlllar no processo de Lomada de declses.


;(4( <'% /%4=% 6*7 .($(: > <'% $4(+ ,%
#"=*,(,%:

C consenso do grupo e de que 8lg uaLa
adlclona mals valor quando lldamos com
dados no esLruLurados como LexLos,
lmagens, vldeos e udlos ou de esLruLura
mulLo exlvel como e o caso de e-malls,
pglnas de lnLerneL ou logs de vlslLao.

A Lecnologla de 8lg uaLa Lambem se apllca
nos casos em que se dese[a explorar uma
grande quanudade e varledade de dados que
no possuam relaclonamenLos bem esLabelecldos.

CuLro faLor que favorece a Lecnologla de 8lg uaLa e sua capacldade de apllcar
algorlLmos predenldos a dados que so dlsponlblllzados de forma conunua e em
grande volume.

C faLo da plaLaforma Padoop ser dlsponlvel a cusLos mulLo balxos e uullzar
equlpamenLos relauvamenLe baraLos vlablllza a uullzao mesmo em organlzaes
de menor porLe.

or ouLro lado, um ponLo negauvo para a plaLaforma Padoop aLualmenLe e a falLa de
prosslonals Lrelnados na Lecnologla. L mulLo mals fcll enconLrar prosslonals
Lrelnados em gerencladores de banco de dados do que na plaLaforma Padoop.


2'% ,%/(?"/ %/$@" (//"0*(,"/ ( 'A B4"C%$" ,% 6*7 .($(:

Alguns paruclpanLes do grupo aponLaram o faLo da Lecnologla de 8lg uaLa esLar
baseada em comunldades de soware llvre com sendo um desao para o concelLo
por conLa da preocupao com o nlvel de suporLe dlsponlvel. Aps algumas
dlscusses o consenso fol de que o domlnlo da Lecnologla de 8lg uaLa e realmenLe
um desao, mas que a dlsponlbllldade de suporLe Lende a ser boa com a enLrada dos
grandes provedores de Lecnologla no mercado apresenLando sua verses da
plaLaforma Padoop.

8eallzado em Abrll de 2014 - 8lo de !anelro / So aulo 1uW 8l Consulung age %
um ponLo lnLeressanLe levanLado por um dos paruclpanLes fol o rlsco de se chegar a
concluses erradas pelo faLo das anllses serem felLas sobre dados bruLos, sem a
llmpeza e preparao normalmenLe apllcada no processo de carga de um uaLa
Warehouse.

A concluso do grupo fol de que mesmo em um
amblenLe de anllse uullzando Lecnologla upo
Padoop, algumas anllses podero ser felLas
com os dados bruLos mas ouLras exlglro a
apllcao de processos de llmpeza e LraLamenLo
prevlos anLes que se[am reallzadas.

A necessldade de mo de obra especlallzada
LanLo na elaborao e manuLeno dos
algorlLmos de anllse quanLo na explorao dos
dados de forma eclenLe pelas organlzaes Lambem fol um ponLo basLanLe
lembrado duranLe as dlscusses.

or m, as quesLes relaclonadas com a segurana da lnformao e com as
llmlLaes legals de uso de dados prlvados nas anllses foram clLadas como grandes
desaos para pro[eLos de 8lg uaLa.


2'%A CD %/$D '/(#," % ,% <'% 3"4A(:

Cs casos mals relevanLes so sem duvlda as grandes empresas de lnLerneL como
Coogle, ?ahoo, lacebook e 1wluer. 1odos eles uullzam a Lecnologla para seleo de
conLeudo baseado nas reas de lnLeresse dos usurlos, processando volumes
lmensos de dados.

C grupo ldenucou ouLros casos lnLeressanLes de uullzao do concelLo. LnLre eles
esLo:

1) 8usca de padres de dlagnsuco em pronLurlos medlcos dlglLallzados,
2) ldenucao de palavras chave em comunlcaes por e-mall para a preveno de
fraudes ou vazamenLo de lnformaes condenclals,
3) CferLa de produLos e servlos a parur da anllse de navegao dos cllenLes em
slLes de comerclo eleLrnlco,
4) 8ecuperao de recelLa a parur da ldenucao de chamadas reallzadas sem o
correspondenLe faLuramenLo em empresas de Lelecomunlcaes,
5) 1rlagem de problemas de presLao de servlos com a ldenucao de palavras
chave em gravaes de aLendlmenLo recepuvo.

2'() ( ,*3%4%#5( %#$4% E(,""B % 6(#0"/ ,% .(,"/: FA /'G/H$'* " "'$4":

uuranLe as dlscusses do grupo chegou-se a um consenso de que a plaLaforma
Padoop Lem como ob[euvo prlnclpal o armazenamenLo e processamenLo de forma
paralela de grandes con[unLos de dados de qualquer naLureza, uullzando para lsso
+,-./%". formados por compuLadores padro de mercado.
8eallzado em Abrll de 2014 - 8lo de !anelro / So aulo 1uW 8l Consulung age &

ara a plaLaforma Padoop pouco lmporLa a naLureza do con[unLo de dados ou o
volume dos mesmos. Lm prlnclplo, com a slmples adlo de novos compuLadores ao
+,-./%" e com o algorlLmo adequado de processamenLo, a plaLaforma e capaz de lldar
com qualsquer volumes ou naLureza de dados.

Cs bancos de dados aLe podem armazenar lnformaes no esLruLuradas, mas em
geral possuem llmlLaes na forma como processam essas lnformaes.

A quesLo do volume fol levanLada pelo grupo mas a concluso fol de que
aLualmenLe exlsLem gerencladores de banco de dados capazes de lldar com alLos
volumes de forma Lo eclenLe quanLo a plaLaforma Padoop.

Apesar da plaLaforma Padoop poder lldar com dados esLruLurados, a concluso do
grupo fol de que os bancos de dados alnda apresenLam vanLagens nesLe upo de
apllcao.

A vlso do grupo fol de que aLualmenLe essas
plaLaformas possuem cada uma delas seu
espao, mas que exlsLe uma Lendncla para
que as reas de sobreposlo aumenLem
cada vez mals ao longo do Lempo. A
expecLauva e de que ve[amos os
gerencladores de banco de dados
aumenLando suas capacldades de lldar com
dados no esLruLurados e a plaLaforma
Padoop evolulndo na dlreo conLrrla.

um ponLo ressalLado por vrlos membros do grupo fol o faLo da plaLaforma Padoop
Ler orlgem em uma comunldade de soware llvre e ser baseada em hardware
padro de mercado e de balxo cusLo, o que Lorna essa plaLaforma mulLo aLraenLe
especlalmenLe em mercados como o 8rasll.

or ouLro lado, alguns paruclpanLes lembraram que a plaLaforma Padoop alnda exlge
um alLo grau de especlallzao para ser uullzada de forma eclenLe e que exlsLem
mulLo poucos prosslonals do mercado que salbam Lrabalhar com a mesma.


!"A" ?0( " *#=%/HA%#$" <'% CD ?+%A"/ %A G(#0"/ ,% ,(,"/ % 3%44(A%#$(/
,% 6I:

C grupo enLende que as Lecnologlas de banco de dados e Padoop so
complemenLares e provavelmenLe conunuaro a convlver nas organlzaes.

A plaLaforma Padoop parece ldeal para a recepo dos dados no esLruLurados ou
cu[as relaes e caracLerlsucas alnda no Lenham sldo LoLalmenLe esLruLuradas. Lla
Lambem se apresenLa como uma opo para a apllcao lmedlaLa de algorlLmos de
LraLamenLo de dados que chegam em grande volume e de forma conunua.

8eallzado em Abrll de 2014 - 8lo de !anelro / So aulo 1uW 8l Consulung age '
! os gerencladores de banco de dados so ldeals para armazenar os dados
esLruLurados, cu[os relaclonamenLos se[am bem conhecldos e deLermlnados pols
permlLem anllses mals esLruLuradas sem o auxlllo de algorlLmos mals sosucados.

nesLe senudo, o enLendlmenLo do grupo e
de que o lnvesumenLo nos bancos de dados
e nas prucas de uaLa Warehouslng devem
conunuar nas organlzaes.

CuanLo as ferramenLas de anllse e gerao
de relaLrlos e )#.*0'#"). (ferramenLas de
8l) a expecLauva do grupo e de que Lodas
as ferramenLas passem a LraLar a
plaLaforma Padoop como mals uma fonLe
de dados a ser uullzada nas anllses e na
preparao de relaLrlos e )#.*0'#")..






8eallzado em Abrll de 2014 - 8lo de !anelro / So aulo 1uW 8l Consulung age (