O que � Big Data?

Big data sem mist�rios

O que � exatamente big data?

A defini��o de big data s�o dados que cont�m maior variedade, chegando em volumes
crescentes e com mais velocidade. Isso tamb�m � conhecido como os tr�s Vs.

Simplificando, big data � um conjunto de dados maior e mais complexo, especialmente

de novas fontes de dados. Esses conjuntos de dados s�o t�o volumosos que o software
tradicional de processamento de dados simplesmente n�o consegue gerenci�-los. No
entanto, esses grandes volumes de dados podem ser usados para resolver problemas de
neg�cios que voc� n�o conseguiria resolver antes.

Os tr�s Vs do big data

Volume A quantidade de dados importa. Com o big data, voc� ter� que processar
grandes volumes de dados n�o estruturados de baixa densidade. Podem ser dados de
valor desconhecido, como feeds de dados do Twitter, fluxos de cliques em uma p�gina
da web ou em um aplicativo m�vel, ou ainda um equipamento habilitado para sensores.
Para algumas empresas, isso pode utilizar dezenas de terabytes de dados. Para
outras, podem ser centenas de petabytes.
Velocidade Velocidade � a taxa mais r�pida na qual os dados s�o recebidos e talvez
administrados. Normalmente, a velocidade mais alta dos dados � transmitida
diretamente para a mem�ria, em vez de ser gravada no disco. Alguns produtos
inteligentes habilitados para internet operam em tempo real ou quase em tempo real
e exigem avalia��o e a��o em tempo real.
Variedade Variedade refere-se aos v�rios tipos de dados dispon�veis. Tipos de
dados tradicionais foram estruturados e se adequam perfeitamente a um banco de
dados relacional. Com o aumento de big data, os dados v�m em novos tipos de dados
n�o estruturados. Tipos de dados n�o estruturados e semiestruturados, como texto,
�udio e v�deo, exigem um pr�-processamento adicional para obter significado e dar
suporte a metadados.
O valor e a verdade do big data
Mais dois Vs surgiram nos �ltimos anos: valor e veracidade. Dados possuem valor
intr�nseco. Mas isso � in�til at� que esse valor seja descoberto. Igualmente
importante: a verdade s�o seus dados - e quanto voc� pode confiar neles?

Atualmente, o big data se tornou essencial. Pense em algumas das maiores empresas
de tecnologia do mundo. Uma grande parte do valor que eles oferecem vem de dados,
que eles analisam constantemente para produzir mais efici�ncia e desenvolver novos
produtos.

Recentes avan�os tecnol�gicos reduziram exponencialmente o custo de armazenamento e

computa��o de dados, tornando mais f�cil e menos dispendioso armazenar mais dados
do que nunca. Agora, com um volume de big data maior, mais barato e mais acess�vel,
voc� pode tomar decis�es de neg�cios mais precisas.

Encontrar valor em big data n�o � s� uma quest�o de analis�-lo (o que � um outro
benef�cio). � um processo de descoberta completo que exige analistas perspicazes,
usu�rios de neg�cios e executivos que fazem as perguntas certas, reconhecem
padr�es, fazem suposi��es bem-informadas e preveem comportamentos.

Mas como chegamos at� aqui?

A hist�ria do big data

Embora o conceito de big data em si seja relativamente novo, as origens de grandes
conjuntos de dados remontam �s d�cadas de 1960 e 1970, quando o mundo dos dados
estava apenas come�ando, com os primeiros data centers e o desenvolvimento do banco
de dados relacional.
Por volta de 2005, as pessoas come�aram a perceber a quantidade de usu�rios de
dados gerados pelo Facebook, YouTube e outros servi�os online. O Hadoop (uma
estrutura de c�digo aberto criada especificamente para armazenar e analisar grandes
conjuntos de dados) foi desenvolvido no mesmo ano. O NoSQL tamb�m come�ou a ganhar
popularidade durante esse per�odo.

O desenvolvimento de estruturas de c�digo aberto, como o Hadoop, (e, mais

recentemente, o Spark) foi essencial para o crescimento do big data, porque elas
tornaram o trabalho com big data mais f�cil e seu armazenamento mais barato. Nos
anos seguintes, o volume de big data disparou. Usu�rios ainda est�o gerando grandes
quantidades de dados, mas n�o s�o somente humanos que est�o fazendo isso.

Com o advento da Internet das Coisas, mais objetos e dispositivos est�o conectados
� internet, reunindo dados sobre padr�es de uso do cliente e desempenho do produto.
O surgimento do machine learning produziu mais dados.

Apesar da evolu��o do big data, sua utilidade ainda est� no come�o. A computa��o em
nuvem expandiu ainda mais as possibilidades do big data. A nuvem oferece uma
escalabilidade verdadeiramente el�stica, na qual os desenvolvedores podem
simplesmente criar clusters ad hoc para testar um subconjunto de dados. E os bancos
de dados gr�ficos tamb�m est�o se tornando cada vez mais importantes, com sua
capacidade de exibir grandes quantidades de dados de forma a tornar a an�lise
r�pida e abrangente.

Benef�cios de Big data:

Com o big data, voc� obt�m respostas mais completas, porque tem mais informa��es.
Respostas mais completas significam mais confian�a nos dados, ou seja, uma
abordagem completamente diferente para lidar com problemas.
Casos de uso de big data
O big data pode ajudar voc� a lidar com diversas atividades de neg�cios, desde a
experi�ncia do cliente at� a an�lise avan�ada. Aqui est�o algumas.

Desenvolvimento de produtos Empresas como Netflix e Procter & Gamble usam big
data para antecipar a demanda dos clientes. Eles criam modelos preditivos para
novos produtos e servi�os, classificando os principais atributos de produtos ou
servi�os passados e atuais e modelando a rela��o entre esses atributos e o sucesso
comercial das ofertas. Al�m disso, a P&G utiliza dados e an�lises de grupos de
foco, m�dias sociais, mercados de teste e lan�amentos antecipados de lojas para
planejar, produzir e lan�ar novos produtos.
Manuten��o preditiva Fatores que podem prever falhas mec�nicas podem estar
profundamente relacionados a dados estruturados, como o ano, a marca e o modelo do
equipamento, bem como em dados n�o estruturados que abrangem milh�es de entradas de
log, dados de sensores, mensagens de erro e temperatura do motor. Ao analisar essas
indica��es de poss�veis problemas antes que eles ocorram, as empresas podem
implementar a manuten��o de maneira mais econ�mica e maximizar o tempo de atividade
de pe�as e equipamentos.
Experi�ncia do cliente A corrida para alcan�ar os clientes j� come�ou. Uma vis�o
mais clara da experi�ncia do cliente nunca foi t�o poss�vel como agora. O big data
permite que voc� re�na dados de m�dias sociais, visitas da web, registros de
chamadas e outras fontes para aprimorar a experi�ncia de intera��o e maximizar o
valor fornecido. Comece a oferecer ofertas personalizadas, reduza a rotatividade de
clientes e lide com problemas proativamente.
Fraude e conformidade Quando se trata de seguran�a, voc� n�o est� lidando apenas
com alguns hackers mal-intencionados, e sim com equipes de especialistas na �rea.
Os cen�rios de seguran�a e requisitos de conformidade est�o evoluindo
constantemente. Big data ajuda voc� a identificar padr�es em dados que indicam
fraudes e agregar grandes volumes de informa��es para tornar os relat�rios
regulamentares muito mais r�pidos.
Machine learning O machine learning � um dos assuntos mais comentados do momento.
E os dados (especificamente, big data) s�o um dos motivos para isso. Agora, somos
capazes de ensinar m�quinas em vez de program�-las. A disponibilidade de big data
para treinar modelos de machine learning permite que isso seja uma realidade.
Efici�ncia operacional A efici�ncia operacional nem sempre � not�cia, mas � uma
�rea em que o big data est� tendo o maior impacto. Com o big data, voc� pode
analisar e avaliar a produ��o, os coment�rios e as devolu��es de clientes, assim
como outros fatores para reduzir interrup��es e antecipar demandas futuras. Big
data tamb�m pode ser usado para melhorar a tomada de decis�es de acordo com a
demanda atual do mercado.
Promova a inova��o O big data pode ajudar voc� a inovar, estudando
interdepend�ncias entre seres humanos, institui��es, entidades e processos e, em
seguida, determinando novas maneiras de usar esses insights. Use informa��es de
dados para aprimorar as decis�es sobre considera��es financeiras e de planejamento.
Examine as tend�ncias e o que os clientes desejam para oferecer novos produtos e
servi�os. Implemente um sistema de pre�os din�mico. H� infinitas possibilidades.
Desafios do big data
Embora o big data seja uma grande promessa, ele tamb�m traz seus desafios.

Para come�ar, o big data � grande. Apesar de novas tecnologias terem sido
desenvolvidas para o armazenamento de dados, os volumes de dados est�o dobrando em
tamanho a cada dois anos. As empresas ainda se esfor�am para acompanhar a evolu��o
de seus dados e encontrar maneiras de armazen�-los com efici�ncia.

Mas armazenar os dados n�o � o suficiente. Eles devem ser usados para serem �teis,
e isso depende da curadoria. Dados limpos ou relevantes para o cliente e
organizados de maneira que permita uma an�lise significativa exigem muito trabalho.
Cientistas de dados gastam de 50 a 80 por cento de seu tempo curando e preparando
dados antes de serem usados.

Por fim, a tecnologia de big data est� mudando em ritmo acelerado. H� alguns anos,
o Apache Hadoop era a tecnologia popular usada para lidar com big data. Em seguida,
o Apache Spark foi introduzido em 2014. Hoje, uma combina��o das duas estruturas
parece ser a melhor abordagem. Manter-se atualizado com a tecnologia de big data �
um desafio cont�nuo.

Descubra mais recursos de big data:

Como o big data funciona

O big data fornece novas informa��es que abrem novas oportunidades e modelos de
neg�cios. Os primeiros passos envolvem tr�s a��es principais:

1. Integrar
Big data re�ne dados de diversas fontes e aplicativos diferentes. Os mecanismos
tradicionais de integra��o de dados, como extra��o, transforma��o e carregamento
(ETL), geralmente n�o est�o aptos � tarefa. Isso requer novas estrat�gias e
tecnologias para analisar conjuntos de big data em terabytes ou at� mesmo em escala
de petabytes.

Durante a integra��o, voc� precisa inserir os dados, process�-los e verificar se

est�o formatados e dispon�veis de forma que seus analistas de neg�cios possam
come�ar a utiliz�-los.

2. Gerenciar
Big data exige armazenamento. Sua solu��o de armazenamento pode estar na nuvem, no
local ou em ambos. Voc� pode armazenar seus dados da forma que desejar e trazer os
requisitos de processamento desejados e os mecanismos de processo necess�rios para
esses conjuntos de dados sob demanda. Muitas pessoas escolhem a solu��o de
armazenamento de acordo com a localiza��o atual dos dados. A nuvem est�
gradualmente ganhando popularidade porque � compat�vel com as suas necessidades
atuais de computa��o e permite que voc� crie recursos conforme necess�rio.

3. Analisar
Seu investimento em big data � compensado quando voc� analisa seus dados e age.
Obtenha mais clareza com uma an�lise visual dos seus conjuntos de dados variados.
Explore ainda mais os dados para fazer novas descobertas. Compartilhe suas
descobertas com os outros. Crie modelos de dados com machine learning e
intelig�ncia artificial. Fa�a seus dados funcionarem.

Boas pr�ticas de big data

Para ajudar em sua jornada de big data, inclu�mos algumas recomenda��es importantes
que voc� precisa ter em mente. Aqui est�o nossas diretrizes para criar uma base de
big data bem-sucedida.

Alinhar big data com objetivos de neg�cios espec�ficos Conjuntos de dados mais
extensos permitem que voc� fa�a novas descobertas. Para esse fim, � importante
basear novos investimentos em habilidades, organiza��o ou infraestrutura com um
forte contexto de neg�cios para garantir investimentos e financiamento cont�nuos de
projetos. Para determinar se voc� est� no caminho certo, pergunte como big data
oferece suporte e habilita seus principais neg�cios e prioridades de TI. Exemplos
incluem a compreens�o de como filtrar registros da web para entender o
comportamento do com�rcio eletr�nico, derivar sentimentos das m�dias sociais e
intera��es de suporte ao cliente e compreender os m�todos estat�sticos de
correla��o e sua relev�ncia para dados de clientes, produtos, manufatura e
engenharia.
Diminua a escassez de habilidades com padr�es e governan�a Um dos maiores
obst�culos para que voc� aproveite seus investimentos em big data � a escassez de
habilidades. Voc� pode atenuar esse risco ao garantir que as tecnologias,
considera��es e decis�es de big data sejam adicionadas ao seu programa de
governan�a de TI. A padroniza��o da sua abordagem permitir� gerenciar custos e
alavancar recursos. As empresas que implementam solu��es e estrat�gias de big data
devem avaliar seus requisitos de habilidades com anteced�ncia e frequ�ncia,
identificando proativamente quaisquer aus�ncias de habilidades. Essas podem ser
solucionadas por meio de treinamento cruzado de recursos existentes, contrata��o de
novos recursos e aproveitamento de empresas de consultoria.
Otimize a transfer�ncia de conhecimento com um centro de excel�ncia Use uma
abordagem de centro de excel�ncia para compartilhar conhecimentos, controlar a
supervis�o e gerenciar as comunica��es do projeto. Se o big data � um investimento
novo ou em expans�o, os custos flex�veis e dif�ceis podem ser compartilhados em
toda a empresa. Aproveitar essa abordagem pode ajudar a aumentar os recursos de big
data e a maturidade geral da Information Architecture de uma maneira mais
estruturada e sistem�tica.
O melhor retorno � alinhar dados estruturados com n�o estruturados
� importante analisar o big data sozinho. Mas voc� pode trazer ainda mais
informa��es de neg�cios conectando e integrando big data de baixa densidade aos
dados estruturados que voc� j� estiver usando hoje.

Quer voc� esteja capturando clientes, produtos, equipamentos ou big data ambiental,
o objetivo ser� adicionar mais pontos de dados relevantes aos seus resumos
anal�ticos e principais, obtendo melhores conclus�es. Por exemplo, h� uma diferen�a
em distinguir o sentimento de todos os clientes daquele apenas dos seus melhores
clientes. � por isso que muitos veem big data como uma extens�o integral de seus
recursos existentes de business intelligence, plataforma de data warehousing e
arquitetura de informa��es.

Lembre-se de que os processos e modelos anal�ticos de big data podem ser baseados
em humanos e em m�quinas. Os recursos anal�ticos de big data incluem estat�sticas,
an�lise espacial, sem�ntica, descoberta interativa e visualiza��o. Usando modelos
anal�ticos, voc� pode correlacionar diferentes tipos e fontes de dados para fazer
associa��es e descobertas significativas.

Planeje seu laborat�rio de descoberta para desempenho

Descobrir o significado em seus dados nem sempre � simples. �s vezes, nem sabemos o
que estamos procurando. Isso � esperado. A ger�ncia e a TI precisam dar suporte a
essa "falta de dire��o" ou "falta de requisitos claros".

Ao mesmo tempo, � importante que os analistas e cientistas de dados trabalhem em

estreita colabora��o com a empresa para entender as principais lacunas e requisitos
de conhecimentos de neg�cios. Para acomodar a explora��o interativa de dados e a
experimenta��o de algoritmos estat�sticos, voc� precisa de �reas de trabalho de
alto desempenho. Certifique-se de que os ambientes de �rea restrita tenham o
suporte necess�rio e sejam devidamente controlados.

Alinhe-se ao modelo operacional da nuvem Processos e usu�rios de big data exigem

acesso a uma ampla variedade de recursos para experimenta��o iterativa e execu��o
de tarefas de produ��o. Uma solu��o de big data inclui todos os dom�nios de dados,
incluindo transa��es, dados mestre, dados de refer�ncia e dados resumidos. �reas
restritas anal�ticas devem ser criadas sob demanda. O gerenciamento de recursos �
essencial para garantir o controle de todo o fluxo de dados, incluindo pr� e p�s-
processamento, integra��o, resumo no banco de dados e modelagem anal�tica. Uma
estrat�gia de seguran�a e provisionamento de nuvem p�blica e privada bem-planejada
desempenha um papel fundamental no suporte a esses requisitos em constante mudan�a.