Hadoop Weekend

PARTE 2 – CIENCIA DE DADOS

UM POUCO MAIS SOBRE O CIENTISTA DE DADOS

CETAX - All Rights Reserved

 CIÊNCIA DE DADOS

• Estudo disciplinado dos dados e informações inerentes ao negócio e

todas as visões que podem cercar um determinado assunto.
• Ciência que estuda as informações, seu processo de captura,
transformação, geração e análise de dados.
• A Ciência de dados envolve diversas disciplinas como :
• Computação
• Estatística
• Matemática
• Conhecimento do Negócio

CETAX - All Rights Reserved

 CIÊNCIA DE DADOS

CETAX - All Rights Reserved

 REQUISITOS ESPERADOS DO CIENTISTA DE DADOS

CETAX - All Rights Reserved

 DEFINIÇÃO – CIENTISTA DE DADOS

• Profissional Multidisciplinar responsável por transformar dados em

informações ou produtos de informações dentro de uma corporação.

• Deve ser responsável pela formulação dos problemas, escolha de

modelos de simulação e estatística e entrega dos produtos de dados.

CETAX - All Rights Reserved

 DATA SCIENTIST x BUSINESS ANALYST x DATA ANALYST

• Data Scientist – Participa da formulação do problema, hipóteses de

resolução e análise de resultados.

• Business Analyst – Analisa os dados gerados em relação ao negócio

ou empresa avaliada

• Data Analyst – responsável por analisar os dados disponibilizados em

busca de solução para o problemas enfrentados

CETAX - All Rights Reserved

 QUERO TRABALHAR COM BIG DATA

• Para trabalhar com Big Data acreditamos que o melhor caminho seria
conhecer as ferramentas utilizadas
• Ter perfil misto : técnico e negócios
• Conhecer de Business Inteligence e Data Warehouse
• Entender os processos da empresa
• Conhecer estatística e matemática

CETAX - All Rights Reserved

 PAPEIS E FUNÇÕES

• Vemos 3 papéis claros:

• Cientista ou Analista de Dados

• Desenvolvedor

• Administrador

CETAX - All Rights Reserved

 ANALISTA DE DADOS

• Responsável por atender as demandas das áreas de negócio ou

planejamento da empresa.
• Participa da formulação dos problemas e respostas.
• Nível mais próximo ao negócio
• Deve conhecer as ferramentas de consulta e acesso aos dados.
• Deveria conhecer estatística

CETAX - All Rights Reserved

 DESENVOLVEDOR

• Responsável por Desenvolver os processos necessários para geração

dos dados.
• Processos de Captura, Transformação e Carga de Dados.
• Deve conhecer tecnicamente as ferramentas envolvidadas
• Deve conhecer sobre programação
• Será responsável pelo desenvolvimento de novas rotinas e processos.

CETAX - All Rights Reserved

 ADMINISTRADOR

• Responsável por manter os ambientes e ferramentas funcionando da

melhor maneira.
• Deve conhecer sobre os sistemas operacionais utilizados,
principalmente Linux.
• Deve conhecer sobre arquitetura de hardware e redes para garantir a
melhor performance.
• Deve conhecer sobre os processos de Tunning das ferramentas.

CETAX - All Rights Reserved

 CONHECIMENTOS TÉCNICOS PARA TRABALHAR COM BIG DATA

• Programação – as ferramentas ainda são pouco automatizadas na

geração de código.

• Linux – a maioria dos softwares rodam em Linux, é necessário

conhecer comandos básicos para execução de processos.
• Modelagem de Dados

CETAX - All Rights Reserved

 CONHECIMENTOS TÉCNICOS PARA TRABALHAR COM BIG DATA

• Conhecer sobre o negócio ou sobre os processos da empresa.

• Conhecer ou ter noções mínimas de estatística e matemática

aplicada a dados.

CETAX - All Rights Reserved