Origens do processo de análise dos dados

Quando você decidiu participar deste programa, você provou que é uma pessoa
curiosa. Então, vamos explorar sua curiosidade e falar sobre as origens da
análise de dados. Não sabemos totalmente quando ou por que a primeira
pessoa decidiu registrar dados sobre pessoas e coisas. Mas sabemos que foi útil
porque a ideia ainda existe hoje!

Também sabemos que a análise de dados está enraizada nas estatísticas, que
têm uma história bastante longa. Os arqueólogos marcam o início das
estatísticas no antigo Egito com a construção das pirâmides. Os antigos egípcios
eram mestres em organizar dados. Eles documentaram seus cálculos e teorias
sobre papiros (materiais semelhantes a papel), que agora são vistos como os
primeiros exemplos de planilhas e listas de verificação. Os analistas de dados de
hoje devem muito a esses brilhantes escribas, que ajudaram a criar um processo
mais técnico e eficiente.
É hora de entrar no ciclo de vida da análise de dados — o processo de ir dos
dados à decisão. Os dados passam por várias fases à medida que são criados,
consumidos, testados, processados e reutilizados. Com um modelo de ciclo de
vida, todos os principais membros da equipe podem impulsionar o sucesso
planejando o trabalho no início e no final do processo de análise de dados.
Embora o ciclo de vida da análise de dados seja bem conhecido entre os
especialistas, não há uma única estrutura definida dessas fases. Pode não haver
uma única arquitetura que seja uniformemente seguida por todos os
especialistas em análise de dados, mas há alguns fundamentos compartilhados
em cada processo de análise de dados. Esta leitura fornece uma visão geral de
vários, começando com o processo que forma a base do Certificado do Google
Data Analytics.
O processo apresentado como parte do Certificado do Google Data Analytics é
um processo que será valioso para você à medida que avança em sua carreira:
1. Perguntar: Desafio de Negócio/Objetivo/Pergunta
2. Preparar: geração, coleta, armazenamento e gerenciamento de dados
3. Processo: Limpeza de dados/integridade de dados
4. Análise: exploração, visualização e análise de dados
5. Compartilhar: Comunicando e interpretando resultados
6. Agir: Colocando seus insights para trabalhar para resolver o problema
Entender esse processo — e todas as iterações que ajudaram a torná-lo popular
— será uma grande parte de orientar sua própria análise e seu trabalho neste
programa. Vamos analisar algumas outras variações do ciclo de vida da análise
de dados.

Ciclo de vida da análise de dados da EMC

O ciclo de vida da análise de dados da EMC Corporation é cíclico com seis
etapas:
1. Descobrimento
2. Pré-processamento de dados
3. Planejamento do modelo
4. Construção do modelo
5. Comunicar resultados
6. Operacionalizar
A EMC Corporation agora é a Dell EMC. Este modelo, criado por David Dietrich,
reflete a natureza cíclica dos projetos do mundo real. As fases não são marcos
estáticos; Cada passo se conecta e leva ao próximo, e eventualmente se repete.
As perguntas-chave ajudam os analistas a testar se eles realizaram o suficiente
para avançar e garantir que as equipes gastaram tempo suficiente em cada uma
das fases e não começaram a modelar antes que os dados estejam prontos. É
um pouco diferente do ciclo de vida de análise de dados em que este programa
se baseia, mas tem algumas ideias centrais em comum: a primeira fase está
interessada em descobrir e fazer perguntas; os dados devem ser preparados
antes de poderem ser analisados e utilizados; e, em seguida, as descobertas
devem ser compartilhadas e postas em prática.
Para obter mais informações, consulte este e-book, Ciência de Dados & Big Data
Analytics.
Ciclo de vida iterativo do SAS
Um ciclo de vida iterativo foi criado por uma empresa chamada SAS, um
provedor líder de soluções de análise de dados. Ele pode ser usado para
produzir resultados repetíveis, confiáveis e preditivos:
1. Pedir
2. Preparar
3. Explorar
4. Modelo
5. Implemento
6. Agir
7. Avaliar
O modelo SAS enfatiza a natureza cíclica de seu modelo, visualizando-o como
um símbolo infinito. Seu ciclo de vida tem sete etapas, muitas das quais vimos
em outros modelos, como Perguntar, Preparar, Modelar e Agir. Mas esse ciclo de
vida também é um pouco diferente; Ele inclui uma etapa após a fase ACT
projetada para ajudar os analistas a avaliar suas soluções e, potencialmente,
retornar à fase ASK novamente.
Para obter mais informações, consulte Gerenciando o ciclo de vida do Analytics
para decisões em escala.

Ciclo de vida da análise de dados baseada em

projetos
Um ciclo de vida de análise de dados baseado em projeto tem cinco etapas
simples:
1. Identificando o problema
2. Projetando requisitos de dados
3. Pré-processamento de dados
4. Realizando análise de dados
5. Visualizando dados
Este projeto de ciclo de vida de análise de dados foi desenvolvido por Vignesh
Prajapati. Não inclui a sexta fase, ou o que temos chamado de fase do ato. No
entanto, ele ainda cobre muitas das mesmas etapas que os ciclos de vida que já
descrevemos. Ele começa com a identificação do problema, preparação e
processamento de dados antes da análise, e termina com a visualização de
dados.
Para obter mais informações, consulte Entendendo o ciclo de vida do projeto de
análise de dados.
Ciclo de vida da análise de big data
Os autores Thomas Erl, Wajid Khattak e Paul Buhler propuseram um ciclo de
vida de análise de big data em seu livro, Big Data Fundamentals: Concepts,
Drivers & Techniques. Seu ciclo de vida sugere fases divididas em nove
etapas:
1. Avaliação de casos de negócio
2. Identificação dos dados
3. Aquisição e filtragem de dados
4. Extração de dados
5. Validação e limpeza de dados
6. Agregação e representação de dados
7. Análise de dados
8. Visualização de dados
9. Utilização dos resultados da análise
Este ciclo de vida parece ter três ou quatro etapas a mais do que os modelos de
ciclo de vida anteriores. Mas, na realidade, eles acabaram de dividir o que
estamos chamando de Preparar e Processar em etapas menores. Ele enfatiza
as tarefas individuais necessárias para coletar, preparar e limpar dados antes da
fase de análise.
Para obter mais informações, consulte Considerações sobre adoção e
planejamento de Big Data.

Principais conclusões
De nossa jornada para as pirâmides e dados no antigo Egito até agora, a
maneira como analisamos dados evoluiu (e continua a fazê-lo). O processo de
análise de dados é como a arquitetura da vida real, existem diferentes maneiras
de fazer as coisas, mas as mesmas ideias centrais ainda aparecem em cada
modelo do processo. Se você usa a estrutura deste Certificado de Análise de
Dados do Google ou uma das muitas outras iterações sobre as quais você
aprendeu, estamos aqui para ajudá-lo a continuar sua jornada de dados.