Big Data

Sumário
1 Introdução 3
2 O que é Big Data? 4
2.1 Big Data no cotidiano do mercado 7
3 Tecnologias parceiras do Big Data 8
3.1 Cloud computing 8
3.1.1 Cloud computing no cotidiano do mercado9
3.2 Inteligência artificial 10
3.2.2 Inteligência artificial
no cotidiano do mercado 10
3.3 Machine learning 11
3.4 Internet das coisas (IOT) 11
3.4.1 Internet das coisas
no cotidiano do mercado 12
4 Big Data: um histórico 12
4.1 Bug do milênio 14
5 Momento atual dos dados 15
5.1 Dados estruturados 15
5.2 Dados não estruturados 17
5.3 Análise de dados e análise preditiva 17
5.4 Data science e Data analitycs 18
5.5 Coletando dados 19
6 Quarta revolução industrial,
Big Data e o impacto no mercado 20
6.1 Big Data no varejo 21
6.2 Big data na indústria de transformação22
Resumo do curso 23
Referências 24
Módulo 1
Big Data

1 Introdução
Na era da informação, as decisões orientadas pela geração de dados com sua inevitável co-
leta e posterior análise não constituem mais uma escolha para o mundo corporativo e os go-
vernos, mais que isso, é um paradigma de sobrevivência. O efeito globalizante que acirra a
competitividade ao redor do planeta dispõe de um nascedouro gigantesco de dados que o
tempo todo surgem no panorama das mídias digitais e das diversas transações digitalizadas
presentes nos corredores da internet. A capacidade de extração da informação e produção
de conhecimento a partir desses dados criará melhores oportunidades de produção, venda e
otimização de gastos, atingirá um público cada vez maior e conhecerá a natureza de consu-
mo deste mesmo público, resultando em parcerias mais eficientes e na conformidade exigida
pelas agências de regulação. O futuro que se descortina ainda carrega muitas questões, mas
nos traz uma certeza: a de que a produção e análise de dados ocuparão (na realidade, já ocu-
pam) papel central. E mais do que nunca, esses dados que são produzidos em quantidades
estonteantes compõem hoje o chamado Big Data.
Em nosso estudo, trataremos também das tecnologias que dão auxílio ao Big Data, por isso
também trataremos da análise de dados, internet das coisas, computação em nuvem, inte-
ligência artificial, machine learning entre outras, bem como abordaremos fatores gerenciais
como a business inteligence e a forte influência do Big Data nos processos estratégicos e nas
tomadas de decisões gerenciais
2 O que é Big Data?
Antes de desenvolvermos melhor o amplo conceito de Big Data, vamos a uma abordagem mais
direta: Big Data está ligado a técnicas de armazenamento de dados, muitos dados, vindos de
todos os lugares e, em sua maioria, de forma não estruturada (AMARAL, 2016).

Importante

O que hoje é chamado de Big Data está, em grande parte, conectado ao mer-
cado, principalmente a atividades de gestão corporativa e gestão da infor-
mação (GOLDMAN, 2012). Além da propriedade em si de reunir dados estru-
turados, não estruturados e semiestruturados, também está intimamente
ligado a diversas e modernas técnicas e tecnologias de tratamento, compila-
ção e organização de dados (DAVENPORT, 2014).

O uso da enorme quantidade de informação presente hoje nos corredores virtuais não chega
a ser uma novidade nos meios da ciência da informação e administração, sistemas informa-
tizados já estão coletando dados desde a década de 50 (CHEN; CHIANG; STOREY, 2012). No
entanto, na contemporaneidade, o crescente número de fontes de informação se dá em alta
velocidade, redes sociais, sensores em produtos diversos, registros de tráfego na internet,
câmeras de vigilância, uso de aplicativos, entre outros.
A quantidade de dados nesse cenário cresce, assim como as alternativas para sua utilização.
Tal realidade constitui um grande desafio no uso desses dados, bem como na compreensão
de como os mesmos podem melhorar o ambiente de negócios. Mais que desenvolver tecnolo-
gia, é preciso uma nova mentalidade para o trânsito na estrada da dadosfera (AMARAL, 2016).

5
 FIGURA 1 – BIG DATA

FONTE: Freepik (2021)

Os dados gerados atualmente são tão numerosos, que tecnologias mais tradicionais já não
dão conta de lidar com eles, por isso, uma abordagem referente ao Big Data não pode se dar
isoladamente, ela necessariamente trará em seu bojo outros implementos técnicos e tecno-
lógicos. Dentre os mais populares, trabalhando junto ao Big Data também se apresentam a
IA (Inteligência Artificial), o aprendizado de máquina do machine learning e a IOT – Internet of
Things (Internet das Coisas) (GOLDMAN et al., 2012). Tal força e quantidade de dados no cená-
rio moderno dá origem a grandes registros informacionais que, mais do que nunca, capaci-
tam processos de análises preditivas, ou seja, abre grandes possibilidades de planejamento
e ações preventivas a partir do suporte fornecido pelos dados. De certa forma, em termos
corporativos, seria com prever o futuro.

Atenção!

O ambiente de dados, se visto em uma perspectiva temporal, em recorte de

aproximadamente 30 anos, nos fornece um panorama de inovação informa-
cional cujas tecnologias foram se popularizando.

6
Vamos observar o quadro abaixo:

Quadro 1 – Avanços tecnológicos entre 1990 e 2020

Período Inovação tecnológica.

1990 - 2000 Vídeos, música e mídia em geral se tornam digitais.

2000 - 2010 Ascenção do comércio eletrônico e Internet Banking.

2010 - 2020 Início da hiperconectividade, cloud computing (computação em nuvem) e in-

ternet das coisas (IOT).

FONTE: Elaborado pelo autor (2021).

O Big Data não trata unicamente de grandes volumes de dados, mas também da heterogenei-
dade desses dados e toda essa diversidade é aplicada em processos de legitimação. Para tal
tarefa, foram desenvolvidas categorias classificadas nos cinco Vs do Big Data: volume, varie-
dade, velocidade, veracidade e valor. Vejamos o quadro abaixo:

Quadro 2 – Os cinco vs do big data

Os cinco Vs

Volume Quantidade de dados e informações adquiridas em processos de coleta. Auxi-

lia modelos de negócio de naturezas diversas para tomadas de decisão que se
apoiam em dados concretos. Após filtrados e devidamente compilados, pro-
porcionam visão ampla e holística do mercado.

Variedade Existe enorme heterogeneidade de dados à disposição. Fóruns, redes sociais,

e-commerce, fotografias, arquivos de áudio, números de telefone, cartões de
crédito, entre outros. Toda essa variedade gera dados que podem estar estru-
turados, semiestruturados ou ainda não estruturados.

Velocidade A informação é gerada, coletada e circula rapidamente na internet, exigindo

agilidade no aproveitamento desses dados. A lentidão no processamento de
informações pode resultar em uma limitação nos resultados de negócios ou
projetos. Em um ambiente de forte concorrência, a velocidade é um pilar vital.

Veracidade O grande volume de dados coletados necessita de validação, por isso existe
um cuidado especial com as fontes geradoras desses dados, e uma vez verifi-
cada a relevância, são possíveis ações direcionadas para públicos específicos.

Valor A utilidade dos dados após a validação deve ser criteriosa. Os insights criados
devem ser significativos no panorama organizacional.

FONTE: Adaptado de TAURION (2013, p. 53)

7
Taurion (2013) aponta acertadamente que um grande volume de dados por si só não possui a
significância e relevância necessárias para a geração de processos e negócios. Para que tal
seja suficiente, existem quatro pilares que devem ser percebidos, a saber:

•  criação de uma esfera inteligente e um ecossistema de dados no interior das organi-

zações, compilando dados mais antigos, tradicionais e habituais aos formatos mais
recentes coletados no Big Data;
•  investimentos na formação de capital intelectual, reunindo uma equipe talentosa e
com capacidade de utilização de dados;
•  criação de metodologias ativas de estruturação de dados, validando-os e propiciando
mais operacionalização;
•  cuidados no compliance e na ética processual de uso de dados e informações, respei-
tando as fontes geradoras, seu uso correto e a reputação da organização.

Agora que compreendemos um pouco melhor sobre o que trata o Big Data, pensemos na quan-
tidade avassaladora de informações geradas e compartilhadas ao longo de um dia em nosso
planeta. O bom uso de tais informações rapidamente disponibilizadas nessas plataformas é
vital em estratégias corporativas, determinante para a elaboração de projetos voltados ao pú-
blico, para a proposição de novos produtos e serviços.

2.1 Big Data no cotidiano do mercado

Uma das maiores empresas de logística do planeta a United Parcel Service ou UPS trabalha
com volumes gigantescos de encomendas diárias em cerca de 200 países. São cerca de 14 mi-
lhões de encomendas diárias, por isso o uso do Big Data aliado a ferramentas de analytics tem
sido recorrente. Assim, é possível otimizar a performance de uma frota de aproximadamente
100.000 veículos pertencentes à empresa.
Todos os veículos são equipados com dispositivos de telemetria e rastreamento via satéli-
te, a coleta em tempo real desses dados é processada pelos servidores da UPS e utilizada
para minimizar espaços de ociosidade veicular e agilizar manutenções preventivas na frota.
Segundo dados da própria empresa, houve economia de milhões de litros de combustível
desde que uso de implementações do Big Data fizeram parte dos processos da empresa
(SANTO DIGITAL, 2019).

8
3 Tecnologias parceiras do
Big Data
Não é possível falar de Big Data sem abordar as diversas técnicas e tecnologias que lhe dão
suporte.

Atenção!

Sem o apoio de outras modalidades, a enorme quantidade de dados que hoje

temos disponíveis de nada nos serviria.

Por isso, é interessante e necessário que tomemos conhecimento de outras premissas tecno-
lógicas que trabalham junto ao Big Data (AMARAL, 2016).

3.1 Cloud computing

A computação em nuvem dá suporte ao Big Data e já está incorporada ao mercado, pode pro-
ver serviços para usuários físicos e jurídicos e se presta a hospedagem de arquivos (TAURION,
2013). No mundo corporativo, é comum a terceirização de serviços de armazenagem em nu-
vem, contratados sob demanda. O acesso rápido aos recursos, facilidade de manipulação de
arquivos e compartilhamento são vantajosos aos usuários, oferece maior segurança e con-
tratação planejada. Existem quatro modalidades de nuvem, vejamos:

Quadro 3 – Formatos de nuvem

Nuvem privada Infraestrutura disponibilizada através de uma organização,

gerenciada pela corporação ou terceiros.

Nuvem pública A infraestrutura fica disponibilizada para o público, que aces-

sa suas funcionalidades através de login e senha.

9
 Nuvem A infraestrutura é dividida entre empresas que têm objetivos
comunitária e interesses em comum, dividindo dados. A gestão pode ser
interna ou terceirizada.

Nuvem híbrida São nuvens de naturezas distintas, via níveis de acesso, cer-
tas informações não são compartilhadas, porém outras per-
manecem disponíveis a todos.

FONTE: Adaptado de SOUSA; MOREIRA; MACHADO (2009, p. 8)

A cloud computing, devido às suas vantagens e dinamicidade, propagou-se rapidamente pelo

mercado, atingindo empresas de segmentos variados, bem como diversos portes e estrutu-
ras. Existem pacotes de acesso dos mais acessíveis até os mais caros e complexos. Não de-
vemos nos esquecer de que o armazenamento em nuvem também atingiu o cidadão comum
(pessoa física) para prover segurança de armazenagem a e-mails e arquivos diversos.

FIGURA 2 – COMPUTAÇÃO EM NUVEM

FONTE : Freepik (2021)

3.1.1 Cloud computing no cotidiano do mercado

Atualmente, os aplicativos baseados em nuvem são muito utilizados por usuários físicos e
corporativos, proporcionando armazenamento instantâneo com a vantagem de que tais ar-
quivos podem ser acessados de diversos hardwares. Existem muitas opções de cloud com-
puting, e algumas são muito populares, tais como o Dropbox, Google Drive, iCloud e Micro-
soft One Drive.
Na condição de usuários pessoa física, por vezes não temos uma dimensão maior do uso al-
tamente disseminado da cloud computing na esfera corporativa. A gigante do e-commerce
Amazon foi uma das primeiras empresas a fornecer provimento em cloud para o mercado, no
que foi seguida por outros grandes players como Google, Amazon e Microsoft (ZARDO, 2018).

10
3.2 Inteligência artificial
A inteligência artificial trata de uma junção de várias tecnologias, redes neurais, algoritmos,
aprendizado de máquina (machine learning), entre outros. O caminho é a simulação das capa-
cidades humanas ligadas à inteligência, como o ato de raciocinar, a percepção do ambiente ao
redor e habilidades de análise de dados.
Sendo assim, o conceito de inteligência artificial é a capacidade da tecnologia de realizar ati-
vidades de uma forma que seja considerada inteligente e até intuitiva. As inteligências artifi-
ciais (IAs) aprendem por si, sistemas analisam dados (daí sua capacidade de atuar como su-
porte ao Big Data) possibilitando a ampliação de conhecimentos.

FIGURA 3 – MACHINE LEARNING

FONTE : Freepik (2021)

3.2.2 Inteligência artificial no cotidiano do mercado

Sediada em Curitiba, a Startup Laura está se consolidando como um exemplo de sucesso na
área de saúde e de uso de inteligência artificial. Seu robô de mesmo nome (Laura) monitorou
cerca de 2,5 milhões de pacientes em parceria com o Hospital Nossa Senhora das Graças. Por
meio de IA, criou-se um mapeamento das necessidades de ambientes hospitalares utilizando
recursos digitais. No monitoramento de atividades, surgiram insights que indicaram a imple-
mentação de soluções tecnológicas que estão auxiliando médicos e enfermeiros no melhor
gerenciamento no atendimento aos pacientes. Análises de dados otimizaram a conferência e
encaminhamento de exames, bem como quais pacientes necessitam ser priorizados no aten-
dimento (AMARAL, 2016).

11
3.3 Machine learning
Pode-se considerar o machine learning como um segmento da IA (Inteligência Artificial), e
que dá suporte a ela. Faz uso de tecnologias que aprendem a partir de interações e opera-
ções calcadas na tentativa e erro (como em certa medida, humanos aprendem), a partir de
premissas básicas.

Atenção!

Instruções básicas fornecidas por desenvolvedores são o aporte inicial para

que então um sistema baseado em machine learning desenvolva seu proces-
so de aprendizado. Lacunas na programação vão aos poucos sendo preen-
chidas, a própria máquina vai interagindo com o ambiente.

Um exemplo do poder computacional do machine learning é o célebre caso do robô que, em 11

de maio de 1997, venceu o enxadrista russo Garry Kasparov, que foi derrotado por um progra-
ma denominado Deep Blue. Após sucessivas derrotas, o robô aprendeu as principais jogadas
de Kasparov e, por fim, o venceu (VEJA, 2020).

3.4 Internet das coisas (IOT)

Tecnologias se interpenetram, desenvolvem-se e se auxiliam, junto ao Big Data, a IOT (Internet
of Things) que é altamente interativa e possui um grande repositório de dados de interação
com usuários, está se impondo no mercado e despertando cada vez mais interesse. Dados
apontam que até o ano de 2025, apenas em território nacional, algo em torno de 100 milhões
de dispositivos estarão conectados na esfera da IOT (EPOCA NEGÓCIOS, 2019).
A busca é pela conexão de diferentes aparatos a diferentes redes, todos conectados entre
si. Essa tecnologia oferece a ampliação de atividades diárias automatizadas, gerenciamento
mais competente e mais controlado de diversos sistemas, prevenção e diminuição de taxas
de retrabalho e acidentes e maior conforto para os usuários. A relação com o Big Data é bas-
tante clara, a enorme quantidade de aparelhos conectados e os dados disponibilizados entre
eles exigem um alto poder de processamento que processos de IOT podem proporcionar.

12
 FIGURA 4 – INTERNET DAS COISAS

FONTE : Freepik (2021)

3.4.1 Internet das coisas no cotidiano do mercado

Os mercados agrícolas estadunidense e brasileiro contam com diversas iniciativas de aplica-
ção da IOT. Na Califórnia, um dos maiores períodos de seca de sua história prejudicou a agri-
cultura local no início dos anos 2010. Graças ao uso de drones munidos de sensores de quali-
dade de solo, análises foram enviadas aos produtores que conseguiram identificar os locais
mais apropriado para o plantio de novas safras, criando um novo ciclo virtuoso de plantio. Tal
tecnologia já está presente também no Brasil, startups dedicadas ao segmento instalam junto
às plantações sensores de meteorologia que analisam indicadores como fatores de radiação
solar, direção do vento, pressão barométrica e umidade do solo.
Ainda no Brasil, drones e máquinas agrícolas enviam dados sobre uso de solo e fornecem
insghts sobre o melhor aproveitamento do mesmo, com o apoio de GPS, Wi-Fi, Bluetooth e
tecnologias RFID (EPOCA NEGÓCIOS, 2019).

4 Big Data: um histórico

Estudiosos do assunto como Chen, Chiang e Storey (2012) e Davenport (2014) apontam cerca
de três períodos em que o sistema de informação foi utilizado como suporte para análise de
dados em apoio a negócios e gestão, todos esses períodos estão diretamente ligados ao nas-
cimento de inovações tecnológicas que produziram significativas alterações, ou nas fontes
de dados ou em suas formas de processamento. Vejamos o quadro abaixo:

13
 Quadro 4 – Períodos de sistemas de dados e características

Período 1: estruturas Computação comercial na década de 60, armazenamento em

administráveis de arquivo simples, ausência de estruturas, modelos detalhados de
dados programação, dados relacionais, escalabilidade de hardware, ad-
ministração de dados.

Período 2: Investimento em sistemas com dados estruturados, sistemas

administração Web transacionais, gerenciamento de conteúdo corporativo, armaze-
namento e gerenciamento de conteúdo web, unificação de proto-
colos, plataformas de gestão de processos, entre outros.

Período 3: Visualização de dados, armazenamento baseado em nuvem,

Administração de Big remoção de limitações físicas, capacidade de administração de
Data quantidades massivas de dados, hibridismo de dados.

FONTE: Adaptado de SILVEIRA; MARCOLIN; FREITAS (2015, p. 40)

A grosso modo, o uso de ferramentas de tecnologia da informação no universo empresarial

já era tema de interesse de estudiosos desde o início da década de 50. Por volta dessa época,
dados passam a ser coletados e armazenados através de sistemas estruturados de dados re-
lacionais (AGRAWAL, 2014).
A partir da década de 90, novas aplicações foram ganhando mais protagonismo na estrutura-
ção de oportunidades de negócio como forma de organizar informações das empresas. Esse
tipo de aplicação teve forte contribuição ao estruturar modelos de negócio diversos (AGRA-
WAL, 2014). A partir de então, houve forte aprimoramento de ferramentas destinadas a con-
sulta a bancos de dados. Podemos destacar o OLAP – On-Line Analytical Processing (Processa-
mento Analítico On-line); BPM - Business Performance Management (Gestão do Desempenho
Empresarial/Gestão); BI - Business Intelligence (Inteligência de Mercado). Essas e outras alter-
nativas promoveram aplicações que ofereceram maior segurança a processos de tomada de
decisão. Esse período, que foi até aproximadamente o início dos anos 2000, ficou conhecido
como Business Intelligence and Analitics 1.0 (BI&A 1.0) (CHEN; CHIANG; STOREY, 2012).
Nos anos 2000, veio uma gigantesca maré de dados gerada quase instantaneamente (DA-
VENPORT, 2014). Fluxos de cliques, operações comerciais, padrões de navegação, conteúdo
gerado pelo usuário, blogs, imprensa alternativa, mídias sociais entre tantos outros são res-
ponsáveis por nortear um dilúvio crescente de dados (CHEN; CHIANG; STOREY, 2012). Tama-
nha produção foi apontada como a era 2.0 do Business Intelligence and Analitics (BI&A 2.0)
(CHEN; CHIANG; STOREY, 2012), cujas ferramentas de análise de negócios ganham espaço e
melhorias tecnológicas (AGRAWAL, 2014). Dispositivos móveis de maciça utilização, aliados
ao Cloud Computing, às conexões da IOT e à crescente sofisticação, canalizaram um fluxo con-
tínuo e incessante de dados que constituíram o pilar central do Big Data (DAVENPORT, 2014).

14
4.1 Bug do milênio
Um fato marcante e curioso na história do armazenamento e registro de dados foi o chamado
de Bug do milênio, que se deu pela forma como foram estipuladas as configurações de datas
em sistemas operacionais. Na tentativa de se poupar espaço de memória, o formato utilizado
foi o dia/mês/ano e nele foram utilizados dois dígitos para cada sessão. Assim, se a data in-
dicada era 12/05/96 o sistema automaticamente compreenderia que a referência era ao ano
de 1996. Os computadores até então estavam programados para interpretar o ‘00’ no final de
uma data como 1900. Sendo assim, os sistemas, ao contrário de continuarem linearmente em
uma linha temporal progressiva, acabariam por recuar no tempo cem anos, criando um efeito
cascata que poderia levar a falhas sucessivas nos equipamentos em rede (GAMEHALL, 2017).
Nos anos 1960, o uso de computadores passou a ser muito mais difundido dentro da esfera
governamental e das corporações. Naquele momento era um equipamento caro e de aces-
so limitado, desenvolvedores buscavam maneiras de diminuir o consumo de memória desses
equipamentos. Uma forma encontrada foi a de salvar apenas dois dígitos fazendo com que o
número “19” estivesse presente automaticamente nos registros de data. O que resultou no se-
guinte: 1º de junho de 1967 seria automaticamente reduzido para 010667 ao invés de 01041964,
essa medida mínima representou na época uma expressiva economia.
Por décadas tal estratégia se mostrou eficiente, no entanto, com a virada do século que se
aproximava, especialistas apontaram a possibilidade dos dígitos 1 e 9 não serem substituídos
pelos dígitos 2 e 0, ou seja, os sistemas retornariam ao ano de 1900 automaticamente. Haveria
enorme confusão na arquitetura dos sistemas. Alguns afirmavam que as consequências po-
deriam ser gigantescas e haver colapsos no sistema bancário, usinas nucleares, sistemas de
aviação e na automatização de empresas. Mas o único evento relevante referente ao bug do
milênio aconteceu em uma usina nuclear japonesa, houve uma falha no sistema de segurança,
porém um acidente maior foi evitado pelos sistemas secundários.

Atenção!

Aparentemente, o risco ainda existe. Ao que tudo indica, um novo esforço,

não tão intenso quanto o anterior, já está sendo realizado. Nos sistemas de
32-bit baseados na linguagem C, o registro de tempo está configurado para
encerrar no dia 19 de janeiro de 2038, às 01:14:07, pelo horário de Brasília,
chamado de Y2K38.

As operações para sanar eventuais problemas já estão em curso (GAMEHALL, 2017).

15
5 Momento atual dos dados
Para começar, abordaremos a diferença entre dados, informação e conhecimento. Existe
uma ordem ou hierarquia entre esses três elementos:

•  dados podem ser considerados como registros mais básicos e nucleares;

•  informações são dados já trabalhados, submetidos a um processo de organização;
•  conhecimento trata de informação devidamente compilada e absorvida, pronta para
ser posta em prática.

Em um primeiro momento, podemos afirmar que dados e informações estão em toda parte:
textos escritos, registros digitais, eletrônicos, na linguagem falada etc. (LAUDON; LAUDON,
2010). Tomemos aqui um exemplo: vamos utilizar os números 28 29 e 30. Isoladamente, esta-
mos falando de dados que por si só têm muito pouco a nos dizer, no entanto, se associarmos
esses dados a outros, como por exemplo, todos os dias 28, 29 e 30 de cada mês, e buscarmos
a presença de chuva, temos então informação, e ainda mais, se aumentarmos esse leque e
colocarmos essas mesmas datas todos os meses durante 10 anos. Certamente, poderemos
daí estabelecer um padrão de comportamento da chuva, teremos então conhecimento. As-
sim, será possível descobrir em quais períodos do ano existe maior possibilidade de presença
da chuva nesses dias, orientando ações preventivas para essas ocasiões.

5.1 Dados estruturados

Quando falamos de dados estruturados, normalmente nos referimos aos dados que possuem
formato e comprimento definidos, nesse caso incluem-se números, datas, grupos de pala-
vras, endereços e afins. É de consenso dos especialistas que aproximadamente 20% dos da-
dos existentes na internet são dessa natureza, normalmente dispostos em bases de dados e
passíveis de consulta através de algum tipo de linguagem estruturada como a SQL (HURWITZ
et al., 2015). Esse tipo de dado é coletado por empresas quando usuários preenchem cadas-
tros, por exemplo, mas também podem ser gerados por máquinas. No quadro abaixo, pode-
mos verificar essas diferenças:

16
 Quadro 5 – tipos de dados estruturados

Dados gerados por humanos Dados gerados por máquinas

Dados de entrada: qualquer tipo de dado que Dados de sensores: etiquetas de radiofre-
uma pessoa possa colocar em um computa- quência, medidores, dispositivos médicos,
dor, nome, idade, renda, respostas a pesqui- dados de GPS.
sas, etc.

Dados de fluxo de clique: registrados toda Dados de web log: servidores, aplicativos,
vez que o usuário clica em um link em um interações em rede e outros dispositivos que
website. capturam dados e atividades de usuários.

Dados relacionados a jogos: cada movimento
realizado em um jogo virtual pode ser regis-
trado. Isso é bastante útil para que se enten-
da como usuários se movem através de uma
tela em uma situação de jogo.
Dados de ponto de venda: através de có-
digo de barras, nesse caso todos os da-
dos associados ao produto são gerados e
armazenados.

Dados financeiros: gerados e armazenados

através da automatização de processos. Sis-
temas financeiros registram interações ge-
radas por máquinas e em parte por humanos.

FONTE: Adaptado de NUGENT et al. (2015, p. 60)

FIGURA 5 – BIG DATA

FONTE : Freepik (2021)

17
5.2 Dados não estruturados
Os dados não estruturados não seguem um formato específico. Como já citamos em nosso
estudo, são cerca de 80% dos dados na internet. Esse tipo de dado está por toda parte e, as-
sim como os dados estruturados, também são gerados por máquinas ou por humanos. Veja-
mos no quadro a seguir alguns exemplos:

Quadro 6 – tipos de dados não estruturados

Dados gerados por humanos Dados gerados por máquinas

Textos institucionais: textos contidos em do- Imagens via satélite: são informações de
cumentos, registros, resultados de pesquisa tempo ou vigilância através de satélites. O
ou e-mails enviados. Todo tipo de informação Google Earth é um exemplo.
de caráter empresarial e textual.

Dados de mídias sociais: são diversos e ge- Dados científicos: registros sobre variações
rados a partir de plataformas sociais como energéticas, dados atmosféricos ou monito-
YouTube, Facebook, Linkedin, Tik Tok etc. ramento de rotinas sísmicas.

Dados móveis: contém todo tipo de elemento Fotos e vídeos: dados que podem vir de
como informações de localização, mensa- vídeos de segurança, vigilância e tráfego,
gens de texto e arquivos diversos trocados acompanhamentos por drones, câmeras do
entre dispositivos móveis. sistema bancário etc.

Conteúdos de website: vindos de qualquer Registros de radar ou sonar: acompanha-

site na internet que entrega conteúdo deses- mento de sistemas veiculares, oceanográfi-
truturado como YouTube, Flickr, Instagram e cos, meteorológicos etc.
qualquer outra plataforma com alta geração
de conteúdo.

FONTE: Adaptado de NUGENT et al. (2015, p. 62)

Há, ainda, os dados semiestruturados, tipo de dado contido justamente entre dados estrutu-
rados e dados desestruturados. Na maior parte do tempo contêm características de ambos,
podendo contar com uma estrutura padrão que os torna estruturados, mas como uma organi-
zação interna mais caótica que lhe confere uma desestrutura.

5.3 Análise de dados e análise preditiva

Processos de análise de dados dizem respeito à aplicação de técnicas de caráter estático e
lógico que avaliam informações a partir da coleta de dados presentes nos bancos informacio-
nais do Big Data. Objetiva a extração de informações úteis, decisões são tomadas de forma
mais assertiva e orientadas para resultados efetivos (LAUDON; LAUDON, 2010).

18
 Atenção!

Algumas vantagens que podem ser obtidas são a antecipação de trabalho,

tornando-o mais proativo e menos reativo, a criação de estratégias ou de
serviços mais efetivos, redução de riscos e de taxa de retrabalho e uma me-
lhor experiência para o cliente.

Existem quatro formas de análise de dados:

•  Análise descritiva: baseada em fatos ocorridos, ou seja, é um estilo de avaliação a

partir de resultados obtidos. É possível destacar a geração de relatórios, controle e
segmentação de público-alvo, análises de oportunidades de negócio, aplicação de
métricas e avaliação de resultados obtidos.
•  Análise preditiva: atualmente é a forma mais popular de análise devido ao enorme
volume de dados disponíveis, que propiciam o modelo preditivo, essencialmente. Tal
modalidade se ancora na previsão de possibilidades e cenários futuros. Ressalte-se
que em uma análise de caráter preditivo as possibilidades se dão dentro de deter-
minadas condições. Busca determinar a confirmação de uma tendência, uma causa,
uma correlação ou probabilidade.
•  Análise prescritiva: normalmente empreendida após a coleta de resultados de uma
avaliação preditiva, prescreve uma ação ou recomendação a algum acontecimento
potencial. Nesse caso, a melhor forma de se obter uma análise prescritiva é através
da realização de projeções ou predições. Por seu caráter mutante; uma vez que está
condicionada às previsões; modelos de análise prescritiva estão fortemente apoia-
dos nas tecnologias da inteligência artificial, do machine learning e dos algoritmos;
•  Análise diagnóstica: tal como a análise descritiva, também se baseia em fatos ocor-
ridos, no entanto diferencia-se dessa por objetivar encontrar relações de causa e
efeito. O processo é baseado em probabilidades, e a partir de então determina-se um
diagnóstico da situação analisada.

5.4 Data science e Data analitycs

Não faz tanto tempo que tais nomenclaturas se popularizaram no meio corporativo, a ciência
de dados (data science) e a análise de dados (data analitycs) também, a cada dia, estreitam sua
ligação com Big Data (LAUDON; LAUDON, 2010). No quadro a seguir podemos verificar suas
principais características:

19
 Quadro 7 – data science e data analitycs

Data science Data analitycs

Campo que une estatística, matemá-
tica, programação e atua na extração,
triagem e preparação de dados. Busca
padrões em dados estruturados e não
estruturados.
Analisa dados brutos em busca de pa-
drões e usa algoritmos para isso. Pro-
cura correlações significativas entre
dados de uma base.

FONTE: Elaborado pelo autor (2021).

FIGURA 6 – DATA SCIENCE E DATA ANALITYCS

FONTE : Freepik (2021)

5.5 Coletando dados

Já sabemos que qualquer projeto que envolva Big Data trabalhará com extensa coleta de da-
dos. Mas de onde vêm esses dados? Como eles são coletados? Quais os pontos centrais des-
sas atividades de coleta de dados?
Nos tópicos sobre dados estruturados e dados não estruturados já vislumbramos parte desse
processo, mas para maior entendimento, vamos nos centrar em um objetivo de marketing.
Pensemos aqui que uma empresa qualquer, ao executar uma campanha de marketing, preci-
sa coletar dados referentes aos usuários que interajam com os elementos de tal campanha,
como anúncios em redes sociais, mídia display, links patrocinados e afins. Para tanto, uma es-
trutura de e-commerce devidamente programada estará ligada aos implementos já citados, e
pode realizar essa coleta através de cliques de usuários em anúncios, visualizações, comen-
tários e compartilhamentos, ou ainda com o preenchimento de um formulário. Não esque-

20
çamos também a coleta de dados através de máquinas, mas nesse momento enfatizaremos
dados de interação daquele que utiliza a internet voluntariamente.
Esses dados primários dos usuários são registrados, e com eles uma ‘espionagem’ maior aca-
ba sendo efetivada, pois são coletados mais dados, como o dispositivo utilizado (smartphone,
PC, tablet, notebook etc), o sistema operacional que está rodando nesses dispositivos, horá-
rio, localização geográfica, endereço de IP, endereços de e-mail e até mesmo seu histórico
de buscas, logins e senhas, mapas de calor, entre outros. Lembrando que na estrutura de um
e-commerce (como de qualquer site devidamente programado para isso) ainda temos o histó-
rico de navegação e compras. Todos esses dados coletados passam por um processo de mi-
neração, que nada mais é que a procura por padrões dos usuários dentro de uma estrutura di-
gital qualquer. É nesse momento que tecnologias que já citamos, como a inteligência artificial
e a ciência de dados, dentre outras, entram em ação. Nessa fase, dados gerados dão origem a
mapas comportamentais de extratos definidos de usuários e consumidores.
Através de um complexo sistema de protocolos presentes na internet, é possível que cada
passo de um usuário seja rastreado, esses protocolos registram toda vez que um usuário
acessa a internet, quantos cliques ele deu em uma foto ou link, quais áreas da rede mais aces-
sa e quanto tempo ficou on-line nesses locais. O ambiente digital está permeado de mecanis-
mos de rastreamento e são esses mecanismos que fornecem continuamente os dados que
são diariamente aproveitados pelo Big Data (AMARAL, 2016).

6 Quarta revolução
industrial, Big Data e o
impacto no mercado
A essa altura de nosso estudo, já pudemos perceber o enorme impacto que o Big Data e as
tecnologias de lhe dão suporte causaram no dia a dia do mercado, mas é chegado o momento
de nos debruçarmos mais assertivamente sobre esse tópico. Sabe-se que 59% dos habitantes
do globo é de usuários ativos da rede (E-COMMERCE BRASIL, 2020), a internet como canal de
negócios é uma incontestável realidade e faz parte de linha histórica que trouxe mudanças
fundamentais nas formas de organização social e modelos econômicos, interferindo nos as-
pectos da vida comum (AMARAL, 2016).
Historicamente, a primeira revolução lançou mão de água e vapor, trouxe a mecanização da
produção; na segunda revolução, a energia elétrica incrementou e ampliou muito a produção
em massa; na terceira revolução, a eletrônica e a tecnologia da informação aumentaram as
possibilidades ao promoverem a automatização da produção.

21
 Atenção!

Neste momento, atravessamos a quarta Revolução Industrial. Seu maior

atributo é um amálgama de tecnologias que interagem entre si: computado-
res pessoais, smartphones, smart TVs, e-mails, redes sociais, e-commerce,
o emergir das Startups, bancos on-line, a transformação digital e o cloud
computing.

6.1 Big Data no varejo

Imaginemos todo esse mar de informações e seu uso no varejo. A força do Big Data nesse seg-
mento está centrada na análise e determinação de padrões e tendências de consumo. É es-
tatisticamente mensurável toda a movimentação do usuário em rede, que indica preferências
através de seus hábitos de navegação e compra em ambientes digitais. Isso permite ao varejo
o planejamento de ações mais certeiras na captura e fidelização de clientes. O varejo é um dos
setores que utiliza o Big Data, principalmente o comércio eletrônico.
Os já citados hábitos de navegação e consumo dos usuários são coletados para estratégias
diversas como o lançamento de novos produtos, determinação de seu ciclo de vida, distribui-
ção geográfica por demanda, ou ainda a identificação de falhas no processo de atendimento,
gargalos logísticos e afins. No que tange à logística, o Big Data é uma excelente ferramenta
de controle que impacta diretamente na performance do varejo eletrônico (AMARAL, 2016). O
trabalho de fidelização de clientes não passa somente pela elaboração de mensagens efica-
zes de marketing, mas também por toda uma cadeia de produção, atendimento e pós-venda,
permite a adequação de preços de acordo com cada segmento com base nos dados deixados
pelos consumidores.
Essas informações impactam até mesmo em mudanças no design das lojas, que vão se
adaptando a tendências indicadas pelo usuário, personalização de ofertas para clientes
distintos, administração de escalabilidade de vendas e consequente redução de custos.
Através da mineração de dados, o varejo pode trabalhar com muito mais precisão e rápida
atualização através de ferramentas de análise como o Google Analytics, Google Tag Mana-
ger, Search Console e tantas outras que monitoram dados em tempo real da movimentação
de usuários em ambientes digitais de varejo. Isso é controle, o que gera estabilidade e pla-
nejamento (DAVENPORT, 2014).

22
6.2 Big data na indústria de transformação
O Big Data possui aplicação em praticamente todos os setores e a indústria de transforma-
ção certamente não ficaria de fora desse paradigma. Nesse segmento, os dados coletados
têm contribuído significativamente na redução de falhas e diminuição de taxas de retrabalho,
aumentado a qualidade da produção e eficiência, otimização de tempo e dinheiro. Alguns tó-
picos relevantes que têm sido destacados em pesquisas são o aumento da qualidade do pro-
duto e a rápida determinação das causas que geram defeitos de fabricação, proporcionam
um planejamento preciso da cadeia de suprimentos, maior monitoramento em processos de
fabricação, controle de prazos e relacionamento com fornecedores, previsões de entrada e
saída de mercadorias e matéria-prima, eficiência energética, prototipação mais rápida de no-
vos produtos e personalização massificada.
Outro fator se debruça nas análises preditivas do data science, a indústria de transformação
busca indicações nos dados de oportunidades e tendências futuras, seja no desenvolvimento
de novos materiais, processos, paradigmas, otimização e afins. A personalização é um grande
exemplo disso, as movimentações de usuários em rede revelaram ao mercado fortes segmen-
tos que antes passavam despercebidos, como por exemplo, o mercado vegano, a sustentabi-
lidade ou as representações étnicas e culturais. A indústria percebeu que em grande medida
produtos, embalagens e afins não poderiam mais ser homogêneos, existe a necessidade de
buscar identificação com segmentos distintos e seus interesses. Esses segmentos deixam
claras suas preferências nos dados do Big Data.
O impacto do Big Data pode ser medido em todas as esferas de convivência, tanto pessoal
quanto mercadológica. A humanidade, sem dúvida, vive na contemporaneidade sua mais
massiva quantidade de dados criados e registrados em nível pessoal e profissional, o aces-
so cada vez mais facilitado às mídias digitais abarrotam as nuvens virtuais. A comunicação e
interação entre dispositivos aumenta exponencialmente (JENKINS; FORD; GREENE, 2014), as
informações necessárias para a criação de verdadeiros mapas comportamentais de consu-
midores, bem como diversos outros processos mercadológicos estão na pauta do dia. Exis-
tem plataformas com capacidade de processamento e administração de dados que suportam
massas gigantescas de arquivos.
A automatização da indústria utiliza máquinas inteligentes que decidem ações de forma autô-
noma e descentralizada em sistemas que interagem e colaboram mutuamente. O advento da
fibra ótica, o desenvolvimento dos computadores e a abrangência dos smartphones impulsio-
nam a revolução digital, a erupção dos dados na quarta Revolução Industrial (AMARAL, 2016).
Assim, quando alcançarmos a consolidação desses processos, teremos um grau de eficiência
nunca antes visto. Obviamente a tecnologia apenas não é suficiente, é necessária a maturida-
de digital nas organizações e corporações, com mão de obra especializada e visão estratégica
para tirar o maior proveito da enorme quantidade de dados presente no Big Data.

23
Resumo do curso
Neste curso, você aprendeu que o Big Data, com as premissas da exploração de dados, é vi-
tal para o presente e futuro dos negócios. Buscar novas formas de lidar com a informação é
a palavra de ordem, ter estratégia e novas perspectivas de gestão nos impulsionam em uma
maior competitividade e resultados mais promissores.
A esfera do Big Data também se presta na determinação de modelos preditivos de proteção a
fraudes, possibilitando processos de alerta que possam garantir respostas oportunas quan-
do dados de natureza incomum são reconhecidos. Com a emergência dos dados, cria-se um
olhar abrangente e analítico para todo tipo de operação a ser executada dentro do ambiente
corporativo. À medida que as empresas compreendem isso, mais promissores serão seus re-
sultados no caminho da competitividade e diferenciação no mercado.

24
Referências
AGRAWAL, D. Analytics based decision making. Journal of Indian Business Research, v. 6, n. 4, p. 332-
340, 2014.
AMARAL, F. Big Data: uma visão gerencial. São Paulo: Polo Books, 2016.

CHEN, C. P.; ZHANG, C. Y. Data-intensive applications, challenges, techniques and technolo-

gies: a survey on Big Data. Information Sciences, 275, 314–347, 2014.
CHEN, H.; CHIANG, R. H. L.; STOREY, V. C. Business intelligence and analytics: from Big Data to
big impact. MIS quarterly, v. 36, n. 4, p.1165-1188, 2012.
_____. Big data: a survey. Mobile networks and applications, v. 19, n. 2, 171–209, 2014.
DAVENPORT, T. H. Big Data no trabalho: derrubando mitos e descobrindo oportunidades. Rio
de Janeiro: Elsevier, 2014.
E-COMMERCE BRASIL. Gonçalves, D. Big Data: o que é, como funciona e como usar a favor da
minha empresa? Disponível em: https://www.ecommercebrasil.com.br/artigos/big-data-o-
-que-e-como-funciona-e-como-usar-a-favor-da-minha-empresa/. Acesso em: 30 ago. 2021.
EPOCA NEGOCIOS. Conheça 6 aplicações da internet das coisas que já estão tornando o mun-
do melhor. Disponível em: https://epocanegocios.globo.com/Tecnologia/noticia/2019/03/co-
nheca-6-aplicacoes-da-internet-das-coisas-que-ja-estao-tornando-o-mundo-melhor.html.
Acesso em:12/08/2021.
GAMEHALL, V. Apocalipse ou enganação: o que foi o Bug do Milênio? 2017. Disponível em: ht-
tps://www.uol.com.br/tilt/noticias/redacao/2017/08/20/apocalipse-ou-enganacao-o-que-
-foi-o-bug-do-milenio.htm. Acesso em: 30 ago. 2021.
GOLDMAN, A. et al. Apache Hadoop: conceitos teóricos e práticos, evolução e novas possibili-
dades. XXXI Jornadas de atualizações em informática, 2012.
HURWITZ, J. et al. Big Data para leigos. Rio de Janeiro: Alta Books, 2015.
JENKINS, H.; FORD, S.; GREENE, J. Cultura da conexão. São Paulo: Aleph, 2014.
LAUDON, K.; LAUDON, J. Sistemas de informação gerenciais. 9. ed. São Paulo: Pearson Pren-
tice Hall, 2010.
NUGENT, A. et al. Data science and Big Data computing: frameworks and Methodologies.
Springer International Publishing, 2015.
SANTO DIGITAL. 4 cases para você entender o impacto do Big Data na prática. Disponível em:
https://santodigital.com.br/4-cases-para-voce-entender-o-impacto-big-data-na-pratica/.
Acesso em: 30 ago. 2021.

25
SOUSA, F. R.C.; MOREIRA, L. O.; MACHADO, J. C. Computação em nuvem: conceitos, tecnolo-
gias, aplicações e desafios. II Escola Regional de Computação Ceará, Maranhão e Piauí (ERCE-
MAPI), p. 150-175, 2009.
SILVEIRA, M.; MARCOLIN, C.; FREITAS, H. O Big Data e seu uso corporativo: uma revisão de li-
teratura, 2015. Disponível em: https://singep.org.br/4singep/resultado/245.pdf. Acesso em: 30
ago. 2021.
TAURION, C. Cloudcomputing-computação em nuvem. Brasport, 2009.
_____. Big Data. Brasport, 2013.
VEJA. Demasiado humano: há 20 anos, Kasparov era esmagado por Deep Blue. Disponível em:
https://veja.abril.com.br/blog/reveja/demasiado-humano-ha-20-anos-kasparov-era-esma-
gado-por-deep-blue/. Acesso em: 30 ago. 2021.
ZARDO, P. As tecnologias digitais e o processo de projeto contemporâneo. Dissertação Mes-
trado em Arquitetura e Urbanismo. Faculdade IMED, 2018. Disponível em: https://www.pas-
seidireto.com/arquivo/89606659/mes-zardo-2018-as-tecnologias-digitais-e-o-processo-de-
-projeto-contemporaneo. Acesso em: 30 ago. 2021.

26