INTRODUÇÃO

A CIÊNCIA DE
DADOS

Luiz Fernando Calaça Silva

Técnicas utilizadas em
ciência de dados e big data
Objetivos de aprendizagem
Ao final deste texto, você deve apresentar os seguintes aprendizados:

 Reconhecer as técnicas utilizadas nos processos de ciência de dados.

 Aplicar o aprendizado de máquina (machine learning).
 Explicar o conceito de aprendizagem profunda (deep learning).

Introdução
A extração de conhecimento é um trabalho necessário diante de um
conjunto de dados a serem analisados. O que eles significam e o que têm
a mostrar sobre a realidade é objeto de estudo de vários pesquisadores,
alunos e profissionais. Assim, há diversas técnicas baseadas em inteligên-
cia artificial que podem ser aplicadas no contexto de ciência de dados,
permitindo-nos observar melhor e aprender com os dados disponíveis.
Dentro desse contexto estão o aprendizado de máquina (ou machine
learning) e as redes neurais. Existe ainda o conceito de deep learning,
um termo específico, dentro do aprendizado de máquina, que oferece
maior capacidade de processamento dos dados. Essas técnicas simulam
o aprendizado humano, os dados são o seu fomento para a descoberta
de informações.
Neste capítulo, você estudará as técnicas utilizadas em ciências de
dados. Além disso, verá a aplicação do aprendizado de máquina, e lerá
sobre os conceitos de aprendizagem profunda.

1 Técnicas utilizadas em ciência de dados

A ciência de dados faz parte de um contexto abrangente, cujo processo é com-
posto pelas fases de coleta, armazenamento, análise, descarte, processamento
e visualização da informação. Com isso, os dados brutos se tornam conhecidos
2 Técnicas utilizadas em ciência de dados e big data

e podem ter esse conhecimento extraído deles. Desse modo, existem técnicas
específicas em ciência de dados que permitem o tratamento e a extração de
informações.
Nesse sentido, o aprendizado de máquina se refere a um contexto inteligente,
capaz de obter, de forma automática, conhecimento a partir de dados. O intuito
dessa técnica é simular o processo de aprendizagem humana e ter os mesmos
insights que um humano teria — porém, trata-se de um conhecimento adquirido
de forma artificial, por uma máquina. Atualmente, sabe-se que, para tarefas
específicas, a máquina pode ser até mais eficaz e eficiente que o ser humano.
Segundo Ventura (2010), as nossas funções locomotoras e sensoriais, a
aprendizagem e a memória são objeto de pesquisa em inteligência artificial.
Ferramentas tecnológicas são utilizadas para entender os sistemas biológicos
como fonte de inspiração para o desenvolvimento de soluções. Assim, tem-se
a aplicação de modelos biologicamente inspirados em áreas como engenharia,
indústria, transporte, entre outras.
O aprendizado de máquina tem aplicações em vários âmbitos da sociedade
e pode auxiliar diversos segmentos nas suas tarefas. Além disso, como pontua
Amaral (2016), a ciência de dados é composta por várias outras ciências, mo-
delos, tecnologias, processos e procedimentos relacionados aos dados. Dentro
do contexto do aprendizado de máquina, estão as redes neurais, que se baseiam
em neurônios artificiais, em referência aos biológicos, conforme a Figura 1.
As redes neurais se inspiram no funcionamento anatômico e fisiológico, a fim
de se assemelhar à aprendizagem humana.

Figura 1. O neurônio biológico.

Fonte: Redes... (2005, documento on-line).
 Técnicas utilizadas em ciência de dados e big data 3

Assim, técnicas em ascensão no contexto de ciência de dados e inteligência

artificial estão ligadas ao uso do aprendizado de máquina e das redes neurais.
Elas são baseadas na descoberta de conhecimento a partir de um conjunto de
dados, que pode ser variado, contendo imagens, textos, arquivos em formato
tabular, entre outros.

2 Aplicação do aprendizado de máquina

Dentro do contexto matemático, temos que a indução é a forma de inferência
lógica, em que podemos obter conclusões sobre um conjunto específico de
exemplos. Ela parte de um princípio inicial e o generaliza para todo o conjunto.
Como se baseia em hipóteses, ela pode conter inferências errôneas e, portanto,
pode não representar a verdade.
Da mesma forma, podemos realizar a aprendizagem a partir de um con-
junto de dados usando a indução. Segundo Monard e Baranauskas (2003),
o aprendizado indutivo ocorre a partir de raciocínios e inferências sobre
exemplos fornecidos ao sistema de aprendizado. O aprendizado indutivo
pode ser dividido em supervisionado e não supervisionado. No aprendi-
zado supervisionado, fornece-se ao algoritmo de aprendizado (ou indutor)
um conjunto de exemplos de treinamento para os quais o rótulo da classe
associada é conhecido.
Já no aprendizado não supervisionado, o indutor analisa as amostras
fornecidas e tenta verificar se elas podem ser organizadas de alguma maneira,
formando agrupamentos ou clusters. Após a indicação dos agrupamentos, em
geral é necessária uma análise para inferir o que cada agrupamento significa no
contexto do problema. Além disso, há ainda o aprendizado por reforço, que
se baseia no estado do conjunto de dados, conforme você verá na sequência.
Segundo Monard e Baranauskas (2003), há diversos paradigmas de apren-
dizado de máquina:

 o simbólico se utiliza da lógica booleana;

 o estatístico usa técnicas matemáticas do contexto;
 o genético utiliza modelos evolucionários;
 as redes neurais se baseiam nos neurônios artificiais.
4 Técnicas utilizadas em ciência de dados e big data

Aprendizado supervisionado
O aprendizado supervisionado tem esse nome porque o indutor tem o objetivo
de extrair um modelo de generalização a partir de dados de entrada rotulados.
Assim, dado um conjunto de entrada de dados conhecidos, já se sabe qual é
a saída esperada.
Nesse sentido, ao enviarmos novos dados para esse indutor, que apren-
deu com os dados iniciais, esperamos que ele possa compreender os novos,
de acordo com os rótulos aprendidos. Por exemplo, um técnico de futebol
aprende a partir de dados de times adversários; assim, quando há um novo jogo,
espera-se que ele saiba manejar a sua equipe, já que conheceu previamente
as jogadas do oponente.
Usando técnicas do aprendizado de máquina, podemos resolver proble-
mas de regressão ou de classificação. O problema de regressão (Figura 2a)
ocorre quando precisamos prever o resultado em uma saída contínua. Assim,
o objetivo é mapear as variáveis de entrada em uma função contínua. Já o de
classificação (Figura 2b) se coloca quando estamos tentando prever o resultado
em uma saída discreta.

Figura 2. Problema de regressão (a) e problema de classificação (b).

Fonte: Kasturi (2019, documento on-line).

Os algoritmos de regressão linear, regressão logística, SVM (Support

Vector Machine), KNN (K-Nearest Neighbors), árvores de decisão, Naïve
Bayes, entre outros são bastante utilizados para os problemas de classificação
 Técnicas utilizadas em ciência de dados e big data 5

e regressão. A regressão linear é uma análise que tem o intuito de gerar uma
função linear para descrever a relação entre os dados, de forma que se possa
estimar uma variável numérica por meio da função gerada. A regressão logística
é semelhante à linear, mas a variável estimada será categórica.
O SVM foi proposto por Buser et al. (1992) e utiliza o conceito de planos
de decisão em um espaço multidimensional utilizando uma função kernel,
que é ajustada de forma a generalizar o modelo. O KNN foi proposto por Fix
e Hodges (1951), como um algoritmo simples que gera um modelo baseado
nos dados e nos seus vizinhos.
As árvores de decisão são um conjunto de raízes e de nós que se orga-
nizam como um fluxograma de deliberações, a fim de se consolidar um
modelo. Pode-se ter inúmeras árvores para um dado conjunto, ao ponto de
haver famílias de árvores de decisão. Por último, o Naïve Bayes, dentro do
contexto do aprendizado de máquina, tem a aplicação direta do teorema
com o mesmo nome. Assim, o intuito é encontrar uma probabilidade, dado
que já ocorreu algo.

Para facilitar o entendimento, veja um exemplo de predição de valores imobiliários. A

imobiliária Casa Nova tem, na sua base de dados, cinco mil imóveis (casas) de diferentes
tamanhos. Ao receber novas casas para disponibilizá-las para aluguéis, ela faz uma
estimativa do valor que poderá ser cobrado pelo tamanho da casa. Assim, na sua base,
ela tem os tamanhos e os valores já praticados no mercado. Quando aparece uma
casa nova, há uma estimativa baseada naquela base de dados.
Nesse exemplo, temos os dados rotulados de saída dentro da base de dados. Assim,
esse mapeamento será para uma saída de valores contínuos: o valor do aluguel da casa.
Logo, trata-se de um problema de regressão. Para realizar a regressão, poderíamos
utilizar a regressão logística, por exemplo.

No exemplo anterior, você viu uma aplicação prática do aprendizado de

máquina em um problema de regressão. A seguir, veja outro exemplo prático,
dessa vez lidando com um problema de classificação.
6 Técnicas utilizadas em ciência de dados e big data

Nesse exemplo, busca-se identificar diagnósticos de tumor no pulmão ou de

pneumonia. O hospital Newton Houston tem na sua base diversos raios-X de
pacientes que tiveram como diagnóstico câncer no pulmão ou pneumonia. O
hospital quer criar um sistema que possa aprender o diagnóstico, ao ser apresentado
a novas imagens.
Temos os dados rotulados de saída dentro da base de dados, e esse mapeamento
será para uma saída de valores discretos: câncer (1) ou pneumonia (0). Logo, trata-se
de um problema de classificação. Para realizar a classificação, poderíamos utilizar o
Naïve Bayes, por exemplo.

Aprendizado não supervisionado

No aprendizado não supervisionado, temos um conjunto de dados não
rotulados — e, portanto, o indutor não tem conhecimento inicial das classes
envolvidas. Assim, dado um conjunto de entrada de dados, nós não sabemos
qual é a saída esperada. Um tipo de abordagem bastante utilizado nesse
contexto é o de clusterização (agrupamento), conforme a Figura 3. Nessa
abordagem, ocorre o agrupamento dos dados conforme características
em comum.

Figura 3. Clusterização: agrupamento por características comuns

que representam um grupo.
Fonte: IDD (2015, documento on-line).
 Técnicas utilizadas em ciência de dados e big data 7

Veja um exemplo em que se busca agrupar pesquisas acadêmicas de diversas univer-

sidades. A equipe de ciência de dados do Governo do Estado precisa considerar os
assuntos tratados pelos artigos científicos produzidos por 30 universidades residentes
no seu território. O intuito é mostrar estatísticas da produção intelectual por assunto
e fomentar políticas públicas para que áreas pouco exploradas possam ascender no
meio acadêmico.
Não temos os dados rotulados de saída dentro da base de dados. Portanto, esse
mapeamento será oriundo de um possível agrupamento, por exemplo, utilizando
a frequência de palavras em um artigo e o classificando para determinado assunto,
se aquele conjunto for relativo a uma área do conhecimento. Assim, o algoritmo de
clusterização pode atuar agrupando dados que não estão rotulados.

Aprendizado por reforço e as cadeias de Markov

O aprendizado por reforço é a terceira abordagem, na qual a máquina aprende
tomando decisões circunstanciais e aprendendo com elas. Se tomar uma deci-
são correta, recebe uma pontuação positiva (recompensa), reforçando aquele
comportamento. Caso contrário, recebe uma pontuação negativa (punição),
reforçando que aquela decisão foi errônea naquela circunstância.
Um exemplo disso é o jogo Skiing, do antigo console Atari, como mostra a
Figura 4. Nesse jogo, é necessário esquiar e evitar os obstáculos, como árvores,
bandeiras e outras partes que façam o jogador perder o equilíbrio. Usando
um algoritmo baseado em aprendizado por reforço, se o jogador se mover e
ultrapassar o obstáculo sem se desequilibrar, então é recompensado; se cair,
é penalizado. Assim, reforçam-se os comportamentos corretos e punem-se os
errados, para que a máquina aprenda a ter êxito no jogo.
Vale pontuar a teoria matemática das cadeias de Markov, proposta
pelo matemático russo Andrey Andreyevich Markov (1856–1922), em
comparação com o aprendizado por reforço. Essa teoria afirma que um caso
particular do processo estocástico é caracterizado pelo fato de que o seu
estado futuro depende apenas do seu estado atual — e não dos fatos passa-
dos. Em resumo, os estados anteriores são irrelevantes para a predição dos
estados seguintes, desde que o estado atual e as possibilidades de atuação
sejam conhecidos.
8 Técnicas utilizadas em ciência de dados e big data

Figura 4. Jogo Atari Skiing.

Fonte: OpenAi ([202-?], documento on-line).

3 Conceitos de aprendizagem profunda

Os dados de entrada, os pesos e os respectivos ajustes, o bias, a função de
ativação e a minimização do erro por uma função de custo são processos im-
portantes das redes neurais. Nesse sentido, a teoria da perceptron acompanha
fortemente o contexto.
Segundo H. D. Block (1962), uma perceptron pode ser definida como um
modelo matemático que recebe várias entradas que serão ponderadas por pesos.
A soma desses termos será a entrada da função de ativação, que demonstra
se o neurônio será ativado ou não.
Ao observarmos a perceptron como o início de uma rede neural, temos
os dados de entrada, sobre os quais desejamos que a rede aprenda algo. Os
pesos ponderam esses dados de entrada de determinada forma. Lembrando o
conceito matemático de “ponderar”, estamos dando “importâncias” para cada
dado. Dentro da perceptron, temos o parâmetro bias, que é o aprendizado
inicial, isto é, o ponto de onde partimos.
Como mostrado na Figura 5, os dados de entrada x1 e x2 serão multiplicados
pelos pesos w1 e w2, e os resultados serão somados. Há uma função de ativação
f(x), que dita se aquele resultado ativa ou não ativa o neurônio. Assim, a partir
dela, temos a saída da perceptron.
 Técnicas utilizadas em ciência de dados e big data 9

Figura 5. Representação da perceptron.

Fonte: Redes... (2005, documento on-line).

Em 1975, Werbos realizou experimentos conectando alguns neurônios e

criando camadas de vários deles, como mostra a Figura 6. Assim, o aprendizado
ia sendo repassado entre eles. Imagine que cada bolinha azul na Figura 6 é
uma perceptron, tendo pesos de entrada e repassando o seu sinal por meio da
função de ativação até a saída.

Figura 6. Várias camadas e diversos neurônios: camadas profundas (deep).

Fonte: all_is_magic/Shutterstock.com.
10 Técnicas utilizadas em ciência de dados e big data

Nesse contexto, as redes neurais profundas (deep learning) são um sub-

tópico dentro do aprendizado de máquina, e se caracterizam por conter uma
quantidade de camadas e neurônios superior ao contexto de machine learning.
O objetivo de se ter mais camadas é, de fato, obter uma aprendizagem mais
efetiva, de forma que a rede neural consiga aprender mais características e
padrões daquele conjunto de dados.
Os dados são passados de camada para camada, até chegarem à sua saída.
A primeira camada é a entrada, e a última é a saída — todas as camadas
entre as duas são denominadas camadas ocultas. Entre cada camada, o sinal
é propagado por meio da função de ativação. A aprendizagem profunda é
precursora em diversas soluções das áreas de reconhecimento de fala, visão
computacional, carros autônomos e diversas outras.

Os conceitos de treinamento e aprendizagem

de uma rede neural
A rede neural consegue aprender com o erro de saída da função de ativação,
ajustando os pesos para que esse erro seja minimizado. A função de custo
é a responsável por minimizar o erro da saída da rede neural. Então, o
intuito é fazer um movimento de ida ( forward) e um de volta (backward).
Na ida, entram os dados, que são multiplicados pelos pesos iniciais. E,
ao final da rede há a saída pela função de ativação. Ao chegar à saída, a
rede pode ver que houve um erro e que o resultado não corresponde ao
esperado. Assim, precisa fazer a volta para ajustar os pesos, até que o erro
seja mínimo.
Normalmente, dividimos os dados de entrada disponíveis para a aprendiza-
gem de máquina em conjuntos de treino, teste e validação, e cada um participa
de uma fase da rede neural. Ao realizar o treinamento, o nosso modelo pode
ter um sobreajuste (overfitting), um subajuste (underfitting), ou pode ser um
modelo equilibrado (balanced), conforme a Figura 7.
O sobreajuste ocorre quando o modelo memoriza os dados do conjunto de
treino e, portanto, não consegue predizer nada sobre novos dados que entra-
rem na rede. Já o subajuste ocorre quando o modelo criado pela rede neural
fica aquém do esperado e aprende muito pouco sobre os dados. O modelo
equilibrado é esperado quando, a partir da etapa de treinamento, o modelo
aprende sobre os dados e consegue inferir sobre dados novos que possam ser
apresentados à rede neural.
 Técnicas utilizadas em ciência de dados e big data 11

Figura 7. Gráficos que representam modelos subajustados, balanceados e sobreajustados.

Fonte: Kasturi (2019, documento on-line).

Os hiperparâmetros em uma rede neural

Os hiper parâmetros são parâmetros de redes neurais que devem ser definidos antes
de treinar o modelo. Eles são responsáveis pela arquitetura geral de treinamento
e por variáveis que contribuem diretamente para o aprendizado de máquina. O
número de neurônios, a quantidade de camadas, a função de ativação e de custo, a
inicialização dos pesos e bias, a quantidade de dados de treinamento são exemplos
de hiperparâmetros — e são muito importantes nos contextos das redes neurais.

Os hiperparâmetros têm papel fundamental no treinamento de uma rede neural e na

sua acurácia para determinado problema.

Como demonstra Syarif, Prugel-Bennett e Wills (2016), a técnica do grid

search pode ser utilizada para a otimização dos hiperparâmetros dentro do
aprendizado de máquina.
12 Técnicas utilizadas em ciência de dados e big data

Os assistentes pessoais, aos quais recorremos com frequência no cotidiano, como o

Google Home e o Alexa Amazon, tiveram a sua ascensão devido ao aprimoramento
da inteligência artificial e, especificamente, ao uso de redes neurais recorrentes para
o processamento de língua natural.

Neste capítulo, você viu o comparativo entre os neurônios biológicos e

artificiais, as redes neurais e os diversos tipos de aprendizado de máquina:
supervisionado, não supervisionado e por reforço. Além disso, estudou também
vários algoritmos e os conceitos de deep learning.

AMARAL, F. Introdução à ciência de dados: mineração de dados e big data. Rio de

Janeiro: Alta Books, 2016.
BLOCK, H. D. The perceptron: a model for brain functioning. Reviews of Modern Physics,
v. 34, n. 1, 1962. Disponível em: https://journals.aps.org/rmp/abstract/10.1103/RevMo-
dPhys.34.123. Acesso em: 5 maio 2020.
IDD. Clusterização: serviços. São Paulo: [S. n.], 2015. Disponível em: http://www.inteli-
genciadedados.com.br/clusterizacao/. Acesso em: 5 maio 2020
KASTURI, S. N. Underfitting and Overfitting in machine learning and how to deal
with it!!! In: TOWARDS. [S. l.: s. n.], 2019. Disponível em: https://towardsdatascience.
com/underfitting-and-overfitting-in-machine-learning-and-how-to-deal-with-it-
-6fe4a8a49dbf. Acesso em: 5 maio 2020.
MONARD, M. C.; BARANAUSKAS, J. A. Conceitos sobre aprendizado de máquina. In:
REZENDE, S. O. Sistemas inteligentes: fundamentos e aplicações. Barueri: Manole, 2003.
OPENAI. Skiing-ram-v0. [S. l.: s. n., 202-?]. Disponível em: https://gym.openai.com/envs/
Skiing-ram-v0/. Acesso em: 5 maio 2020.
REDES neurais artificiais. In: LET’S CODE. São Paulo: [S. n.], 2005. Disponível em: https://
letscode-academy.com/blog/redes-neurais-artificias/. Acesso em: 5 maio 2020.
SYARIF, I.; PRUGEL-BENNETT, A.; WILLS, G. SVM parameter optimization using grid
search and genetic algorithm to improve classification performance. Telkomnika, v.
14, n. 4, 2016. Disponível em: http://journal.uad.ac.id/index.php/TELKOMNIKA/article/
view/3956/3028. Acesso em: 5 maio 2020.
 Técnicas utilizadas em ciência de dados e big data 13

VENTURA, D. F. Um retrato da área de neurociência e comportamento no Brasil. Psi-

cologia: Teoria e Pesquisa, v. 26, 2010. Disponível em: https://www.scielo.br/scielo.
php?script=sci_abstract&pid=S0102-37722010000500011&lng=pt&nrm=iso&tlng=pt.
Acesso em: 5 maio 2020.
FIX, E.; HODGES, J. L. Discriminatory analysis, nonparametric discrimination: Consis-
tency properties,” Technique Report No. 4, U.S. Air Force School of Aviation Medicine,
Randolf Field Texas, 1951