proposta específica.
Ele possui um grupo definido de usuários e
VISÃO GERAL SOBRE SISTEMAS DE SUPORTE À DECISÃO E
INTELIGÊNCIA DE NEGÓCIO E FUNDAMENTOS SOBRE
ANÁLISE DE DADOS.
INTRODUÇÃO
Este capítulo tem como objetivo apresentar a vocês os conceitos
iniciais sobre bancos de dados. Vocês aprenderão que existe
diferença entre dados e informação e que, a partir deles, é possível
gerar conhecimento. Entender isto é importantíssimo para a
resolução de várias questões em provas de concursos.
DADO, INFORMAÇÃO E CONHECIMENTO
Para entendermos melhor o que é um banco de dados, é
necessário compreender antes a diferença que existe entre dado,
informação e conhecimento.
SABADIN (2020) define que o dado é um conteúdo que ainda não
foi processado para gerar um significado. Também pode-se dizer
que dado é a menor unidade de conteúdo que tem significado no
mundo real. Para gerar alguma informação, é necessário, então,
realizar uma análise nestes dados e formatá-los de uma forma mais
resumida e de fácil entendimento. A partir da informação, pode-se
gerar conhecimento. Assim, quando conseguimos compreender
informações e relacioná-las a um contexto, estamos obtendo
conhecimento.
A partir dos conceitos do que são dados, informações e
conhecimento e qual a diferença entre ambos, precisamos definir
agora onde os dados ficam armazenados.
CONCEITO DE BANCO DE DADOS
ELMASRI E NAVATHE (2011) definem Banco de Dados (ou Base de
Dados) como “uma coleção de dados, que representam algo do
mundo real, se relacionam entre si e são projetados, construídos e
populados para atender a um grupo de usuários interessados, com
um fim específico”. É interessante mencionarmos também a
definição dada por C. J. DATE (2003), no qual “um banco de dados
é uma coleção de dados persistentes que é usada pelos sistemas
de uma organização”.
A partir destas definições, ELMASRI E NAVATHE (2011) destacam
que existem algumas propriedades implícitas de um banco de
dados, são elas:
Representação do mundo real: um banco de dados representa
algum aspecto do mundo real, algumas vezes chamado de
“minimundo”. Mudanças no minimundo provocam mudanças na
base de dados. Por exemplo, se quisermos construir uma aplicação
para uma Universidade, o nosso “minimundo” deveria ser
representado por dados referentes à professores, alunos, cursos,
disciplinas etc.
Sempre que uma nova informação fosse adicionada (ingresso de
novos alunos) ou modificada (mudança de professor para uma
disciplina), seria necessário atualizar essas informações na base de
dados.
Dados com significado inerente: um banco de dados é uma
coleção logicamente coerente de dados com algum significado
inerente. Uma variedade aleatória de dados não pode ser
corretamente chamada de banco de dados. Por exemplo, não faria
sentido uma base de dados com informações sobre um cadastro de
pessoas (nome, sobrenome, data de nascimento etc.) no mesmo
local (ou na mesma tabela para casos de bancos de dados
relacionais) do cadastro de carros (modelo, cor, placa, chassi).
Dados com finalidade específica: um banco de dados é
projetado, construído e populado por dados atendendo a uma
algumas aplicações previamente concebidas nos quais esses
usuários estão interessados. Um banco de dados de uma loja de
varejo é diferente em tamanho e complexidade se comparado ao
mantido pela Receita Federal com dados fiscais de toda a
população brasileira, por exemplo.
Geração e manutenção dos dados: um banco de dados pode
ser gerado e mantido manualmente ou de forma automatizada. Por
exemplo, um catálogo de cartão de biblioteca é um banco de dados
que pode ser criado e mantido manualmente. Já um banco de
dados criado e mantido por um grupo de programas de aplicação,
como um Sistema Gerenciador de Banco de Dados – SGBD, é um
exemplo de automatizado ou computadorizado.
SISTEMA GERENCIADOR DE BANCO DE DADOS (SGBD)
Bancos de dados existem normalmente para serem utilizados por
aplicações. São elas que realizam as consultas e fazem alterações
em cima destes dados.
Para tornar este processo mais simples, existe o Sistema
Gerenciador de Banco de Dados (SGBD).
Definição de SGBD
ELMASRI E NAVATHE (2011) definem um SGBD como uma coleção
de programas que permite aos usuários criar e manter um banco
de dados. Fique atento que este conceito é bastante cobrado em
provas de concursos!
Já o autor SILBERSCHATZ (2006) define um SGBD como uma
coleção de dados interrelacionados e um conjunto de programas
para acessar esses dados. O objetivo principal de um SGBD é
prover formas de armazenar e recuperar informação em um banco
de dados de maneira conveniente e eficiente.
Ainda segundo SILBERRSCHATZ (2006), uma das principais razões
para se usar um SGBD é ter um controle central dos dados e dos
programas que acessam esses dados. ELMASRI E NAVATHE (2011)
enumeram várias vantagens na utilização de SGBDs, tais como:
 Controle de redundância;
 Restrição de acesso não autorizado;
 Armazenamento persistente;
 Armazenamento de estruturas para o processamento eficiente
de consultas;
 Backup e restauração;
 Múltiplas interfaces para os usuários;
 Representação de relacionamentos complexos
 entre os dados;
 Garantia de restrições de integridade.
De forma resumida, temos, então, que o SGBD é um sistema de
software de uso geral que facilita o processo de definição,
construção, manipulação e compartilhamento de dados entre
diversos usuários e aplicações. Ele também tem a função de
proteção (contra falhas de hardware e software) e de segurança
(acessos não autorizados ou maliciosos) dos dados nele
armazenados, ao mesmo tempo em que permite o
compartilhamento desses dados entre vários usuários e aplicações.
Antes da criação do conceito de SGBD, os bancos de dados
utilizavam apenas sistemas de arquivos, não existindo muita
integração entre sistemas distintos. Isso gerava diversos
problemas, tais como, redundância de dados, concorrência de
acessos, além de que toda a organização dos dados ficava
armazenada no programa que fazia a sua utilização. Com isso, se a
estrutura de dados de um arquivo fosse alterada, todos os
programas que utilizassem esse arquivo precisariam ser
atualizados, pois deixariam de funcionar.
Cenário impossível atualmente, não é mesmo?
Características de um SGBD
Os dados podem ser armazenados em arquivos no formato texto,
planilhas ou em bancos de dados. ELMASRI E NAVATHE (2011)
destacam as principais características da abordagem de banco de
dados que diferem do armazenamento de dados em sistemas de
arquivos, são elas:
 Natureza de autodescrição de um banco de dados;
 Isolamento entre programas e dados;
 Abstração de dados;
 Suporte para múltiplas visões de dados;
 Compartilhamento de dados;
 Processamento de transação multiusuário.
Arquitetura de um SGBD
Conforme vimos anteriormente, uma das principais características
de um SGBD é retirar da aplicação a preocupação de realizar a
estruturação dos dados, deixando de forma transparente o acesso
a eles.
De forma simplificada, um SGBD faz a interface entre a camada
física de armazenamento dos dados (discos, storage, métodos de
acesso, clustering de dados etc.) e a sua organização lógica através
de um determinado modelo de organização. Dessa forma, o SGBD
elimina grande parte da complexidade do gerenciamento dos
dados, fazendo com que os usuários e programadores tenham um
foco maior na construção da lógica de suas aplicações e consultas
ao invés do armazenamento dos dados.
Assim, SGBDs são construídos, de forma geral, por módulos com
funcionalidades bem definidas. Cada módulo possui uma
responsabilidade no processo de gerenciamento dos dados.
Usuários e programadores interagem com estes módulos a fim de
obter seus resultados. A figura a seguir detalha essa estrutura:
Profissionais de Banco de Dados
Existem vários tipos de profissionais que estão envolvidos em um
SGBD. Alguns têm um foco mais gerencial, enquanto outros apenas
se concentram na manipulação dos dados.
C. J. DATE (2003) e ELMASRI E NAVATHE (2011) descrevem
alguns tipos de profissionais e suas atividades:
Administrador de Dados (AD):
Pessoa que toma as decisões estratégicas e de normas com relação
aos dados da empresa.
Decisões, estas, das quais informações devem ser mantidas no
banco de dados.
Administrador de Banco de Dados (DBA):
„ É a pessoa que fornece o suporte técnico para implementar essas
decisões. Define e implementa um sistema de controle de danos ao
banco de dados, em geral envolvendo a carga e a descarga de
banco de dados. Também define as restrições de segurança e
integridade do banco de dados. Assim, o DBA é responsável pelo
controle geral do sistema em um nível técnico (C. J. Date, 2003).
Projetistas de Banco de Dados:
São responsáveis por identificar os dados a serem armazenados e
escolher estruturas apropriadas para representar e armazenar
esses dados. Também é responsabilidade dos projetistas de banco
de dados se comunicar com todos os potenciais usuários a fim de
entender suas necessidades e criar um projeto que as atenda
(Elmasri e Navathe, 2011).
Usuários Finais:
São pessoas cujas funções exigem acesso ao banco para consultas,
atualizações e geração de relatórios (Elmasri e Navathe, 2011).
Analistas de Sistemas:
Determinam os requisitos de usuários finais, especialmente dos
usuários comuns, e desenvolvem especificações das transações
para atender
a estes requisitos (Elmasri e Navathe, 2011).
Programadores de Aplicações:
Implementam especificações produzindo programas e, então,
testam, depuram, documentam e mantêm estes programas.
Analistas e programadores devem estar familiarizados com todas as
capacidades fornecidas pelo SGBD para desempenhar estas tarefas
(Elmasri e Navathe, 2011).
Exemplos de SGBD
Atualmente existem vários fornecedores de bancos de dados. Cada
um deles possui características e algumas peculiaridades no qual
são necessárias análises antes de decidir qual banco utilizar, sendo
alguns destinados a projetos menores, enquanto outros não.
Dessa forma, o custo para realizar a implantação do SGBD deve ser
levado em conta antes da contratação.
A seguir são descritos os principais SGBDs disponíveis no mercado
e que estão sempre presentes nas questões de provas de
concursos.
MySQL é um dos SGBDs de código aberto mais populares do
mundo. Com seu desempenho comprovado, confiabilidade e
facilidade de uso, o MySQL se tornou a principal escolha de banco
de dados para aplicativos baseados na web, usados por Facebook,
Twitter, YouTube, Yahoo! e muitos mais.
ORACLE é um dos bancos de dados mais robustos e confiáveis do
mundo corporativo. Possui uma vasta lista de recursos e tem a
linguagem PL/SQL para desenvolvimento de funcionalidades
internas.
PostgreSQL é um poderoso SGBD de código aberto que usa e
estende a linguagem SQL combinada com muitos recursos que
armazenam e escalam com segurança as cargas de trabalho de
dados mais complicadas.
SQL Server é um SGBD desenvolvido e comercializado pela
Microsoft.
Arquitetura de Três Esquemas (ANSI/SPARC)
A divisão em diversos componentes (software de aplicação, SGBDs,
etc) é o principal objetivo dos sistemas de banco de dados,
proporcionando uma independência entre as estruturas
subjacentes. A arquitetura de três esquemas foi criada como sendo
uma estratégia para formalizar essa independência.
ELMASRI e NAVATHE (2011) define que o objetivo da arquitetura
de três esquemas é separar o usuário da aplicação do banco de
dados físico. Nessa arquitetura, os esquemas são organizados em
três níveis, são eles:
Nível externo (ou visão externa):
Inclui uma série de esquemas externos ou visões do usuário. Cada
esquema externo descreve a parte do banco de dados em que um
grupo de usuários em particular está interessado e oculta o
restante do banco de dados do grupo de usuários.
Nível conceitual (ou esquema conceitual):
2
Descreve a estrutura do banco de dados inteiro para a comunidade
de usuários, ocultando detalhes das estruturas de armazenamento
físico e concentrando-se na descrição de:
 Entidades;
 Tipos de Dados;
 Relacionamentos;
 Operações de usuários;
 Restrições.
Nível interno (ou esquema interno):
Também conhecido como nível de armazenamento, descreve a
estrutura de armazenamento físico do banco de dados. O esquema
interno usa um modelo de dados físico e descreve os detalhes
completos do armazenamento de dados e caminhos de acesso para
o banco de dados.
Para uma melhor visualização, acompanhe o esquema abaixo:
É importante destacar que nessa arquitetura, os três esquemas são
apenas descrições dos dados. O dado, propriamente dito, existe
somente no nível físico e um usuário interage somente ao seu
próprio esquema externo.
INDEPENDÊNCIA DE DADOS
ELMASRI e NAVATHE (2011) definem a independência de dados
como a capacidade de modificar ou alterar a definição dos
esquemas em determinado nível, sem afetar o esquema do nível
superior. A arquitetura de três esquemas auxilia na independência
de dados.
Existem dois tipos de independência de dados, são eles:
Independência Lógica de Dados:
É a capacidade de alterar o esquema conceitual sem mudar o
esquema externo ou os programas. A independência lógica é mais
difícil de ser alcançada que a independência física porque os
programas são dependentes da estrutura lógica dos dados.
Independência Física de Dados:
É a capacidade de mudar o esquema interno sem ter de alterar o
esquema conceitual. Consequentemente, o esquema externo
também não precisa ser modificado.
MODELOS DE DADOS
Após estudarmos os principais conceitos de banco de dados, vamos
nos concentrar nos diferentes tipos de modelos de dados que
possibilitam diferentes tipos de visões dos usuários.
Para C. J. DATE (2003) os modelos de dados servem para
descrever a estrutura de um banco de dados, fornecendo
significado necessário para permitir a abstração de dados, uma das
características fundamentais dos bancos de dados.
A abstração de dados em um SGBD tem o intuito de retirar da visão
do usuário final informações a respeito da forma física de
armazenamento dos dados, simplificando a interação do usuário
com o sistema.
A abstração de dados, então, refere-se à supressão de detalhes da
organização e armazenamento dos dados.
A representação dos dados pode estar submetida a diferentes
níveis de abstração. ELMASRI E NAVATHE (2011) dividem estes
níveis em modelos conceituais, modelos lógicos ou
representacionais e modelos físicos.
Modelo Conceitual
O modelo conceitual é um modelo de dados de alto nível, mais
próximo ao modo como o usuário vê os dados.
HEUSER (2009) também define que este é um modelo de dados
abstrato, que descreve a estrutura de um banco de dados de forma
independente de um SGBD.
Assim, o modelo conceitual não se refere a características físicas ou
de baixo nível como forma de acesso e armazenamento dos dados.
Ele está focado em ilustrar a realidade existente a partir de uma
representação gráfica.
Assim, o modelo conceitual não estabelece características físicas ou
de baixo nível dos bancos de dados como forma de acesso ou
armazenamento dos dados.
Ele está focado em ilustrar uma realidade existente em um
contexto de negócio a partir de uma representação gráfica.
Neste modelo, são utilizados conceitos como entidades, atributos e
relacionamentos.
Um dos modelos de dados conceituais mais conhecidos e utilizados
na modelagem de banco de dados é o Modelo Entidade-
Relacionamento (MER). Nele, além dos conceitos vistos
anteriormente como entidade, atributos e relacionamento, são
representados também conceitos centrais como
generalização/especialização e entidade associativa. Este modelo é
o mais cobrado em provas de concursos e no próximo capítulo
iremos detalhar mais sobre ele.
A figura a seguir ilustra um exemplo de um Diagrama de Entidade-
Relacionamento.
Modelo Lógico (Representativos ou de Implementação)
O modelo lógico tem por objetivo representar as estruturas que
irão armazenar os dados dentro de um banco de dados. Este
modelo inclui a estrutura das tabelas, domínios, chaves e
restrições.
É importante destacar que o modelo lógico é iniciado somente a
partir da estruturação do modelo conceitual. Dessa forma, o
modelo lógico é dependente do tipo ou modelo de SGBD que será
utilizado, ou seja, é levada em consideração qual abordagem será
utilizada referente ao banco de dados, se Relacional, Hierárquico
ou de Rede.
A figura a seguir ilustra um exemplo de um modelo lógico seguindo
a abordagem de Bando de Dados Relacional.
Modelo Físico
3
Os modelos físicos são modelos de baixo nível que descrevem os
detalhes de como os dados serão armazenados no computador.
Geralmente, estes modelos são voltados para especialistas. Assim,
o modelo físico é construído com base no modelo definido
anteriormente (modelo lógico), com o objetivo de ser aplicado
sobre um SGBD específico.
Na construção do modelo físico, são definidas características como
tipo e tamanho do campo, relacionamento, indexação e restrições.
Dessa forma, este modelo se importa em descrever as estruturas
físicas dos bancos de dados, tais como tabelas (tables), índices
(index), gatilhos (triggers), funções (functions), visões (views), etc.
A caixa a seguir ilustra um script de banco de dados em SQL
representando a criação dos detalhes dos dados internamente ao
banco de dados (campo, tipo/domínio, restrições).
Arquitetura de Três Esquemas
 Visão Externa (Nível Externo)
 Esquema Conceitual (Nível Conceitual)
 Esquema Interno (Nível Interno)
Independência de Dados
 Lógica
 Física
Modelo de Dados
 Conceitual (alto nível)
 Lógico (ou representativos)
 Físico
PROJETO DE BANCO DE DADOS
Segundo ELMASRI E NAVATHE (2011), para se ter uma visão mais
completa dos modelos de dados, é importante ter conhecimento
das principais fases do projeto de banco de dados.
A figura a seguir ilustra o esquema geral das diferentes etapas que
serão percorridas ao longo do desenvolvimento de um novo banco
de dados no contexto do desenvolvimento de um novo sistema ou
aplicação.
Levantamento e Análise de Requisitos:
Nesta etapa, os projetistas de banco de dados entrevistam os
usuários esperados para entenderem e documentarem seus
requisitos de dados. O resultado desta etapa é um conjunto de
requisitos dos usuários escrito de forma concisa. Esses requisitos
devem ser especificados da forma mais detalhada e completa
possível.
Modelagem Conceitual:
Baseado na análise de requisitos é construído um modelo de dados
conceitual de alto nível na forma de um Modelo de Entidade-
Relacionamento (MER).
Aqui são descritos as entidades, atributos, relacionamentos, além
de possíveis restrições. Esta fase é independente de SGBD.
Projeto Lógico:
Nesta etapa, o modelo conceitual é convertido em modelo de
dados lógicos. O modelo lógico define como o banco de dados será
implementado por um SGBD específico, podendo ser do tipo
Relacional, Hierárquico ou Rede. Como vimos anteriormente, o
modelo lógico descreve as estruturas que estarão contidas no
banco de dados, mas sem considerar ainda nenhuma característica
específica de SGBD, resultando em um esquema lógico de dados.
Projeto Físico:
Na última etapa, são especificadas as estruturas de
armazenamento internas, organizações de arquivo, índices,
caminhos de acesso e parâmetros físicos do projeto para os
arquivos de banco de dados. Em paralelo, os programas de
aplicação são projetados e implementados como transações de
banco de dados correspondentes às especificações da transação de
alto nível. O projeto físico é um processo contínuo, que ocorre
mesmo depois de o banco de dados já estar implementado e em
funcionamento, este processo é chamado de sintonia (tunning) de
banco de dados. Aqui o modelo físico é dependente do SGBD que
será implantado, podendo ser o MySQL, Oracle, PostgreSQL ou SQL
Server, por exemplo.
Para fixar um pouco mais tudo o que vimos neste capítulo, vamos
resolver alguns exercícios de provas de concursos anteriores.
MODELAGEM CONCEITUAL
HEUSER (2009) define que o objetivo da modelagem conceitual é
obter uma descrição abstrata, independente de implementação em
computador e dos dados que serão armazenados no banco de
dados.
Temos que a abordagem Entidade-Relacionamento (ER) é a técnica
de modelagem mais utilizada na modelagem conceitual, o Modelo
Entidade-Relacionamento (MER) é modelo de dados conceitual
mais popular de alto nível e os Diagramas Entidade-
4
Relacionamento (DER) são a notação diagramática associada ao
MER.
ENTIDADE
HEUSER (2009) define uma entidade como um conjunto de objetos
da realidade modelada sobre os quais se deseja manter
informações no banco de dados. Por exemplo:
Existência Física: Pessoa, Carro, Casa, Empregado etc.
Existência Conceitual: Empresa, Departamento, Trabalho,
Cargo, Curso etc.
Cada entidade possui um conjunto de atributos, que são as
características que descrevem uma entidade em particular. Por
exemplo, a partir de uma entidade que representa uma pessoa, os
atributos pertencentes a ela poderiam ser peso, altura, idade ou
CPF.
Em um Diagrama ER, uma entidade é representada através de um
retângulo que contém o nome da entidade. A figura a seguir ilustra
dois exemplos de entidades:
Tipos de Entidades:
 Normal;
 Fraca (mais detalhes a seguir);
 Associativa (mais detalhes a seguir).
RELACIONAMENTO
HEUSER (2009) define que um relacionamento é a representação
de um conjunto de associações entre as ocorrências de entidades.
Dessa forma, pode-se representar as interações que foram
identificadas no processo de análise entre as entidades. No
Diagrama ER um relacionamento é representado por um losango
que faz a interligação de suas respectivas entidades.
O nome do relacionamento aparece dentro do losango. A figura a
seguir apresenta um exemplo contendo duas entidades,
DEPARTAMENTO e PROJETO ligados ao relacionamento
CONTROLA.
Autorrelacionamento ou Relacionamento Recursivo
Normalmente um relacionamento associa entidades diferentes.
Porém, há um caso especial no qual existe um relacionamento
entre a mesma entidade.
Nesta situação, surge o conceito de papel que identificará o
relacionamento.
Por exemplo, no relacionamento eCasadaCom (“é casada com”),
ilustrado na figura a seguir, uma ocorrência da entidade PESSOA
exerce o papel de marido e a outra ocorrência exerce o papel de
esposa.
É importante destacar que no relacionamento entre entidades
diferentes não é necessário indicar os papéis das entidades.
Cardinalidade de Relacionamentos
É importante estabelecer a quantidade de ocorrências de cada um
dos relacionamentos. Esta propriedade é chamada de
cardinalidade, que se desdobra em cardinalidade máxima e
cardinalidade mínima, revelando diferentes características:
Máxima: razão de cardinalidade.
Mínima: participação ou dependência de existência.
A cardinalidade máxima, informa o número de ocorrências de
instâncias de uma entidade com a outra. Para fins práticos, apenas
duas cardinalidades máximas são representadas de cada lado dos
losangos do relacionamento, as:
De valor 1;
E as de valor N.
A cardinalidade máxima é usada para classificar os relacionamentos
binários, aqueles nos quais os relacionamentos se dão entre duas
entidades. São tipos de relacionamentos:
1:1 (um-para-um) – cada instancia de uma entidade se relaciona
apenas com uma e somente uma instancia da outra entidade.
Por exemplo: Na imagem abaixo temos o relacionamento que um
Empregado gerencia um Departamento, assim como, um
Departamento é gerenciado por apenas um Empregado (Gerente).
1:N (um-para-muitos) – uma instância se relaciona com várias
na outra entidade, mas cada instância da outra entidade só pode
estar relacionada a uma única ocorrência da primeira entidade.
Por exemplo: Na imagem abaixo, um Departamento controla
vários Projetos, assim como, um Projeto é controlado apenas por
um Departamento.
N:N (muitos-para-muitos) – uma instância se relaciona com
várias ocorrências na outra entidade e vice-versa.
Por exemplo: Na imagem abaixo, um Compositor compõe várias
Composições, assim como, uma Composição é composta por vários
Compositores.
Já a cardinalidade mínima se refere ao número mínimo de
instâncias de uma entidade associadas a uma outra entidade
através do relacionamento. De forma prática, consideram-se
apenas duas cardinalidades mínimas:
1 (um): se uma ocorrência de entidade sempre tiver de participar
do relacionamento para que ela exista, então a associação é
obrigatória. Essa associação é indicada pelo número 1 (um) no
diagrama ER.
0 (zero): se a ocorrência de uma entidade nem sempre precisar
participar do relacionamento, ela é considerada uma associação
opcional. Esta associação é considerada opcional quando é indicada
pelo número 0 (zero) no diagrama ER.
5

A partir da imagem anterior, podemos concluir que cada
Empregado deve ter a ele alocada obrigatoriamente uma Mesa
(cardinalidade mínima 1) e que uma Mesa pode existir sem que a
ela esteja alocado um Empregado (cardinalidade mínima 0).
Grau de Relacionamento
A maioria dos exemplos até aqui mostrados são de relacionamentos
binários. A abordagem ER permite que sejam definidos
relacionamentos de grau menor ou maior do que dois.
O grau de um relacionamento corresponde ao número de entidades
que participam do relacionamento. Assim, podemos ter
relacionamentos unários, binários, ternários e assim por diante,
apesar de não ser muito comum encontrar diagramas com
relacionamentos com mais de três entidades envolvidas.
A figura a seguir ilustra um exemplo de relacionamento ternário, ou
seja, com 3 (três) entidades (CIDADE, DISTRIBUIDOR e
PRODUTO) participando do relacionamento DISTRIBUIÇÃO.
De forma resumida, temos que os graus dos relacionamentos
podem ser:
Unário (grau 1): Relacionamento com a própria entidade.
Conforme vimos anteriormente, são chamados de
autorrelacionamento ou relacionamento recursivo.
Binário (grau 2): Mais comum. É o relacionamento entre duas
entidades.
Ternário (grau 3): Relacionamento entre três entidades.
Este possui uma maior complexidade.
Ou mais...
ATRIBUTO
HEUSER (2009) define que os atributos são dados ou informações
associadas a cada ocorrência de uma entidade ou de um
relacionamento.
Por exemplo, nome, idade, endereço, salário ou cargo do
funcionário. Para cada entidade em particular, ela terá um valor
para cada um de seus atributos.
No Diagrama ER, os atributos são representados graficamente por
círculos brancos, conforme ilustrado as figuras a seguir:
HEUSER (2009) destaca que, na prática, muitas vezes os atributos
não são representados graficamente para não sobrecarregar os
diagramas, já que entidades podem possuir um grande número de
atributos. Nesses casos é preferível o uso de representação textual.
É importante destacar também que cada atributo possui um
conjunto de valores possíveis denominado domínio, que veremos
em mais detalhes no próximo capítulo.
Classificação dos Atributos
Atributos Descritivos:
Os atributos descritivos são capazes de representar características
formadoras ou pertencentes a uma entidade.
Por exemplo: para a entidade Pessoa, podemos ter os atributos que
a descrevem como: nome, idade, nascimento e sexo.
Atributos Nominativos:
Os atributos nominativos podem cumprir a função de descritivos,
como também, serve para definir nomes ou rótulos de identificação
às entidades aos quais pertencem.
Por exemplo: “código do...” (código do setor, código do curso),
“número...” (número total), “matrícula” (matrícula do aluno,
matrícula do funcionário) etc...
Atributos Referenciais:
Os atributos referenciais, como o próprio nome diz, fazem
referência a outra entidade. O exemplo mais comum são as chaves
estrangeiras.
Por exemplo, na entidade chamada Aluno, há um atributo
denominado “código do curso”, no qual faz referência ao código
que identifica uma instância da entidade Curso.
Tipos de Atributos
Existem diferentes tipos de atributos em uma entidade.
São eles:
Atributos Simples (Atômicos):
São atributos unitários ou não divisíveis, ou seja, não podem ser
divididos em outros atributos.
Atributos Compostos:
Podem ser divididos em subpartes menores (em outros atributos),
representando, assim, atributos mais básicos com significados
independentes.
Por exemplo: o atributo ENDEREÇO pode ser dividido em nome da
RUA, CIDADE, ESTADO e CEP. Além do mais, o atributo RUA pode
ser subdividido em outros três mais simples como RUA, NÚMERO e
NÚMERO_APARTAMENTO.
Atributos de Valores Únicos (ou Monovalorados):
Possuem valor único para uma entidade em particular.
Por exemplo, para uma entidade do tipo Pessoa, o atributo IDADE
é um atributo único, pois toda pessoa só possui uma idade.
Atributos Multivalorados:
Podem possuir vários valores para uma mesma entidade.
Por exemplo, FORMACAO_ACADEMICA é um atributo de uma
entidade do tipo Pessoa que pode não ter nenhuma formação, uma
ou várias formações.
Um atributo multivalorado pode ter um limite mínimo e um máximo
para restringir o número de valores permitidos para cada entidade
individual.
Atributos Derivados:
Os valores destes atributos podem ser derivados de outros
atributos ou entidades e eles relacionados.
Por exemplo, os atributos IDADE e DATA_NASCIMENTO.
O atributo IDADE é derivado de DATA_NASCIMENTO, ou seja, o
banco de dados pode calcular o valor do atributo IDADE a partir do
valor que se encontra no atributo DATA_NASCIMENTO.
Por fim, o atributo DATA_NASCIMENTO é chamado de atributo
armazenado.
Atributos Identificadores:
6
Quando o atributo permite distinguir uma ocorrência das demais
ocorrências de uma mesma entidade, ele é considerado um
atributo identificador de entidade.
Por exemplo, o atributo CPF pode ser considerado um atributo
identificador de uma entidade do tipo Pessoa, pois, para cada
pessoa, existe
um número de CPF único. Contudo, um atributo identificador pode
corresponder a um conjunto de um ou mais atributos ou
relacionamentos.
É importante ficar muito atento na diferença entre os atributos
compostos e os multivalorados, pois eles são bastante cobrados em
provas de concursos.
Atributo Composto: a informação é formada por várias partes,
com a informação completa sendo formada por todas as partes. O
exemplo mais comum é o atributo ENDEREÇO.
Atributo Multivalorado: podem possuir vários valores em um
mesmo atributo. Um exemplo que cai bastante em prova é o
TELEFONE, no qual a pessoa pode registrar vários telefones (fixo,
celular, comercial) no mesmo atributo.
Identificando Entidades (Atributos-Chave)
Para a maioria das entidades, estas devem possuir um
identificador. Segundo HEUSER (2009), um identificador de
entidade é um conjunto de um ou mais atributos e relacionamentos
cujos valores servem para distinguir uma ocorrência da entidade
das demais ocorrências da mesma entidade. Eles podem ser
representados por círculos pretos no Diagrama ER.
Para HEUSER (2009), um identificador simples (único atributo) é
suficiente para distinguir uma ocorrência da entidade das demais
ocorrências da mesma entidade.
Já para um identificador composto, HEUSER (2009) menciona que
dois ou mais atributos podem ser necessários para distinguir uma
ocorrência da entidade das demais ocorrências da mesma entidade.
HEUSER (2009) destaca também que há casos em que o
identificador de uma entidade é composto não somente por seus
atributos, mas também, através de relacionamentos em que ela
participa (relacionamento identificador).
No Diagrama ER, o relacionamento usado como identificador é
indicado por uma linha dupla ou mais densa.
Na figura acima, a entidade DEPENDENTE é identificada por seu
atributo “nome” e pelo relacionamento “dependeDe” com a
entidade EMPREGADO.
Identificando Relacionamentos
Um relacionamento é identificado pelas entidades dele
participantes, bem como pelos seus próprios atributos
identificadores se porventura existirem.
Na figura acima, os atributos identificadores de relacionamento
(data e hora) distinguem uma CONSULTA entre um MÉDICO e seu
PACIENTE dentre as demais consultas deste médico com os seus
demais pacientes.
Cardinalidade de Atributos
HEUSER (2009) destaca que um atributo pode possuir uma
cardinalidade, de maneira análoga a uma entidade em um
relacionamento. Esta cardinalidade define quantos valores deste
atributo podem estar associados com uma ocorrência da entidade
ou relacionamento ao qual ele pertence. Por exemplo, podemos ter
as seguintes cardinalidades:
Cardinalidade (1,1): obrigatória (não precisa representar a
cardinalidade no diagrama);
Cardinalidade (0,1): opcional;
Cardinalidade (0,n): opcional e multivalorada;
Cardinalidade (1,n): obrigatória e multivalorada.
ENTIDADE FRACA
HEUSER (2009) define que entidade fraca é uma entidade que não
possui atributos suficientes para formar uma chave primária. A
chave primária da entidade fraca é formada pela chave primária do
conjunto de entidades fortes da relação mais o identificador do
conjunto de entidades fracas.
Por exemplo, a entidade DEPENDENTE é uma entidade fraca, pois
a entidade somente existe quando relacionada a outra entidade e
usa, como parte de ser identificador, entidades relacionadas.
A entidade fraca é representada por um retângulo com linha dupla
conforme demonstrado na figura a seguir.
Na figura anterior, podemos visualizar também outra forma de
especificar os atributos de uma relação, muitas vezes utilizadas em
provas de concursos.
GENERALIZAÇÃO E ESPECIALIZAÇÃO
Por meio deste conceito é possível atribuir propriedades
particulares a um subconjunto das ocorrências especializadas de
uma entidade genérica.
Generalização: HEUSER (2009) define que a generalização é
processo inverso à especialização. Ela é resultado da união de dois
ou mais tipos entidade de nível mais baixo (subclasse), produzindo
um tipo-entidade de nível mais alto (superclasse). Assim, ela é uma
abstração de um conjunto de entidades.
Especialização: Já a especialização, HEUSER (2009) define como
o resultado da separação de um tipo-entidade de nível mais alto
(superclasse), formando vários tipos-entidade de nível mais baixo
(subclasse).
No Diagrama ER, o símbolo para representar
generalização/especialização é um triângulo isósceles.
7
Na figura acima, a entidade PESSOA FÍSICA possui, além de seus
atributos CPF e sexo, os atributos herdados da entidade CLIENTE
(que são os atributos código e nome), bem como o relacionamento
com a entidade FILIAL.
Níveis de Generalização e Especialização
Não há limites no número de níveis hierárquicos da
generalização/especialização. Admite-se até que uma mesma
entidade seja a especialização de diversas entidades genéricas, é a
chamada Herança Múltipla.
ENTIDADE ASSOCIATIVA
HEUSER (2009) destaca que por definição, um relacionamento é
uma associação entre entidades. Em certas oportunidades, durante
a modelagem, surgem situações nas quais é desejável permitir uma
associação entre uma entidade e um relacionamento. A ideia da
entidade associativa trata um relacionamento como se ele fosse
uma entidade.
Por exemplo, deseja-se modelar a prescrição de medicamentos
receitados aos pacientes, com a criação da entidade Medicamentos.
A solução, então, seria transformar o relacionamento entre
MÉDICO e PACIENTE em uma entidade associativa e relacioná-la
com a entidade MEDICAMENTO.
A notação utilizada para tanto é colocar um retângulo em torno do
relacionamento (losango), conforme pode ser visto na figura a
seguir.
A seguir, temos uma imagem com um resumo dos símbolos de
todos os conceitos que vimos sobre o modelo conceitual mais
cobrado em provas de concursos, chamado de Modelo Entidade-
Relacionamento.
MODELO RELACIONAL
A seguir vamos apresentar os conceitos sobre um dos modelos de
dados mais utilizados atualmente nos sistemas de gerenciamento
de banco de dados (SGBD), o modelo relacional. O objetivo é dar
condições para que vocês compreendam os conceitos básicos e
resolvam o maior número de questões nas provas de concursos
públicos.
INTRODUÇÃO
O modelo relacional foi introduzido por Edgar Frank “Ted” Codd, da
IMB Research, em 1970. O modelo utiliza o conceito de relação
matemática que se parece com uma tabela de valores. As primeiras
implementações são início da década de 1980. O modelo revelou-
se o mais flexível e adequado ao solucionar os vários problemas
que se colocaram no nível de concepção e implementação em um
banco de dados.
A estrutura fundamental do modelo relacional é a relação (tabela).
Uma relação é constituída por um ou mais atributos (colunas) que
traduzem o tipo de dados a serem armazenados. Cada instância do
esquema é chamada de tupla (linha). A seguir, veremos em mais
detalhes cada um destes conceitos.
CONCEITOS DO MODELO RELACIONAL
De acordo com HEUSER (2009), o modelo relacional representa o
banco de dados como uma coleção de relações.
Uma relação é semelhante a uma tabela de valores ou arquivo
plano de registros.
Fazendo uma comparação da relação com uma tabela de valores,
temos que cada linha da tabela representa uma coleção de valores
de dados relacionados. Além disso, uma linha em particular
representa um fato que normalmente corresponde a uma entidade
ou relacionamento do mundo real.
A tabela a seguir relaciona o que contém em uma tabela de valores
com os conceitos do modelo relacional.
INFORMAÇÕES DE UMA CONCEITOS DO MODELO
TABELA RELACIONAL
Tabela Relação
Linha Tupla
Coluna Atributo
Tipo Do Dado Domínio
De forma resumida, HEUSER (2009) descreve que uma tabela
(relação) é um conjunto não ordenado de linhas (tuplas), onde
cada linha é composta por uma série de colunas ou campos
(atributos). Cada campo é identificado por um nome de campo
(nome do atributo), o conjunto de campos homônimos de todas as
linhas de uma tabela forma uma coluna.
8
A imagem a seguir ilustra as informações presentes em uma
relação do modelo relacional de banco de dados.
CPF (VARCHAR(20)) – o atributo CPF deverá ser do tipo
VARCHAR (string) com um tamanho máxima de 20 caracteres.
NOME (VARCHAR(40)) – o atributo NOME deverá ser do tipo
VARCHAR (string) com um tamanho máximo de 40 caracteres.
MEDIA_NOTA (DOUBLE) – o atributo MEDIA_NOTA deverá ser
do tipo DOUBLE (número de ponto flutuante)

Conceitos do Modelo Relacional:

Relação: Tabela de dados.
Atributo: Nome de cada coluna da tabela.
Outros dois conceitos muito importantes da modelagem relacional é
Tupla: Linha da tabela.
o grau da relação que diz respeito ao número de atributos de uma
Instância: Conjunto de tuplas.
relação e a cardinalidade da relação que indica o número de tuplas
Domínio: Conjunto de valores permitidos.
(linhas) existentes na relação.
Grau: Número de atributos da relação.
Cardinalidade: Indica o número de tuplas (linhas) existentes na
Chaves
relação.
As chaves correspondem aos atributos identificadores que vimos
anteriormente no capítulo de modelagem conceitual. Elas permitem
Chaves:
dar uma identificação única a cada ocorrência de instância em uma
Chave Primária: Conjunto de atributos (colunas) que identifica
tabela.
unicamente uma tupla em uma relação.
Basicamente existem 3 (três) tipos de chaves em um banco de
Chave Estrangeira: Uma coluna ou conjunto de colunas que se
dados relacional, a chave primária, a chave estrangeira e a chave
referem necessariamente a uma chave primária de outra tabela.
alternativa. A seguir, vamos detalhar estes tipos com suas
Chave Alternativa: Uma coluna ou grupo de colunas da tabela
respectivas características.
que servem para identificar unicamente um registro.
Chave Primária (ou Primary Key – PK)
É um conjunto de atributos que identifica unicamente uma tupla
RESTRIÇÕES DO MODELO RELACIONAL
em uma relação.
ELMASRI e NAVATHE (2011) definem que restrições do modelo
Pode ser simples ou composta.
relacional são regras que devem ser obedecidas em todos os
estados válidos da base de dados. Elas devem ser especificadas no
Simples: é formada por apenas um campo da tabela.
esquema de banco de dados relacional para garantirem que os
Composta: é formada por mais de um campo na tabela.
dados reflitam corretamente a realidade modelada.
Um exemplo de chave primária pode ser o CPF que identifica
unicamente cada pessoa. O conjunto {Nome, CPF} também pode
São tipos de restrições:
ser uma super chave, mesmo o atributo Nome não sendo uma
 Domínio
chave primária.
 Chave
Os campos que pertencem à chave primária são obrigatórios, não
 Valores Vazios (NULL)
admitindo valor vazio ou NULL.
 Integridade
 Entidade
Chave Estrangeira (Foreign Key – FK)
 Referencial
É uma coluna ou conjunto de colunas que se referem
 Semântica
necessariamente a uma chave primária de outra tabela (ou dela
mesma no caso de recursividade), estabelecendo um
Restrições de Domínio
relacionamento entre as tabelas.
As restrições de domínio especificam que, dentro de cada tupla, o
Segundo HEUSER (2009), a existência de uma chave estrangeira
valor de cada atributo deve ser um valor indivisível do domínio. São
impõe restrições que devem ser garantidas ao executar operações
tipos de domínios os exemplos a seguir:
de alterações no banco de dados.
 Tipos de dados numéricos para inteiros (short, integer e long)
Um exemplo de chave estrangeira pode ser o “Código do curso”
 Números reais (float e double)
que se encontra em uma das colunas da tabela de Aluno e que
 Caracteres
referencia a chave primária da tabela de Cursos.
 Booleanos
 Cadeias de caracteres de tamanho fixo e variável
Chave Alternativa (ou Chave Candidata)
 Data
Uma coluna ou grupo de colunas da tabela que servem para
 Hora
identificar unicamente um registro.
 Moeda
Assim, além da chave primária criada, uma outra (alternativa)
 Entre outros.
também é utilizada para identificar o registro. Também chamada de
Chave Única (Unique Key – UK).
Restrições de Chave (Unicidade)
Como exemplo, podemos criar uma tabela com dados de Pessoas,
No modelo relacional formal, uma relação é definida como um
tendo como chave primária um número inteiro autoincrementado
conjunto de tuplas. Todos os elementos de um conjunto são
(valor diferente para cada pessoa inserida na tabela) e como chave
distintos. Logo, todas as tuplas em uma relação também precisam
única o CPF de cada pessoa.
ser distintas. Assim, não pode haver chaves com o mesmo valor.
As restrições de chave garantem a unicidade do valor da chave
Domínio
primária em cada uma das tuplas de uma relação. Isso significa
Um domínio é um conjunto de valores atômicos, ou seja, cada
que duas tuplas não podem ter a mesma combinação de valores
valor do domínio é indivisível e possui uma descrição física e outra
para todos os seus atributos.
semântica. Por exemplo:
Restrições sobre Valores Vazios (NULL)
Descrição física
ELMASRI e NAVATHE (2011) definem que restrições sobre valores
Identifica o tipo e o formato dos valores que compõem o domínio
vazios especificam se valores NULL são permitidos ou não. Por
Exemplo: VARCHAR(13), “(99)9999-9999”
exemplo, se cada tupla de uma entidade do tipo ALUNO precisar
Descrição semântica
ter um valor válido, diferente de NULL, para o atributo Nome,
Ajuda na interpretação de seus valores Exemplo: “Números de
então Nome de ALUNO é restrito a ser NOT NULL (“não nulo” ou
telefone válidos no Brasil” A seguir temos alguns exemplos de
“não vazio”).
domínios para alguns atributos:

9
Restrições de Integridade
ELMASRI e NAVATHE (2011) definem que um estado que satisfaz a
todas as restrições no conjunto definido de restrições de
integridade é chamado de estado válido. Além disso, um estado de
banco de dados que não obedece a todas as restrições de
integridade é chamado de estado inválido.
Dessa forma, ELMASRI e NAVATHE (2011) classificam os tipos de
restrições de integridade:
Restrição de Integridade de Entidade
Nenhum valor de chave primária pode ser NULL;
As Restrições de Chave e as Restrições de Integridade de Entidade
são atribuídas sobre relações individuais.
Restrição de Integridade Referencial
Restrição de Integridade Referencial é atribuída entre duas relações
e usada para manter a consistência entre tuplas nas duas relações;
Esta utiliza o conceito de Chave Estrangeira (FK) visto
anteriormente.
Restrições de Integridade Semântica
Restrições de Integridade Semântica são especificadas e impostas
em um banco de dados relacional; Por exemplo:
Salário de um funcionário não deve ser superior ao salário de seu
supervisor;
Número máximo de horas que um funcionário pode trabalhar em
todos os projetos por semana é 56h.
A seguir, selecionamos algumas questões sobre os conceitos que
acabamos de aprender.
NOÇÕES DE BIG DATA
Com o uso extensivo de serviços online por meio da Internet, os
hábitos adotados por empresas, organizações, economias e por
diferentes nações acabaram mudando a maneira como as pessoas
vivem e usam a tecnologia. Dessa forma, mais do que nunca, há
um aumento crescente da quantidade de informações e,
consequentemente, do armazenamento dos dados que surgem
diariamente.
Tudo isso é relativamente novo. Pois, agora, cada usuário e
organização podem armazenar as informações em formato digital,
diferentemente de como acontecia algumas décadas atrás.
Portanto, para lidar com esse aumento exponencial de dados, foi
criado um mecanismo e abordagem para lidar com tudo isso, o
chamado Big Data.
Neste capítulo, iremos apresentar os conceitos sobre Big Data,
tecnologias e ferramentas. Ao final, resolveremos algumas
questões de concursos públicos sobre este assunto.
CONCEITO DE BIG DATA
Como um dos termos mais “badalados” do mercado hoje, não há
consenso sobre como definir Big Data.
O termo é frequentemente usado como sinônimo de conceitos
relacionados como Business Intelligence (BI) e Mineração de Dados
(Data Mining). É verdade que todos os três termos se referem à
análise de dados, mas o conceito de Big Data difere dos demais
quando volumes de dados, número de transações e o número de
fontes de dados são tão grandes e complexos que exigem métodos
e tecnologias especiais a fim de extrair uma visão dos dados.
O Big Data pode ser definido como um conceito utilizado para
descrever um grande volume de dados, tanto estruturados quanto
não estruturados, e que aumentam dia após dia em qualquer
sistema ou negócio. No entanto, não é a quantidade de dados que
é essencial. A parte mais importante é o que as empresas ou
organizações podem fazer com esses dados. Milhares de análises
podem ser executadas sobre eles, no qual é possível realizar
previsões, inspirar novas ideias ou levar a uma melhor tomada de
decisão estratégica.
Uma definição exata de Big Data é difícil de definir, pois projetos,
empresas e profissionais de negócios a usam de maneira bem
diferente. Com isso em mente, de modo geral, Big Data é:
Grande volume de dados;
Uma categoria de estratégias e tecnologias da computação
usadas para lidar com grandes conjuntos de dados.
QUAIS SÃO OS 5VS DO BIG DATA?
Inicialmente, o conceito de Big Data foi contemplado por 3 V’s. que
são volume, velocidade e variedade.
Valor e veracidade são outras duas dimensões “V” que foram
adicionadas à literatura recentemente.
Os V’s adicionais são frequentemente propostos, mas estes 5V’s
são os que mais são cobrados em provas de concursos. Vamos a
uma breve explicação sobre cada um a seguir:
Volume
Refere-se à enorme quantidade de dados disponível, desde
conjuntos de dados com tamanhos de terabytes a zetabytes;
Velocidade
Refere-se a grandes quantidades de transações com alta taxa de
atualização, resultando em fluxos de dados chegando em grande
velocidade;
Variedade
Os dados vêm de diferentes fontes de dados. Além disso, os dados
podem vir em vários formatos, sendo dados estruturados como
uma tabela de banco de dados, dados semiestruturados como um
arquivo XML ou dados não estruturados como texto, imagens,
streams de vídeo, áudio, entre outros.
Vale destacar que estes são os três principais V’s de Big Data.
Porém, ainda há os seguintes V’s:
Veracidade
Refere-se à qualidade, precisão ou confiabilidade dos dados. Está
ligada diretamente ao quanto uma informação é verdadeira.
Valor
Refere-se ao valor dos dados ou o valor que eles possuem. É
importante entender o contexto e a necessidade para gerar a
informação certa para as pessoas certas.
ESTRUTURAÇÃO DOS DADOS
Os dados que alimentam a ideia de Big Data podem provir de
diversas fontes. Na Internet, encontramos um grande volume de
dados com conteúdos relacionados a educação, ciência,
entretenimento, governo, finanças, saúde, entre outros. Todos
esses dados são fontes de Big Data.
Empresas e organizações se concentram muito na coleta de dados
para garantir que possam obter informações valiosas a partir deles.
Compreender a estrutura de dados é a chave para descobrir seu
valor.
CASTRO e FERRARI (2016) destacam que, de forma simplificada,
dados são valores quantitativos ou qualitativos associados a alguns
atributos. Com relação à estrutura, eles podem ser:
Dados Estruturados
Uma base de dados é estruturada quando os dados estão
armazenados em campos fixos em um arquivo – por exemplo, uma
tabela, uma planilha ou um banco de dados. Assim, os dados
estruturados dependem da criação de um modelo de dados,
incluindo a descrição dos objetos juntamente com suas
propriedades e relações.
O modelo descreve todos os tipos de dados que serão
armazenados, acessados e processados, o que inclui definir quais
10
campos de dados serão utilizados (por exemplo, nome, idade,
gênero, endereço, escolaridade, estado civil etc.), os tipos dos
dados (por exemplo, numéricos, nominais, alfabéticos, monetários,
endereço etc.) e todas as restrições a eles associadas. Uma das
vantagens dos dados estruturados é a facilidade de armazenagem,
acesso e análise (CASTRO e FERRARI, 2016).
Dados Semiestruturados
O dado semiestruturado é um tipo de dado que não possui a
estrutura completa de um modelo de dados, mas também não é
totalmente desestruturado.
Nos dados semiestruturados em geral são usados marcadores (por
exemplo, tags) para identificar certos elementos dos dados, mas a
estrutura não é rígida.
Exemplos conhecidos de dados semiestruturados são arquivos XML
ou HTML, que definem um conjunto de regras para codificar
documentos em um formato que pode ser lido por humanos e
máquinas, e também e-mails, que possuem campos de remetente,
destinatário, data, hora e outros adicionados aos dados não
estruturados do corpo da mensagem e seus anexos (CASTRO e
FERRARI, 2016).
Dados Não Estruturados
Dado não estruturado é aquele que não possui um modelo de
dados, que não está organizado de uma maneira predefinida ou
que não reside em locais definidos. Essa terminologia normalmente
se refere a textos livres, imagens, vídeos, sons, páginas web,
arquivos PDF, entre outros. Os dados não estruturados costumam
ser de difícil indexação, acesso e análise
(CASTRO e FERRARI, 2016).
De forma resumida, temos a tabela a seguir que diferencia os três
tipos de dados:
Big Data Analytics
Para a maioria das organizações, o objetivo principal de lançar uma
iniciativa de Big Data é analisar os dados para melhorar os
resultados de negócios.
A maneira como as organizações geram esses insights é por meio
do uso de software analítico. Os fornecedores usam muitos termos
diferentes, como mineração de dados (data mining), inteligência de
negócios (business intelligence), computação cognitiva,
aprendizado de máquina (machine learing) e análise preditiva, para
descrever suas soluções de análise de Big Data.
Em geral, no entanto, essas soluções podem ser separadas em
quatro categorias amplas:
Análise Descritiva
Esta é a forma mais básica de análise de dados. Ela responde à
pergunta: “O que aconteceu?”. Quase todas as organizações
realizam algum tipo de análise descritiva ao reunir seus relatórios
regulares semanais, mensais, trimestrais e anuais.
Análise de Diagnóstico
Depois que uma organização entende o que aconteceu, a próxima
grande questão é “Por quê?”. É aqui que entram as ferramentas de
análise de diagnóstico. Elas ajudam os analistas de negócios a
entender as razões por trás de um determinado fenômeno, como
uma queda nas vendas ou um aumento nos custos.
Análise Preditiva
As organizações não querem apenas aprender lições do passado,
elas também precisam saber o que vai acontecer a seguir. Esse é o
escopo da análise preditiva. As soluções de análise preditiva
geralmente usam inteligência artificial ou tecnologia de aprendizado
de máquina para prever eventos futuros com base em dados
históricos.
Muitas organizações estão investigando a análise preditiva e
começando a colocá-la em produção.
Análise Prescritiva
As ferramentas de análise mais avançadas não apenas informam às
organizações o que acontecerá a seguir, mas também oferecem
conselhos sobre o que fazer a respeito. Eles usam modelos
sofisticados e algoritmos de aprendizado de máquina para
antecipar os resultados de várias ações. Os fornecedores ainda
estão em processo de desenvolvimento dessa tecnologia, e as
maiorias das empresas ainda não começaram a usar esse nível de
análise de Big Data em suas operações.
TECNOLOGIAS DE BIG DATA
Ferramentas
Uma vez que os requisitos de computação, armazenamento e rede
para trabalhar com grandes conjuntos de dados estão além dos
limites de um único computador, há uma necessidade de
ferramentas para processar os dados por meio de computadores de
maneira distribuída, os chamados clusters.
Cada vez mais potência de computação e infraestrutura de
armazenamento massivo são necessários para processar esses
dados localmente ou, mais tipicamente, nos centros de dados de
provedores de serviços na nuvem (cloud).
Além da infraestrutura necessária, várias ferramentas e
componentes devem ser reunidos para resolver problemas de Big
Data. O ecossistema Hadoop é apenas uma das plataformas que
ajudam a trabalhar com grandes quantidades de dados e descobrir
padrões úteis para as empresas.
Abaixo está uma lista de algumas das ferramentas disponíveis e
uma descrição resumida de suas funções no processamento de Big
Data:
Apache Kafka
Sistema de mensagens escalonável que permite aos usuários
publicar e consumir um grande número de mensagens em tempo
real por assinatura.
HBase
Armazenamento de dados de chave/valor orientado por coluna que
é executado no Hadoop Distributed File System.
Hive
Sistema de data warehouse de código aberto para análise de
conjuntos de dados em arquivos Hadoop.
MapReduce
Estrutura de software para processar grandes quantidades de
dados não estruturados em paralelo em um cluster distribuído.
Pig
Tecnologia de código aberto para programação paralela de jobs
MapReduce em clusters Hadoop.
Spark
Estrutura de código aberto e processamento paralelo para executar
aplicativos de análise de dados em grande escala em sistemas em
cluster.
YARN
Tecnologia de gerenciamento de cluster no Hadoop de segunda
geração.
Alguns dos mecanismos de análise de Big Data mais usados, são:
Apache Hive / Hadoop
Solução de preparação de dados para fornecer informações a
muitos ambientes analíticos ou armazenamentos de dados.
Desenvolvido por Yahoo, Google e Facebook.
Apache Spark
11
Usado em conjunto com tarefas de computação pesadas e
tecnologias Apache Kafka. Desenvolvido na University of California,
Berkeley.
Presto
Motor SQL desenvolvido pelo Facebook para análises ad-hoc e
relatórios rápidos.
Linguagens de Dados
Não se poderia deixar de comentar que, além das ferramentas, há
como tecnologias de Big Data, as linguagens de dados, sendo as
mais conhecidas:
Linguagem R
É uma implementação da Linguagem S. Lançada em 1995, surgiu
com um propósito bem específico de facilitar as análises estatísticas
e visualização de dados de forma que fosse mais amigável para os
usuários.
Surgiu com este único escopo e foi adotada inicialmente por
acadêmicos e depois por empresas e público no geral. Além disso,
tem uma sintaxe orientada a funções.
Python
Inspirado na linguagem C, foi lançada em 1991 e possui um foco
generalista.
Serve desde para fazer aplicações web, como também, fazer
análises de dados.
Possui foco na produtividade, possuindo uma sintaxe orientada a
objetos.
XPath
Essa é uma linguagem de consulta que seleciona os nós em um
documento XML.
Também pode ser usada para calcular valores como strings,
números ou valores booleanos do conteúdo de um documento
XML.
Além de ser uma recomendação do W3C.
Infraestrutura
TAURION (2013) destaca que as tecnologias atuais de tratamento
de dados não são mais adequadas.
Utilizando como exemplo um dos modelos mais usados até hoje, o
modelo relacional, ele foi criado para acessar dados estruturados
dos sistemas internos das organizações. Não sendo possível tratar
dados não estruturados ou pentabytes de dados.
Para tratar dados na escala de volume, variedade e velocidade do
Big Data, precisa-se de outros modelos, como os softwares de
banco de dados NoSQL, desenhados para tratar imensos volumes
de dados estruturados e não estruturados (TAURION, 2013).
Segundo MACHADO (2018), nos bancos de dados NoSQL, as
tabelas são conhecidas como tabelas de hash distribuídas, uma vez
que armazenam objetos indexados por chaves, o que possibilita a
busca desses objetos a partir apenas de suas chaves, diferente dos
bancos de dados estruturados.
O banco de dados NoSQL é desenhado para aumentar a sua escala
em sentido horizontal, isso significa por meio de clusters
distribuídos em hardwares de baixo custo.
NOÇÕES DE MINERAÇÃO DE DADOS
A mineração de dados ou, do inglês, data mining, refere-se ao
desenvolvimento do suporte à tomada de decisão a partir de dados
coletados, organizados e processados por uma empresa ou uma
organização.
Técnicas de mineração de dados estão sendo usadas por empresas
e organizações em todo o mundo para obter um melhor
entendimento dos seus clientes, parceiros e de suas próprias
operações.
Neste capítulo, iremos estudar o conceito, aplicações e algumas
das principais técnicas de mineração de dados. Ao final,
resolveremos algumas questões cobradas em concursos públicos
sobre este assunto.
INTRODUÇÃO À MINERAÇÃO DE DADOS
Atualmente, grandes empresas e organizações têm buscado
entender melhor seus clientes para otimizar seus serviços e
maximizar o retorno sobre seus investimentos.
Um grande componente desse entendimento vem da análise de
dados. O custo de armazená-los e processá-los diminuiu
consideravelmente nos últimos anos e, como resultado, a
quantidade de dados armazenados em formatos eletrônicos
cresceu em uma velocidade assustadora. Assim, com a criação de
grandes bancos de dados, surgiu, então, a possibilidade de analisá-
los de uma forma mais detalhada.
TURBAN et. al (2009) mencionam que, inicialmente, o termo
“mineração de dados” era utilizado para descrever o processo no
qual padrões anteriormente desconhecidos eram identificados nos
dados. Porém, essa definição tem sido expandida para além desses
limites e, atualmente, o termo é mais usado para descrever a
descoberta de informações em bancos de dados.
Conceito de Mineração de Dados
TURBAN et. al (2009) definem a mineração de dados como um
processo que usa técnicas estatísticas, matemáticas, de inteligência
artificial e de aprendizagem de máquina (ou automática) para
extrair e identificar informações úteis e conhecimento em banco de
dados. CASTRO e FERRARI (2016)
definem também a mineração de dados como um processo
sistemático, interativo e iterativo, de preparação e extração de
conhecimentos a partir de grandes bases de dados.
A mineração de dados tem sua base na ciência da computação
juntamente com a estatística, utilizando avanços nas duas
disciplinas para progredir na extração de informações de grandes
bancos de dados. São utilizadas tarefas como extração de
conhecimento, arqueologia de dados, exploração de dados,
processamento de padrões de dados, limpeza de dados e colheita
de informação. Todas essas atividades são gerenciadas e
administradas automaticamente e permitem uma descoberta rápida
até mesmo por pessoas não-especialistas.
Objetivos da Mineração de Dados
ELMASRI e NAVATHE (2011) definem que os objetivos da
mineração de dados estão diretamente relacionados com a
descoberta do conhecimento. Eles classificam que a mineração de
dados costuma ser executada com objetivos finais ou aplicações de
uma perspectiva geral. Os objetivos são classificados, como:
Previsão: Mostrar como certos atributos dos dados se
comportarão no futuro.
Identificação: Padrões de dados podem ser usados para
identificar a existência de um item, um evento ou uma atividade.
Classificação: Particionar os dados de modo que diferentes
classes ou categorias possam ser identificadas com base em
combinações de parâmetros.
Otimização: Otimizar o uso de recursos limitados, como tempo,
espaço, dinheiro ou materiais e maximizar variáveis de saída como
vendas ou lucros sob determinado conjunto de restrições.
PROCESSOS DO PROJETO DE MINERAÇÃO DE DADOS
Processo de Descoberta do Conhecimento em Bases de Dados
(KDD) CASTRO e FERRARI (2016) destacam que a mineração de
dados é parte integrante de um processo mais amplo, conhecido
como Descoberta de Conhecimento em Bases de Dados ou, do
inglês, Knowledge Discovery in Databases (KDD). GOLDSCHMIDT e
PASSOS (2005) definem que ela é caracterizada como um processo
composto por três etapas operacionais básicas: Pré-Processamento,
Mineração de Dados e Pós-Processamento.
A etapa de Pré-Processamento compreende todas as funções
relacionadas à captação, organização e ao tratamento dos dados. O
objetivo principal dela é preparar os dados para os algoritmos da
etapa de Mineração de Dados. GOLDSCHMIDT e PASSOS (2005)
elencam as principais funções desta etapa:
Seleção de Dados: Refere-se à identificação das informações que
devem ser efetivamente consideradas durante o processo de KDD.
Sendo dois enfoques distintos: a escolha de atributos ou a escolha
de registros que devem ser considerados no processo de KDD.
12
Limpeza de Dados: Refere-se a qualquer tratamento realizado
sobre os dados selecionados de forma a garantir a qualidade
(completude, veracidade e integridade) dos fatos por eles
representados. Informações faltantes, erradas ou inconsistentes
devem ser corrigidas de forma a
não comprometer a qualidade dos modelos de conhecimento a
serem extraídos ao final do processo de KDD.
Codificação dos Dados: Nesta etapa, os dados devem ser
codificados para ficarem em uma forma que possam ser usados
como entrada dos algoritmos de Mineração de Dados.
Enriquecimento dos Dados: Consiste em conseguir mais
informação que possa ser adicionada aos registros existentes,
melhorando os dados, para que estes forneçam mais informações
para o processo de descoberta de conhecimento.
Na segunda etapa, a Mineração de Dados realiza a busca efetiva
por conhecimentos úteis no contexto da aplicação de KDD. Nela,
são definidos as técnicas e os algoritmos a serem utilizados no
problema em questão. A escolha da técnica depende, muitas vezes,
do tipo de tarefa de KDD a ser realizada. Veremos mais detalhes
destas técnicas e algoritmos nos tópicos seguintes.
A etapa de Pós-Processamento abrange o tratamento do
conhecimento objetivo na Mineração de Dados. Tal tratamento tem
como objetivo facilitar a interpretação e a avaliação da utilidade do
conhecimento descoberto. Dentre as principais funções desta etapa
estão: elaboração e organização, podendo incluir a simplificação,
de gráficos, diagramas, ou relatórios demonstrativos; além da
conversão da forma de representação do conhecimento obtido.
A figura a seguir apresenta um resumo das etapas operacionais
executadas em processos de KDD.
Processo CRISP-DM
Muitos processos têm o objetivo de definir e padronizar as fases e
atividades da Mineração de Dados.
Porém, apesar das particularidades, no geral, todos possuem a
mesma estrutura.
Em meados dos anos 90, foi proposto o Processo CRISP-DM, do
inglês Cross-Industry Standard Process of Data Mining por um
conjunto de empresas europeias para atuar como um modelo de
processo padrão, mas não patenteado.
A figura a seguir ilustra, de maneira cíclica, as seis fases do
processo CRISP-DM.
Business Understanding (Entendimento dos Negócios)
Nessa fase, deve ser identificado os problemas de negócio a serem
resolvidos, buscando os detalhes e o impacto dele no negócio. O
foco é entender qual o objetivo que se deseja atingir com a
mineração de dados. O entendimento do negócio irá ajudar nas
próximas etapas.
Data Understanding (Entendimento dos Dados)
Nessa fase, o objetivo é estudar, organizar e documentar os dados
que se encontram disponíveis. Os dados mapeados são explorados
e analisados em busca de melhor entendimento sobre os dados e
avaliação de sua qualidade.
Data Preparation (Prepração dos Dados)
Nessa fase, ocorre a preparação dos dados para modelagem. Esse
processo consiste, principalmente, de quatro tarefas: Data
Selection (Seleção dos Dados), Data Cleaning (Limpeza dos Dados),
Construct Data (Construção dos Dados) e Integrating Data
(Integração dos Dados).
Modeling (Modelagem)
É nesse momento que ocorre a construção do seu modelo. Essa
fase consiste na aplicação de fato das técnicas de mineração de
dados, tendo como base os objetivos definidos no primeiro passo.
O algoritmo é selecionado, o modelo construído e os parâmetros
são refinados. É interessante que seja criado diferentes modelos
para avaliação na próxima fase.
Evaluation (Avaliação)
É nessa fase que ocorre a avaliação dos resultados com base nos
critérios estabelecidos no início do projeto. Considerada uma fase
crítica do processo, nesta fase é necessária a participação de
especialistas nos dados, conhecedores do negócio e tomadores de
decisão. Diversas ferramentas gráficas são utilizadas para a
visualização e análise dos resultados (modelos).
Deployment (Distribuição ou Execução)
Nessa fase, o modelo é colocado em produção para que possa ser
utilizado pelo cliente.
TAREFAS, TÉCNICAS E ALGORITMOS DE MINERAÇÃO DE
DADOS
A mineração de dados compreende a aplicação de algoritmos sobre
os dados procurando abstrair conhecimento. Estes algoritmos são
fundamentados em técnicas que procuram explorar os dados de
forma a produzir modelos de conhecimento. A forma de
representação do conhecimento depende diretamente do algoritmo
de mineração de dados utilizado.
TURBAN et. al (2009) destacam que um sistema de mineração de
dados inteligente consegue descobrir informações em grandes
bases de dados na qual consultas e relatórios não conseguem
revelar algo efetivamente.
Com isso, ferramentas de mineração de dados encontram padrões
em dados e podem até deduzir regras a partir deles. Esses padrões
e regras podem ser utilizados para direcionar a tomada de decisão
e prever as consequências das decisões.
A mineração de dados é normalmente organizada pela sua
capacidade de realizar determinadas tarefas. Elas consistem na
especificação do que queremos buscar nos dados. CASTRO e
FERRARI (2016) destacam que, em geral, essas tarefas podem ser
classificadas em duas categorias: (1) descritivas: caracterizam as
propriedades gerais dos dados; e (2) preditivas: fazem inferência a
partir dos dados objetivando predições. Nas descritivas, têm como
principais as tarefas de associação, clusterização e sumarização. Já
as preditivas, por sua vez, são compostas pelas tarefas de
classificação e regressão.
A seguir, são descritas, sucintamente, as principais tarefas, técnicas
e algoritmos de mineração de dados:
Classificação (Classification) – Uma das tarefas mais comuns
da mineração de dados, a classificação, tem o objetivo de
identificar a qual classe um determinado dado pertence. O modelo
analisa o conjunto de dados fornecidos, com cada dado já
contendo a indicação à qual classe pertence, a fim de aprender
como classificar um novo dado
(aprendizado supervisionado). Técnicas comuns utilizadas para
classificação são Redes Neurais e Árvores de Decisão.
13
Árvores de Decisão (Decision Tree): TURBAN et. al (2009)
definem que as Árvores de Decisão classificam dados em um
número finito de classes, com base nos valores das variáveis de
entrada. Elas são compostas basicamente de uma hierarquia de
declarações “se-então” e, portanto, são significativamente mais
rápidas do que as Redes Neurais. Também são mais adequadas
para dados categorizados e intervalares, pois incorporar variáveis
contínuas em uma estrutura de árvore de decisão pode ser difícil.
Uma árvore de decisão pode ser definida como uma raiz seguida de
nós internos.
Cada nó (incluindo a raiz) é rotulado com uma questão. Os arcos
associados a cada nó abrangem todas as respostas possíveis. Cada
resposta representa um resultado provável. Um exemplo de árvore
de decisão pode ser visto na figura a seguir.
Redes Neurais (Neural Networks): As redes neurais estão
relacionadas com o desenvolvimento de estruturas matemáticas
que têm a capacidade de aprender. TURBAN et. al (2009)
destacam que elas tendem a ser mais eficientes onde o número de
variáveis envolvido é maior e as relações entre elas é mais
complexa e imprecisa. As redes neurais têm vantagens e
desvantagens. Como desvantagem, por exemplo, é muito difícil
fornecer uma boa justificativa para as previsões feitas por uma
rede neural. Além disso, redes neurais tendem a necessitar de
muito treinamento. Dessa forma, o tempo necessário para
treinamento tende a aumentar com o aumento do volume de
dados. Assim, as redes neurais, em geral, não podem ser treinadas
em bancos de dados muito grandes.
Estimação (Estimation) ou Regressão (Regression):
Semelhante à tarefa de classificação, no entanto, a estimação ou
regressão é utilizada quando o dado é identificado por um valor
numérico e não por uma classe. Assim, muitas vezes, esta tarefa
está relacionada com a identificação de métricas e a avaliação de
um item específico (por exemplo, um cliente) junto às métricas
através da especificação de pontuações. Outro exemplo de
utilização que também podem ser realizadas são as previsões de
venda de um determinado produto.
Análise Descritiva (Description) ou Sumarização de Dados:
Esta análise permite medir, explorar e descrever características
intrínsecas aos dados. Também permitem uma sumarização e
compreensão dos objetos base e seus atributos. Técnicas de
visualização também são empregadas para um melhor
entendimento da natureza e distribuição dos dados. Como
exemplo, podemos ter uma base de dados com informações sobre
assinantes de uma determinada revista. A tarefa de sumarização
poderia realizar uma busca por características comuns à maioria
dos assinantes. Por exemplo, os assinantes da revista sobre
negócios, são homens na faixa etária de 35 a 65 anos, com nível
superior completo e que trabalham na área de finanças. Estas
informações poderiam ser utilizadas pela equipe de marketing da
revista para direcionar as ofertas de assinaturas para novos clientes
com as mesmas características encontradas anteriormente.
Agrupamento ou Segmentação (Clustering): Tarefa que tem
como objetivo separar (particionar ou segmentar) um conjunto de
objetos em grupos (do inglês clusters) de objetos similares.
TURBAN et. Al (2009) definem que o agrupamento divide um
banco de dados em segmentos cujos membros compartilham
qualidades semelhantes. Esta tarefa diferencia da classificação pois
não há a necessidade de que os registros sejam categorizados
previamente. Além do mais, o agrupamento não tem o objetivo de
classificar, estimar ou predizer o valor de uma variável, ele apenas
tenta identificar os grupos de dados similares.
Algumas das técnicas usadas para classificação, como redes
neurais, referem-se em parte a situações que envolvem
agrupamento. Algumas áreas onde as tarefas de agrupamento são
aplicadas, podem ser a pesquisa de mercado, o reconhecimento de
padrões, o processamento de imagens, as pesquisas geográficas, a
detecção de fraudes, entre outras.
Associação (Association): TURBAN et. al (2009) definem que as
associações estabelecem relações entre itens que ocorrem juntos
em um determinado registro. Algumas vezes, é chamada também
de análise de cesta de supermercado (market basket) porque uma
das aplicações dessa técnica é a análise das operações de venda
para determinar um padrão do que os clientes ou consumidores
costumam comprar. CASTRO e FERRARI (2016) exemplificam da
seguinte forma:
os gerentes de marketing gostam muito de frases como “90% dos
clientes que compram um smartphone assinam um plano de dados
para seu aparelho”. Nesse caso, a regra encontrada pela
ferramenta de análise de dados e que está refletida nessa
afirmação é aquele que associa smartphone ao plano de dados.
Regras dessa natureza são chamadas de Regras de Associação ou,
do inglês Association Rules, ou seja, é a identificação de grupos de
dados que apresentam concorrência entre si (ocorrência simultânea
de dois eventos). Na tabela a seguir, há alguns exemplos de regras
de associação.
Detecção de Anomalias ou Análise de Outliers: CASTRO e
FERRARI (2016) destacam que os dados conhecidos como
anomalias ou valores discrepantes (outliers) não seguem o
comportamento ou não possuem a
característica comum dos dados ou de um modelo que os
represente. Em algumas aplicações, como na detecção de fraudes,
os eventos raros ou anomalias podem ser mais informativos do que
aqueles que ocorrem regularmente.
APLICAÇÕES DE MINERAÇÃO DE DADOS
A mineração de dados pode ser muito útil em diversos setores com
o objetivo de identificar oportunidades de negócios e criar
vantagens competitivas. A seguir, estão listados alguns setores e
como a mineração de dados pode
ajudá-los na análise de seus dados:
Comércio Eletrônico (E-commerce): Os sites de comércio
eletrônico usam mineração de dados para oferecer vendas cruzadas
por meio de seus sites. Por exemplo, diversos sites de compras
mostram frases como “As pessoas também viram”, “Compram
juntos com frequência” para os clientes que estão interagindo com
o site.
Bancário: A mineração de dados ajuda o setor financeiro a obter
uma visão dos riscos de mercado e a gerenciar a conformidade
regulatória. Ajuda os bancos a identificar prováveis inadimplentes
para decidir se emitem cartões de crédito ou empréstimos, por
exemplo.
Varejo e Vendas: A mineração de dados ajuda os proprietários do
setor de vendas e varejo a saber as escolhas dos clientes. Olhando
para o histórico de compras dos clientes, as ferramentas de
mineração de dados mostram as preferências de compra de cada
um deles.
Fabricação e Produção: Com a ajuda da mineração de dados, os
fabricantes podem prever o desgaste dos ativos de produção. Eles
podem antecipar a manutenção, o que os ajuda a reduzi-los para
minimizar o tempo de inatividade.
Seguros: A mineração de dados ajuda as seguradoras a
estabelecer preços lucrativos para seus produtos e a promover
novas ofertas para clientes novos ou existentes.
14
Educação: A mineração de dados beneficia os educadores para
acessar os dados dos alunos, prever os níveis de desempenho e
encontrar alunos ou grupos de alunos que precisam de atenção
extra. Por exemplo, alunos que são fracos na disciplina de
matemática.
Investigação Criminal: A mineração de dados pode detectar
anomalias em uma grande quantidade de dados.
Os dados criminais, por exemplo, incluem todos os detalhes de um
crime. Para a polícia, a mineração de dados é útil para estudar os
padrões e tendências e prevê eventos futuros com melhor precisão.
A partir do que foi estudado anteriormente, vamos resumir alguns
conceitos fazendo uma comparação entre Mitos versus Realidade
sobre a mineração de dados.
NOÇÕES DE APRENDIZADO DE MÁQUINA
O aprendizado de máquina é uma das tendências mais recentes da
tecnologia atualmente. Do inglês Machine Learning, este é um
ramo da inteligência artificial (IA) que já está revolucionando o
software moderno e mudando a forma como as empresas fazem
negócios.
Neste capítulo, iremos aprender alguns conceitos básicos sobre
aprendizado de máquina e, ao final, resolveremos algumas
questões de concursos públicos sobre este tema.
CONCEITO DE APRENDIZADO DE MÁQUINA
O aprendizado de máquina é focado na construção de aplicativos
que aprendem com os dados e melhoram sua precisão ao longo do
tempo, sem serem programados para isso. Em ciência de dados,
um algoritmo é uma sequência de etapas de processamento
estatístico.
No aprendizado de máquina, os algoritmos são “treinados” para
encontrar padrões e recursos em grandes quantidades de dados, a
fim de tomar decisões e fazer previsões com base em novos dados.
Quanto melhor for o algoritmo, mais precisas serão as decisões e
previsões à medida que ele processa mais dados.
O aprendizado de máquina também está intimamente relacionado à
mineração de dados, pois um computador recebe dados como
entrada e utiliza um algoritmo para formular suas respostas.
Uma tarefa típica do aprendizado de máquina é fornecer uma
recomendação. Para quem tem conta na Netflix, por exemplo,
todas as recomendações de filmes ou séries são baseadas nos
dados históricos do usuário. Assim, as empresas de tecnologia
utilizam o aprendizado de máquina para melhorar a experiência do
usuário com recomendações personalizadas.
O aprendizado de máquina também é usado para uma variedade
de outras tarefas, como detecção de fraude, manutenção preditiva,
automatização de tarefas e assim por diante. Veremos mais
aplicações do aprendizado de máquina em um tópico posterior.
COMO FUNCIONA O APRENDIZADO DE MÁQUINA
A programação tradicional difere significativamente do aprendizado
de máquina, pois, nela, um programador codifica todas as regras
ou algoritmos.
Cada regra é baseada em uma base lógica e a máquina executará
uma saída seguindo esta instrução.
Quando o sistema se torna muito complexo, mais regras precisam
ser escritas. Dependendo da complexidade do problema, a
manutenção pode se tornar insustentável pelo programador.
Já o aprendizado de máquina é o cérebro onde ocorre todo o
aprendizado. A forma como a máquina aprende é semelhante à do
ser humano. Por exemplo, os humanos aprendem com a
experiência, correto?
Quanto mais sabemos, mais facilmente podemos prever sobre algo.
Por analogia, quando enfrentamos uma situação desconhecida, a
probabilidade de sucesso é inferior a uma situação conhecida.
As máquinas são treinadas da mesma forma. Para realizar uma
previsão, a máquina necessita enxergar um exemplo conhecido
previamente. Assim, quando oferecemos à máquina um conjunto
de exemplos semelhantes, ela pode descobrir um resultado de
forma mais consistente.
O objetivo central do aprendizado de máquina é o aprendizado e a
inferência. Em primeiro lugar, a máquina aprende por meio da
descoberta de padrões.
Essa descoberta é feita graças aos dados. Uma parte crucial do
cientista de dados é escolher cuidadosamente quais dados serão
fornecidos à máquina. A lista de atributos usada para resolver um
problema é chamada de vetor de recursos.
A máquina usa alguns algoritmos sofisticados para simplificar a
realidade e transformar essa descoberta em um modelo. Portanto,
o estágio de aprendizagem é usado para descrever os dados e
resumi-los em um modelo.
Por exemplo, uma máquina poderia tentar entender a relação entre
o salário de um indivíduo e a probabilidade de ele ir a um
restaurante mais refinado. O modelo então seria a máquina
encontrar uma relação positiva entre o salário e o indivíduo ir a um
restaurante sofisticado.
Quando o modelo é construído, é possível testar o quão poderoso
ele é em dados nunca vistos antes.
Os novos dados são transformados em um vetor de recursos que
passam pelo modelo e dão uma previsão.
Essa é a “mágica” do aprendizado de máquina. Não há necessidade
de atualizar as regras ou treinar novamente modelo. Pode-se usar
o modelo previamente treinado para fazer inferências sobre novos
dados.
ABORDAGENS DE APRENDIZADO DE MÁQUINA
O aprendizado de máquina pode ser agrupado em algumas
categorias, são elas:
Aprendizagem Supervisionada
Um algoritmo utiliza dados de treinamento para aprender a relação
de determinadas entradas com uma determinada saída. Pode-se
usar o aprendizado supervisionado quando os dados de saída
forem conhecidos.
Assim, o algoritmo irá prever novos dados.
Por exemplo, se quisermos usar o aprendizado supervisionado para
ensinar um computador a reconhecer fotos de gatos, forneceríamos
a ele um conjunto de imagens, algumas rotuladas como “gatos” e
outras como “não são gatos”. Os algoritmos de aprendizado de
máquina ajudariam o sistema a aprender a generalizar os conceitos
para que pudesse identificar gatos em imagens que não havia
encontrado antes.
Há duas categorias de algoritmos de aprendizagem supervisionada
que processam um conjunto de dados previamente rotulado para
extrapolar os comportamentos dos dados não rotulados, são os:
Algoritmos de Classificação
Como vimos no capítulo de Mineração de Dados, os algoritmos de
Classificação têm o objetivo de identificar a qual classe um
determinado dado pertence.
Por exemplo, imagine que se deseja prever o gênero de um
determinado cliente em uma loja online de varejo. Primeiro, será
necessário coletar dados do cliente sobre altura, peso, trabalho,
salário, compras realizadas etc. Sabendo que o gênero dos clientes
só poderá ser masculino ou feminino, o objetivo dos algoritmos de
Classificação será atribuir uma probabilidade de ser homem ou
mulher (ou seja, o rótulo) com base nas informações (dados que
foram coletados). Quando o modelo aprender a reconhecer homem
ou mulher, ele poderá ser utilizado para fazer uma previsão a partir
de dados coletados de novos clientes. Por exemplo, se o modelo
prediz “masculino = 70%”, significa que o algoritmo tem 70% de
certeza de que o novo cliente é do gênero masculino e 30% é do
gênero feminino. Assim, a loja poderá exibir produtos relacionados
ao gênero com uma maior probabilidade do cliente se interessar.
Algoritmos de Regressão
Semelhante aos algoritmos de Classificação, a Regressão é utilizada
quando o dado é identificado por um valor numérico e não por uma
classe.
Por exemplo, um analista financeiro pode querer prever o valor de
uma ação com base em uma variedade de características como
desempenhos anteriores da ação, índices macroeconômicos etc.
15
Assim, a partir destas informações, os algoritmos irão ser treinados
para estimar o preço das ações com o menor erro possível. Marketing
Antes da era dos dados de massa (o chamado Big Data), os
Aprendizagem Não Supervisionada pesquisadores desenvolveram ferramentas matemáticas avançadas,
Na aprendizagem não supervisionada, um algoritmo explora dados como análise bayesiana, para estimar o valor de um cliente. Com o
de entrada sem receber uma variável de saída explícita. Ou seja, o crescimento dos dados, o departamento de marketing utiliza a
objetivo é que o sistema desenvolva suas próprias conclusões a inteligência artificial, como o aprendizado de máquina, para
partir de um determinado conjunto de dados. otimizar o relacionamento com o cliente e os anúncios dos
Por exemplo, se um gerente de uma loja de varejo tivesse um produtos, por exemplo.
grande conjunto de dados de vendas online, ele poderia usar o
aprendizado não supervisionado para encontrar associações entre
esses dados que poderiam ajudá-lo a melhorar o marketing dos
produtos.
O resultado dos algoritmos poderia informar algo como “As vendas
de home theater estão relacionadas às vendas de aparelhos de
televisão.”.
Uma categoria de algoritmos de aprendizagem não supervisionada
que processa um conjunto de dados para encontrar um padrão
interno, sem consultar dados prévios é o Agrupamento ou
Clustering.

Aprendizagem Semissupervisionada
O aprendizado semissupervisionado oferece um meio-termo entre o
aprendizado supervisionado e o não supervisionado. Durante o
treinamento, ele usa um menor conjunto de dados rotulados para
orientar a classificação e a extração de recursos de um conjunto de
dados maior e não rotulado.
A aprendizagem semissupervisionada pode resolver o problema de
não haver dados rotulados suficientes (ou não ser capaz de rotular
dados suficientes) para treinar um algoritmo de aprendizagem
supervisionada.
Voltando ao exemplo do gato, imagine que você tenha um grande
número de imagens, algumas das quais foram rotuladas como
“gato” e “não é gato” e outras não. Um sistema de aprendizagem
semissupervisionado usaria as imagens rotuladas para fazer
algumas suposições sobre quais das imagens não rotuladas incluem
gatos. As melhores suposições seriam então realimentadas no
sistema para ajudá-lo a melhorar suas capacidades e o ciclo
continuaria.

Aprendizado por Reforço

O aprendizado por reforço é um modelo de aprendizado de
máquina comportamental semelhante ao aprendizado
supervisionado, mas o algoritmo não é treinado usando dados de
amostra. Este modelo aprende à medida que avança por meio de
tentativa e erro. Uma sequência de resultados bem-sucedidos será
reforçada para desenvolver a melhor recomendação ou política
para um determinado problema. Por exemplo, se a tarefa for
sugerir um artigo de notícias a um usuário, um algoritmo de
aprendizado por reforço obterá feedback constante do usuário,
sugerindo alguns artigos de notícias e, em seguida, construirá um
“gráfico de conhecimento” de quais artigos a pessoa gostará.

APLICAÇÕES DE APRENDIZADO DE MÁQUINA

Automação
O aprendizado de máquina funciona de forma totalmente
autônoma em qualquer área sem a necessidade de qualquer
intervenção humana. Por exemplo, robôs executando as etapas
essenciais do processo de uma fábrica.

Indústria Financeira
O aprendizado de máquina está se tornando cada vez mais popular
no setor financeiro. Os bancos estão usando principalmente para
encontrar padrões de dados entre os clientes, mas também para
evitar fraudes.

Governo
O governo usa o aprendizado de máquina para gerenciar a
segurança pública e os serviços públicos.

Saúde
A saúde foi uma das primeiras áreas a utilizar o aprendizado de
máquina com a detecção de imagem.
16