Tecnologia Manufatura Avançada - Big Data

Prof. Graças J.M. Tomazela

Daniele Telles Lopes

Nicole Gabriele Daniel Lima
Raquel Biajone de Lima

Setembro - 2020
 Banco de dados colunar

É o armazenamento orientado a colunas para tabelas do banco de dados que fornece uma
performance de consulta analítica, pois ele reduz expressivamente os requisitos gerais de E/S de
disco e diminui a quantidade de dados que você precisa carregar.

Amazon Redshift
 Banco de Dados NoSQL

Utiliza variedade de modelos de dados para acessar e gerenciar. Esses tipos de banco sã o otimizados
especificamente para aplicativos que exigem modelos de grande volume de dados, baixa latência e
flexibilidade.

Tipos de Bancos NoSQL

Chave-valor
Documento
Grá fico
Memó ria
Pesquisa
Apache HBase é um banco de dados nã o relacional (NoSql), distribuído, open-source, desenvolvido a partir
do Google BigTable e fornece acesso de leitura/gravaçã o em tempo real a esses grandes conjuntos de
dados.

Ele é um banco de dados orientado a colunas (Família de Colunas) que roda sob o HDFS (hadoop
Distributed FileSystem) com capacidade para armazenar grandes volumes de dados.

O HBase é integrada nativamente com o Hadoop e funciona perfeitamente ao lado de outros motores de
acesso a dados através do YARN.
 Origem do Apache HBASE

PowerSet e Artigo Google (2006) – Bigtable: Adistributes Storage System for Structured Data.

Reflexã o de Chad Walters líder do time de Engenheiros da PowerSet :

“Construir um sistema de có digo aberto para rodar em cima do Filesystem HDFS do Hadoop distribuído da mesma
forma que BigTable rodava no Google File System parecia uma boa abordagem porque:

Era uma arquitetura escalável comprovada;

Poderíamos alavancar o trabalho existente no HDFS do hadoop;
Podemos contribuir e obter uma alavancagem adicional do crescente ecossistema Hadoop”.
 
 Características do Apache HBASE
 

Alta Escalabilidade
Sharding Automá tico
Forte consistência de escrita e leitura
Failover automá tico entre RegionsServer
Integraçã o com o Hadoop/HDFS
Suporta processamento MapReduce
API Java
 O que o Apache HBASE faz

O Apache HBase fornece acesso aleató rio e em tempo real aos seus dados no Hadoop.
Armazena dados de forma multi-estruturados ou esparsos.
Os usuá rios podem consultar o HBase para um determinado ponto no tempo, possibilitando consultas de
“flashback”.

Benefício do HBase
Tolerâ ncia a falhas 
Rá pido
Utilizável

 
 
Componentes de Arquitetura Daemons

Hmaster atribui regiõ es aos RegionServers com a ajuda do ZooKeeper para distribuir os
pedidos de forma equilibrada, deslocando as regiõ es para RegionServers menos
ocupados.

RegionServer, é executado em todos os nó s DataNode no cluster do hadoop. Esses sã o os

nó s de trabalho que manipulam solicitaçõ es de leitura, gravaçã o, atualizaçã o e exclusã o.

Zookeeper (HQuorumPeer) o HBase usa o ZooKeeper como um serviço de coordenaçã o

distribuída.
 Modelo de Dados

O modelo de dados do HBase armazena dados

semiestruturados com diferentes tipos de dados. O
modelo de dados do HBase consiste em vá rios
componentes ló gicos – chave de linha, família de
colunas, nome da tabela, registo de data e hora entre
outros.
 Modo de funcionamento

HBase escalonado de forma linear, exige de todas as tabelas uma

chave primária denominada Row Key ou UserID
Se as chaves dentro de uma regiã o sã o acessados ​frequentemente,
HBase pode subdividir ainda mais a regiã o, dividindo-o
automaticamente, de modo que sharding manual de dados nã o é
necessário.
Servidores tais como Zookeeper e HMaster disponibilizam a
informação sobre a topologia de cluster disponíveis para os clientes
 Modo de funcionamento

Os clientes se conectam nos clusters e baixam uma lista de RegionServers, as regiõ es contidas
dentro desses RegionServers e os intervalos de chaves hospedados pelas regiõ es.

Os RegionServers incluem um memstore para armazenar em cache linhas freqü entemente

acessados ​na memó ria.

Opcionalmente, os usuá rios podem armazenar linhas off-heap, gigabytes de armazenamento em

cache de dados, minimizando pausas para coleta de lixo.
Empresas que usam Apache HBASE

Facebook

Twitter
 Referencias Bibliográficas

https://aws.amazon.com/pt/nosql/columnar/
https://docs.aws.amazon.com/pt_br/redshift/latest/dg/c_columnar_storage_disk_mem_mgmnt.html
https://aws.amazon.com/pt/data-warehouse/
https://aws.amazon.com/pt/nosql/
https://alexandrevolpi.wordpress.com/2015/10/27/bancos-de-dados-nosql-hbase/
https://pplware.sapo.pt/informacao/apache-hbase-not-only-sql-nosql/
https://www.cetax.com.br/blog/o-que-e-o-apache-hbase/
https://pt.slideshare.net/MiltonBahia/hbase-81317238
https://hbase.apache.org/poweredbyhbase.html
https://engineering.fb.com/core-data/hydrabase-the-evolution-of-hbase-facebook/
https://imasters.com.br/noticia/facebook-abre-o-codigo-hydrabase-proxima-geracao-hbase
Obrigado!