03 - BDD - Visao Geral de Bancos de Dados Distribuidos

Bancos de Dados
Distribudos
Viso geral de BDD
Fernanda Baio
baiao@cos.ufrj.br
Departamento de Informtica Aplicada
UNIRIO
2006.2
Bibliografia Utilizada
zsu, M.T. Valduriez, P. "Principles of Distributed Database

Systems", 2a edio, Prentice Hall, 1999 (verso em portugus
lanada em 2001)
Abiteboul, A., Buneman, P., and Suciu, D., Data on the Web,
Morgan-Kaufman, 1999
Elmasri, R. Navathe, S. "Fundamentals of Database Systems",
2a edio, Benjamin/Cummings, 1994
Ceri, S. Pelagatti, G. "Distributed Database Systems - Principles
and Systems, McGraw Hill, 1984
Kossmann, D., The State of the Art in Distributed Query
Processing, ACM Computing Surveys 32(4), pp. 422-469, 2000
2006 M. Tamer zsu e Patrick Valduriez (traduo livre e adaptaes Marta Mattoso e Fernanda Baio)
1- Introduo
2- Caracterizao de SBDD
3- Vantagens de SBDD
4- Principais Desafios dos SGBDD
5- As Novas Tecnologias e os SBDDs
Histrico dos Sistemas de Bancos de

Dados
Introduo
Antes: Processamento de arquivos

tradicional
Programa 1
Descrio
de dados
Arquivo 1
Programa 2
Descrio
de dados
Arquivo 2
Programa 3
Descrio
de dados
Arquivo 3
Dados Redundantes
Contedo
Histrico dos Sistemas de Bancos de

Dados
Motivao para os Sistemas de Bancos

de Dados Distribudos
Processamento de Banco de Dados
independncia de dados
Programa 1
Programa 2
Manipulao
de dados
Programa 3
Descrio
de dados
Banco
de Dados
...
Surgimento dos Sistemas de Bancos

de Dados Distribudos
Tecnologia
de BD
Conceito em busca de uma definio

consensual, amplamente utilizado
Um grupo de elementos de processamento
Distribuio
Sistemas de Bancos de Dados Distribudos
Integrao
Integrao Centralizao
Processamento Distribudo
Redes de
Computadores
Centralizao
Importncia da tecnologia de Bancos de

Dados Distribudos
Produtos no mercado
Vantagens sobre os centralizados
Previses de substituio completa dos
SGBDs centralizados
Questes em aberto
Computao distribuda
autnomos
no necessariamente homogneos
interconectados por uma rede de computadores
cooperam na realizao de tarefas
10
O que est sendo distribudo...
Lgica de processamento
Funes
Dados
Controle
Caracterizao de SBDD
Em um SBDD, todos so necessrios e importantes...

11
O que um Sistema de Banco de

Dados Distribudo
Base de Dados Distribuda (BDD)
O que NO um Sistema de Banco

de Dados Distribudo...
uma coleo de diversas bases de dados, interligadas

logicamente atravs de uma rede de computadores
Sistema de Gerncia de Bases de dados

Distribudas (SGBDD)
o sistema de software que possibilita a gerncia da BDD

e lida com aspectos de transparncia
transparncia para o usurio
Sistema de Banco de Dados Distribudo (SBDD)

SBDD = BDD + SGBDD
Sistemas de Tempo Compartilhado (Timesharing)

Sistemas de Multiprocessamento
Sistema de Banco de Dados que reside em 1 n da

rede
13
SGBD centralizado em uma rede
Memria Compartilhada (shared-memory, shared

everything)
Disco Compartilhado (shared-disk)
Nada Compartilhado (shared-nothing, message-passing)
Memria Compartilhada Distribuda (distributed sharedmemory)
= Sistema de Banco de Dados centralizado
Um Ambiente de SGBDD
N 1
N 1
N 2
N 2
N 5
N 5
Rede de
Comunicao
N 4
Rede de
Comunicao
N 3
N 4
15
Principais Caractersticas de um
SBDD
N 3
16
Arquiteturas de Multiprocessadores
Dados armazenados em diversos locais (ou ns)

cada n logicamente um processador
distncia geogrfica
Processadores interconectados atravs de rede
A base de dados distribuda no uma coleo de arquivos
O SGBDD possui toda a funcionalidade de um SGBD
Tecnologia atual
multiprocessadores
14
Memria Compartilhada
memria compartilhada (shared-memory ou shared-everything)

disco compartilhado (shared-disk)
nada compartilhado ou memria distribuda (shared-nothing)
cliente-servidor
clusters, GRIDs
17
18
Disco Compartilhado
19
Aplicaes de SBDD
20
Arquiteturas de SGBDD
Intuitivas
Memria Distribuda
Companhias areas
Redes de lojas
Cadeias de hotis
Controle militar
Sistemas de informaes gerenciais corporativas
Qualquer organizao que possua uma estrutura
descentralizada
Nem to intuitivas assim...
Sistemas com grande volume de dados, mesmo que em

organizaes centralizadas, que demandam por aumento
de desempenho
21
22
Arquiteturas de SGBDD
Distribuio
distribuio fsica dos componentes do sistema
Heterogeneidade
vrios nveis: hardware, comunicao, sistema operacional
para o SGBD: modelo de dados, linguagem de consulta,
algoritmos de gerncia de transaes
Autonomia
Grau de autonomia com que cada SGBD individual trabalha
Vantagens de SBDD
existncia de troca de informaes entre os componentes
Vrios conceitos...
de projeto: SGBD componente decide aspectos relacionados ao seu

prprio projeto
de comunicao: SGBD componente decide se comunica ou no (e
como se comunica) com outros SGBD
de execuo: SGBD componente executa operaes locais da forma
que deseja
23
Vantagens de SBDDs
1. Transparncia na Gerncia dos

Dados Distribudos
1. Transparncia
na Gerncia dos Dados
Distribudos
2. Confiabilidade
3. Potencial
Aumento de Desempenho
4. Expanso
Desta forma, os usurios do banco de dados

enxergariam uma nica imagem da base de
dados logicamente integrada,
integrada embora ela
estivesse fisicamente distribuda.
mais fcil e econmica
25
Nveis de Transparncia
Transparncia da rede
Transparncia da replicao
Transparncia da fragmentao
Transparncia a separao entre a semntica de

alto nvel de um sistema e seus detalhes de
implementao
A questo fundamental prover
Independncia de dados
no ambiente distribudo.
26
Transparncia - Exemplo
diversas tcnicas:
horizontal (selees)
vertical (projees)
combinaes
Qual a remunerao de cada empregado, em funo das

responsabilidades atribudas a ele por mais de 1 ano em algum projeto?
27
Acesso transparente
28
Base de dados Distribuda Viso do

Usurio
29
30
2. Confiabilidade
SGBD Distribudo - Realidade
Componentes replicados
Eliminao de pontos nicos de falha
Provem maior disponibilidade e confiabilidade
31
begin_transaction ATUALIZAR_SALARIO
begin
EXEQ SQL UPDATE PAY
SET
SAL = SAL*1.1
end.
Requer suporte para transaes distribudas
protocolos distribudos
32
Confiabilidade - Exemplo
Confiabilidade
SELECT AVG(SAL)
FROM
EMP, PAY
WHERE EMP.TITLE = PAY.TITLE
de controle de concorrncia e gerncia de deadlocks

de confiabilidade
de controle de rplicas
Os aplicativos dos usurios no precisariam se preocupar

com com a coordenao de seus acessos a bancos de
dados locais individuais,
individuais nem teriam que se preocupar
coma possibilidade de falhas em ns ou links de
comunicao durante a transao
33
3. Potencial aumento de desempenho
Localizao dos Dados
Paralelismo entre consultas (Inter-query)
Paralelismo entre consultas (Inter-query)

Paralelismo dentro da consulta (Intra-query)
Paralelismo dentro de operaes
Execuo de diversas consultas em paralelo
Paralelismo dentro da consulta (Intra-query)

Execuo de operaes de uma mesma consulta
em paralelo
Paralelismo dentro de operaes
35
34
Paralelismo no Processamento de
Consultas
Compartilhamento de recursos no to crtico

Reduz o tempo de acesso remoto aos dados
Requer suporte para fragmentao e

replicao
Paralelismo no Processamento de Consultas
Execuo da mesma operao para fragmentos

distintos da relao em paralelo
36
Para tirar proveito do paralelismo
Consideraes sobre o aumento de

desempenho em SBDD com paralelismo
Ter os dados distribudos pelos

processadores envolvidos no processamento
paralelo
Ganhos comprovados experimentalmente
Replicao total?
E quanto s atualizaes ?
maior nmero de rplicas implica em maior tempo

de processamento de uma atualizao
Mtricas
acelerao linear, crescimento linear
Balanceamento de carga
distribuio esttica x dinmica
Acelarao (Speed-up) chega a ser maior que o
linear, em alguns casos
conferncias DEXA, VECPAR, ...
controle de concorrncia distribudo

protocolos de finalizao (commit)
37
38
4. Expanso Mais Fcil e Econmica
Crescimento da base de dados um

problema atual de muitas aplicaes
Evoluo da tecnologia
Principais Desafios dos

SGBDDs
microprocessadores, workstations, clusters,

GRIDs, ...
modelo de computao cliente-servidor, mltiplas
camadas, desenvolvimento baseado em
componentes, ...
39
Principais Desafios dos SGBDDs
Projeto de Distribuio de Bases de Dados
Processamento Distribudo de Consultas
Controle de Concorrncia Distribudo
Projeto de Distribuio de Bases de Dados
Particionamento dos dados
Fragmentao Horizontal, Vertical ou combinaes

vlidas
Informaes no replicadas
Confiabilidade
Replicao
Total ou parcial
Fragmentos replicados em ns
41
Controle de concorrncia simplificado

> desempenho de operaes de atualizao
+ disponibilidade
> desempenho de operaes de leitura
42
Exemplo de Fragmentao
Passageiros
Passageiros
Base de Dados Centralizada

Nome
Fragmentao Horizontal - base AF
Reservas
Telefone
Nome Vo
Passageiro
Nome
Reservas
Telefone
Nome Vo
Passageiro
Jose Campos
322-9999
Air France 147
Jos Campos
Jose Campos
322-9999
Maria Silva
222-3333
Air France 147
Jos Campos
Air France 147
Maria Silva
Maria Silva
222-3333
Gabriel Silva
222-3333
Air France 147
Maria Silva
Air France 147
Gabriel Silva
Gabriel Silva
222-3333
Cludio Silva
222-3333
Air France 147
Gabriel Silva
Varig 224
Gabriel Silva
Cludio Silva
222-3333
Varig 224
Cludio Silva
Vos
Vos
Vo
Tarifa
Air France 147
1000,00
250
Ass
Air France
Cia
Air France 455
750,00
500
Air France
Varig 224
500,00
150
Varig
Cia_Areas
Vo
Tarifa
Air France 147
1000,00
250
Ass
Air France
Cia
Air France 455
750,00
500
Air France
Cia_Areas
Nome
Faturam.
Presid.
Sede
Varig
20000K
Pampa
Porto Alegre
Air France
10000K
Etoile
Paris
Nome
Air France
46
Faturam.
Presid.
10000K
Etoile
Sede
Paris
Passageiros
Passageiros
Fragmentao Horizontal - base RG

Nome
Fragmentao Vertical base Voo-1
Reservas
Telefone
Jose Campos
322-9999
Maria Silva
222-3333
Gabriel Silva
Cludio Silva
Nome Vo
Nome
Passageiro
Reservas
Telefone
Gabriel Silva
Jose Campos
322-9999
Cludio Silva
Maria Silva
222-3333
222-3333
Gabriel Silva
222-3333
222-3333
Cludio Silva
222-3333
Varig 224
Varig 224
Vos
Nome Vo
Vos
Vo
Tarifa
Ass
Varig 224
500,00
150
Cia
Vo
Varig
Cia_Areas
Nome
Varig
Tarifa
Air France 147
1000,00
Air France 455
750,00
Varig 224
500,00
Passageiro
Air France 147
Jos Campos
Air France 147
Maria Silva
Air France 147
Gabriel Silva
Varig 224
Gabriel Silva
Varig 224
Cludio Silva
Cia_Areas
Faturam.
20000K
Presid.
Pampa
Nome
Sede
Porto Alegre
48
Nome Vo
Telefone
Air France 147
Jos Campos
322-9999
Air France 147
Maria Silva
Maria Silva
222-3333
Air France 147
Gabriel Silva
Gabriel Silva
222-3333
Varig 224
Gabriel Silva
Cludio Silva
222-3333
Varig 224
Cludio Silva
Vo
Ass
10000K
49
Cia Area - FH Primria

Nome
Air France
Faturam.
Presid.
10000K
Etoile
Sede
Paris
Cia
Air France 147
250
Air France
Air France 455
500
Air France
Varig 224
150
Varig
Vos - FH Derivada
Vo
Cia_Areas
Nome
Air France
Passageiro
Jose Campos
Vos
20000K
Fragmentao Horizontal Derivada
Reservas
Passageiros
Faturam.
Varig
Fragmentao Vertical base Voo-2

Nome
47
Presid.
Cia
1000,00
Tarifa
250
Air France
Air France 455
750,00
500
Air France
Sede
Varig
Pampa
Porto Alegre
Air France
Etoile
Paris
Ass
Air France 147
50
51
Requisitos de Informao para o

PDBD
Info da base de Dados
Relacionamentos, Cardinalidade
Cia_Area
Nome
Faturam.
Presid.
Sede
L1
Vos
Passageiros
Vo
Tarifa Ass
Cia
Nome
L2
converso de transaes do usurio em

instrues de manipulao de dados
Problema de otimizao
min{custo = transmisso dados + process. local}
formulao geral do problema NP-difcil
Telefone
L3
Passagens
Vo
Passageiro
53
Processamento Distribudo de
Consultas
Localizao dos Dados
base distribuda vista como nica pelo usurio

A traduo deve ser correta.
O plano gerado deve ser timo.
Transforma consulta algbrica em consulta

equivalente sobre uma base fragmentada.
O processamento trabalha em quatro fases:
a decomposio da consulta
a localizao dos dados
a otimizao global
a otimizao local
55
Analisa predicado da consulta e funo de

fragmentao
Avalia gerao de fragmentos vazios
A consulta pode ser reduzida
Fragmentao Horizontal na tabela Vos
select Vo, tarifa from vos where

Vo
Tarifa Ass
Cia
Air France 147 1000,00 250 Air France
Air France 455 750,00 500 Air France
N 1
N 2
Rede de
Comunicao
Cia = Air France
Transformao
select Vo, tarifa from vo-A where
UNION
select Vo, tarifa from vo-V where
N 5
Cia = Air France

Cia = Air France
Anlise do predicado da consulta e da funo de fragmentao

Vo
Varig 224
N 4
56
Localizao dos Dados
Voo-AF
54
Processamento Distribudo de
Consultas
Traduo automtica das consultas em linguagem

de alto nvel
N 3
Tarifa
500,00
Ass
150
Cia
Varig
Avaliao da gerao de fragmentos vazios

Reduo da consulta
Voo-RG

57
Cia = Air France
58
Localizao dos Dados
Otimizao Global
select Vo, tarifa from vos where tarifa <= 1000.00
Transformao
tarifa <= 1000.00

UNION
select Vo, tarifa from vo-V where
Gera o plano de execuo timo a partir da

consulta fragmentada
tarifa <= 1000.00
tcnicas de otimizao heursticas e sistemticas.

clculo do custo
Custo de E/S
(operaes de acesso ao disco)
Custo de CPU
(operaes de processamento)
Reduo da consulta
Custo de comunicao
Neste caso no h redu

reduo,
o, mas pode haver paralelismo
(movimentao dos dados entre os ns)

ns)
59
Fragmentao Vertical em Vos
Ass
250
500
150
60
Localizao dos Dados

Vo
Air France 147
Air France 455
Varig 224
select Vo, tarifa from vos where tarifa <= 1000.00
Cia
Air France
Air France
Varig
Transformao
Voo-2
N 1
select Vo, tarifa from vo-1 where

JOIN
N 2
N 5
Rede de
Comunicao
N 4
tarifa <= 1000.00

Vo
Air France 147
Air France 455
Varig 224
N 3
Tarifa
1000,00
750,00
500,00

Reduo da consulta
Voo-1

61
Questes no Processamento de
Consultas Distribudo
Avaliao custo otimizao X custo execuo
Intervalo entre a otimizao e re-otimizao
Mudanas na distribuio dos dados
desbalanceamento de carga
distribuio dinmica
sincronizao de acessos concorrentes

consistncia versus concorrncia
Problemas
62
Espao de solues pode ser muito grande
tarifa <= 1000.00
tarifa <= 1000.00
63
Gerncia de cpias mltiplas

Falhas locais em ns
Falha nas ligaes de comunicao
Finalizao (commit) distribuda
Bloqueio perptuo (deadlock) distribudo
Problemas muito complexos e ainda em aberto...

aberto...
64
10
Alternativas de Implementao
tempos separados para leitura e modificao
2 cpias da base da dados distribuda
1 para consultas, 1 para atualizao
atualizaes peridicas na base de consultas
Confiabilidade
Como tornar o sistema tolerante a falhas
65
Relaes entre os Desafios
Durabilidade e Atomicidade
Suporte do Sistema Operacional
SGBDs no so uma aplicao como outra

qualquer...
suporte apropriado a operaes de bancos de
dados
67
Questes Relacionadas aos SBDD
muito caro.
Avaliar trs tipos de replicao
replicao dos dados

replicao do processamento
replicao da comunicao
68
Trabalho: Pesquisar produtos abaixo e

elaborar um relatrio tcnico descrevendo as
funcionalidades de distribuio
O mtodo mais imediato o ROWA (read one write

many),
Manter um estado consistente da base de dados

com replicao
protocolos sofisticados de controle de rplicas.
propsito geral + SBBDs
O que est disponvel hoje no

mercado?
Processamento de Transaes Distribudo
Situao ainda mais crtica no caso dos SBDDs

Ex: suporte a transaes distribudas com controle de
concorrncia e reconstruo
requisitos de processamento
66
Questes Relacionadas aos SBDD
SGBDs componentes, rede de comunicao
69
Oracle 10g
SQL Server
IBM Informix
PostgreSQL 8.1
70
11
As Novas Tecnologias e os SBDDs
Novas aplicaes
As Novas Tecnologias e os
SBDDs
Inerentemente distribudas
Requisitos cada vez maiores por mais desempenho
Trabalho cooperativo, minerao de dados, ...
Desenvolvimento baseado em componentes
Utilizao combinada com recursos de paralelismo

disponveis nos produtos existentes
Oracle Real Application Cluster

Compaq NonStop SQL
72
As Novas Tecnologias e os SBDDs
Gerncia de dados na Web
Necessidade de convergncia entre 2 culturas distintas
Web
crescimento explosivo de dados
semi/no estruturados, troca de
informaes
(HTML, XML, WSDL)
SGBDs
servios de gerncia de dados
tradicionais
(armazenamento, consulta, modelos de
dados, integridade e consistncia)
Sistemas XML-nativos, conversores XML-bases relacionais,

linguagens de consulta a dados XML (XQuery, XPath), mquinas de
busca
Interoperabilidade
Mudanas de tecnologia
Arquiteturas multi-camadas, servios web

clusters e GRIDs
73
12

03 - BDD - Visao Geral de Bancos de Dados Distribuidos

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

03 - BDD - Visao Geral de Bancos de Dados Distribuidos

Enviado por

Direitos autorais:

Formatos disponíveis

Bancos de Dados

Viso geral de BDD

zsu, M.T. Valduriez, P. "Principles of Distributed Database

Histrico dos Sistemas de Bancos de

Antes: Processamento de arquivos

Histrico dos Sistemas de Bancos de

Motivao para os Sistemas de Bancos

Processamento de Banco de Dados

Surgimento dos Sistemas de Bancos

Conceito em busca de uma definio

Um grupo de elementos de processamento

Sistemas de Bancos de Dados Distribudos

Importncia da tecnologia de Bancos de

O que est sendo distribudo...

Em um SBDD, todos so necessrios e importantes...

O que um Sistema de Banco de

Base de Dados Distribuda (BDD)

O que NO um Sistema de Banco

uma coleo de diversas bases de dados, interligadas

Sistema de Gerncia de Bases de dados

o sistema de software que possibilita a gerncia da BDD

Sistema de Banco de Dados Distribudo (SBDD)

Sistemas de Tempo Compartilhado (Timesharing)

Sistema de Banco de Dados que reside em 1 n da

SGBD centralizado em uma rede

Memria Compartilhada (shared-memory, shared

= Sistema de Banco de Dados centralizado

Dados armazenados em diversos locais (ou ns)

memria compartilhada (shared-memory ou shared-everything)

Nem to intuitivas assim...

Sistemas com grande volume de dados, mesmo que em

existncia de troca de informaes entre os componentes

de projeto: SGBD componente decide aspectos relacionados ao seu

1. Transparncia na Gerncia dos

na Gerncia dos Dados

Desta forma, os usurios do banco de dados

mais fcil e econmica

Transparncia a separao entre a semntica de

Qual a remunerao de cada empregado, em funo das

Base de dados Distribuda Viso do

SGBD Distribudo - Realidade

Eliminao de pontos nicos de falha

Provem maior disponibilidade e confiabilidade

Requer suporte para transaes distribudas

de controle de concorrncia e gerncia de deadlocks

Os aplicativos dos usurios no precisariam se preocupar

3. Potencial aumento de desempenho

Localizao dos Dados

Paralelismo entre consultas (Inter-query)

Paralelismo entre consultas (Inter-query)

Execuo de diversas consultas em paralelo

Paralelismo dentro da consulta (Intra-query)

Paralelismo dentro de operaes

Compartilhamento de recursos no to crtico

Requer suporte para fragmentao e

Execuo da mesma operao para fragmentos

Para tirar proveito do paralelismo

Consideraes sobre o aumento de

Ter os dados distribudos pelos

Ganhos comprovados experimentalmente

maior nmero de rplicas implica em maior tempo

conferncias DEXA, VECPAR, ...

controle de concorrncia distribudo