03 - BDD - Visao Geral de Bancos de Dados Distribuidos

1
Bancos de Dados
Distribudos
Fernanda Baio
baiao@cos.ufrj.br
Departamento de Informtica Aplicada
UNIRIO
2006.2
Viso geral de BDD
2006 M. Tamer zsu e Patrick Valduriez (traduo livre e adaptaes Marta Mattoso e Fernanda Baio) 3
Bibliografia Utilizada
zsu, M.T. Valduriez, P. "Principles of Distributed Database
Systems", 2
a
edio, Prentice Hall, 1999 (verso em portugus
lanada em 2001)
Abiteboul, A., Buneman, P., and Suciu, D., Data on the Web,
Morgan-Kaufman, 1999
Elmasri, R. Navathe, S. "Fundamentals of Database Systems",
2
a
edio, Benjamin/Cummings, 1994
Ceri, S. Pelagatti, G. "Distributed Database Systems - Principles
and Systems, McGraw Hill, 1984
Kossmann, D., The State of the Art in Distributed Query
Processing, ACM Computing Surveys 32(4), pp. 422-469, 2000
Contedo
1- Introduo
2- Caracterizao de SBDD
3- Vantagens de SBDD
4- Principais Desafios dos SGBDD
5- As Novas Tecnologias e os SBDDs
Introduo
Histrico dos Sistemas de Bancos de
Dados
Antes: Processamento de arquivos
tradicional
Arquivo 3
Arquivo 2
Programa 1
Descrio
de dados
Programa 2
Descrio
de dados
Programa 3
Descrio
de dados
Arquivo 1
D
a
d
o
s

R
e
d
u
n
d
a
n
t
e
s
2
Histrico dos Sistemas de Bancos de
Dados
Processamento de Banco de Dados
independncia de dados independncia de dados
Programa 1
Descrio
de dados
Programa 2
Manipulao
de dados
Programa 3
...
Banco
de Dados
Motivao para os Sistemas de Bancos
de Dados Distribudos
Importncia da tecnologia de Bancos de
Dados Distribudos
Produtos no mercado
Vantagens sobre os centralizados
Previses de substituio completa dos
SGBDs centralizados
Questes em aberto
Surgimento dos Sistemas de Bancos
de Dados Distribudos
Tecnologia
de BD
Integrao
Distribuio Centralizao
Centralizao Centralizao Integrao Integrao

Redes de
Computadores
Sistemas de Bancos de Dados Distribudos
Processamento Distribudo
Conceito em busca de uma definio
consensual, amplamente utilizado
Computao distribuda
Um grupo de elementos de processamento
autnomos
no necessariamente homogneos
interconectados por uma rede de computadores
cooperam na realizao de tarefas
O que est sendo distribudo...
Lgica de processamento
Funes
Dados
Controle
Em um SBDD, todos so necessrios e importantes... Em um SBDD, todos so necessrios e importantes...
Caracterizao de SBDD
3
O que um Sistema de Banco de
Dados Distribudo
Base de Dados Distribuda (BDD)
uma coleo de diversas bases de dados, interligadas interligadas
logicamente logicamente atravs de uma rede rede de de computadores computadores
Sistema de Gerncia de Bases de dados
Distribudas (SGBDD)
o sistema sistema de software de software que possibilita a gerncia da BDD
e lida com aspectos de transpar transparncia ncia para o usurio
Sistema de Banco de Dados Distribudo (SBDD)
SBDD = BDD + SGBDD SBDD = BDD + SGBDD
O que NO NO um Sistema de Banco
de Dados Distribudo...
Sistemas de Tempo Compartilhado (Timesharing)
Sistemas de Multiprocessamento
Memria Compartilhada (shared-memory, shared
everything)
Disco Compartilhado (shared-disk)
Nada Compartilhado (shared-nothing, message-passing)
Memria Compartilhada Distribuda (distributed shared-
memory)
Sistema de Banco de Dados que reside em 1 n da
rede
= Sistema de Banco de Dados centralizado
SGBD centralizado em uma rede
N 1
N 2
N 3
N 4
N 5
Rede de
Comunicao
Um Ambiente de SGBDD
N 1
N 2
N 3
N 4
N 5
Rede de
Comunicao
Principais Caractersticas de um
SBDD
Dados armazenados em diversos diversos locais locais (ou ns)
cada n logicamente um processador
distncia geogrfica
Processadores interconectados atravs de rede rede
A base de dados distribuda no no uma uma coleo coleo de de arquivos arquivos
O SGBDD possui toda toda a a funcionalidade funcionalidade de um SGBD de um SGBD
Tecnologia atual
multiprocessadores
memria compartilhada (shared-memory ou shared-everything)
disco compartilhado (shared-disk)
nada compartilhado ou memria distribuda (shared-nothing)
cliente-servidor
clusters, GRIDs
Arquiteturas de Multiprocessadores
Memria Compartilhada
4
Disco Compartilhado
Memria Distribuda
Aplicaes de SBDD
Intuitivas
Companhias areas
Redes de lojas
Cadeias de hotis
Controle militar
Sistemas de informaes gerenciais corporativas
Qualquer organizao que possua uma estrutura Qualquer organizao que possua uma estrutura
descentralizada descentralizada
Nem to intuitivas assim...
Sistemas com grande volume de dados, mesmo que em
organizaes centralizadas, que demandam por aumento aumento
de desempenho de desempenho
Arquiteturas de SGBDD
Arquiteturas de SGBDD
Distribuio
distribuio fsica dos componentes do sistema
Heterogeneidade
vrios nveis: hardware, comunicao, sistema operacional
para o SGBD: modelo de dados, linguagem de consulta,
algoritmos de gerncia de transaes
Autonomia
Grau de autonomia com que cada SGBD individual trabalha
existncia de troca de informaes entre os componentes
Vrios conceitos...
de projeto: SGBD componente decide aspectos relacionados ao seu
prprio projeto
de comunicao: SGBD componente decide se comunica ou no (e
como se comunica) com outros SGBD
de execuo: SGBD componente executa operaes locais da forma
que deseja
Vantagens de SBDD
5
Vantagens de SBDDs
1. Transparncia na Gerncia dos Dados
Distribudos
2. Confiabilidade
3. Potencial Aumento de Desempenho
4. Expanso mais fcil e econmica
1. Transparncia na Gerncia dos
Dados Distribudos
Transparncia a separao entre a semntica de
alto nvel de um sistema e seus detalhes de
implementao
A questo fundamental prover
Independncia de dados Independncia de dados
no ambiente distribudo.
Desta forma, os usurios do banco de dados
enxergariam uma uma nica nica imagem imagem da da base de base de
dados dados logicamente logicamente integrada integrada, embora ela
estivesse fisicamente distribuda.
Nveis de Transparncia
Transparncia da rede
Transparncia da replicao
Transparncia da fragmentao
diversas tcnicas:
horizontal (selees)
vertical (projees)
combinaes
Transparncia - Exemplo
Qual a remunerao de cada empregado, em funo das
responsabilidades atribudas a ele por mais de 1 ano em algum projeto?
Acesso transparente
Base de dados Distribuda Viso do
Usurio
6
SGBD Distribudo - Realidade
2. Confiabilidade
Componentes replicados
Eliminao de pontos nicos de falha
Provem Provem maior maior disponibilidade disponibilidade e e confiabilidade confiabilidade
Confiabilidade
Requer suporte para transaes distribudas
protocolos distribudos
de controle de concorrncia e gerncia de deadlocks
de confiabilidade
de controle de rplicas
Os aplicativos dos usurios no precisariam se preocupar
com com a coordenao coordenao de de seus seus acessos acessos a a bancos bancos de de
dados dados locais locais individuais individuais, nem teriam que se preocupar
coma possibilidade possibilidade de de falhas falhas em em ns ns ou ou links de links de
comunicao comunicao durante a transao
Confiabilidade - Exemplo
begin_transaction ATUALI ZAR_SALARI O
begin
EXEQ SQL UPDATE PAY
SET SAL = SAL*1. 1
end.
SELECT AVG( SAL)
FROM EMP, PAY
WHERE EMP. TI TLE = PAY. TI TLE
3. Potencial aumento de desempenho
Localizao dos Dados
Compartilhamento de recursos no to crtico
Reduz o tempo de acesso remoto aos dados
Requer suporte para fragmentao e
replicao
Paralelismo no Processamento de Consultas
Paralelismo entre consultas (Inter-query)
Paralelismo dentro da consulta (Intra-query)
Paralelismo dentro de operaes
Paralelismo no Processamento de
Consultas
Paralelismo entre consultas (Inter-query)
Execuo de diversas consultas em paralelo
Paralelismo dentro da consulta (Intra-query)
Execuo de operaes de uma mesma consulta
em paralelo
Paralelismo dentro de operaes
Execuo da mesma operao para fragmentos
distintos da relao em paralelo
7
Para tirar proveito do paralelismo
Ter os dados distribudos pelos
processadores envolvidos no processamento
paralelo
Replicao total? Replicao total?
E quanto s atualizaes ?
maior nmero de rplicas implica em maior tempo
de processamento de uma atualizao
controle de concorrncia distribudo
protocolos de finalizao (commit)
Consideraes sobre o aumento de
desempenho em SBDD com paralelismo
Ganhos comprovados experimentalmente
Mtricas
acelerao linear, crescimento linear
Balanceamento de carga
distribuio esttica x dinmica
Acelarao (Speed-up) chega a ser maior que o
linear, em alguns casos
conferncias DEXA, VECPAR, ...
4. Expanso Mais Fcil e Econmica
Crescimento da base de dados um
problema atual de muitas aplicaes
Evoluo da tecnologia
microprocessadores, workstations, clusters,
GRIDs, ...
modelo de computao cliente-servidor, mltiplas
camadas, desenvolvimento baseado em
componentes, ...
Principais Desafios dos
SGBDDs
Principais Desafios dos SGBDDs
Projeto de Distribuio de Bases de Dados
Processamento Distribudo de Consultas
Controle de Concorrncia Distribudo
Confiabilidade
Projeto de Distribuio de Bases de Dados
Particionamento dos dados
Fragmentao Horizontal, Vertical ou combinaes
vlidas
Informaes no replicadas
Controle de concorrncia simplificado
> desempenho de operaes de atualizao
Replicao
Total ou parcial
Fragmentos replicados em ns
+ disponibilidade
> desempenho de operaes de leitura
8
Exemplo de Fragmentao
Base de Dados Centralizada
222-3333 CludioSilva
222-3333 Gabriel Silva
222-3333 MariaSilva
322-9999 J oseCampos
Telefone Nome
CludioSilva Varig224
Gabriel Silva Varig224
Gabriel Silva Air France147
MariaSilva Air France147
J osCampos Air France147
Passageiro Nome Vo
Varig 150 500,00 Varig224
Air France 500 750,00 Air France455
Cia Ass Tarifa Vo
Paris Etoile 10000K Air France
Porto Alegre Pampa 20000K Varig
Sede Presid. Faturam. Nome
Passageiros
Vos
Cia_Areas
Reservas
Fragmentao Horizontal - base AF
222-3333 MariaSilva
Telefone Nome
Passageiro Nome Vo
Cia Ass Tarifa Vo
Passageiros
Vos
Cia_Areas
Reservas
Fragmentao Horizontal - base RG
222-3333 MariaSilva
Telefone Nome
Passageiro Nome Vo
Varig 150 500,00 Varig224
Cia Ass Tarifa Vo
Porto Alegre Pampa 20000K Varig
Passageiros
Vos
Cia_Areas
Reservas
Fragmentao Vertical base Voo-1
222-3333 MariaSilva
Telefone Nome
500,00 Varig224
750,00 Air France455
1000,00 Air France147
Tarifa Vo
10000K Air France
20000K Varig
Faturam. Nome
Passageiros
Vos
Cia_Areas
Passageiro Nome Vo
Reservas
Fragmentao Vertical base Voo-2
Passageiro Nome Vo
Varig 150 Varig224
Air France 500 Air France455
Air France 250 Air France147
Cia Ass Vo
Paris Etoile Air France
Porto Alegre Pampa Varig
Sede Presid. Nome
Vos
Reservas
222-3333 MariaSilva
Telefone Nome
Passageiros
Cia_Areas
Cia Area - FH Primria
Cia Ass Tarifa Vo
Vos - FH Derivada
Fragmentao Horizontal Derivada
9
Requisitos de Informao para o
PDBD
Info da base de Dados
Relacionamentos, Cardinalidade
Nome Faturam. Presid. Sede
Vo Tarifa Ass Cia Nome Telefone
Passageiro Vo
Cia_Area
Vos Passageiros
Passagens
L1
L2 L3
converso de transaes do usurio em
instrues de manipulao de dados
Problema de otimizao
min{custo = transmisso dados + process. local}
formulao geral do problema NP-difcil
Traduo automtica das consultas em linguagem
de alto nvel
base distribuda vista como nica pelo usurio
A traduo deve ser correta.
O plano gerado deve ser timo.
O processamento trabalha em quatro fases:
a decomposio da consulta
a localizao dos dados
a otimizao global
a otimizao local
Processamento Distribudo de
Consultas
Processamento Distribudo de
Consultas
Localizao dos Dados
Transforma consulta algbrica em consulta
equivalente sobre uma base fragmentada.
Analisa predicado da consulta e funo de
fragmentao
Avalia gerao de fragmentos vazios
A consulta pode ser reduzida
Fragmentao Horizontal na tabela Vos
Vo Tarifa Ass Cia
Air France147 1000,00 250 Air France
Air France455 750,00 500 Air France
Vo Tarifa Ass Cia
Varig224 500,00 150 Varig
N 1
N 2
N 3
N 4
N 5
Rede de
Comunicao
Voo-RG
Voo-AF
Localizao dos Dados
sel ect Vo, tarifa f r omvos wher e Cia = Air France
sel ect Vo, tarifa f r omvo-A wher e Cia = Air France
UNI ON
sel ect Vo, tarifa f r omvo-V wher e Cia = Air France
sel ect Vo, tarifa f r omvo-A wher e Cia = Air France
Transformao
Anlise do predicado da consulta e da funo de fragmentao
Avaliao da gerao de fragmentos vazios
Reduo da consulta
10
Localizao dos Dados
sel ect Vo, tarifa f r omvos wher e tarifa <= 1000.00
sel ect Vo, tarifa f r omvo-A wher e tarifa <= 1000.00
UNI ON
sel ect Vo, tarifa f r omvo-V wher e tarifa <= 1000.00
Neste Neste caso caso no no h h redu redu o o, , mas mas pode haver pode haver paralelismo paralelismo
Transformao
Reduo da consulta
Otimizao Global
Gera o plano de execuo timo a partir da
consulta fragmentada
tcnicas de otimizao heursticas e sistemticas.
clculo do custo
Custo de Custo de E/S E/S
(operaes de acesso ao disco) (operaes de acesso ao disco)
Custo de CPU Custo de CPU
(operaes de processamento) (operaes de processamento)
Custo de comunicao Custo de comunicao
( (movimentao movimentao dos dados dos dados entre entre os os ns ns) )
Fragmentao Vertical em Vos
Vo Ass Cia
Air France147 250 Air France
Air France455 500 Air France
Varig224 150 Varig
Vo Tarifa
Air France147 1000,00
Air France455 750,00
Varig224 500,00
N 1
N 2
N 3
N 4
N 5
Rede de
Comunicao
Voo-1
Voo-2
Localizao dos Dados
sel ect Vo, tarifa f r omvos wher e tarifa <= 1000.00
sel ect Vo, tarifa f r omvo-1 wher e tarifa <= 1000.00
J OI N
Transformao
Reduo da consulta
Questes no Processamento de
Consultas Distribudo
Espao de solues pode ser muito grande
Avaliao custo otimizao X custo execuo
Intervalo entre a otimizao e re-otimizao
Mudanas na distribuio dos dados
desbalanceamento de carga
distribuio dinmica
sincronizao de acessos concorrentes
consistncia versus concorrncia
Problemas
Gerncia de cpias mltiplas
Falhas locais em ns
Falha nas ligaes de comunicao
Finalizao (commit) distribuda
Bloqueio perptuo (deadlock) distribudo
Problemas Problemas muito muito complexos complexos e e ainda ainda em em aberto aberto... ...
11
Alternativas de Implementao
tempos separados para leitura e modificao
2 cpias da base da dados distribuda
1 para consultas, 1 para atualizao
atualizaes peridicas na base de consultas
Confiabilidade
Como tornar o sistema tolerante a falhas
SGBDs componentes, rede de comunicao
Durabilidade e Atomicidade
Relaes entre os Desafios
Questes Relacionadas aos SBDD
Suporte do Sistema Operacional
SGBDs no so uma aplicao como outra
qualquer...
suporte apropriado a operaes de bancos de
dados
Situao ainda mais crtica no caso dos SBDDs
Ex: suporte a transaes distribudas com controle de
concorrncia e reconstruo
requisitos de processamento
propsito geral + SBBDs
Questes Relacionadas aos SBDD
Processamento de Transaes Distribudo
Manter um estado consistente da base de dados
com replicao
protocolos sofisticados de controle de rplicas.
O mtodo mais imediato o ROWA (read one write
many),
muito caro.
Avaliar trs tipos de replicao
replicao dos dados
replicao do processamento
replicao da comunicao
O que est disponvel hoje no
mercado?
Trabalho: Pesquisar produtos abaixo e
elaborar um relatrio tcnico descrevendo as
funcionalidades de distribuio
Oracle 10g
SQL Server
IBM Informix
PostgreSQL 8.1
12
As Novas Tecnologias e os
SBDDs
As Novas Tecnologias e os SBDDs
Novas aplicaes
Inerentemente distribudas
Requisitos cada vez maiores por mais desempenho
Trabalho cooperativo, minerao de dados, ...
Desenvolvimento baseado em componentes
Utilizao combinada com recursos de paralelismo
disponveis nos produtos existentes
Oracle Real Application Cluster
Compaq NonStop SQL
As Novas Tecnologias e os SBDDs
Gerncia de dados na Web
Necessidade de convergncia entre 2 culturas distintas
Sistemas XML-nativos, conversores XML-bases relacionais,
linguagens de consulta a dados XML (XQuery, XPath), mquinas de
busca
Interoperabilidade
Mudanas de tecnologia
Arquiteturas multi-camadas, servios web
clusters e GRIDs
Web
crescimento explosivo de dados
semi/no estruturados, troca de
informaes
(HTML, XML, WSDL)
SGBDs
servios de gerncia de dados
tradicionais
(armazenamento, consulta, modelos de
dados, integridade e consistncia)

03 - BDD - Visao Geral de Bancos de Dados Distribuidos

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

03 - BDD - Visao Geral de Bancos de Dados Distribuidos

Enviado por

Direitos autorais:

Formatos disponíveis

1

Centralizao Centralizao Integrao Integrao

Você também pode gostar