Cap 01

Universidade Federal de So Carlos Departamento de Computao
Sistemas Distribudos
Hlio Crestana Guardia 2013
A. S. Tanenbaum, M. Van Steen. Sistemas Distribudos: Princpios e paradigmas - Cap 1 Introduo / 1/44
Hlio Crestana Guardia - 2013
! Evoluo dos sistemas computacionais: ! Microprocessadores de alta capacidade ! Redes de comunicao de alta velocidade ! Criao de sistemas computacionais compostos por grandes quantidades de computadores, interligados por redes de alta velocidade ! Surgimento dos sistemas distribudos, em oposio aos sistemas centralizados
Definio: um Sistema distribudo um conjunto de computadores independentes que se apresenta a seus usurios como um sistema nico e coerente. Couloris: "we define a distributed system as one in which hardware or software components located at networked computers communicate and coordinate their actions only by passing messages.
Sistemas Distribudos: aspectos

! No h restries sobre o tipo dos computadores: de pequenos sensores a computadores de alto desempenho ! Tambm no h restries sobre a forma de interconexo ! Diferenas entre os componentes e questes relacionadas forma de comunicao efetiva e organizao interna do sistema so abstradas dos usurios ! Componentes colaboram para obter o resultado desejado ! Expanses e escalabilidade so facilitadas pelo fato dos componentes serem independentes ! Disponibilidade do sistema como um todo tambm favorecida pela multiplicidade de recursos
Exemplos: -! WWW, Web search, -! Comrcio eletrnico (e-commerce), E-learning, -! Facebook, Twitter, Gmail, -! Google drive, Dropbox e similares, -! Amazon Web Services, Computao em nuvem, -! Massively multiplayer online games -! Financial trading: real-time access to information sources (events, delivered reliably and in a timely manner to large numbers of clients) -!
Tendncias em Sistemas Distribudos (*)

! Fortalecimento de tecnologia de redes pervasivas: infraestrutura de acesso por toda parte! ! Fortalecimento da computao ubqua (em todo lugar), com apoio mobilidade dos usurios e seus dispositivos ! Aumento da demanda por servios multimdia: restries temporais ! Viso dos sistemas distribudos como recursos (utility): computao em nuvem
(*) Coulouris, et. al. Distributed Systems: concepts and Design. Assison Welsey, 2012.
Sistemas Distribudos: desafios

! Sistemas Distribudos so sistemas concorrentes: necessidade de coordenar execuo independente em cada n ! Componentes (ns e rede) podem falhar ! Atrasos na comunicao em rede: dificuldade em diferenciar congestionamento de falhas ! Ausncia de relgio global: dificuldade em coordenar atividades distribudas e obter consenso em ordenaes ! ! Heterogeneidade ! Abertura (openness) ! Segurana: integridade, confidencialidade, disponibilidade ! Escalabilidade
Sistemas Distribudos: organizao

! Interaes entre usurios, ou aplicaes, e o sistema distribudo ocorrem de maneira consistente e uniforme ! Funcionalidades so comumente organizadas na forma de uma camada de software logicamente posicionada entre as aplicaes e sistema operacional e seus mecanismos de comunicao. => Middleware
Sistemas Distribudos: objetivos

! Oferecer fcil acesso aos recursos (compartilhamento) ! Ocultar as questes inerentes distribuio (transparncia) ! Ser aberto ! Poder ser expandido (escalabilidade)
Compartilhamento de recursos
! Exemplos de recursos: computadores, impressoras, unidades de armazenamento, dados, arquivos, pginas WWW, redes de computadores, ! Conectividade provida por sistemas distribudos tambm favorece colaboraes entre os usurios e trocas de arquivos, de mensagens, de documentos e de diferentes tipos de mdia ! Trabalho cooperativo, atravs de groupware, tambm possibilitado Aspectos:
! Segurana: autenticaes dos acessos e confidencialidade das informaes transmitidas ! Perfis: personalizao x privacidade
Transparncia da distribuio
! Transparncia em um Sistema Distribudo est associada capacidade de apresentar-se aos usurios e s aplicaes como se fosse um nico sistema computacional ! Diferentes tipos de transparncia podem ser buscados:
! Acesso ! Localizao ! Migrao ! Relocao ! Replicao ! Concorrncia ! Falhas
Tipos de Transparncia
Transparncia de localizao tipicamente apoiada por mecanismos de nomeao, que tambm favorecem a transparncia de migrao, de relocao e de replicao.
Grau de transparncia
! Transparncia total nem sempre possvel ou desejada ! Por exemplo, uma aplicao pode tornar-se mais eficiente se considerar os atrasos nas transmisses de longa distncia, e fizer outra atividade nesse perodo, ao invs de escond-los ! Transparncia de replicao implica necessidade de manter rplicas consistentes, podendo gerar atrasos ! Informaes de contexto (como localizao) podem auxiliar na seleo de recursos. Ex: impresso local.
Abertura (Openness)
Sistema Distribudo aberto oferece servios de acordo com regras padronizadas que descrevem a sintaxe a semntica desses servios. Caractersticas: ! Servios especificados atravs de interfaces bem definidas (Interface definition Language IDL):
! nomes, tipos, parmetros, valores de retorno, excees, etc. ! permitem diferentes implementaes da mesma funcionalidade
! Portabilidade: executar aplicao, sem modificao, em dif. sistemas ! Suporte heterogeneidade de Hardware, de Plataforma e de Linguagem ! Interoperabilidade com servios de outros sistemas abertos, independentemente do ambiente em que so implementados
Abertura (Openness)
Separao entre poltica e mecanismo ! Sistema deve ser organizado como coleo de componentes relativamente pequenos e facilmente substitudos ou adaptados ! Busca-se evitar o desenvolvimento de sistemas que so logicamente separados mas implementados na forma de um grande sistema monoltico (bloco nico) ! Importante haver especificaes no s das interfaces de nvel mais alto mas tambm das partes internas
! Facilidade de configurao, expanso e substituio de partes importante
Escalabilidade
Dimenses: ! Escalabilidade de tamanho: possibilidade de incrementar o nmero de recursos e de usurios ! Escalabilidade geogrfica: possibilidade de ampliar a rea fsica de alcance do sistema ! Escalabilidade administrativa: possibilidade de gerenciamento, mesmo com muitas organizaes administrativas diferentes
Em sistemas paralelos, escalabilidade de desempenho est relacionada possibilidade de aumento de desempenho medida que novos recursos so adicionados (Hlio)
Escalabilidade: fatores limitantes

! medida que mais usurios e recursos so admitidos no sistema, problemas de escalabilidade podem tornar-se evidentes ! Servios centralizados podem tornar-se gargalos pela capacidade de processamento ou de comunicao. ! Centralizao pode ser inevitvel por questes de segurana em certas aplicaes (ex. BD com dados sensveis). ! Dados centralizados tambm podem impedir a escalabilidade de usurios e recursos devido aos gargalos de comunicao. ! Algoritmos centralizados, que requerem a coleta e o processamento de informaes de estado de toda a rede, e.g., tambm limitam a escalabilidade.
Escalabilidade: fatores limitantes
Escalabilidade: algoritmos descentralizados

! Algoritmos descentralizados favorecem a escalabilidade. Caractersticas desejveis: ! Nenhuma mquina deve ter que manter informaes completas sobre o estado do sistema. ! As mquinas devem tomar decises tendo como base somente informaes locais. ! A falha de uma mquina no deve comprometer um algoritmo. ! No deve haver dependncia explcita de um relgio global.
Escalabilidade: aspectos da comunicao

Algumas caractersticas da comunicao em redes de longa distncia, tpicas em cenrios de computao distribuda, influenciam na escalabilidade geogrfica de um SD:
! Atrasos so significativos e comunicaes devem ser preferencialmente assncronas, evitando que cliente fique bloqueado at concluso de uma solicitao; ! Comunicao em redes de longa distncia inerentemente no confivel; ! Normalmente, no h mecanismos de comunicao por difuso de mensagens (broadcast), ou implementao invivel.
Escalabilidade: gerenciamento de polticas

Considerando a disperso de um SD sobre mltiplos domnios administrativos, diversos aspectos precisam ser tratados: ! Polticas conflitantes para o uso dos recursos e suas contabilizaes / tarifaes ! Gerenciamento de polticas locais e globais ! Gerenciamento de segurana: autenticaes dos acessos e confidencialidade das transmisses
Escalabilidade: tcnicas
(1/3)
Tcnicas p/ escalabilidade: ocultao de latncias, distribuio e replicao. ! Ocultar latncias de comunicao (latency hiding):
! Evitar bloquear o processamento espera de comunicao ! Sobrepor processamento com transmisses ! Reduzir o volume de comunicao, por exemplo, movendo parte do processamento do servidor para o cliente
! Distribuio: consiste em particionar um componente e espalhar suas partes pelo sistema.
(2/3)
! Ex.: Domain Name System (DNS) informaes distribudas em zonas
! Replicao:
(3/3)
! uso de mltiplas cpias de componentes favorece a disponibilidade e o balanceamento de carga ! proximidade de cpia dos componentes tambm favorece a reduo da latncia de comunicao
! Ex.: cache Problema:

! alterao de cpia requer atualizao das demais para garantir a consistncia ! Sincronizaes para prover as atualizaes pode limitar a escalabilidade
! Ex. 2: CDN (Content Distribution Networks):

! localizao baseada no DNS, com acesso somente de leitura
Desenvolvimento de SDs: armadilhas

! Alm de atender aos aspectos bsicos de Engenharia de Software, o desenvolvimento de SDs deve tratar questes especficas inerentes distribuio de seus componentes. ! Falsas premissas podem comprometer o desenvolvimento de Sistemas Distribudos:
! ! ! ! ! ! ! ! A rede confivel A rede segura A rede homognea A topologia no muda A latncia zero A largura de banda infinita O custo de transporte zero H s um administrador
Falso!
Tipos de Sistemas Distribudos

! Sistemas de Computao Distribudos (Distributed Computing Systems):
! Sistemas de Computao em cluster ! Sistemas de Computao em grade (Grid Computing) ! Sistemas de Computao em nuvem (Cloud Computing)
! Sistemas de Informao Distribudos (Distributed Information Systems):

! Sistemas de processamento de transaes (Transaction Procesing Systems) ! Integrao de aplicaes empresariais (Enterprise Application Integration)
! Sistemas Embarcados Distribudos (Distributed Embedded/ Pervasive Systems):

! Sistemas domsticos (Home Systems) ! Sistemas eletrnicos para tratamento de sade (Electronic Health Care Systems) ! Redes de Sensores (Sensor Networks)
Tipos de SD:
Sistemas de Computao Distribudos
! Voltados obteno de alto desempenho (high-performance computing) ! Abordagens: computao em cluster (Cluster Computing), computao em grade (Grid Computing) ou em nuvem (Cloud) Computao em Cluster:
! Grupo de computadores de alto desempenho interligados numa rede local ! Ambiente homogneo: mesmo SO e (comumente) mesmo hardware ! Uso de um nico n de gerenciamento, que distribui requisies para ns de processamento (middleware para programao MPI). Ex: Linux-based Beowulf clusters: n de gerenciamento + ns de processamento ! Sistema de imagem nica (Single System Image): abordagem simtrica, com uma nica imagem do sistema. Ex: MOSIX: prov execuo e uso dos recursos de forma transparente.
Tipos de SD:
Sistemas de Computao em Cluster
Tipos de SD:
Sistemas de Computao Distribudos
Computao em Grade (Grid Computing)

! Uso de ns de processamento (e outros recursos) que se espalham por vrios domnios administrativos. ! Agrupamento de recursos para permitir a colaborao de um grupo de pessoas ou instituies
Ex. domnio administrativo: ns conectados em rede em um departamento ou universidade; cluster em uma rede remota; computadores na rede de uma empresa;
! Recursos heterogneos ! Disperso sobre diferentes organizaes ! Comunicaes comumente envolvem a passagem por redes de longa distncia ! Para possibilitar colaboraes, criam-se organizaes virtuais, que definem usurios globais para os recursos
Tipos de SD:
Sistema de Computao em Grade
! Camada Base (fabric layer): interface para recursos locais em um site ! Camada de Conectividade (connectivity): protocolos de comunicao para as transaes. Inclui mecanismos de segurana, como autenticaes e delegaes ! Camada de Recursos (resource): trata do gerenciamento de cada recurso ! Camada Coletiva (collective): manipula acesso a mltiplos recursos ! Camada de Aplicaes: aplicaes para a grade. Middleware (funcionalidades providas pelas camadas inferiores) permite uso da grade
Tipos de SD:
Sistemas de Informao Distribudos
! Grande parte dos sistemas distribudos atualmente so middlewares para integraes de sistemas empresariais. ! Comum quando substituio de sistema legado invivel. ! Comunicaes normalmente ocorrem na forma de requisies de clientes para servidores. Acesso a banco de dados comum. ! Requisies podem ser agrupadas na forma de transaes. ! Requisies de uma transao so executas na totalidade ou nenhuma executada. ! Transaes foram sendo aperfeioadas, separando componentes de Bancos de Dados de componentes de processamento. ! Modelo deu origem aos sistemas de integrao de aplicaes empresariais (Enterprise Application Integration).
Sistemas de Processamento de Transaes

! Transaes formam operaes atmicas e podem variar entre sistemas ! Chamadas de procedimentos remotos (Remote Procedure Calls) tambm podem ser encapsuladas em transaes Exemplo:
BEGIN TRANSACTION (server, transaction) READ (transaction, file-1, data) WRITE (transaction, file-2, data) newData := MODIFIED(data) IF WRONG (newData) THEN ABORT TRANSACTION (transaction) ELSE WRITE (transaction, file-2, newData) END TRANSACTION (transaction) END IF
Transaes: Primitivas tpicas
Transaes: propriedades
Transaes so compostas de conjuntos de operaes sobre bancos de dados, manipulaes de objetos, etc., e devem satisfazer as propriedades denominadas ACID: ! Atomicidade: todas as operaes devem ser bem-sucedidas ou nenhuma deve ser realizada. Quando uma transao falha, o estado do objeto associado permanece inalterado. ! Consistncia: uma transao estabelece uma transio vlida, embora estados intermedirios invlidos possam ocorrer ao longo de sua realizao. ! Isolamento: transaes concorrentes no interferem entre si. Efeito equivalente operao sequencial. ! Durabilidade: aps efetivao de uma transao, efeitos so permanentes. Mudanas de estado tambm devem persistir em situaes de falha.
Transaes aninhadas
! Transaes podem ser subdivididas e executadas de forma aninhada ! Subtransaes favorecem diviso de processamento entre diversos recursos. ! Uma vez efetivada, contudo, uma subtransao pode ser revertida se a transao de nvel superior falhar. Durabilidade vale apenas para transaes de nvel mais alto.
Monitor de Processamento de Transaes

! Nas primeiras verses das integraes de sistemas corporativos, transaes eram tratadas por Monitor de Transaes (TP Monitor) ! TP Monitor oferecia um modelo de programao baseado em transaes para coordenar o acesso a servidores e bancos de dados
Integrao de aplicaes empresariais (EAI)

! Desacoplamento das aplicaes dos bancos de dados tornou evidente a necessidade de integrar aplicaes de forma independente de suas bases de dados. Modelo TP Monitor no separava aplicaes de suas bases de dados. ! Ficou evidente que componentes das aplicaes deveriam ser capazes de se comunicar diretamente uns com os outros, e no apenas por meio do comportamento requisio / resposta ! Diversos modelos surgiram para a comunicao inter-aplicao: RPC, RMI, MOM
Modelos de comunicao inter-aplicao

! Chamadas de procedimento remoto (Remote Procedure Call RPC):
! Permite que componente de aplicao envie requisio a outro componente, executando uma chamada local ! Chamada gera empacotamento da requisio como uma mensagem enviada ao n chamado ! Resposta retorna na forma de mensagem e repassada ao chamador
! Chamadas podem ser executadas tambm sobre mtodos de objetos remotos (Remote Method Invocation RMI) ! Desvantagens de RPC e RMI:
! Necessidade de chamador e chamado estarem ativos no momento da chamada ! Necessidade de conhecer mecanismo de referenciao
Modelos de comunicao inter-aplicao

! Novo middleware orientado a mensagem (Message Oriented Middleware MOM)
! Aplicaes enviam mensagem aos pontos de contato lgicos dos servios ! Identificao dos pontos de contato feita de acordo com o tipo da mensagem ! Aplicaes podem manifestar interesse por tipos especficos de mensagem ! Middleware se encarrega de encaminhar mensagens aos ns interessados em seus respectivos tipos ! Modelo chamado de publicar / subscrever (publish / subscribe)
Tipos de SD:
Sistemas Pervasivos Distribudos
! Gerao emergente de sistemas distribudos composta de ns pequenos, mveis e comumente embarcados em um sistema maior Caractersticas comuns (no necessariamente se aplicam a todos os ns):
! ! ! ! Ns de pequeno porte com energia fornecida por baterias Ns so mveis e comunicao ocorre via redes sem fio Ausncia de controle administrativo humano Necessidade de descobrir o ambiente e estabelecer comunicaes
Requisitos de aplicaes pervasivas:

! Adotar mudanas contextuais, considerando variaes no ambiente ! Incentivar composies ad-hoc: cada n pode ser usado de maneira distinta por diferentes usurios. necessrio apresentar configurao simplificada. ! Reconhecer compartilhamento como padro: ns aparecem e surgem dinamicamente, provendo servios e informaes compartilhadas
Aspecto: distribuio inerente s aplicaes e no se deve torn-la transparente

Sistemas Pervasivos: sistemas domsticos

! Interligam computadores pessoais, dispositivos eletrnicos, como TVs, equipamentos de udio e vdeo, jogos eletrnicos, SmartPhones e PDAs e outros dispositivos pessoais. ! esperado que todos os outros tipos de dispositivos eletrnicos venham a ser conectados a esse sistema distribudo Desafios: ! Sistema deve ser auto-organizvel e auto-gerencivel, sem administrador ! UPnP j prov mecanismos para obteno de endereamento ! Atualizaes, preservando questes de compatibilidade requer administrao ! Gerenciamento de espao pessoal de cada usurio: como tratar isolamentos e compartilhamentos? ! Quando volume de dados cresce, como localizar dados especficos? Sistemas de recomendao
Sistemas eletrnicos para tratamento de Sade

Electronic Health Care Systems
! ! ! ! ! ! Novos dispositivos esto sendo desenvolvidos para monitoramento do bem-estar de indivduos Possibilidade de contato automatizado entre sistema e mdico quando necessrio Sistemas equipados com vrios sensores organizados numa rede corporal sem fio (body-area network BAN) Rede deve causar perturbao mnima movimentao da pessoa Dispositivos so organizados usando hub local ou mantm conexo constante com rede externa Por questes de desempenho, dispositivos podem realizar processamento na rede, agregando dados antes de suas transmisses Onde e como os dados monitorados devero ser armazenados? Como evitar a perda de dados essenciais? Qual a infraestrutura necessria para gerar e transmitir sinais de alerta? Como os mdicos podem dar retorno on-line? Como prover robustez ao sistema de monitorao? Quais so as questes de segurana e como polticas adequadas so implementadas?
Questes:
! ! ! ! ! !
Sistemas eletrnicos para tratamento de Sade

! Comunicao pode ser intermediada por HUB, que coleta dados quando necessrio ! Em outros cenrios, BAN pode ser continuamente conectada a rede externa
Redes de Sensores
! Redes de sensores so usadas para processamento de informaes ! Redes consistem de dezenas a centenas, ou milhares, de ns relativamente pequenos ! Comunicao ocorre usando redes sem fio ! Energia para funcionamento dos ns provida por baterias ! Recursos limitados, capacidade de comunicao limitada e restries de energia requer eficincia em sua operao ! Redes de sensores podem ser vistas como bancos de dados distribudos ! Consultas sobre o estado do ambiente monitorado podem ser solicitadas aos sensores Abordagens de operao: ! Sensores no cooperam, mas simplesmente enviam dados para servidor de base de dados centralizado ! Sensores podem agregar dados antes de encaminh-los
Redes de Sensores
Questes: ! Desejvel recursos para processamento dos dados na prpria rede ! Processamento na rede pode envolver o encaminhamento dos dados ! Organizao hierrquica, na forma de uma estrutura em rvore, comum para agregao e encaminhamento dos dados Problemas: ! Como organizar dinamicamente uma rede de encaminhamento? ! Como agregar os dados? ! Como tratar falhas de comunicaes?
Redes de Sensores

Cap 01

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Cap 01

Enviado por

Direitos autorais:

Formatos disponíveis

Universidade Federal de So Carlos Departamento de Computao

Hlio Crestana Guardia - 2013

Hlio Crestana Guardia - 2013

Hlio Crestana Guardia - 2013

Sistemas Distribudos: aspectos

Tendncias em Sistemas Distribudos (*)

Hlio Crestana Guardia - 2013

Sistemas Distribudos: desafios

Sistemas Distribudos: organizao

Hlio Crestana Guardia - 2013

Hlio Crestana Guardia - 2013

Sistemas Distribudos: objetivos

Hlio Crestana Guardia - 2013

Hlio Crestana Guardia - 2013

Hlio Crestana Guardia - 2013

Hlio Crestana Guardia - 2013

Escalabilidade: fatores limitantes

Escalabilidade: fatores limitantes

Hlio Crestana Guardia - 2013

Escalabilidade: algoritmos descentralizados

Hlio Crestana Guardia - 2013

Escalabilidade: aspectos da comunicao

Hlio Crestana Guardia - 2013

Escalabilidade: gerenciamento de polticas

Hlio Crestana Guardia - 2013

Hlio Crestana Guardia - 2013

! Ex.: Domain Name System (DNS) informaes distribudas em zonas

Hlio Crestana Guardia - 2013

! Ex.: cache Problema:

! Ex. 2: CDN (Content Distribution Networks):

Desenvolvimento de SDs: armadilhas

Hlio Crestana Guardia - 2013

Tipos de Sistemas Distribudos

! Sistemas de Informao Distribudos (Distributed Information Systems):

! Sistemas Embarcados Distribudos (Distributed Embedded/ Pervasive Systems):

Sistemas de Computao Distribudos

Sistemas de Computao em Cluster

Hlio Crestana Guardia - 2013

Sistemas de Computao Distribudos

Computao em Grade (Grid Computing)

Sistema de Computao em Grade

Hlio Crestana Guardia - 2013

Sistemas de Informao Distribudos

Sistemas de Processamento de Transaes

Hlio Crestana Guardia - 2013

Transaes: Primitivas tpicas

Hlio Crestana Guardia - 2013

Hlio Crestana Guardia - 2013

Monitor de Processamento de Transaes

Hlio Crestana Guardia - 2013

Integrao de aplicaes empresariais (EAI)

Hlio Crestana Guardia - 2013

Hlio Crestana Guardia - 2013

Modelos de comunicao inter-aplicao

Hlio Crestana Guardia - 2013

Modelos de comunicao inter-aplicao

Hlio Crestana Guardia - 2013

Sistemas Pervasivos Distribudos

Requisitos de aplicaes pervasivas:

Aspecto: distribuio inerente s aplicaes e no se deve torn-la transparente

Sistemas Pervasivos: sistemas domsticos

Sistemas eletrnicos para tratamento de Sade

Hlio Crestana Guardia - 2013