Virtualização

Passado, Presente e
Futuro nas TI

Prof. Luís Veiga

Instituto Superior Técnico
INESC-ID Lisboa

Virtualization & Data Center Efficiency, CCB, 25 Jan 2011

 Virtualização: Origem e Motivação
• Tecnologia criada nos anos 60
– investigação, tecnologia, produto (IBM)
– mainframe, múltiplos utilizadores e sistemas operativos
– plataformas, sistemas, aplicações, serviços, flexibilidade
– âmbito restrito durante décadas
– separar recurso lógico do dispositivo/equipamento físico
• Ressurgimento no final dos anos 90
– plataformas PC/Intel, grande disseminação
– utilização simultânea de diferentes SO
• Windows  Linux/Unix/Mac, sem reboot
– E.g., Virtual PC (1997) e VMWare (1999), Xen, open source (2003)

2
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Virtualização: Perspectivas nas TI
• Relatórios Gartner (2008,2010)
– Virtualização: tendência de maior impacto nas TI 2008-2012
• Transformar as TI: sua aquisição, exploração, gestão.
– Prioridades Tecnológicas
• 1. Virtualização, 2. Cloud Computing
– Prioridades Negócio
• 1. business process improvement
• 2. reduce enterprise costs
• 4. workforce effectiveness
• VMWorld 2010 (San Francisco)
– 17000 participantes, 233 sponsors...

3
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Têndencias Históricas nas TI
• Tensão permanente nas TI
– Centralização vs. Distribuição
– capacidade, escala, desempenho, preço, custos, gestão,
flexibilidade, disponibilidade, rede, cobertura geográfica, ...
• Tendências cíclicas nas TI
– mainframes e terminais
– PCs desktop e redes locais
– supercomputadores
– clusters de PCs
– Web services, SOA
– Cloud Computing

4
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Índice
• Enquadramento da Virtualização
• Vectores de Aplicação
• Casos-de-Estudo
• Desafios e Propostas
• Casos Típicos Futuros
• Conclusão

5
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Virtualização: Vectores de Aplicação
• Virtualização
– papel determinante, actual, em ambas as tendências
• Centralização/Concentração
– Servidores
– Storage
– Desktop
• Distribuição/Descentralização
– Distribuição de Plataformas/Aplicações/Sistemas
• virtual appliances
• Abordagem global: cloud computing, utility computing
– virtualização como tecnologia chave
6
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Virtualização: Vectores de Aplicação
• Servidores: eliminar associação servidor-máquina
– encapsulamento numa VM, miríade de vantagens:
• dimensionamento da infraestrutura
– consolidação de VMs em menos máquinas físicas
• agilizar desenvolvimento, teste, produção
• fiabilidade:
– replicação, checkpointing, business continuity
• melhor utilização da infraestrutura computacional
– migração, load balancing, adequação a necessidades
– legacy re-hosting
• redução de TCO
– equipamento, energia, cooling, pegada carbono
7
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Virtualização: Vectores de Aplicação
• Storage: Storage Area Network, Network-Attached Storage
– eliminar associação dados <-> disco físico
– apenas discos lógicos são visíveis para as VMs
• dispersos por fragmentos em discos físicos

– crescimento dinâmico/ilimitado de discos lógicos

– migração de dados
– reaproveitamento de espaço não usado
• em discos físicos quando dedicados
– upgrade incremental de capacidade instalada
– gestão simplificada de backup, replicação, ...
8
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Virtualização: Vectores de Aplicação
• Desktop:
– alojamento e execução na TI centralizados
• enterprise (virtual) desktop executa em servidor virtual
• permite mobilidade entre localizações da organização
– racionalização do equipamento (ultra-thin-clients)
• terminais mais baratos e menor consumo (45 W vs. 85 W)
• renting, não aquisição pela organização
– racionalização da workforce
• simplificação da gestão de centenas de PCs
– e.g., laboratórios/escolas, escritórios, sector público,
municípios, linhas áereas, restauração, bilheteiras,...
9
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Virtual Appliances
• Descrição integrada de um sistema para execução:
• descrição de características de VMs
• discos virtuais mapeados por cada VM
• interfaces e topologia de rede
• permite descrição de várias VMs num único package
– deployment em qualquer infraestrutura física
• para teste, produção, no cliente
• instalação zero-time
• reutilização de configurações
– redução de custos manutenção e assistência
• elimina problemas/helpdesk com instalação de aplicações
• update/upgrade/patching -> envio de nova VA.

10
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Grid Computing
• Paradigma maduro de computação científica
– Aproveitamento de recursos computacionais
– Processamento de grandes quantidades de dados
– Geração de dados a grande ritmo, contínua
• Conceito chave: organização virtual
– Consórcio de laboratórios, institutos, universidades
• E.g., LHC, Grid5000, Grid4All, Integrade
• Acesso apenas institucional (embora frequentemente gratuito)
– Inicialmente focado na interoperabilidade (middleware),
• Standards para APIs, autorização , segurança
– Gestão de Recursos
• Aproveitamento de tempo ocioso (idle), cycle-sharing, escalonamento por reservas
• Tecnologias de Virtualização: lançamento de jobs em VMs
– Uniformidade de ambiente de execução e confinamento/isolamento

11
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Cloud Computing
• Novo paradigama para a IT: IT-as-a-Service em grande escala
– Infrastructure-as –a-Service, Platform-as-a-Service, Software-as-a-Service
– Cloud Storage
• ilusão de mainframe privado ou partilhado à escala global
– sem custos fixos elevados, sem barreiras à entrada
– sem inflexibilidades infraestruturais
• Elasticidade na aquisição de recursos
– (e.g., vCPUs/VMs, storage)
– sem necessidade de planeamento/dimensionamento para picos
• Modelo de gestão mais flexivel
– mudança de custos da aquisição para operação
– mensurabilidade do consumo (horas vCPU, storage, largura de banda)
• Economias de escala
12
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Caso-de-Estudo: Servidores e Storage
• PME - Empresa de Construção (EUA)
• Situação Inicial
– 26 servidores
• web, app servers, SQL, mail,...
– Grande volume de dados nos projectos
• Dimensão até 30 GB
– Armazenamento disperso por SF locais, partilhados
– Ausência de estratégia para catástrofes
– Consumo Energético: 133.000 KWh
– Pegada Carbono: 4,5 ton.
– Upgrade Servidores: $ 70.000
13
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Caso-de-Estudo: Servidores e Storage (2)
• Solução de Virtualização de Servidores e Storage
– 26 VMs em 4 servidores reais
– Armazenamento em SAN
• aproveitamento integral de discos
• checkpoint/snaphost VMs e backup dados
– incremental, não volumes completos
• propagados para SAN secundária remota
– recuperação dados e arranque aplicações numa catástrofe
– Energia: redução de 80% (para 26.700 KWh) -$12.000
– Pegada de carbono (1,5 ton) - $6,000
– Sem novo upgrade de servidores
14
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Caso-de-Estudo: Desktop
• Aeroporto (EUA)
– grande número de balcões, portas, pontos de controlo,...
• Situação Inicial
– balcões alugados a companhias aéreas
• tecnologia proprietária de cada uma
– rigidez na atribuição, períodos longos
– ineficência na reatribuição de balcões e portas
• substituir máquinas, sistemas, imagens/discos
– demora de aviões na pista
• indisponibilidade de uma porta proprietária

15
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Caso-de-Estudo: Desktop (2)
• Solução de Virtualização para Desktop
– balcões equipados com thin-clients
– remote desktops de VMs
– alojadas na TI da empresa de aviação
– aumento de eficiência
• atribuição fluída de balcões e portas
• conforme programação de voos e passageiros
• diminuição de períodos mortos
– aumento de flexibilidade
• reatribuição de balcões com paragem quase nula
• capacidade para lidar com atrasos, imprevistos
• adequação à procura e horários dos voos
16
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Desafios e Propostas
• Processamento
• Armazenamento
• Aplicações
• Exploração
• Gestão de TI

17
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Desafios e Propostas: Processamento
• Limitação de recursos e ineficiência das VMs
• CPU: número reduzido de vCPUs (e.g, 1 ou 2)
– limitam aplicações desenhadas para aproveitar multicores
• Memória: gestão mediada pelo hypervisor (shadow paging)
– SO guest da VM não gere directamente a sua memória
– ocupação de memória por múltiplas instâncias do SO
• I/O e conectividade: VIO pelo hypervisor compete pelo CPU
– exacerbado pela consolidação, BDs, e modelos three-tier, SOA
– Propostas
• hypervisors com VMs de 4/8 CPUs (scale-up além de scale-out)
• suporte H/W para virtualização nos processadores
– instruções hypervisor (e.g., VT-x), nested page tables em quad-
cores e tradução H/W, kernel same pages, direct VI/O, IOMMU.

18
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Desafios e Propostas: Armazenamento
• Virtualização na IT também gera dados
– Dados das VM são custo, não são de negócio, e.g.,
• descrições de VMs, virtual appliances
• imagens de discos e checkpoints de VMs,
• proliferação de VMs e imagens
• grande redundância e possível desperdício de espaço
– Propostas
• discos virtuais diferenciais para checkpoints incrementais
• utilização de deduplicação (rácio até 50:1)
– detecção de fragmentos idênticos entre imagens de discos, dados
• e.g., SO, aplicações, versões de documentos
• tiering e migração dos dados na infraestrutura
– camadas de storage por custo/velocidade/frequência de uso
19
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Desafios e Propostas: Aplicações
• Desenvolvimento com modelos pré-Cloud
– Dependência de software sistema
• e.g., ficheiros dados/volumes, sockets BD, RMI, MPI, ...
• uso escusado de bases de dados relacionais
– apenas para persistência, concorrência e visão tabular
• obrigam a licença, imagem e execução de SO, BD,...
• custo e inflexibilidade
– Propostas: uso de APIs e paradigmas Cloud e Web Services
• serviços cloud de dados estruturados
• apenas dependências lógicas nos dados (keys)
– e.g., Amazon S3, SimpleDB, Google BigTable
20
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Desafios e Propostas: Exploração
• Limitações na definição de Virtual Appliances (OVF, OVA)
– solução monolítica que define plataforma da VM
• inclui sistema operativo, aplicações, dados
• número de VMs rígido/fixo descrito no package
• sem descrição para gestão, scale-out, cores, checkpointing, etc.
• update/patching do SO apenas quando VM activa
• Vários formatos de discos virtuais: VMDK, VHD, VDI, QCOW, ....
– conversão, redundância, dificultam interoperação
• redimensionamento, defragmentação, reaproveitamento

• Propostas: extensibilidade formatos standard, golden images,

biliotecas de templates, herança/agregação dinâmica de VAs,
hierarquias de discos diferenciais, deduplicação.
21
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Desafios e Propostas: Gestão de TI
• Vendor lock-in a nível diferente:
• ...do lock-in de H/W, sistema operativo, especificidades BD
• ...para lock-in da gestão de virtualização (servidores, SAN)
• dependência “infraestrutural” e de know-how na organização
• configuração, monitorização, resposta
• Propostas: formatos standard e/ou tecnologia open-source?
– ainda caminho a percorrer:
• máximo denominador comum, muito em formatos proprietários
– configuração, regras, políticas de gestão e adaptação, SLAs,...
• funcionalidade avançada não universal:
– detecção de temperatura, consumo de energia, intensidade da
comunicação entre VMs para co-localização em máquinas físicas.
• Q: Como exportar infrastrutura para outra ferramenta de gestão?
• Q: Qual o custo de transferência/migração TI entre clouds?
22
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Cenários Típicos Futuros (1)
• Pequena-Média Empresa/Organização
– Departamento IT reduzido
• PME, escola, agência de viagens, restauração, hotelaria
– equipamento/plataforma
• máquinas em renting, troca frequente
• thin-clients, PCs com hypervisor, desktop virtualization
– software
• Software-as-a-Service (e.g., ferramentas de produtividade)
• Virtual appliances (aplicações genéricas ou específicas)
– storage
• Cloud storage, e.g., S3, BD no EC2
– processamento intensivo
• utility computing integrado com storage na cloud
23
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Cenários Típicos Futuros (2)
• Grande Empresa/Organização
– departamento e custo IT significativo
• utility, transportes, administração pública, empresa IT
– private cloud
• localizações federadas (data centers, escritórios, laboratórios)
• segmentado em zonas virtuais
– produção, desenvolvimento, teste, legacy, arquivo,...
• administração por zona virtual, por localização, e global
– ciclo de vida de VMs
– tiering de storage, deduplication
– políticas integradas e uniformes de gestão de recursos
– pooling de recursos em âmbito global e/ou local
– Uso de standards: interfaces, API, formatos, gestão (?)
24
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Cenários Típicos Futuros (3)
• IT-as-a-Service Marketplace, Cloud-in-a-Box
– coexistência de clouds públicas e privadas
– integração de ambas numa cloud global
– transações de IT como commodity
• compra, aluguer, cedência, venda, troca, direitos
– de recursos (CPU, storage), serviços, aplicações, acesso a dados
• sujeito a elasticidade na procura/oferta de H/W e S/W
– períodos de variação mais curtos (dia/noite, pico/vazio)
– mistura de papéis comprador e fornecedor
• modelos e interfaces standard para gestão
– medição de consumo/utilização, previsão de utilização
– definição de preços, facturação, SLA
– contratação, pagamento e migração
25
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Conclusão
• Virtualização é uma tecnologia madura
• benefícios importantes já a colher no presente
• económicos, organizacionais, ambientais
• empresas e organizações de toda a dimensão
• Tecnologia chave em Cloud Computing
• escala e flexibilidade de infraestrutura, aplicações, storage
• Vários major players das TI envolvidos
• e.g., Microsoft, Dell, IBM ,Oracle, HP, VMWare, ...
• Desafios actuais são resultantes do seu sucesso
• Incógnitas: Custo de transferência/saída da TI entre clouds
– apenas relatos de adesão e não de abandono...

26
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Lições de Outras Indústrias
• Gestão Centralizada de Recursos
– despacho da energia eléctrica
• nível nacional, barragens, subestações, rede eléctrica
– caminhos de ferro, frotas de transporte
• Aproveitamento de Excedentes
– reciclagem materiais, biogás, compostagem, ...
– água bombeada em barragens em horas de vazio
• Ganhos:
– redução custos, simplificação da gestão
– menor consumo energético
– menor pegada ambiental
27
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011
 Fim
• Obrigado

• Questões?

28
Virtualization & Data Center Efficiency, CCB, 25 Jan 2011