Você está na página 1de 33

DOCUMENTAO

Projeto: Infraestrutura
UNIVERSIDADE SALVADOR

Junho de 2014
Sumrio

Documentao
de Projeto
2
Implantao de Rede Corporativa em Estabelecimento de Ensino Unifacs................................3
Objetivos.................................................................................................................................... 4
Viso geral do projeto e arquitetura da soluo.........................................................................5
Limites do projeto de virtualizao............................................................................................ 7
Atividades de projeto................................................................................................................. 7
Planejamento do projeto......................................................................................................... 7
Implantao do Projeto........................................................................................................... 8
Diagramas................................................................................................................................ 11
Hardware dos servidores....................................................................................................... 11
Definies de rede para os servidores do VSphere...............................................................11
Definies da Topologia fsica da rede.................................................................................. 12
Definies de armazenamento para o cluster do VSphere....................................................12
Definies do cluster do VSphere......................................................................................... 13
Recomendaes para o ambiente............................................................................................ 15
Configurao dos Racks........................................................................................................... 16
Cabeamento estruturado......................................................................................................... 16
Codificao de cores............................................................................................................. 17
Cabeamento horizontal......................................................................................................... 17
Sala do CPD........................................................................................................................... 18
Link de Internet..................................................................................................................... 19
Rede Eltrica............................................................................................................................ 20
Protocolo.................................................................................................................................. 21
Sistemas Operacionais............................................................................................................. 21
Servios de backup e recuperao........................................................................................... 21
Estratgias de Backup........................................................................................................... 22
Software de Backup.............................................................................................................. 23
Topologia da rede..................................................................................................................... 25
Implantao Rede Wan............................................................................................................. 25
Concluso................................................................................................................................. 30
Referncias...................................................................................................................................
..................................30

Documentao
de Projeto
3

Implantao de Rede Corporativa em Estabelecimento de Ensino


Unifacs

Turma de Redes de Computadores

Cleiton Souza
Bruno de Oliveira
Daniel Macrio
Lehi Mathews
Luiz Rafael
Michel Cerqueira
Moiss Morais

Documentao
de Projeto
4

Objetivos
O objetivo primordial deste documento registrar todas as particularidades do
ambiente de Infraestrutura, implantado na infraestrutura de rede da UNIVERSIDADE
SALVADOR durante o projeto executado pela Turma de Redes de Computadores,
ocorrido entre os dias, na sede da UNIVERSIDADE SALVADOR em Feira de Santana,
Bahia.
O foco central deste projeto foi implantao de uma soluo Infraestrutura num
ambiente virtualizado em alta disponibilidade com o vSphere 5.1, que proporcionasse
UNIVERSIDADE SALVADOR uma infraestrutura de servidores segura e dinmica, entregando
o desempenho e a escalabilidade necessria s cargas de trabalho existentes e futuras do
ambiente.
Este documento permitir que a UNIVERSIDADE SALVADOR conhea e entenda toda
a arquitetura e o desenho atual do seu ambiente virtual. Servindo como material de consulta
e apoio ao trabalho dirio de administrao da soluo implantada.
Esta documentao foi elaborada em tpicos que foram divididos da seguinte forma:

Viso geral do projeto e arquitetura da soluo


Este tpico descreve o Projeto de Infraestrutura realizado na UNIVERSIDADE
SALVADOR de uma forma geral, analisando e descrevendo tambm, a arquitetura de
virtualizao empregada no projeto, o VMware VSphere.

Limites do projeto
Neste tpico descrevemos os limites do projeto implantado, assim como as atividades
realizadas durante a execuo do projeto.

Ambiente implantado
Neste tpico descreveremos o desenho do ambiente implantado.

Configuraes implantadas
Neste tpico descrevemos as configuraes especficas realizadas nos equipamentos
instalados.

Recomendaes gerais
Neste ltimo tpico descrevemos todas as recomendaes e boas prticas para a
administrao do ambiente visando o seu correto gerenciamento no decorrer do tempo.

Observao: Todas as recomendaes descritas neste documento foram realizadas com


base em experincias de projetos anteriores e da vivncia nas tecnologias aplicadas no
projeto por parte da nossa equipe de profissionais, no sendo a nica fonte de referncias
e/ou boas prticas a ser adotada.

Documentao
de Projeto
5

Viso geral do projeto e arquitetura da soluo


A implantao do Projeto de Infraestrutura dentro da UNIVERSIDADE SALVADOR tem
como objetivo a virtualizao de variadas cargas de trabalho, utilizando a plataforma
de virtualizao de servidores da VMware, o vSphere 5.1
Com base neste desafio, utilizamos o VMware vSphere 5.1 sobre uma plataforma de
servidores IBM Blade HS23 e storage IBM V3700, adquiridos pela UNIVERSIDADE
SALVADOR para este projeto de infraestrutura.
A virtualizao um componente fundamental de um ambiente de TI dinmico, um
ambiente que ajuda as pessoas em uma organizao a prever e reagir a desafios e
oportunidades de negcios. Um ambiente de TI dinmico um ativo estratgico para uma
empresa, pois aumenta sua habilidade de satisfazer as demandas em constante
transformao com reaes rpidas e eficazes. A Virtualizao fornece a flexibilidade
necessria, na infraestrutura de TI, para vencer esses desafios.
Separando a operao lgica do hardware fsico, um ambiente virtualizado fornece
maior flexibilidade operacional e dinamiza as alteraes no ambiente, enquanto fornece uma
plataforma que fortalece a continuidade dos negcios e escala rapidamente para satisfazer as
demandas da empresa. Ambientes virtualizados melhoram a capacidade de organizao da TI
de fornecer solues consistentes e robustas para vencer os desafios de forma rpida e
eficiente.
A tecnologia de virtualizao desempenha um papel cada vez mais crtico em todos os
nveis de TI, da estao de trabalho ao datacenter. Conforme mais organizaes usam a
virtualizao para gerenciar cargas de trabalho crticas, elas passam a tirar proveito dos
benefcios associados economia de custos da consolidao de servidores. Muitas destas
organizaes planejam estender a virtualizao para suportar funes bsicas como
continuidade de negcios, recuperao de desastres, testes, desenvolvimento e
gerenciamento de escritrios remotos.
P
ara ajudar os clientes a adotar facilmente a virtualizao, a VMware vem aprimorando
sua soluo de virtualizao de servidor a cada nova verso. O vSphere, atualmente na
verso 5.1, uma plataforma de virtualizao que fornece recursos de plataforma confiveis
e escalveis, junto com um conjunto nico de ferramentas integradas de gerenciamento para
controlar os recursos fsicos e virtuais. Alm disto, a VMware e seu ecossistema de parceiros
fornecem suporte abrangente que permite a voc implantar aplicativos utilizando a
plataforma de virtualizao da VMware com maior confiana e tranquilidade.

Plataforma de virtualizao confivel


O ESXi, Hypervisor do vSphere 5.1 fornece uma melhor confiabilidade e maior
escalabilidade que permitem as empresas virtualizarem sua infraestrutura de
servidores.

Gerenciamento integrado

Documentao
de Projeto
6
Com o vCenter, os clientes podem usar um nico conjunto de ferramentas para
gerenciar seus recursos fsicos e virtuais. Ele se encaixa facilmente na infraestrutura de
TI do cliente porque possibilita que este potencialize suas ferramentas e processos
existentes de atualizao, provisionamento, gerenciamento, alta disponibilidade e
suporte utilizando uma console nica.

Valor
O VSphere oferece grande valor ao permitir que profissionais de TI continuem a
potencializar suas habilidades individuais e os conhecimentos coletivos da comunidade,
ao mesmo tempo em que minimizam a curva de aprendizado. Com uma variedade de
solues de parceiros e com suporte abrangente da Microsoft para seus aplicativos e
sistemas operacionais convidados heterogneos, os clientes passam a ter uma maior
confiana na hora de virtualizar os seus servidores.

A virtualizao de servidores comumente utilizada nos seguintes cenrios:

1. Consolidao
Neste cenrio temos a consolidao de vrios servidores fsicas em um menor nmero
de mquinas fsicas (hosts) hospedando as mquinas virtuais (VMs). Este o cenrio mais
comum de virtualizao de servidores. Neste cenrio, temos ganhos de otimizao da
utilizao do hardware, visto que teremos vrias VMs rodando em um mesmo host fsico.
Como estamos reduzindo o nmero de mquinas fsicas temos um corte no consumo de
energia, utilizao de ar condicionado, espao fsico de datacenter, e at mesmo custos
operacionais relacionados a hardware. Adicionalmente, mquinas virtuais possuem uma
resposta muito mais rpida em cenrios de recuperao de desastres, aumentando o
uptime e a confiabilidade do ambiente.

2. Aplicao legada em sistema operacional legado


Muitas empresas hospedam servidores antigos, rodando algum sistema operacional
(SO) legado para suportar aplicaes legadas. Como as aplicaes legadas exigem um SO
compatvel, muitas vezes as empresas ficam obrigadas a utilizar SOs que no rodam em
hardware novos, por no existirem drivers compatveis com o SO legado. Com a tecnologia
de virtualizao possvel migrar esse ambiente para uma mquina virtual rodando esse
SO legado e assim hospedar essas aplicaes legadas nesta VM. Alm de termos todos os
ganhos obtidos com a consolidao, teremos tambm enormes benefcios de custo e de
manuteno do hardware antigo, pois poderemos agora hospedar essas VMs em um
hardware novo.

3. Ambiente de teste e desenvolvimento


Com a tecnologia de virtualizao podemos gerar novos ambientes de testes e/ou
desenvolvimento a partir de bibliotecas que contenham os padres de mquinas virtuais
da empresa, tornando o processo de provisionamento de ambientes muito mais flexveis e
dinmicos. Esse cenrio nos permite reduzir custos de criao de ambientes de testes e
desenvolvimento.

4. Alta disponibilidade

Documentao
de Projeto
7
Com a virtualizao podemos desvincular o servio (Ex.: File Server, DHCP, etc.) do
equipamento fsico, e assim prover uma nova viso de alta disponibilidade, onde o sistema
operacional passa a ser reconhecido pelo servio de cluster e com isso pode ser migrado
entre os diferentes ns do Cluster VMware. Existem duas formas de alta disponibilidade da
VM: proativa e reativa. Na proativa podemos optar por migrar uma VM de um n para
outro, de forma a reduzir a carga de trabalho, ou at mesmo isolar um host para executar
alguma manuteno programada. H tambm o processo reativo, onde um n (host) fica
fora do ar e com isso todos os seus recursos (VMs) so transferidos automaticamente para
outro n do cluster. No campo da alta disponibilidade podemos gerar vrios sub-cenrios,
onde se pode prover alta disponibilidade atravs de um sistema de backup e restore ou
migrao P2V (Physical to Virtual).

Limites do projeto de virtualizao


O projeto de virtualizao de servidores realizado pela Turma de Redes de
Computadores no ambiente de servidores da UNIVERSIDADE SALVADOR limitou-se a
realizao das atividades relacionadas abaixo:

Instalao fsica e configurao de trs servidores IBM BladeCenter HS23 com o ESXi
5.1;
Instalao fsica e configurao lgica de um storage IBM V3700 para o ambiente de
virtualizao de servidores;
Instalao e configurao do vCenter 5.1
Instalao e configurao do VDP (VMware Data Protection)
Instalao e configurao do VCOPS (VMware Vcenter Operations Manager)
Implementao de um ambiente de virtualizao de servidores com o VMware vSphere,
em alta disponibilidade usando o vCenter 5.1, entre os servidores IBM HS23.
Criao de documentao do ambiente de virtualizao de servidores implantado no
projeto.

Atividades de projeto
Neste tpico descrevemos as atividades realizadas durante as fases que compem o
projeto de virtualizao de servidores realizado no ambiente da UNIVERSIDADE
SALVADOR.

Planejamento do projeto
Durante a fase de planejamento para este projeto os seguintes pontos foram definidos em
conferncia, realizada no ms de Junho de 2014 entre a equipe de projetos da Turma de
Redes de Computadores e a equipe de TI da UNIVERSIDADE SALVADOR:

A instalao e configurao dos equipamentos de hardware assim como dos sistemas


que compem o projeto, ser realizada em Feira de Santana, Bahia;
Devero ser criados alguns templates de mquinas virtuais com o Microsoft Windows
Server 2008 R2 para uso futuro;

Documentao
de Projeto
8

Devero ser criadas 13 maquinas virtuais para a criao do ambiente do SAP.


A rede iSCSI foi definida com a faixa 10.254.254.0/27
O hardware dos servidores a qual ser instalado ESXi 5.1 e funcionaro como host para
o ambiente de virtualizao, tem a seguinte configurao base:
IBM BladeCenter HS23
2x processadores Intel Xeon E52620 8x Cores de 2.4 GHz (E5-2665);
212 GB de memria RAM;
2x discos SAS de 300 GB.
4 Placas de Rede (NIC) de 1 GB
Observao: Maiores detalhes podero ser vistos na seo Diagramas, deste
documento.

Documentao
de Projeto
9

Implantao do Projeto
A etapa de implantao do projeto de virtualizao de servidores, contempla as
seguintes atividades:
FASE I - Integrao, configurao e atualizao dos equipamentos de hardware

O storage IBM Storwize V3700 ter as seguintes definies e configuraes:


Hostname: V3700
Configuraes da interface de gerncia para a controladora A e B (Cluster):
Configurao IP: 192.168.0.200/24;
Gateway: 192.168.0.249
Configurao da interface de servio da controladora A
Configurao IP: 192.168.0.201/24;
Gateway: 192.168.0.249
Configurao da interface de servio da controladora A
Configurao IP: 192.168.0.202/24;
Gateway: 192.168.0.249
Criao dos Mdisks: *
Nome: Mdiskgrp0; *
Nvel de RAID: RAID 10; *
Discos associados: Da baia 1 a baia 18; *
Disco de spare: Baia 10; *
Capacidade do array: 4,90 TB. *
Os firmwares dos servidores BladeCenter HS23 devem estar atualizados com a verso
mais nova instalada.
Host Firmware
Build ID: TKE128RUS
Version: 1.40
Date: 30/04/2013
Diagnostic:
Build ID: DSYTBE6
Version: 9.33
Date: 17/04/2012

FASE II - Implementao do ambiente de virtualizao de servidores

Instalar o ESXi no primeiro servidor IBM BladeCenter HS23 com as seguintes


configuraes:
Configuraes de rede:
Hostname: vmware04.unifacslocal.com.br;
IP: 192.168.0.203;
Mask: 255.255.255.0;
Gateway: 192.168.0.249;
DNS: 192.168.0.209;
Configuraes de disco:
Volume de 300 GB em RAID 1 para o ESXi.
Habilitamos o acesso remoto ao servidor vmware04 via SSH;

Documentao
de Projeto
10

Configurar os NTPs Servers com a.ntp.br, b.ntp.br e c.ntp.br;


Criao de dois vSwitches, um para o fluxo de dados das VMs e para gerenciamento e
do host e outro para a Rede iSCSI, segue abaixo as configuraes de cada vSwitch.
Nome: vSwtich0
Port Group de Virtual Machines: VM Network
Port Group de gerenciamento: Management Network
Endereo IP: 192.168.0.203/24
Nome: vSwitch1
Port Group da rede iSCSI: iSCSI Network1
Endereo IP: 10.254.254.9/224
Port Group da rede iSCSI: iSCSI Network2
Endereo IP: 10.254.254.10/224
Binding dos Port Groups iSCSI Network1 e iSCSI Network2
Instalar o ESXi no segundo servidor IBM BladeCenter HS23 com as seguintes
configuraes:
Configuraes de rede:
Hostname: vmware05.unifacslocal.com.br;
IP: 192.168.0.140;
Mask: 255.255.255.0;
Gateway: 192.168.0.249;
DNS: 192.168.0.209;
Configuraes de disco:
Volume de 300 GB em RAID 1 para o ESXi.
Habilitar o acesso remoto ao servidor vmware05 via SSH;
Configurar os NTPs Servers com a.ntp.br, b.ntp.br e c.ntp.br;
Criao des dois vSwitches, um para o fluxo de dados das VMs e para gerenciamento e
do host e outro para a Rede iSCSI, segue abaixo as configuraes de cada vSwitch
Nome: vSwtich0
Port Group de Virtual Machines: VM Network
Port Group de gerenciamento: Management Network
Endereo IP: 192.168.0.140/24
Nome: vSwitch1
Port Group da rede iSCSI: iSCSI Network1
Endereo IP: 10.254.254.11/224
Port Group da rede iSCSI: iSCSI Network2
Endereo IP: 10.254.254.12/224
Binding dos Port Groups iSCSI Network1 e iSCSI Network2
Instalar o ESXi no terceiro servidor IBM BladeCenter HS23 com as seguintes
configuraes:
Configuraes de rede:
Hostname: vmware06.Unifacslocal.com.br;
IP: 192.168.0.141;
Mask: 255.255.255.0;
Gateway: 192.168.0.249;
DNS: 192.168.0.209;
Configuraes de disco:
Volume de 300 GB em RAID 1 para o ESXi.
Habilitamos o acesso remoto ao servidor vmware06 via SSH;
Configuramos os NTPs Servers com a.ntp.br, b.ntp.br e c.ntp.br;

Documentao
de Projeto
11

Criao de dois vSwitches, um para o fluxo de dados das VMs e para gerenciamento e
do host e outro para a Rede iSCSI, segue abaixo as configuraes de cada vSwitch
Nome: vSwtich0
Port Group de Virtual Machines: VM Network
Port Group de gerenciamento: Management Network
Endereo IP: 192.168.0.203/24
Nome: vSwitch1
Port Group da rede iSCSI: iSCSI Network1
Endereo IP: 10.254.254.13/224
Port Group da rede iSCSI: iSCSI Network2
Endereo IP: 10.254.254.14/224
Binding dos Port Groups iSCSI Network1 e iSCSI Network2

Licenciamos e ativamos os trs servidores com as chaves de ativao fornecida pela


equipe da UNIVERSIDADE SALVADOR;
O vCenter ser instalado em uma mquina virtual com as configuraes abaixo:
Sistema Operacional Windows 2008 R2 SP1
2 vCPU
6 GB de memria RAM
Disco C: (SO) - 40 GB
Disco D: (Swap) 8 GB
Disco E: (Aplicao) 80 GB
Configurao do vCenter da seguinte forma;
Criao do Data Center UNIVERSIDADE SALVADOR
Criao do Cluster CL-vSphere5
Adicionar novos hosts ESXi ao cluster CL-vSphere5;
Habilitar o recurso de HA e vMotion no cluster CL-vSphere5 (High Availability).
Associar o servidor VMWARE04 ao storage v3700 com as seguintes configuraes:
Hostname (Alias): VMWARE04
iSCSI Iniciator: iqn.1998-01.com.vmware:vmware04
Associar o servidor VMWARE05 ao storage v3700 com as seguintes configuraes:
Hostname (Alias): VMWARE05
iSCSI Iniciator: iqn.1998-01.com.vmware:vmware05
Associar o servidor VMWARE06 ao storage v3700 com as seguintes configuraes:
Hostname (Alias): VMWARE06
iSCSI Iniciator: iqn.1998-01.com.vmware:vmware06
Criar as seguintes LUNs no storage V3700 para utilizao no ambiente de virtualizao:
Nome: DATASTORE_VMs
Tamanho: XXXXX
Nome: XXXXXXX
Tamanho: 2 XXXXX
Nome: XXXXXX
Tamanho: XXXX
Apresentar as LUNs DATASTORE_SO_1, DATASTORE_SO_2, DATASTORE_DADOS_1,
DATASTORE_DADOS_2, aos hosts VMWARE04, VMWARE05 e VMWARE06;
Criar um template de mquina virtual com as seguintes caractersticas e configuraes:
Sistema Operacional: Windows Server 2008 Enterprise
Disco: 40 GB
4 GB de memria RAM;

Documentao
de Projeto
12

FASE III - Transferncia de conhecimento

Realizar a transferncia de conhecimento in loco da administrao e manuteno dos


sistemas e equipamentos implantados no decorrer do projeto.

Diagramas
Nesta seo relacionaremos Diagramas que demonstram visualmente as solues
adotadas e documentadas nos itens anteriores deste documento, dando uma ideia
visual e detalhada da arquitetura das solues como estas se encontram ao final do
projeto de Infraestrutura.

Hardware dos servidores.


Os equipamentos de hardware utilizados para os servidores, ou seja, os servidores que
executam o ESXi, possuem as seguintes caractersticas:

Figura 1 - Hardware dos servidores ESXi

Documentao
de Projeto
13

Definies de rede para os servidores do VSphere


Seguindo as melhores prticas recomendadas pela VMware para um ambiente de alta
disponibilidade utilizando o ESXi 5.1 com vCenter 5.1, ser configurado grupos distintos
de placas de rede para executar diferentes funes dentro do ambiente de
virtualizao.
Cada conjunto de placas possui uma funo especfica dentro do
proporcionando alta performance e disponibilidade ao ambiente de virtualizao.

cluster,

Manager Network
Funo: Conjunto de placas que sero utilizadas como interface de rede para o
gerenciamento dos ESXi. Esta rede ser utilizada para administrao dos hosts fsicos e para
a comunicao destes com o mundo externo (LAN, WAN, etc.).
Velocidade: 2 Gbps
vMotion
Funo: Conjunto de placas de rede que sero utilizadas mover as maquinas virtuais
de host fsico para o outro sem causar indisponibilidade das mesmas.
Velocidade: 2 Gbps
Virtual Machines
Funo: Conjunto de placas de rede que ser utilizado como switch virtual para a
comunicao das mquinas virtuais criadas com a rede externa (LAN, WAN).
Velocidade: 2 Gbps
Rede iSCSI
Funo: Conjunto de placas de rede que sero utilizadas para a criao da SAN
(Storage rea Network). Esta rede permite que os hosts se comuniquem com os Storages
conectados nessa rede e trafeguem comandos SCSI atravs do protocolo TCP/IP.

Definies da Topologia fsica da rede.


A rede fsica (LAN e iSCSI) foi conecta de forma totalmente redundante. Foram
separadas duas placas de rede para a rede local e duas placas para a SAN iSCSI. As placas de
cada rede sero configuradas para acessarem switches diferentes, a mesma configurao
ser aplicada para a SAN iSCSI. Cada controladora do Storage V3700 tambm ser conectada
em swicthes diferentes. Com essa configurao, caso qualquer um dos componentes da
soluo implementada falhe, o ambiente continuar operacional.

Definies de armazenamento para o cluster do VSphere


As definies de armazenamento para o ambiente de cluster do VSphere sero
configuradas seguindo as melhores prticas em ambiente de virtualizao com

Documentao
de Projeto
14
armazenamento distribudo. Com o intuito de fornecer uma maior performance para o
ambiente dividimos o armazenamento das mquinas virtuais em volumes distintos no
storage V3700.
Os volumes entregues aos hosts so reconhecidos como discos distintos para o ESXi. O
VMFS, sistema de arquivos do ESXi, permite que vrios hosts acessam os discos ao mesmo
tempo sem corromper os dados. Cada volume apresentado foi formatado como um DataStore.

Definies do cluster do VSphere


Levando em considerao os requisitos de disponibilidade para os servidores da
UNIVERSIDADE SALVADOR, a arquitetura de virtualizao de servidores foi
desenhada e implementada em um cluster de hosts do VMware vSphere.
Neste tipo de cluster, os trs hosts esto ativos e em produo, podendo executar
mquinas virtuais em igual proporo de capacidade. Em caso de falha de um dos hosts todas
as mquinas virtuais sero movidas de um host para o outro, podendo continuar com a sua
operao neste host aps o retorno do funcionamento destas mquinas virtuais.
J em caso de uma manuteno programada, toda as mquinas virtuais de um
determinado host poder ser movida via vMotion de um host para o outro sem qualquer
parada para os sistemas que esto em execuo nestas mquinas virtuais.

Documentao
de Projeto
15

Abaixo a representao lgica do cluster implantado no ambiente da UNIVERSIDADE


SALVADOR:

Figura 2 - Representao lgica do cluster do VSphere implantado na UNIVERSIDADE


SALVADOR

Documentao
de Projeto
16

Recomendaes para o ambiente


Nesta seo descrevemos as consideraes e recomendaes gerais acerca do
ambiente implantado na UNIVERSIDADE SALVADOR, estas consideraes visam
manter a melhor operao possvel do ambiente seguindo as melhores prticas do
mercado e experincias passadas de nossa equipe em projetos:
Consideraes quanto a Segurana

No recomendada a instalao de nenhuma mquina virtual nos DataStore locais,


essa pratica far com as funcionalidades de vMotion e HA deixem de funcionar para a
mquina virtual alocada nos discos locais.

Limite o acesso do usurios, restringindo a interface de gerenciamento e forando as


polticas de segurana configurando restries de senha.

Sempre gerenciar os hosts ESXi atravs do vSphere Client ou ferramentas de terceiros.


Usando vSphere cliente, permite que o administrador limite as contas de usurio e
delegue as permisses necessrias com segurana. O acesso via linha de comando
com o usurio root deve ser feito apenas em caso extremos para resoluo de
problemas.

Apenas atualize os componentes do ESXi atravs de fontes da VMware.

Manter um backup atualizado das configuraes do VSphere e das mquinas virtuais


para casos de recuperao desastres, utilizando ferramenta de backup homologada
para funcionar em ambiente com o VSphere 5.1.

Observao: Todas as recomendaes acima se baseiam no documento vSphere Security


ESXi 5.1 que podem ser encontradas nos sites abaixo:
http://pubs.vmware.com/vsphere-51/topic/com.vmware.ICbase/PDF/vsphere-esxi-vcenterserver-51-security-guide.pdf
Consideraes quanto a Performance e Operao

Recomendamos sempre instalar os VMware Tools nas mquinas virtuais criadas;

Recomendamos a utilizao de mltiplos volumes (arrays do storage IBM) para


armazenar as mquinas virtuais, sempre dividindo o acesso aos arrays pelas
controladoras do storage (Controladora A e Controlador B);

Manter sempre o firmware mais atual dos equipamentos de hardware como servidores,
storage, etc.

Documentao
de Projeto
17

Recomendamos que todas as senhas utilizadas durante o projeto em equipamentos de


hardware e sistemas sejam imediatamente alterada, utilizando os critrios de senha
forte;

Configurao dos Racks


Rack 1:

Ser instalado dentro do Laboratrio 1


Colocao de dois patch panel de 48 portas UTP RJ-45.
Fixao de 8 pontos de rede na sala do CPD ao patch panel.
Passagem de 8 cabos de fibra optica para ligarem os Rack 2, Rack 3, Rack 4, Rack 5
localizados no 2, 3, 4 andar.

Rack 2:

Ser instalado dentro do laboratrio 2


Colocao de dois patch panel de 48 portas UTP RJ-45.

Rack 3:

Ser fixado na sala de aula 25


Colocao de um patch panel de 48 portas UTP RJ-45.

Rack 4:

Ser fixado na sala de aula 35


Colocao de dois patch panel de 48 portas UTP RJ-45.

Rack 5:

Ser fixado no laboratrio especfico 01


Colocao de dois patch panel de 48 portas UTP RJ-45.

Cabeamento estruturado
Neste tpico descrevemos as atividades realizadas durante as fases que compem o
projeto de virtualizao de servidores realizado no ambiente da UNIVERSIDADE
SALVADOR. Confeccionamos no projeto um cabeamento estruturado no apenas
obedecendo s normas, mas, tambm, tornando-o escalvel s tecnologias futuras,
alm de proporcionar grande flexibilidade de alteraes e expanses do sistema.

Documentao
de Projeto
18
O sistema montado ir permite o trfego de qualquer tipo de sinal eltrico de udio,
vdeo, controles ambientais e de segurana, dados e telefonia, convencional ou no, de baixa
intensidade, independente do produto adotado ou fornecedor.
Garantiremos a vida til de at 10 anos, tendo base que um sistema de cabeamento
estruturado, quando da instalao, deve se ter uma vida til de no mnimo 10 anos, este o
tempo que manteremos desde a ocupao comercial do prdio.

Codificao de cores
Foram adotadas uma codificao de cores na capa externa ao cabeamento, prevendo
uma diferenciao visual entre os cabos, bem como para as vrias funes e aplicaes
existentes neste projeto, a saber:
Cabos de manobra:

Dados (Uplink): cor da capa externa verde;


Dados (pinagem direta): cor da capa externa azul;
Voz (Telefone): cor da capa externa vermelho;
Vdeo (CFTV): cor da capa externa amarelo.

Cabos de rea de trabalho:

Dados (pinagem direta): cor da capa externa azul;


Voz (Telefone): cor da capa externa cinza - Cabo RJ11 Telefone/Fax, convencional.

Cabeamento horizontal
O cabeamento horizontal consiste na interligao entre tomadas das reas de trabalho
(wall plates) com os patch panels instalados nos Racks de cada pavimento. Esta etapa do
cabeamento estruturado ser implantada com base em um quantitativo de () pontos duplos,
distribudos em um nico pavimento (trreo).
No rack, o cabeamento horizontal transportado pela tubulao (leito principal), ser
interconectado a patch panels de 48 portas categoria 6. O limite mximo de extenso dos
cabos UTP ser de 90 metros. Porm, de acordo com as normas previstas (destacadas
anteriormente), poder chegar at 100 metros com a aplicao dos cordes de manobra
(patch cord). Estes cordes faro a interligao entre as portas dos paths panels e das
tomadas de lgica aos equipamentos ativos (switches e adaptadores de rede).
Tambm conhecido como backbone horizontal, pois por ele que sara a maioria dos
cabos de rede que ligara todas as estaes de trabalho. O cabo de categoria 5e suprir
nossas necessidades. O comprimento mximo para a cabeamento Horizontal, definido na
norma EIA/TIA 568A, de 90 metros, independente do meio de transmisso utilizado
justamente pra se evitar perda de dados. Os cabos homologados pelas normas so:

Documentao
de Projeto
19
Cabo UTP de 100 Ohms (22 ou 24 AWG):

800 metros para voz (20 a 300 MHz);


90 metros para dados (Cat. 3,4 e 5Voz (Telefone): cor da capa externa vermelho;

Figura 3 Cabeamento horizontal

Um clculo de 5600 mts de cabo, pois em nosso projeto cada sala ter um dois pontos de
rede.

Figura 4 Distancias limites

Sala do CPD
A principal funo da sala a terminao do cabeamento horizontal e de backbone,
abrigando os correspondentes hardwares de conectividade e equipamentos ativos de
telecomunicaes que forem necessrios.

Documentao
de Projeto
20
Mantivemos no projeto toda a infraestrutura do cabeamento horizontal em uma nica
sala, sem pontos a mais de consolidao. Nosso interesse ser o de proporciona um ambiente
controlado para fornecimento de energia (UPS), temperatura e umidade, acomodando os
diversos equipamentos de telecomunicaes, hardware de conexo que estaro servindo ao
prdio.
Dever ser uma sala climatizada e acima das dimenses mnimas que de 9m, nesse
projeto teremos basicamente (6.00m x 6.00m), ou seja, 36m, no podendo sofrer nenhum
tipo de infiltraes gua nas paredes / divisrias que possam danificar os componentes do
cabeamento e os equipamentos de conectividade a serem instalados pelo CCPI;
Conter com um 03 (trs) racks do tipo aberto, sendo 02 (dois) de 44Us e 01 (um) de
36Us, para acomodar os componentes de cabeamento estruturado supracitados;
No projeto cada andar ter um armrio que ser ligado por fibra ptica, de onde sair o
cabeamento horizontal da rede. Para que este hardware de conexo seja protegido contra o
manuseio indevido, instala-se todos os hardwares de conexo, suas armaes, racks, e outros
equipamentos em uma sala, onde o armrio ser fechado e lacrado s podendo ser aberto
para manuteno e sempre por um profissional responsvel.

Link de Internet
Esse local ser destinado a entrada de servios de telecomunicaes no edifcio, links
pticos ou como Embratel, OI etc. No nosso projeto ser adotada o link da Embratel de 10 Mb
(fibra) dedicado e outro link dedicado de 10Mb fornecido pela OI, sendo que esse mtodo
divide a linha em trs canais digitais, um para voz, um para download e outro para upload.

Documentao
de Projeto
21

Rede Eltrica
Todos os equipamentos: servidores, estaes de trabalho, impressoras, router,
switches, hubs, etc., devero estar ligados a uma rede eltrica estabilizada, devidamente
aterrada, para proteger os referidos equipamentos contra variao de tenso. Devero ser
instalados Nos breaks estabilizados no quadro que distribui os pontos fsicos (Eltricos) com o
objetivo de permitir uma manuteno eficiente no quadro eltrico, bem como no permitir
falhas no hardware instalado (Defeitos em placas de rede, discos e instabilidade de
impresso) impedindo que haja quedas inesperadas de energia e que trabalhos em
determinados departamentos no parem for falta de luz. A rede eltrica dever estar dentro
das recomendaes tcnicas, testada e certificada pelos fornecedores dos hardwares que
sero instalados.

Figura 4 Afastamento entre canaletas

Documentao
de Projeto
22

Protocolo
Todos os equipamentos: servidores, estaes de trabalho, impressoras, router,
switches, hubs, etc., devero estar ligados a uma rede eltrica estabilizada, devidamente
aterrada, para proteger os referidos equipamentos contra variao de tenso. O protocolo
ser o TCP/IP, por ser o mais utilizado em todo mundo.
O conjunto de protocolo TCP/IP foi projetado especialmente para ser o protocolo
utilizado na Internet. Sua caracterstica principal o suporte direto a comunicao entre redes
de diversos tipos. Neste caso, a arquitetura TCP/IP independente da infraestrutura de rede
fsica ou lgica empregada. De fato, qualquer tecnologia de rede pode ser empregada como
meio de transporte dos protocolos TCP/IP. Entre os protocolos que fornecem servios para
atender as prprias necessidades do sistema de comunicao esto o DNS e o DHCP.
O DNS (Domain Name System) um esquema de gerenciamento de nomes, hierrquico
e distribudo. O DNS define a sintaxe dos nomes usados na Internet, regras para delegao de
autoridade na definio de nomes, um banco de dados distribudo que associa nomes a
atributos (entre eles o endereo IP) e um algoritmo distribudo para mapear nomes em
endereos. O DHCP (Dinamic Host Configuration Protocol) possibilita a distribuio automtica
de endereos IP de forma manual, dinmica ou automtica para as mquinas na rede.
A arquitetura TCP/IP fornece no somente os protocolos que habilitam a comunicao
de dados entre redes, mas tambm define uma srie de aplicaes que contribuem para a
eficincia e sucesso da arquitetura. Entre os servios mais conhecidos da Internet esto o
correio-eletrnico (protocolos SMTP, POP3, IMAP), a transferncia de arquivos (FTP), o
compartilhamento de arquivos (NFS), a emulao remota de terminal (Telnet), o acesso a
informao hipermdia (HTTP), conhecido como WWW (World Wide Web). ( Redes de
Computadores Das Lans, Mans e Wans s Redes ATM Luiz Fernando Gomes Soares
Ed.Campus ).

Sistemas Operacionais
O Sistema Operacional que ser utilizado nos servidores o Microsoft Windows Server
Enterprise x64. O Windows Server Enterprise x64 foi escolhido por ser o mais utilizado como
Sistema Operacional de Rede. Ele aberto, possui vrios nveis de segurana, dispem de
vrios recursos administrativos, alm de ser totalmente grfico e interativo. Por ser o Sistema
Operacional de Rede mais utilizado no mercado, ele o que tem maior nmero de softwares
aplicativos e utilitrios desenvolvidos e disponveis no mercado, totalmente compatveis.

Documentao
de Projeto
23
Nas estaes de trabalho sero utilizados o sistema operacional Windows 7
professional. Este tambm ser utilizado por ser o mais difundido e totalmente compatvel
com a maioria dos softwares desenvolvidos no mercado, alm de interagir com o Sistema
Operacional Windows Server Enterprise x64.

Servios de backup e recuperao


As organizaes dependem de dados crticos para a operao com xito de seus
negcios. As tecnologias de backup e recuperao so a base das estratgias de
proteo de dados que ajudam as organizaes a atender aos seus requisitos de
disponibilidade e acessibilidade de dados. Os data centers podem usar componentes
redundantes e tecnologias de tolerncia a falhas (como clusters de servidor e
espelhamento de software ou hardware) para garantir a alta disponibilidade replicando
dados cruciais.
No entanto, apenas essas tecnologias no podem resolver os problemas
causados por corrupo ou excluso de dados, que podem ocorrer devido a erros em
aplicativos, vrus, violaes de segurana ou erros do usurio. Voc tambm pode
precisar manter informaes em formato arquivado, por motivos de auditoria industrial
ou legal. Esse requisito pode abranger dados transacionais, documentos e informaes
de colaborao, como e-mail.
Voc deve, portanto, ter uma estratgia de proteo de dados que inclua um
esquema abrangente de backup e recuperao para proteger os dados contra qualquer
tipo de pane ou desastre no previsto e que atenda a qualquer requisito industrial
relevante para a reteno de dados.

Estratgias de Backup
Os dados da instituio, sero mantidos em servidores de arquivos ou em servidores de
bancos de dados, centralizado, oferecendo facilidade no gerenciamento e administrao. Com
isso, os dados tero maior proteo, atravs de backups e disponibilidade na rede de forma
mais rpida, restrita e criteriosa.
Estratgias

Os dados a serem restaurados devem ser fceis de localizar.


A restaurao deve ser feita o mais rpido possvel.

Plano de Backup

Agendamento dos backups em horrios fora de pico.


No efetuar backup de dados desnecessrios.

Documentao
de Projeto
24

Efetuar frequentemente os testes dos backups, mesmo que em um ambiente de teste


para verificar a integridade dos dados.

Mdia de armazenamento
A mdia de armazenamento ser em disco magntico, pois fcil de configurar a
manter os dados com maior tempo de vida til, dessa forma poder ser utilizado para testes
dos dados.
Ser utilizado o StorCenter px12-400r 48 Terabytes, foto ilustrativa figura 1 a seguir:

Figura 5 StorCenter px12-400r

Informaes tcnicas

12 discos de 4TB
Fator de forma 2U, suporta at 12 (doze) de 3,5 polegadas discos rgidos SATA
Quad Core 3.3GHz Intel Core i3 Ivy Bridge.
4 GB de memria DDR3 Quatro (4) portas 10/100/1000 Mbps Ethernet (conector RJ 45).
Suporte para 10GbE opcional atravs de placa PCI 10GbE (vendido separadamente)
4-drive ou disco-12 configuraes incluem SATA-II do Class Server unidades de disco
rgido.
Confiabilidade MTBF: 1200000 horas
Latncia / tempo de busca: 4,17 ms
Sensor de vibrao de rotao: Sim
Velocidade de Rotao: 7200 rpm
RAID 0, 1, 10, 5, 5 + sobressalente, e 6 de proteo em uma base per-piscina de
armazenamento. (Nota: todos os discos em um pool RAID / nico de armazenamento
deve ser a mesma capacidade, velocidade e fabricante mistura diferentes tipos de
unidades pode resultar em um comportamento imprevisvel.)
Bloquear pools de armazenamento; mximo de 32 LUNS por piscina. Mximo de 128
LUNS por dispositivo
Piscinas de armazenamento de arquivos, 256 mxima por LUNs piscina. 256 LUNs
mximo por dispositivo
Trs portas USB 2.0; Uma dianteira, duas traseiras
LAN padres: IEEE 802.3, IEEE 802.3u
Rudo acstico - 56 dBA mximo

Valor unitrio: R$ 35.999,10

Documentao
de Projeto
25
(http://www.iomegastore.com.br/ecommerce_site/produto_17970_6280_Iomega-StorCenterpx12-400R-48TB-)

Software de Backup
Arquiteturas de backup e proteo de dados como os conhecemos est prestes a
passar por uma srie de mudanas drsticas nos prximos anos. O mercado est se
transformando rapidamente quanto os usurios finais resistir a uma tempestade perfeita de
bater a sua infraestrutura e que afetam a eficincia de suas operaes.
Implementaremos o Software ARCserve Backup r16.5. Oferece uma ampla soluo de
recursos para Backup.
Caractersticas de Backup

Backups Online - Os backups so feitos enquanto os dados permanecem acessveis


aos usurios. Os backups online so executados quando o sistema est online,
proporcionando assim uma estratgia com menos interrupes. Eles normalmente so
usados para aplicativos que devem estar disponveis 24 horas por dia, como o
Microsoft Exchange Server e o Microsoft SQL Server, que do suporte para backups
online.
Vantagens: Nenhuma interrupo do servio, o backup fora do expediente no
necessrio, backup total ou parcial.

Backups Offline - Os backups so feitos enquanto os dados esto inacessveis aos


usurios. Os backups offline so executados colocando-se o sistema e os servios
offline. Eles so usados se voc precisar de instantneos do sistema ou se o aplicativo
no der suporte para backups online.

Backups Totais - Captura todos os dados, incluindo arquivos de todas as unidades de


disco rgido. Cada arquivo marcado como tendo sido submetido a backup; ou seja, o
atributo de arquivamento desmarcado ou redefinido. Um backup total pode ser usado
para restaurar um servidor completamente em um determinado momento.

Backups incrementais - Captura todos os dados que foram alterados desde o backup
total ou incremental mais recente. Deve-se usar uma fita de backup total (no importa
h quanto tempo ela tenha sido criada) e todos os conjuntos de backups incrementais
subsequentes para restaurar um servidor. Um backup incremental marca todos os
arquivos como tendo sido submetidos a backup; ou seja, o atributo de arquivamento
desmarcado ou redefinido.

Backups diferenciais - Captura os dados que foram alterados desde o ltimo backup
total. Precisa de um backup total e de um backup diferencial mais recente para
executar uma restaurao completa do sistema. Ele no marca os arquivos como
tendo sido submetidos a backup (ou seja, o atributo de arquivamento no
desmarcado).

Documentao
de Projeto
26

Topologia do Backup
Instalaes de backup baseadas em LAN so uma soluo comum em cenrios
empresariais. O software de backup ARCserve r16.5 usa uma arquitetura de vrias camadas,
executam o trabalho real de gerenciamento dos dados enviados para as unidades de
armazenamento de backup.
A tecnologia de backup do ARCserve tem trs componentes:

Servidor de backup central: Hospeda o mecanismo de backup, que controla o


ambiente de backup.
Agente cliente: So agentes especficos de aplicativos, como agentes para dados de
sistema de arquivos, para dados do Exchange e para dados do SQL Server.

A Figura 6 ilustra um sistema lgico de backup e recuperao por LAN:

Figura 6 Backup e Recuperao

Topologia da rede
A rede da Unifacs ser composta de duas tecnologias, MPLS e ADSL para internet.
As empresas envolvidas so Embratel para a MPLS, e Oi ou GVT para os ADSL.

Documentao
de Projeto
27

Figura 7 Topologia

Implantao Rede Wan


Fase de implantao do link Embratel (MPLS)
A rede WAN da Unifacs ser baseada em Frame Relay para as Filiais remotas, a
topologia utilizada e estrela, tendo um concentrador na SEDE.

Documentao
de Projeto
28

Figura 8 Link

Na tecnologia tipo Frame Relay no existe uma nica conexo fsica entre dois pontos,
em vez disso um caminho logico e definido dentro da rede. Chamados de (VCs - Virtual
Circuits).

Documentao
de Projeto
29

Figura 9 Rede Frame Relay

A rede Frame Relay ser composta pelos seguintes elementos;


LINK DE ACESSO: a linha ser alugada com a prestadora de servios de
telecomunicao que esta dentre o Roteador (DTE) e o Swicth Frame Relay (DCE).
TAXA DE ACESSO: a velocidade do acesso ser definida de forma logica, 4MB para
cada Filial.
SWFR (Switch Frame Relay): tratasse de um comutador de pacote que fica nas
dependncias da empresa de telecomunicaes da qual ser alugada.
A disposio da topologia Frame Relay na rede ser a FULL MESH.
Nesse Modelo cada roteador tem uma conexo direta com cada outro roteador. Este
cenrio que fornece maior tolerncia a falhas, se um PVC cair e possvel chegar para outras
localidades atravs dos caminhos alternativos de cada roteador.

Documentao
de Projeto
30

Figura 10 Redes

Os roteadores esto configurados com os seguintes endereos:


R1 (Cisco 2900) Unifacs 01: 10.1.0.0/16
R2 (Cisco 2900) Unifacs 02: 10.2.0.0/16
R3 (Cisco 2900) Unifacs 03: 10.3.0.0/16
R4 (Cisco 2900) Unifacs 04: 10.4.0.0/16
R5 (Cisco 2900) Unifacs 05: 10.5.0.0/16
R6 (Cisco 2900) Unifacs 06: 10.6.0.0/16
R7 (Cisco 2900) Unifacs 07: 10.7.0.0/16
R8 (Cisco 2900) Unifacs 08: 10.8.0.0/16
R9 (Cisco 2900) Unifacs 09: 10.9.0.0/16

Documentao
de Projeto
31

Figura 11 Roteador Cisco 2900 Series

A srie de roteadores Cisco 2911 sero utilizadas na implantao da rede, pois


oferecem integrao e agilidade superiores nos servios de rede, preveno de invaso
Firewall opcional, criptografia de hardware, QoS.
Os roteadores sero configurados om rotas estticas para prover conectividade de uma
rede local para uma rede remota que no est diretamente conectada.
Endereamento Filial SEDE

Firewall \ VPN
Os sistemas corporativos da Unifacs e centralizados e todas as filiais precisam de um
acesso ininterrupto aos servidores corporativos, por este motivo ser implantado a soluo
VPN .
A conexo de VPN ser implantada utilizando um servidor configurado com o ENDIAN
FIREWALL, uma distribuio Linux de segurana completa com funcionalidade UTM.
Algumas funcionalidades disponveis so;
Firewall
VPN IPSEC
Gateway
Web anti-virus
Email anti-virus

Documentao
de Projeto
32
Email AntiSpam

Concluso
Em sntese, este projeto trar grandes benefcios cientficos, tecnolgicos e culturais
para a instituio em questo. Hoje, quando os termos e-busines, ecommerce, etc., so muito
utilizados. Quando existe uma mobilizao de toda a sociedade, desde as organizaes e
instituies de todos os portes, que atuam em vrios segmentos e setores, com atividades
das mais diversas, at os nossos lares, em obter um maior intercmbio, conectando-se , seja
atravs de uma Intranet, Extranet ou Internet ( inclusive com o resto do mundo ), com o
objetivo de oferecer e buscar, servios, informaes e facilidades em geral, as facilidades
oferecidas atravs da utilizao das novas tecnologias, j so um diferencial na agilidade, na
qualidade e na eficincia dos servios oferecidos, e quem no acompanhar essa tendncia,
daqui pouco tempo, ficar isolado e ter pouca chance de manter-se em suas atividades
diante da concorrncia. Da mesma forma, nenhuma instituio de ensino deve excluir-se do
objetivo de informatizar-se.
A implementao do projeto aqui proposto, alm de colocar a referida instituio de
ensino no caminho certo para seguir as novas tendncias, trar grandes benefcios internos,
atravs da conectividade e interoperabilidade de todo ambiente computacional, oferecendo
total intercmbio entre os diversos departamentos, com maior eficincia nos servios
oferecidos, maior rapidez, flexibilidade e disponibilidade da informao. Maior segurana e
facilidade na administrao dos dados, do ambiente e de todos os recursos disponveis, de
forma centralizada, eliminando redundncia de dados, evitando desperdcio de recursos e
materiais, como por exemplo, circulao de papel.

Referncias
O projeto foi realizado com base nos conhecimentos adquiridos em sala de aula e
discutido com o professor, alm de normas mencionadas no escopo do prprio trabalho. Como
no a citaes dentro do mesmo resolvemos disponibilizar uma lista de sites acessados que
foram fundamentai para o conhecimento dos produtos e dos assuntos abordados.
http://www.vmware.com/br/
http://www.vmware.com/br/business-continuity/disaster-recovery.html
http://www.vmware.com/br/products/datacenter-virtualization.html
http://www.vmware.com/br/support/vcenter-server.html
http://www.vmware.com/events/country:brazil/type:webinar/num:15
http://pubs.vmware.com/vsphere-50/index.jsp?topic=
%2Fcom.vmware.vsphere.avail.doc_50%2FGUID-E90B8A4A-BAE1-4094-8D928C5570FE5D8C.html
http://www.arcserve.com/br/default.aspx
https://supportcontent.ca.com/cadocs/0/CA%20ARCserve%20%20Backup%20r16PTB/Bookshelf.html
http://pubs.vmware.com/vsphere-51/topic/com.vmware.ICbase/PDF/vsphere-esxivcenter-server-51-security-guide.pdf
http://fatecrl.edu.br/alexandre/wp-content/uploads/2013/11/3-backup.pdf
http://www.vscyber.com/wiki/index.php/Backup_e_restaura
%C3%A7%C3%A3o_da_base_de_dados

Documentao
de Projeto
33
http://www.microsoft.com/windowsserver2008/pt/br/enterprise-high-end.aspx
http://www.andersonpatricio.org/todos-tutoriais/
http://azure.microsoft.com/pt-br/services/virtual-machines/
http://www.projetoderedes.com.br/artigos/artigo_interconexao_de_redes_uma_visao_de
_projeto.php
http://www.ccuec.unicamp.br/ccuec/sites/default/files/tutoriais/Guia-Basico-InfraTelecom.pdf
http://www.rge-rs.com.br/LinkClick.aspx?fileticket=zjrNtoxtuNM
%3D&tabid=248&mid=633&language=pt-BR

Você também pode gostar