Infra-estrutura para Data Centres

Planejando Data Centres de Alto Desempenho.

Eng. Eletricista José Luiz De Martini

Consultor especializado no planejamento e desenvolvimento de soluções de infra-estrutura de alta

eficiência, disponibilidade e confiabilidade para aplicações de missão critica.

Engenheiro Eletricista, titular da Engenharia Gerencial SS Ltda e consultor na área de Instalações

Elétricas consumidoras de energia, com atuação em grandes centros comerciais e infra-estrutura de
suprimento de energia para sistemas de missão critica, processamento e armazenamento de dados e
telecomunicações.

Apresentação.
Este trabalho destina-se aos profissionais da Tecnologia de Informação e de Facilities e a todos
que tem como objetivo estabelecer formas de implantação e operação de Infra-estrutura
destinada ao suporte de operações de missão critica, em especial centros de dados.

Apresentamos elementos que devem ser considerados no planejamento de data Centres, desde
as boas praticas na área da Tecnologia da Informação, planejamento de espaços e meios de
refrigeração, com os impactos provocados na demanda e consumo de energia.

São consideradas exigências para data centres verdes “Green IT” e que devam seguir Códigos
de Conduta como, por exemplo, o definido pela União Européia.

Analisamos os conceitos e soluções que garantam as exigências quanto à disponibilidade e

confiabilidade e concomitantemente sejam implantadas soluções de elevada eficiência
energética, incluindo demandas de alta densidade de energia.

Eng. José Luiz de Martini – jl-gerencial@uol.com.br – 55 11 8445 5453 Página 1

Parte 1: Planejando Data Centres de Alto Desempenho.
Um Data Center é um conjunto integrado de componentes de alta tecnologia que permitem
fornecer serviços de infra-estrutura- processamento e armazenamento de dados, em larga escala,
de alto valor agregado, para que organizações de qualquer porte possam ter ao seu alcance
grande capacidade e flexibilidade com alta segurança para processar e armazenar informações.

As principais preocupações na gestão de infra-estrutura eram:

- Aquecimento e densidade de energia: 78%

- Disponibilidade: 57%
- Limitações de espaço: 39%

Hoje houve uma significativa mudança nas preocupações dos responsáveis pelas áreas de TI em
infra-estrutura onde a eficiência energética passou a fazer parte dos fatores preponderantes no
planejamento e implantação de estruturas físicas:

- Aquecimento do ambiente: 64%

- Densidade demandada de energia: 55%
- Eficiência energética: 39%
- Disponibilidade: 33%
- Limitações de espaço: 29%

Foram fatores determinantes para esta mudança:

- O volume de processamento cresce e assim a participação dos equipamentos de TI no perfil de

consumo de energia das empresas idem, tornando-o significativo.
- As soluções de alta densidade, como blades e pizza-box (1 U) estão cada vez mais presentes.
- A relação entre o investimento inicial e o custo operacional (Capex / Opex) fica muito
próxima ao longo de 5 a 10 anos.
- As empresas estão engajadas em ações de sustentabilidade e eficiência energética.

E ainda o ponto inicial do projeto deveria atribuir definições como:

- tipo dos equipamentos utilizados,

- taxa de migração dos equipamentos de processamento para novas tecnologias,
- variações de densidade de cargas de acordo com o efetivo layout,
- tipo do DC (Corporativo, Financeiro, Governamental, Co-Location, etc)
- Variações de projeto para áreas com baixa carga ou densidade.

Eng. José Luiz de Martini – jl-gerencial@uol.com.br – 55 11 8445 5453 Página 2

Para atender a estes requisitos o projeto para um Data Center eficiente:

- Deve ser confiável com disponibilidade adequada ao tipo de operação (24x7 ou 8x5).
- Deve possuir capacidade (elétrica e climatização) de forma escalável, permitindo
crescimento gradual, sem ociosidade que acarrete em prejuízo financeiro e baixa eficiência
energética.
- Todas as demais escolhas e especificações devem ser determinadas com foco na
eficiência energética.

Um Data Center eficiente nasce como resultado da combinação de aplicação de um conjunto de

medidas do planejamento da produção em si, com a consolidação das aplicações e atuação
operacional de TI, conforma a tabela a seguir:

Procedimentos na gestão de TI Red. %

Especificar e adquirir processadores de baixo consumo 10
Especificar e adquirir servidores com fontes de alta eficiência 11
Ativar os recursos de “Power Management” dos computadores 8
Virtualização de servidores. Estudos mostram que 20% de virtualização 8
podem resultar em 8% de redução de consumo de energia
Utilizar soluções de menor espaço, como blade servers 1
Planejar o arranjo em corredores quentes e frios evitando a mistura de ar 5
quente/frio, empregar condicionadores adequados
Utilizar condicionadores de capacidade e vazão variável 4
Adquirir equipamentos com alimentação 220 V~ 240 V, ligados com UPS 2
em 380~400 V, sem transformador

Agindo em cascata, estas ações podem resultar em praticamente 50% de redução de consumo de
energia na área de produção, quando comparado a um Data Center padrão.

Se estivermos planejando um novo Data Center ou mesmo uma ampliação e pudermos

considerar estas providencias isto resultará nos seguintes benefícios:

- Redução do espaço de produção em até 65%.

- Redução da demanda de refrigeração em até 34%
- Redução da demanda de energia (UPS) em até 33%
- Redução da capacidade elétrica total (entrada e geradores) em até 47%

Eng. José Luiz de Martini – jl-gerencial@uol.com.br – 55 11 8445 5453 Página 3

Parte 2: Concebendo Instalações - Data Centres de Alto Desempenho.
É alvo obrigatório de qualquer projeto atender a demanda por serviços com continuidade
assegurada dos serviços, porém devem compor soluções que sem reduzir a disponibilidade
signifiquem menores perdas com energia.

Com estes ajustes podemos reduzir o CAPEX e OPEX em pelo menos 30%.

Vejam este gráfico com o resultado obtido pelo Google em seus Data Centres.

O uso de servidores
adequados permite
reduzir o consumo de
energia nos
equipamentos de TI
(cor laranja). Soluções
gerais de projeto
reduzem o consumo
total de energia do
Data Center, sobre um
data Center padrão.
Estimam em mais de
30% por ano por
servidor o ganho com
estas medidas.

Exigências referenciadas pelo The Uptime Institute® e EIA/TIA 942 – Anexo G.

Nível Condição Exigência ou Solução

1 - Podemos programar paradas de
manutenção.
- Não há prejuízos reais em paradas
intempestivas
2 - Podemos programar parada de manutenção
anualmente.
- Os custos são ponderáveis em caso de
parada intempestiva
3 - Não podemos programar paradas para
manutenção.
- Os prejuízos em caso de interrupções são
imponderáveis
- Fontes singelas.
- Vias simples de alimentação
- Fontes singelas redundantes.
- Vias simples de alimentação
- Fontes redundantes (uma ativa e
uma alternativa) ou (duas ativas –
Tier IV).
- Vias alternativas de alimentação.

Portanto quando as condições permitem paradas para manutenção e custo ponderável no caso de
paradas intempestivas um projeto nível 2, pode ser adequado.

Eng. José Luiz de Martini – jl-gerencial@uol.com.br – 55 11 8445 5453 Página 4

A Disponibilidade é definida pelo desenho do projeto a Confiabilidade leva em conta muito
outros aspectos, que vão da seleção dos componentes, testes e comissionamento, manutenção e
operação. DC que apresentam PUE (Power Utilization Effectiveness) muito bom (abaixo de
1,3) são de Nível 2, porém garantidos por conta de projeto, execução, comissionamento e
operação de alta qualidade.

O índice PUE é a relação entre a Energia Consumida Total (Refrigeração, Serviços Prediais e
Equipamentos de TI) / Energia Útil (equipamentos de TI) e portanto, relaciona a energia
efetivamente consumida nos processos de TI com a energia total consumida.

A energia total inclui as perdas com transporte de energia (condutores), transformação e

rendimento dos UPS, incluindo a correspondente refrigeração.

Comparemos custos de instalação elétrica e energia (Capex + Opex) em 10 anos de operação:

Padrão usual, redundante centralizado:

Tier 3 Base Investimento / Opex

Sistema elétrico R$ 14,3 mil / kW R$ 21.450.000,00
Energia (10 anos) 90 000 MWh R$ 28.500,000,00
Custo total (10 anos) R$ 49.950.000,00
Custo mensal por rack 10 kW/rack – 90 racks R$ 4.625,00

Alternativa, redundante distribuído:

Tier 3 Base Investimento / Opex

Sistema elétrico R$ 11.5 mil / kW R$ 17.250.000,00
Energia (10 anos) Redução de 2,5% R$ 27.788.000,00
Custo total (10 anos) R$ 45.038.000,00
Custo mensal por rack 10 kW/rack – 90 racks R$ 4.170,00

Solução integrada, com ar condicionado e escolha de equipamentos de energia.

Sistema Base Investimento / Opex

Sistema elétrico (1.340
kW)
Energia (10 anos)
Custo mensal por rack
R$ 11.5 mil / kW R$ 15.540.000,00
Redução de 15% R$ 23.620.000,00
Custo total (10 anos) R$ 39.160.000,00
10 kW/rack – 90 racks R$ 3.626,00

Chegamos a 22% de redução de custo total de propriedade (Opex + Capex) por servidor
em dez anos de operação, apenas com ações de projeto de construção e instalações.

Eng. José Luiz de Martini – jl-gerencial@uol.com.br – 55 11 8445 5453 Página 5

- Ação # 1 - Crescimento modular.

Tecnologias de TI evoluem rapidamente, mas o prédio para o Data Center deve ser projetado
para pelo menos 20 anos de vida útil com capacidade de crescimento modular, seja em área
construída e equipada quanto na filosofia dos sistemas, pois as exigências mudam.

Considerar implantação passo a passo, como por exemplo, data centres segmentados permitindo
economia inicial e operacional.

- Ação # 2 – Discutir o modelo de redundância “2N Redundante centralizado” ou “1,5 N,

redundante distribuído”.

Para demandas limitadas na pratica até 1.000 kW, a solução com dois sistemas independentes e
fontes duplas é a solução padrão. Esta solução exige a duplicação de todos os elementos que
compõe o sistema elétrico exigindo investimento e custeio das perdas por baixa eficiência e
meia carga.

Para projetos acima desta demanda este modelo tem dois agravantes:

- Investimento inicial muito alto.

- Perdas significativas de energia com cada ramo carregado na faixa entre 40 a 45% da
potencia nominal.

A solução pratica para reduzir este impacto esta no modelo 1,5 N, três barramentos com
redundância distribuída, obtendo-se:.

- Menor investimento sendo instalada 1,5 vezes a demanda requerida contra 2 vezes no
modelo convencional.
- Melhor rendimento, com equipamentos trabalhando entre 60 a 65% da capacidade
nominal.
- Mesmo índice de disponibilidade, obtido no modelo redundante centralizado.

As restrições e os cuidados a serem tomados são:

- Exige gerenciamento do carregamento de cada sistema.

- Apresenta pequena perda quanto à confiabilidade facilmente compensada com um
adequado projeto, seleção, testes e comissionamento dos sistemas.

Eng. José Luiz de Martini – jl-gerencial@uol.com.br – 55 11 8445 5453 Página 6

- Ação # 3 - Tipo de UPS a ser usado.

Este componente é chave para a capacidade, confiabilidade e disponibilidade do sistema elétrico

e hoje há um bom leque de opções, principalmente para grandes sistemas:

- Estáticos (com baterias) ou dinâmicos (inerciais) ou fly-wheel.

- Dupla conversação ou de regulação paralela (p.ex. delta conversion®).

Os estáticos de dupla conversão apresentam bom custo inicial e são mais comuns, porém tem
menor rendimento. Os de regulação paralela apresentam elevada eficiência e autonomia nas
mesmas condições dos estáticos de dupla conversão.

Os dinâmicos (com fly-wheel) com custo inicial mais elevado exigem projeto especifico em
função do reduzido tempo de operação sem rede (15 a 20 segundos), porém são muito eficientes
e confiáveis intrinsecamente, por não dependerem de baterias.

Os dinâmicos (fly-wheel) de grande capacidade, com módulos a partir de 1000 kW muito

usados em instalações de maior porte, podem ser ligados nas redes de média tensão,
simplificando enormemente o projeto oferecendo altos índices de disponibilidade sem perda da
confiabilidade e custos.

Independente da tecnologia os principais fabricantes tem apostado em soluções modulares,

contradizendo modelos mais antigos de calculo de confiabilidade que os classificaria como de
baixo índice em função do grande numero de módulos

- Ação # 4 Tensão a ser adotada.

Seguindo padrão Norte Americano, muitos Data Centres tem sido projetados em 480 V, com a
necessidade de transformadores acoplando os UPS a carga, normalmente servidores ligados de
120 a 208 V.

Estes transformadores são aptos a operar com significativo conteúdo harmônico na carga, tem,
no entanto, três inconvenientes:

- Corrente de magnetização a jusante dos UPS.

- Perdas de energia.
- Espaço ocupado.

Com a melhor qualidade das fontes de alimentação, com menor conteúdo harmônico e sendo os
UPS aptos a manipular esta condição, o conjunto das boas praticas de eficiência energética
aponta para adoção de sistemas em 380~400 V, e servidores ligados diretamente em 220~240
V.

Eng. José Luiz de Martini – jl-gerencial@uol.com.br – 55 11 8445 5453 Página 7

- Ação # 5 Adaptabilidade dos sistemas de climatização.

Para diferentes densidades de carga, existem diferentes soluções de climatização, que exigem
diferentes demandas de espaços físicos. Os modelos tradicionais atendem densidades de até 2
~3 kW/m² (condicionadores tipo down-flow, insuflamento pelo piso e retorno ambiente).

Acima deste referencial os projetos de arquitetura e de energia devem considerar soluções

combinadas usando desde refrigeração localizada nos equipamentos e racks, provendo
condições ideais para insuflamento e retorno de ar ambiente.

Podemos ainda ajustar os projeto de climatização as reais condições locais, usando recursos de
free-cooling, energia geothermal, cursos d’água existentes.

Grande parte do desperdício de energia com climatização vem da operação em contraponto dos
condicionadores, onde algumas unidades umidificam e outras desumidificam e reaquecem ao
mesmo tempo. Um adequado sistema de controle descarta este problema.

Definir ambientes independentes para atender as cargas de alta densidade. Estes ambientes
podem ser substituídos por soluções específicas desenvolvidas por alguns fabricantes reunindo
num mesmo conjunto os racks, o sistema de condicionamento e o sistema de força, viabilizando
a instalação de racks de alta densidade em locais não preparados para isto.

- Ação # 6 Conteúdo e Programa para Projeto.

Iniciar com o adequado planejamento das ações de TI e dimensionamento correto do Data

Center considerando o crescimento escalonado das necessidades e a curva de adensamento
prevista para os próximos 10 a 15 anos e então modelar as necessidades de espaço (arquitetura e
construção civil).

Devemos evitar um dos erros mais comuns. O custo do edifício (imóvel e obras civis) é muito
pequeno em relação ao custo total do Data Center, 10% talvez, e um edifício inadequado pode
significar elevado custo de implantação das instalações e respectivo consumo de energia.

O projeto para um Data Center deve considerar o seguinte programa mínimo:

- Implantação geral no terreno prevendo:

- Estacionamentos.
- Áreas para equipamentos técnicos.
- Portaria e dependências de recepção e controle.
- Paisagismo.

Eng. José Luiz de Martini – jl-gerencial@uol.com.br – 55 11 8445 5453 Página 8

- Edificação (ou edificações) contendo:

- Data Center Room com os equipamentos de produção.

- Salas para telecomunicações.
- Áreas para Command Center (NOC), reuniões e equipe de operação.
- Áreas auxiliares, depósitos, manutenção, desembalagem e recebimento.
- Áreas de infra-estrutura elétrica e de climatização.
- Áreas para conforto humano.

A concepção do projeto deve atender aos requisitos das referencias citadas, como a TIA 942,
quanto a segurança do complexo e oferecer todos os meios para que os equipamentos de
produção, controle e telecomunicações e infra-estrutura de energia e climatização sejam
instalados e operados com a máxima eficiência e adaptabilidade.

- Ação # 7 - Confiabilidade, Comissionamento, Manutenção e Controle.

Um adequado sistema de gerenciamento e controle das utilidades, controlando energia e

climatização deve ser parte natural de qualquer projeto, pois associado a um bom procedimento
de comissionamento, coordenação e seletividade da proteção elétrica e manutenção são os
verdadeiros indicadores da Confiabilidade, muito mais sólido do que modelos estatísticos
padronizados.

Um projeto reduzido pode aparentemente ser menos confiável, porém estas medidas podem não
só recuperar como incrementar a confiabilidade, até em função do menor numero de
componentes necessários.

Eng. José Luiz de Martini – jl-gerencial@uol.com.br – 55 11 8445 5453 Página 9