Escolar Documentos
Profissional Documentos
Cultura Documentos
net/publication/319913948
CITATION READS
1 9,522
1 author:
SEE PROFILE
Some of the authors of this publication are also working on these related projects:
All content following this page was uploaded by Mauro Fazion Filho on 19 September 2017.
Conceitos e
infraestrutura de
datacenters
Autor
Mauro Faccioni Filho
Créditos
Conceitos e
infraestrutura de
datacenters
Livro Digital
Designer instrucional
Marina Melhado Gomes da Silva
UnisulVirtual
Palhoça, 2016
Copyright © Nenhuma parte desta publicação pode ser reproduzida por
UnisulVirtual 2016 qualquer meio sem a prévia autorização desta instituição.
Livro Digital
Professor conteudista
Mauro Faccioni Filho
Designer instrucional
Marina Melhado Gomes da Silva
Diagramador(a)
Marina Broering Righetto
Revisor(a)
Diane Dal Mago
F12
Faccioni Filho, Mauro
Administração e direito administrativo de trânsito : livro didático /
GConceitos e infraestrutura de datacenters: livro digital / Mauro Faccioni
Filho; design instrucional Marina Melhado Gomes da Silva. – Palhoça:
UnisulVirtual, 2016.
117 p. : il. ; 28 cm.
Inclui bibliografia.
Apresentação | 5
Conceitos de datacenter | 7
Considerações finais | 116
Conteudista | 117
Apresentação
Antes de mais nada, cabem algumas notas pessoais e outras mais técnicas sobre o “Paulo Marin”.
Estudamos engenharia elétrica na mesma época, fizemos mestrado e doutorado também na
mesma época, antes dos nos conhecermos No final dos anos 1990 nos conhecemos, em alguns
eventos sobre cabeamento estruturado, que eram promovidos pela BICSI. A partir de então
desenvolvemos inúmeras parcerias juntos, sejam elas relacionadas à tecnologia, à educação,
ou a tantas outras atividades que a amizade nos leva. Em todo esse tempo vi muitas de suas
conquistas no campo da tecnologia, em especial a da infraestrutura de rede de dados, que o
levou a ser premiado nos Estados Unidos com o “2014 Harry J. Pfister Award for Excellence in the
Telecommunications Industry”, concedido pela University of South Florida – College of Engineering
– USA, por suas contribuições e serviço à indústria de ICT (Information and Communications
Technology). Foi um prêmio muito importante, obtido justamente no país que desenvolve tais
tecnologias. Infelizmente, até agora, o Brasil não foi capaz de premiar ou reconhecer esse talento
como deveria, mas isso já é um outro problema cultural.
As quatro entrevistas que fizemos com o Dr. Paulo Marin foram organizadas de acordo com o
seguintes temas:
1. Conceitos de datacenter
6
Conceitos de datacenter
Apresentação da entrevista
Nessa primeira entrevista com o Prof. Dr. Paulo Marin, a abordagem é de fundamentação
dos principais conceitos que definem o datacenter na atualidade. Uma distinção é feita em
relação ao antigo conceito de “centros de processamento de dados”, que então passa a ser
redefinido a partir de todas as normas mundiais e nacionais que surgiram a partir dos anos
2000. Conceitos como os dos sistemas que compõem os datacenters, sua caracterização
e condições de funcionamento são os fundamentos básicos para o bom entendimento da
infraestrutura. Uma nova abordagem, inexistente na época dos “centros de processamento
de dados”, é agora tratada ao nos referirmos à classificação em “tiers”, que o Prof. Paulo
nos explica apropriadamente, demonstrando, também, sua relação com a questão das
redundâncias presentes na infraestrutura.
Após esse tratamento geral dos conceitos, passamos a verificar os itens do datacenter, tais
como padrões de distribuição interna de espaços, pisos, racks e outros espaços especiais,
como a questão das salas seguras, cofres e dispositivos, tais como containers. Por fim, uma
visão geral das condições ambientais externas aos datacenters é apresentada, especialmente
no que se relaciona a condições mínimas de qualidade de implantação do ponto de vista
geográfico e do entorno físico.
Entrevista
Resposta:
Os datacenters de hoje podem ser entendidos como os CPDs dos anos de 1980 e início
dos anos de 1990. De qualquer forma, a densidade de equipamentos ativos nas instalações
modernas é maior que aquela instalada nos antigos CPDs.
Apesar de o termo datacenter ser usado, na maioria das vezes, para se referir aos espaços
onde os equipamentos críticos de TI estão instalados, um datacenter é a infraestrutura do site
Universidade do Sul de Santa Catarina
Em resumo, a principal diferença sob meu ponto de vista entre os CPDs e os datacenters é a
densidade de equipamentos, o que temos hoje em um único gabinete (que ocupa pouco mais
de um metro quadrado de área da sala de computadores) é mais, em termos de capacidade
de armazenamento de informações e de processamento que um CPD inteiro, nos anos de
1980 a 1990.
Resposta:
8
conversa, se nos referirmos a um data center como CPD. Enfim, se considerarmos que o
termo CPD é oriundo do inglês, ele sempre se chamou datacenter. Portanto, a nova visão
sobre datacenters, ao meu ver, está relacionada aos profissionais que atuam nesse segmento
de alguma forma. Certamente, a visão que o profissional de TI tem de datacenters é diferente
da visão dos profissionais de facilities.
Resposta:
Mais uma vez, é importante entender que, embora o termo datacenter seja usado para
designar os espaços onde os equipamentos críticos de TI estão instalados, um datacenter é a
infraestrutura do site como um todo e compreende os seguintes espaços e sistemas:
a. sala de servidores;
d. automação do edifício;
f. segurança e controle;
9
Universidade do Sul de Santa Catarina
Edifício
Entrada de Entrada de
telecomunicações energia
Data Center
Salas de
Sala de energia / UPS
comunicações geradores
Automação
Sala de
incêndio
computadores
monitoramento
Sala de
Sala de
operação
ar condicionado
da rede
Resposta:
Trata-se de uma boa pergunta e bastante pertinente. É muito comum ouvirmos os termos
datacenter grande ou datacenter de grande porte, assim como datacenter pequeno ou
datacenter de pequeno porte. No entanto, como se define o tamanho ou o porte de um
datacenter?
Na verdade, não há um critério oficialmente definido no que diz respeito a isso, ou seja, não há
uma norma técnica ou procedimento que defina os parâmetros associados ao tamanho de um
datacenter ou como classificar um datacenter com base em seu porte.
É importante entender que uma infraestrutura de missão crítica de TI com um único gabinete
pode ser um datacenter. Para isso, basta que a infraestrutura ofereça condições para que a
disponibilidade da operação seja ótima, ou, em termos práticos, o mais próximo possível de
100%.
10
Certamente, o datacenter com um único gabinete, como mencionado acima, é um data center
de pequeno porte, porém, enfatizo, é um datacenter desde que seja projetado e construído
para máxima disponibilidade.
Portanto, embora não haja parâmetros que definam datacenters com base em seus
tamanhos, prefiro associar o porte de um datacenter à quantidade de racks ou gabinetes
e/ou à sua carga, em kW. Alguns projetistas utilizam a área da sala de servidores que ele
ocupa, em metros quadrados, como um indicador do porte de um datacenter. Nesse caso, o
dimensionamento de seus sistemas e espaços de suporte pode ser mais difícil.
A classificação com base na quantidade de racks e gabinetes é uma boa prática, pois
a partir daí é possível dimensionar todos os sistemas da infraestrutura do datacenter e
também os espaços de suporte. Isso fica mais fácil porque, a partir da quantidade de
equipamentos, pode-se levantar a carga do datacenter (em kW), o que é fundamental para o
dimensionamento de toda sua infraestrutura.
Em resumo, sob meu ponto de vista, o que caracteriza e diferencia datacenters de grande,
médio e pequeno portes é a carga (em kW) associada a eles.
Resposta:
Esses conceitos estão todos associados quando falamos em ambientes de missão crítica,
como são os datacenters.
A resiliência pode ser compreendida como a capacidade de recuperação do site ao seu estado
original (disponibilidade) no caso de sofrer uma falha e pode ser obtida com a implementação
de redundância de partes, peças e sistemas completos, o que leva a algum grau de tolerância
a falhas. É importante, entretanto, não confundir isso com a característica de data centers
Tier IV, que são por definição os únicos tolerantes a falhas. De forma mais geral, a tolerância a
falhas é a capacidade de um datacenter continuar em operação mesmo no evento de alguma
falha. O grau de tolerância a falhas vai depender também dos mecanismos de redundância
implementados no site.
Disponibilidade = [1]
sendo:
11
Universidade do Sul de Santa Catarina
Para sistemas altamente confiáveis, esse número deve estar muito próximo de 1,000
(ou 100%). No entanto, isso seria uma situação ideal, ou seja, de um sistema que jamais
apresentasse falhas. Na prática, esse número deve ser, no mínimo, de 99,9%, normalmente
referido como uma disponibilidade de “três noves”, o que se espera da infraestrutura de um
datacenter. Cada “nove” adicional aumenta a ordem de grandeza de disponibilidade em um
fator de 10, aproximadamente.
Para finalizar e concluir a discussão, todos esses parâmetros, ou seja, resiliência, tolerância
a falhas e disponibilidade estão diretamente relacionados à redundância de partes, peças e
sistemas implementados em um dado site.
Pergunta 6: O mercado fala muito de classificação “tier” para datacenters. O que é essa
classificação e qual sua origem?
Resposta:
A classificação de data centers em tiers é uma iniciativa do Uptime Institute, uma organização
norte-americana que classifica a infraestrutura de datacenters com base em suas
características de redundância e disponibilidade, enfim, de tolerância a falhas e resiliência.
Em resumo, o Uptime Institute define quatro níveis (tiers) de disponibilidade para datacenters
com base nas configurações de suas infraestruturas de distribuição elétrica e climatização.
12
Para uma melhor compreensão das classificações definidas pelo Uptime Institute, apresento, a
seguir, um resumo de cada nível (tier) e suas principais características.
Datacenter Tier I
Definição: datacenter sem componentes redundantes e com um ramo de distribuição (elétrica
e de climatização) não redundante para atender aos equipamentos críticos de TI do site.
Características:
Datacenter Tier II
Definição: datacenter com componentes redundantes, porém, com um ramo único de
distribuição (elétrica e climatização) para atender os equipamentos críticos de TI.
Características:
13
Universidade do Sul de Santa Catarina
Características:
Datacenter Tier IV
Definição: datacenter tolerante a falhas da infraestrutura com sistemas redundantes e
vários ramos de distribuição (elétrica e climatização) que atendem, simultaneamente, os
equipamentos críticos de TI. Todos os equipamentos de TI devem ter fontes de alimentação
redundantes e devem ser instalados de acordo com a topologia e arquitetura do site. A
principal caraterística de um datacenter Tier IV é sua capacidade de recuperação de falhas
dos sistemas de infraestrutura de distribuição, ou seja, caminhos e/ou ramos de distribuição.
Nenhuma das classificações anteriores tem essa característica.
Características:
14
O Uptime Institute emite o selo de certificação de data centers com base em seu sistema de
classificação de níveis de disponibilidade (tiers). Isso é feito mediante serviços de auditoria
prestados pelo próprio instituto.
Para finalizar, embora o Uptime tenha agregado um novo documento ao seu sistema de
classificação, denominado “sustentabilidade operacional” que, basicamente, unifica o
gerenciamento da infraestrutura ao sistema de classificação em tiers, ele não muda o sistema
de classificação proposto e nem o processo de certificação de datacenters.
Pergunta 7: Algumas vezes os datacenters são tratados como ambientes de missão crítica. No
entanto, sabemos que subestações, centros de controle de tráfego aéreo, centros de automação
e congêneres são também ambientes de missão crítica. Nesse sentido, os conceitos de
infraestrutura de datacenters também se aplicariam a esses outros tipos de ambientes?
Resposta:
De fato, datacenters devem ser sempre tratados como ambientes de missão crítica em sua
fase de projeto e instalação, pelo menos do ponto de vista de sua infraestrutura (facilities).
15
Universidade do Sul de Santa Catarina
Assim, o que outros ambientes de missão e datacenters têm em comum é que precisam
operar com a máxima disponibilidade possível. Embora as classificações tiers de
disponibilidade para datacenters não se apliquem a outros ambientes de missão crítica, os
conceitos aplicados ao projeto e construção da infraestrutura de ambientes de missão crítica
podem ser os mesmos aplicados a datacenters.
A principal diferença é que nem todos os ambientes de missão crítica têm os mesmos
requisitos de infraestrutura. De qualquer forma, aplicar os conceitos de tiers ao sistema
elétrico de sites de missão crítica pode ser uma boa prática.
Resposta:
•• falhas técnicas;
•• falhas humanas (que causam erros de operação);
•• manutenção preventiva ou corretiva.
Para sistemas compostos por vários elementos ou componentes com diferentes MTBF, ou
seja, em um sistema híbrido (como é a infraestrutura de um datacenter), a disponibilidade
de cada sistema (ou componente) deve ser então calculada para cada um, considerando
sua topologia híbrida que pode ser em série ou paralelo. É importante que se entenda que a
disponibilidade da infraestrutura sempre se refere ao sistema como um todo.
16
Sistema S1 Sistema S2
[1]
[2]
[2]
Um sistema híbrido paralelo pode ser representado pela topologia apresentada na Figura 4.
Sistema S1
Sistema S2
[3]
17
Universidade do Sul de Santa Catarina
Considerando os mesmos números do exemplo anterior, ou seja, que o Sistema 1 tem uma
disponibilidade de 50% e o Sistema 2, de 60%, a disponibilidade total calculada do sistema
híbrido formado pela associação em paralelo de ambos os Sistemas 1 e 2 será de 80%,
conforme a aplicação de [3].
18
Resposta:
Algumas normas técnicas para datacenters trazem recomendações de layout tanto para a
sala de computadores, quanto para o datacenter como um todo. Entre elas, podemos citar a
brasileira ABNT NBR 14565:2013 (cabeamento estruturado para edifícios comerciais e data
centers) e a norte-americana ANSI/TIA-942-A (telecommunications infrastructure for data
centers).
Embora sejam recomendações, ou seja, não sejam especificações ou requisitos que devam
ser cumpridos, as normas que trazem exemplos de layouts de datacenters o fazem com base
no porte do datacenter. A Figura 6 mostra um layout recomendado para datacenters típicos,
de acordo com a ABNT NBR 14565:2013.
Operações UPS
Sala de computadores
Entrada de
telecomunicações Storage
19
Universidade do Sul de Santa Catarina
Entrada
Operações de
telecom
Equipamentos de
UPS e baterias (1)
ar-condicionado
Geradores
COLD AISLE
HOT AISLE
COLD AISLE
HOT AISLE
20
A Figura 8 mostra os gabinetes alinhados em filas formando corredores frios e quentes, bem
como os racks de telecomunicações e redes, onde são instalados switches e componentes da
distribuição de cabeamento no datacenter.
Pergunta 10: Fale-se muito em piso elevado para datacenters. O piso elevado é obrigatório?
Quando ele é aplicável e como é o padrão de instalações?
Resposta:
Embora o piso elevado com placas removíveis de 600 x 600 mm, conforme mostrado na
Figura 9, seja muito comum em datacenters, ele não é um requisito de norma.
Figura 9 – Exemplo de estrutura de piso elevado com placas removíveis utilizados em datacenters
Espaço para
as placas de piso
21
Universidade do Sul de Santa Catarina
Os pisos elevados têm como principal finalidade criar um vão livre entre a laje do piso da sala
de computadores e o novo piso desse espaço onde serão instalados os racks e gabinetes
com os equipamentos críticos de TI.
Figura 10 – Piso elevado utilizado para o lançamento do sistema de cabeamento estruturado do datacenter em sua
estrutura de eletrocalha aramada
A estrutura do piso elevado ajuda também a melhorar a distribuição do peso dos gabinetes
sobre a laje do edifício que abriga a sala de computadores, dentro de certos limites,
obviamente. Quando utilizados, as seguintes recomendações devem ser observadas:
Pergunta 11: Existem padrões de dimensões de racks? Como eles são distribuídos no interior do
datacenter? Pode nos dar exemplos?
22
Resposta:
•• um rack é uma estrutura aberta (armação, frame) que pode ter dois ou quatro
colunas verticais de sustentação, sendo mais comum estruturas com duas
colunas. Os racks são utilizados para abrigar os equipamentos de redes e
telecomunicações (switches, roteadores etc.), bem como os componentes do
cabeamento estruturado (patch panels, distribuidores ópticos etc.);
•• um gabinete é um “rack” fechado em todas as suas laterais e teto,
possuindo portas frontal e traseira, e têm normalmente quatro colunas
verticais de sustentação que podem ser estruturas fixas (mais comuns em
racks de servidores e storage) ou modulares. Os gabinetes são utilizados
em datacenters para abrigar, basicamente, servidores e equipamentos de
armazenamento de dados (storage).
Essas definições não são oficiais, ou seja, não são especificadas em normas técnicas, porém,
são bem aceitas entre os profissionais da área.
Voltando aos padrões, o mais comum é o padrão de racks de 19” da EIA. Praticamente todos
os equipamentos de TI e cabeamento estruturado são fabricados para serem instalados em
racks padrão 19”. Os racks são especificados dessa forma, que corresponde à sua largura
útil (19”), sendo a largura total externa de 600 mm, que corresponde à largura das placas
utilizadas no piso elevado. Portanto, é comum encontrar a especificação de racks como 19”
EIA (600 mm).
Os gabinetes utilizados em datacenters têm larguras maiores que 19”, embora a largura entre
suas colunas internas às quais os equipamentos e outras estruturas de suporte são fixadas
mantenham os mesmos 19” que os racks. É comum encontrarmos as seguintes dimensões de
racks utilizados em datacenters:
Há, ainda, mais gabinetes para servidores com outras dimensões que podem ser encontrados
no mercado, sendo os de 23,6” (700 mm) os mais comuns na maioria dos projetos. Além da
largura, outras duas dimensões são igualmente importantes, como a profundidade e a altura.
23
Universidade do Sul de Santa Catarina
crítico na distribuição é que sejam deixados espaços frontais e traseiros que permitam a
retirada de equipamentos instalados nos gabinetes e a instalação de novos equipamentos
(o que é feito pela parte frontal dos gabinetes), bem como para acesso para manutenção em
conexões elétricas e de rede, normalmente acessíveis pelas partes traseiras dos gabinetes.
Como as portas traseiras são em geral bipartidas, ou seja, abrem em duas folhas de cerca de
300 mm cada, o espaço livre atrás dos gabinetes não precisa ser muito grande. Normalmente,
deixa-se um espaço livre de pelo menos 600 mm. Já na frente dos gabinetes, cujas portas são
em folha única (de 600 mm, aproximadamente), recomenda-se um espaço livre maior, de cerca
de 1200 mm, para permitir manobras de retirada e instalação de equipamentos nos gabinetes.
Quanto aos racks, eles podem ser montados em filas exclusivas de racks de telecomunicações
e redes para melhor gerenciamento ou intercalados entre os gabinetes de servidores e storage,
mas isso depende da abordagem de projeto. De qualquer forma, os espaços livres devem ser
tais que permitam a execução de serviços de instalação e manutenção dos equipamentos
neles instalados.
Figura 10 – Exemplo de gabinete utilizado em datacenters com aberturas para permitir o fluxo de ar ótimo entre os
corredores frios e quentes
24
Figura 11 – Exemplo de gabinete com chaminé para extração de ar quente utilizado em datacenters
Figura 12 – Técnica de conformação de corredor quente para extração de ar quente da sala de computadores em
datacenters
Para finalizar, uma especificação importante com relação aos gabinetes é sua capacidade
carga (em kg). É muito importante que o projetista levante a carga total que o gabinete deverá
suportar para evitar seu sub dimensionamento, pois é comum gabinetes com cargas da ordem
de 600 a 1.000 kg.
25
Universidade do Sul de Santa Catarina
Pergunta 12: O mercado tem se referido a datacenters construídos como edificações, mas há
também opções do tipo container, sala-segura e sala-cofre. Poderia nos explicar como são essas
opções, suas diferenças e alguns exemplos?
Resposta:
No entanto, há situações em que não é viável (por inúmeras razões) a construção de um edifício
para abrigar um datacenter. Assim, sob certas circunstâncias, outras técnicas e/ou abordagens
de projeto podem ser aplicadas. Uma delas é o uso de ambientes seguros, ou, como são mais
conhecidas na prática, salas cofre. A Figura 13 ilustra um exemplo de sala cofre.
Detecção
precoce de
incêndio
Extinção por PDU “Plug in”
gás inerte UPS
Iluminação Parede, piso e
Ar condicionado teto modulares
de precisão
Damper
Entrada
de cabos
Controle de acesso
Porta Estanque
Viga de sustentação
Piso elevado Entrada de
cabos
Uma sala cofre tem como objetivo prover um ambiente seguro e estanque, sendo uma célula
selada para abrigar os sistemas críticos de TI de um datacenter. Na verdade, como mostrado
na Figura 13, uma sala cofre pode abrigar praticamente o datacenter inteiro. Note que, no
exemplo da figura acima, os seguintes sistemas e componentes estão dentro da sala cofre:
•• piso elevado;
•• cabeamento estruturado;
•• distribuição elétrica (PDU, cabos e UPS);
26
No esquema da Figura 13 vemos que apenas o grupo motor-gerador não está no mesmo
espaço da sala cofre, configuração bastante comum, por questões associadas à emissão de
gases do gerador.
Também é comum o uso de salas cofre em ambientes que, em princípio, oferecem proteção
mecânica suficiente para abrigar datacenters. De qualquer forma, cabe ao projetista a
avaliação da melhor relação custo/benefício junto ao seu cliente quanto à melhor abordagem
de projeto e ao espaço que conterá o datacenter.
27
Universidade do Sul de Santa Catarina
Pergunta 13: Há localizações especiais para datacenters, ou seja, subsolos, regiões desérticas,
montanhas etc.? Sabemos que muitas vezes as empresas não têm muitas opções de locais.
Então, quais seriam as recomendações?
Resposta:
O planejamento dos espaços do datacenter é um dos fatores mais críticos, se não o mais
crítico, quando projetamos sua infraestrutura física.
Com relação à sua localização geográfica e aspectos físicos, devem ser considerados os
seguintes aspectos:
•• O local não deve estar sujeito a inundações (devem ser evitados locais
próximos a rios, lagos, oceanos, fundos de vales etc.);
•• Deve-se evitar localidades próximas a cabeceiras de pistas de aeroportos por
riscos de acidentes potenciais;
•• Deve-se evitar a construção de data centers sob helipontos;
•• Deve-se evitar locais sujeitos a abalos sísmicos;
•• Deve-se evitar localidades muito próximas a linhas de transmissão elétrica;
•• Locais com fácil acesso a rodovias são recomendados;
•• Locais próximos às concessionárias de energia elétrica são recomendados;
•• Locais próximos a centros de serviços são também recomendados;
•• Condomínios comerciais específicos para abrigar datacenters também podem
ser boas localidades para se instalar um novo site (normalmente, eles já foram
construídos levando-se os aspectos anteriormente citados em consideração).
De qualquer forma, os exemplos acima representam uma parcela ínfima de datacenters reais.
A maioria dos datacenters enterprise de pequeno porte são instalados em edifícios comerciais
que, em princípio, nem foram construídos pra isso.
28
Dependendo das condições e características do edifício, pode ser necessário procurar por
um outro local para a implantação do datacenter. Algumas vezes, o uso de salas cofre ou
containers dentro de alguma dependência do edifício pode ser uma solução viável.
Referências
ABNT. Norma ABNT NBR 14565: 2013. Cabeamento estruturado para edifícios comerciais e
data centers.
MARIN, P.S. Data Centers - Engenharia: Infraestrutura Física. São Paulo/SP: PM Books,
2016.
MARIN, P.S. Data Centers - Desvendando cada passo: conceitos, projeto, infraestrutura
física e eficiência energética. São Paulo: Editora Érica Saraiva, 2013.
29
Infraestrutura de energia para datacenters
Apresentação da entrevista
A infraestrutura de energia elétrica dos datacenters é o tema dessa entrevista. Energia é um
tema de alto impacto em toda a nossa sociedade moderna, e os datacenters se transformaram
num dos principais consumidores elétricos da atualidade.
Em nosso diálogo técnico são descritos os principais elementos da instalação elétrica dos
datacenters, caracterizando esses elementos e as relações entre eles. Cálculos de demanda,
de consumo previsto e padrões são pontos centrais da discussão, pois determinam as
dimensões necessárias para as instalações e suas redundâncias. Há também o tratamento
sobre equipamentos específicos, como sistemas ininterruptos (UPS), grupos geradores de
energia elétrica, geração alternativa, painéis elétricos e todos os espaços necessários para tais
equipamentos, seus acessórios e condições de aterramento.
O debate conclui com uma dissertação sobre as métricas atualmente em uso para caracterizar
a eficiência energética do datacenter, e as melhores práticas de instalações e uso da energia.
Entrevista
Resposta:
O consumo de energia, de uma forma geral, tem sido uma preocupação comum no mundo
de hoje. Deixando os aspectos ecológicos de lado, colocando o foco no consumo de energia
elétrica e considerando a evolução da crescente área de tecnologia da informação, é evidente
que os datacenters são grandes consumidores.
Portanto, faz-se necessário um controle eficiente do uso de energia elétrica, bem como sua
otimização em datacenters. Considerando, também, seu impacto ambiental devido ao alto
consumo de energia elétrica, um novo conceito surge no mundo da tecnologia da informação:
o green datacenter. Há uma relação entre o consumo de energia elétrica e a emissão de CO2
na atmosfera. Essa relação será mais ou menos importante dependendo da forma como a
energia elétrica é gerada em uma determinada região geográfica. No caso do Brasil, esse
impacto não é tão grande, uma vez que a maior fonte de geração de energia elétrica é limpa
(centrais hidrelétricas). A Figura 1 mostra um exemplo de geração de energia elétrica no Brasil.
Gás Natural
Usinas Eólicas 27%
1,6%
Usinas Nucleares
1,7%
Usinas Elétricas
69,7%
Quando nos referimos à eficiência dos datacenters e às métricas para sua avaliação, estamos
basicamente nos referindo a maneiras de medir a eficiência energética dos datacenters.
Se considerarmos que as métricas usadas para a avaliação da eficiência energética foram
desenvolvidas por organizações norte-americanas, fica mais fácil entender suas relações com
o conceito do green datacenter, pois um menor consumo de energia elétrica significa menores
níveis de emissão de gás carbônico na atmosfera.
31
Universidade do Sul de Santa Catarina
Pergunta 02: Num diagrama elétrico típico de datacenters aparecem nomes ou siglas, tais como
UPS, PDU, RTT e várias outras. Pode nos explicar o que são?
Resposta:
É verdade, há muitas siglas que são utilizadas entre os técnicos, em especial entre os
profissionais de TI e infraestrutura em geral.
Para discutir algumas dessas siglas, vamos começar pela análise de um esquema de
distribuição elétrica de um data center Tier I, conforme mostrado na Figura 2.
32
Como podemos observar na Figura 2, a energia elétrica fornecida pela concessionária local
alimenta o quadro elétrico do datacenter, responsável por alimentar as cargas críticas de TI,
bem como outras cargas não críticas do site, como espaços de suporte e cargas mecânicas
(ar-condicionado).
No esquema elétrico em questão, o quadro elétrico das PDU serve para segregar os circuitos
que atendem as cargas críticas de TI. Isso normalmente é feito para reduzir a carga por ramo
de distribuição e também para oferecer um gerenciamento mais eficiente desses ramos de
distribuição.
É importante explicar que o termo PDU muitas vezes confunde até mesmo os projetistas
mais experientes. Por exemplo, se buscarmos por PDU em catálogos de fabricantes,
encontraremos desde as tão conhecidas “réguas de tomadas” até equipamentos sofisticados
com condicionamento de tensão e uso de transformadores isoladores.
Por definição, uma PDU pode ser simplesmente um painel elétrico de distribuição, provido
apenas de disjuntores para proteção de circuitos. A Figura 3 mostra alguns exemplos de PDU
disponíveis no mercado.
33
Universidade do Sul de Santa Catarina
34
Para finalizar, além dos componentes e sistemas apresentados aqui, outras siglas podem ser
encontradas em sistemas elétricos de datacenters, como trafo (que é uma abreviação para
transformador), STS (Static Transfer Switch, Chave de Transferência Estática) e RTT (Relé de
Tensão Trifásica), que é um dispositivo de proteção de sistemas trifásicos contra a falta de
fase, sub e sobretensão, assimetria etc.
Pergunta 03: Como fazemos para calcular e determinar a energia elétrica necessária para um
datacenter? Há algum padrão ou recomendação?
Resposta:
35
Universidade do Sul de Santa Catarina
Suporte; 5%
Iluminação; 3%
UPS; 11%
Carga crítica;
36%
Climatização;
45%
Os consumos de cada um dos sistemas apresentados na Figura 4 podem variar, porém, esses
valores representam uma média bastante realista. De acordo com os dados apresentados,
nota-se que os maiores vilões no consumo de energia elétrica em um datacenter são os
equipamentos de TI (a carga crítica de TI) e o sistema de climatização (HVAC - Heat, Ventilation
& Air Conditioning) do datacenter, responsável por remover da sala de computadores o calor
gerado pelos equipamentos ativos.
Uma questão que pode surgir a partir dessa consideração é quantos kW são, em geral,
instalados em cada rack, uma vez que há diferentes equipamentos com diferentes
características de consumo de energia elétrica dentro do datacenter?
Essa é uma questão realmente difícil de responder com precisão. O quadro a seguir apresenta
valores de consumo de servidores tipo blade de cinco fabricantes diferentes, identificados
apenas como fabricantes A, B, C, D e E.
36
Servidores tipo blade (chassis totalmente carregado*) Carga por rack* (kW)
*em média 10 servidores blade por chassis *em média 5 chassis por rack
Fabricante A 14,3
Fabricante B 15,0
Fabricante C 14,3
Fabricante D 12,9
Fabricante E 10,0
Com base nos valores apresentados na tabela acima, nota-se que, para um mesmo tipo de
equipamento, há diferentes características de consumo associadas. Isso torna ainda mais
difícil uma determinação precisa de quantos kW de alimentação elétrica devem ser entregues
para cada rack/gabinete em um datacenter. No entanto, pode-se determinar uma média a
partir deste tipo de análise. Com base no Quadro 1, podemos desconsiderar o Fabricante
E (que apresenta um consumo significativamente inferior aos demais) e calcular a média
aritmética dos consumos de servidores tipo blade dos fabricantes A, B, C e D. Nesse exemplo,
encontramos uma média de consumo de 14,125 kW por rack/gabinete carregado com
servidores blade.
O exemplo apresentado aqui reflete a realidade dos projetos atuais de alimentação elétrica de
datacenters. Em geral, os projetistas do sistema elétrico de datacenters adotam um consumo
nominal (valor de projeto) de 15 kW por rack. Esse valor tem se mostrado suficientemente
preciso para a grande maioria dos projetos.
De qualquer forma, se o projetista quiser trabalhar com valores mais precisos, a única maneira
de consegui-los é por meio das informações técnicas de consumo, fluxo de ar, aumento de
temperatura em função da utilização e carga térmica (em kW), presentes nas especificações
técnicas dos equipamentos que serão instalados no datacenter.
37
Universidade do Sul de Santa Catarina
A carga total de projeto pode ser determinada pela soma das cargas de cada equipamento,
conforme mostrado na Quadro 2. No entanto, se dimensionarmos o sistema elétrico para
essa carga, ele não terá capacidade de crescimento. Em outras palavras, não será possível
adicionar mais equipamentos ao datacenter no futuro. Por isso, deve-se considerar na etapa
de projeto alguma capacidade de crescimento futuro.
Se buscarmos orientações na literatura técnica (livros, normas e manuais) sobre previsão para
crescimento de carga do sistema elétrico, vamos encontrar alguns autores que sugerem a
aplicação de um crescimento como uma porcentagem sobre a carga de projeto ao longo de
um período de tempo, por exemplo, 10% ao ano para cinco anos. Em nosso exemplo, isso
significaria aplicar um crescimento de carga de 23 kW, ou seja, o sistema seria projetado para
suportar uma carga de 61 kW.
A recomendação, entretanto, é aplicar, como fator de crescimento, uma previsão para racks e
gabinetes adicionais com base no espaço disponível na sala de computadores, pois, ao meu
ver, é isso o que de fato limita o crescimento de um datacenter. Dessa forma, considerado
um espaço de 20 m2 com quatro gabinetes e dois racks instalados inicialmente, o espaço
remanescente não poderá suportar mais que uns dois ou três racks ou gabinetes adicionais.
Portanto, eu consideraria como fator de crescimento dois gabinetes adicionais: um para
servidores e um para storage e um rack de telecomunicações e redes adicional. O Quadro 3
mostra a carga da sala de computadores com o fator de crescimento aplicado.
Se compararmos a carga futura obtida pelo método do crescimento pela aplicação de uma
porcentagem de crescimento ao longo de um período (10% ao ano, em cinco anos), com a
carga obtida pelo método de alocação de carga para racks e gabinetes adicionais, vamos
notar que a diferença é pequena, ou seja, 61 kW pelo primeiro e 57 kW, pelo segundo método.
38
Carga crítica de TI
Trata-se da carga total de TI de projeto, ou
[1]
a. sala de impressão;
Para a determinação precisa dos espaços de suporte e seus consumos de energia elétrica
correspondentes, o projetista deve ter um bom conhecimento do projeto, em detalhes.
Para efeito desse exemplo, vamos considerar que o consumo dos espaços de suporte será
aproximadamente 15% do consumo da carga de TI de projeto do site, portanto:
(kW) [2]
(kW) [3]
[4]
W = 0,4 kW [5]
39
Universidade do Sul de Santa Catarina
kW [6]
kW [7]
[8]
kW [9]
Sendo:
40
típica em torno de 65%. Assim, para a determinação da carga que o sistema mecânico
representa, necessitaremos da carga total do data center, conforme resume o Quadro 4.
Quadro 4 – Carga total do datacenter do nosso exemplo com exceção do sistema mecânico
[10]
[11]
Sendo,
Dessa forma, podemos finalmente determinar a carga total do site do exemplo em questão,
conforme apresentado no Quadro 5.
41
Universidade do Sul de Santa Catarina
alimentada, o que é bem realista. É importante notar ainda que, nesse exemplo, estamos
considerando um datacenter Tier I. Em outras palavras, trata-se de um sistema elétrico sem
qualquer redundância. Assim, espera-se que, quanto maior a redundância do site, maior seja
seu consumo elétrico.
(kW) [12]
(kW) [13]
Sendo:
Considerando uma alimentação elétrica trifásica em 380V (CA), a corrente do alimentador será:
[17]
[18]
Pergunta 04: Pode nos exemplificar com um diagrama elétrico típico de datacenter, explicando o
que é a redundância, e por que ela é necessária? Há esquemas elétricos específicos para cada
classificação Tier?
Resposta:
Vamos começar pelo sistema elétrico mais simples, ou seja, de um data center Tier I,
conforme mostrado na Figura 4.
42
Um datacenter Tier I, ou datacenter básico, é aquele que não apresenta qualquer redundância;
ele possui o mínimo necessário para ser considerado um sistema elétrico de um datacenter.
Em condição normal de operação, o sistema elétrico é alimentado pela concessionária local.
Em sua falta, o gerador assume a carga e, durante o período de comutação (quando a ATS/
QTA aciona o gerador), o sistema UPS mantém a carga crítica de TI em operação.
43
Universidade do Sul de Santa Catarina
Um datacenter Tier II, ou datacenter com componentes redundantes, é aquele que apresenta
algum grau de redundância, além do mínimo necessário. No esquema da Figura 5, em
condição normal de operação, o sistema elétrico é alimentado pela concessionária local, em
sua falta o gerador é acionado por meio da ATS/QTA. Em caso de falha do gerador principal
(G), o gerador redundante é acionado (+1). Durante o período de comutação (quando a ATS/
QTA aciona os geradores), o sistema UPS mantém a carga crítica de TI em operação. No
esquema da Figura 4.2, além do UPS principal (UPS), há um módulo redundante (+1), que
assume a carga crítica de TI no caso de falha do principal.
Datacenters Tier III são aqueles que permitem que serviços de manutenção sejam realizados
sem interrupção da operação, também conhecidos como datacenters com manutenção e
operação concomitantes. Para isso, os sistemas elétricos de datacenters Tier III precisam ter
um ramo de distribuição alternativo, conforme mostrado na Figura 6.
44
Como nas demais configurações, em operação normal a carga crítica é alimentada através
do “Ramo X” pela concessionária local. Na falta dessa, as chaves ATS/QTA sincronizadas
comutam o “Ramo X” aos geradores para a alimentação da carga crítica de TI. No caso
de falha elétrica em qualquer posição do “Ramo X”, a carga crítica de TI é comutada para
qualquer das fontes através do “Ramo Y”.
Para finalizar, a presença de dois ramos de distribuição elétrica para a carga crítica de TI
permite que serviços de manutenção sejam realizados em componente de qualquer um dos
ramos de distribuição, sem a parada da operação. Para isso, basta comutar manualmente a
carga crítica de TI para o ramo que não sofrerá a manutenção.
45
Universidade do Sul de Santa Catarina
Mais adiante vamos falar um pouco sobre eficiência energética em datacenters e uso de
métricas para sua avaliação.
46
Pergunta 05: Os equipamentos de energia, tais como geradores, UPS, eletrocalhas, cabos e
quadros de distribuição ocupam espaços consideráveis. Como são distribuídos nos espaços do
datacenter? Há recomendações específicas de caminhos e espaços para essas instalações?
Resposta:
Geradores
Os geradores ou grupos motor-gerador são motores a diesel que devem ser dimensionados
para prover energia para a capacidade plena do datacenter, em casos de falta de energia da
concessionária, incluindo alimentação para o UPS, climatização e iluminação. De acordo com
o Anexo F da ABNT NBR 14565:2013, os geradores devem:
Por questões de segurança, os geradores devem ser instalados em espaços com acesso
controlado e vigilância por câmeras de circuito fechado de TV em tempo integral.
47
Universidade do Sul de Santa Catarina
Sistemas UPS
Como vimos anteriormente, na falta de fornecimento de energia elétrica da concessionária
local, o gerador é acionado e durante o período de comutação a carga crítica de TI poderia ser
desligada. Assim, o UPS tem papel fundamental na manutenção da carga crítica de TI quando
há falta da concessionária.
Portanto, o UPS deve suportar a carga crítica durante o tempo necessário para a partida
e estabilização do grupo motor gerador. Há discussões entre os projetistas quanto ao
tempo necessário para isso. A maioria dos projetistas dimensiona o sistema UPS para uma
autonomia de 15 minutos. Na verdade, se o gerador não partir em até 15 segundos, ele não
partirá mais. Enfim, de acordo com a ABNT NBR 14565:2013, as seguintes recomendações se
aplicam ao UPS:
48
Tomadas elétricas independentes devem ser instaladas no interior do datacenter para outros
usos, tais como ferramentas, sistemas de limpeza e outras conveniências.
Para finalizar, a sala de computadores do datacenter deve ser localizada em região onde
não existam fontes de interferência eletromagnética, como transformadores, equipamentos
de raio x, equipamentos de solda e arcos elétricos, rádios, radar, entre outros, considerando
que o campo elétrico em seu interior deve ser inferior a 3 V/m. Embora não haja padrão para
separação segura (do ponto de vista de interferência eletromagnética), recomenda-se que
cabos de energia elétrica mantenham alguma separação de cabos de telecomunicações e
redes em datacenters.
Pergunta 06: Que tipos de geração de energia elétrica são utilizados em datacenters?
Resposta:
Por questão de disponibilidade e custo, a fonte de energia elétrica mais comumente utilizada
em datacenters é aquela proveniente da concessionária local. A fonte de energia alternativa
mais comum é o grupo motor-gerador, a diesel.
De qualquer forma, qualquer fonte de energia pode ser utilizada para alimentar um datacenter.
Atualmente, vemos o desenvolvimento dos painéis solares, sendo que no Brasil há algumas
infraestruturas de datacenters que operam com energia elétrica gerada por meio de painéis
solares com uma relação custo/benefício bastante interessante.
Outras formas de geração elétrica alternativa que vêm ganhando alguma atenção são a
energia eólica de baixa capacidade, microusinas hidrelétricas e queima de combustíveis
limpos, como o bagaço de cana de açúcar, que seria um exemplo de geração alternativa
utilizada em datacenters, o qual tive a oportunidade de conhecer. Nesse caso específico,
tratava-se de uma usina de álcool, que gerava bagaço de cana como resultado do processo e
era tratado como lixo. A construção da usina de geração elétrica a partir da queima do bagaço
de cana se mostrou bastante viável, oferecendo economia com os custos de energia elétrica
para a operação do datacenter. Como resultado, o que seria a fonte alternativa de energia
passou a ser a fonte primária do datacenter.
Pode parecer estranho, mas isso é perfeitamente viável e não contraria qualquer norma que se
aplica à infraestrutura de datacenters; tampouco altera a classificação tier do site.
Pergunta 07: A energia elétrica vinda das concessionárias influencia, ou não, na classificação
Tier?
49
Universidade do Sul de Santa Catarina
Resposta:
A resposta mais direta e precisa é não, a energia provida pela concessionária local não
influencia na classificação tier de um datacenter, mas vamos conhecer melhor essa questão.
Na verdade, a concessionária não é a fonte principal; ela só é utilizada como a fonte primária
devido à sua alta disponibilidade (em geral) e baixo custo relativo. Ela não é a fonte principal,
porque não é uma fonte de energia controlada pelo operador ou proprietário do datacenter.
Por definição, a fonte principal de um ambiente de missão crítica é aquela cujo controle e
disponibilidade dependem do operador ou proprietário do site. Olhando por esse prisma, a
fonte de energia principal de um datacenter convencional são os grupos motor-gerador a
diesel, pois, com uma boa manutenção preventiva e disponibilidade de combustível, essa
fonte opera ininterruptamente.
O único motivo pelo qual não é comum encontrarmos datacenters operando com grupos
motor-gerador como fonte principal é o custo do diesel. No entanto, como o custo de energia
elétrica no Brasil vem aumentando de forma significativa nos últimos anos, já é comum
encontrarmos datacenters operando com geradores nos horários de pico, nos quais o custo
do kWh passa a ser significativamente maior que o custo operacional dos geradores.
Assim, qualquer fonte de energia elétrica controlada pelo operador ou proprietário do data
center pode ser utilizada como a fonte principal do site.
Isso é importante porque há uma certa confusão entre projetistas de sistemas elétricos de
datacenters, principalmente quando o assunto é um datacenter tier III ou tier IV. A maioria
deles defende que datacenters de classificações tiers III e IV precisam, necessariamente,
ser alimentados por duas concessionárias diferentes. Caso contrário, não é possível obter
tais classificações. Ainda, alguns dizem que no Brasil não é possível a implementação
de datacenters tiers III e IV, porque na maioria do território brasileiro não há mais de uma
concessionária disponível.
É importante ter em mente que o que define as classificações tier de datacenters são suas
redundâncias e capacidade de recuperação de falhas, e não a natureza das fontes de energia
utilizadas para alimentar o site.
50
Pergunta 08: Que tipos de UPS são utilizados em datacenters? Precisam estar afastados dos
equipamentos de processamento ou podem conviver no mesmo espaço ou rack?
Resposta:
Tecnicamente, há vários tipos de sistemas UPS. Os mais comuns são o UPS off-line (ou
standby) e o de conversão dupla. A seguir, vamos conhecer brevemente suas características.
UPS off-line
Esse tipo de UPS é também conhecido como UPS standby. Sob circunstâncias normais,
a entrada do UPS alimenta a carga diretamente. A entrada do UPS também mantém as
baterias carregadas por meio do carregador. Um circuito inversor (CC/CA) converte a energia
das baterias em tensão em corrente alternada e é conectado a uma chave de transferência,
responsável por comutar a carga ao inversor, no caso de falta da entrada do UPS (fonte
primária, concessionária local). Nessa condição, o UPS suporta a carga por meio da energia
armazenada em suas baterias. A Figura 8 apresenta o esquema desse tipo de UPS.
Esse esquema de UPS é denominado de conversão simples, uma vez que há somente uma
etapa de conversão (CC para CA) quando há falta da concessionária. A conversão CA/CC que
ocorre no carregador das baterias tem um consumo muito baixo e não é considerada como
uma etapa de conversão efetiva.
Nesse tipo de UPS, a detecção da falta da concessionária ocorre dentro de um curto intervalo
de tempo. Isso resulta uma interrupção muito curta na alimentação da carga, a qual é
chamada de intervalo de transferência e deve ser da ordem de poucos milissegundos (ms),
para ser imperceptível para a maioria das cargas. Embora eficiente, simples e de baixo custo,
esse tipo de UPS não atende aos requisitos das cargas críticas de TI em datacenters.
51
Universidade do Sul de Santa Catarina
O UPS de conversão dupla é mais adequado a sistemas cuja entrada está sujeita a flutuações
e/ou interferências ou, ainda, para uso com grupos motor-gerador a diesel. Em sistemas
de conversão dupla, toda a tensão alternada de entrada é convertida em tensão contínua
pelo retificador, que também funciona como carregador das baterias. A tensão contínua
é convertida novamente em uma tensão alternada (“limpa”, nesse caso) pelo conversor e
alimenta a carga, que é totalmente suportada sob condições normais.
Quando ocorre a falta da concessionária, o inversor retira tensão em corrente contínua das
baterias e não do retificador. Nenhuma forma de chaveamento é necessária, de modo que um
sistema UPS de dupla conversão garante uma transferência sem interrupção para as baterias
quando ocorre a falta da entrada de alimentação elétrica proveniente da concessionária local.
A regulagem e o condicionamento da tensão entregue à carga nesse sistema são superiores
àqueles oferecidos pelos sistemas off -line e de linha interativa. A Figura 9 mostra um esquema
de um UPS de conversão dupla.
52
Para finalizar, de modo a conferir redundância ao sistema elétrico para classificações em tiers,
o sistemas UPS mais comuns são modulares e instalados em modo paralelo-redundante,
como mostrado na Figura 10.
Note que, na Figura 10, o UPS1 suporta uma carga de 100 kVA e um módulo redundante (+1)
de 100 kVA está conectado em paralelo a ele; configuração similar é mostrada para o UPS2.
Com essa configuração, caso o módulo principal (UPS1) falhe, há um módulo redundante (+1)
com a mesma capacidade do principal para manter a carga crítica de TI. O mesmo acontece
para o sistema UPS2. Esse tipo de configuração é a mais comum e recomendada em
datacenters.
Resposta:
53
Universidade do Sul de Santa Catarina
O Q.D.UPS deve ser instalado em um espaço próximo às cargas críticas para minimizar as
perdas ôhmicas nos cabos elétricos de distribuição. É comum ter o espaço reservado ao
sistema UPS, incluindo bancos de baterias, em proximidade da sala de computadores, porém,
não dentro dela. As razões para não instalar o sistema UPS dentro da sala de computadores
são as seguintes:
54
As unidades de distribuição elétrica individuais (PDU) podem ser instaladas dentro da sala de
computadores, e normalmente o são. As PDU podem ser alinhadas com as filas de racks e
gabinetes para as quais distribuem circuitos elétricos dedicados às cargas críticas de TI.
Resposta:
Sim, o aterramento é parte do sistema elétrico do data center e deve sempre ser
implementado. Nesse caso, há normas que especificam aterramento, como a ABNT
NBR 5410. Embora ela não especifique um aterramento exclusivo para datacenters, suas
especificações se aplicam a esses.
55
Universidade do Sul de Santa Catarina
O espaço ocupado pelo datacenter em um edifício comercial deve ser tratado como um sala
de equipamentos para efeitos de sua conexão ao sistema de aterramento da edificação. A
Figura 13 mostra um esquema de aterramento de datacenters.
56
Normalmente, uma malha de referência de sinal (SRG, Signal Reference Grid) é utilizada para
aterramento da sala de computadores e, quando adequadamente projetada e implementada,
oferece uma referência de terra comum em altas frequências para todos os equipamentos
dentro de uma área bem delimitada. O SRG equaliza os potenciais de forma eficiente, dentro
de uma ampla escala de frequências, desde níveis CC até mega-hertz (MHz). Assim, a função
da malha de referência de sinal é minimizar as diferenças de tensões entre equipamentos
interconectados por meio de um plano de terra equipotencial para altas frequências e baixos
níveis de tensão de ruído.
A malha de referência de sinal pode ser implementada com condutores de seção circular,
mais fáceis de serem instalados em sistemas de piso elevado existentes ou fitas planas,
que apresentam impedâncias inferiores aos condutores de seção circular (o que é um fator
importante em altas frequências) e, portanto, com um nível de desempenho superior. As fitas
planas dão menos trabalho durante a instalação (principalmente em instalações novas). A
Figura 14 apresenta exemplos de SRG implementados em datacenters, com condutores de
seção circular e fitas planas.
57
Universidade do Sul de Santa Catarina
Pergunta 11: Muito se fala em PUE quando o assunto é eficiência energética em datacenters. Ou
que é PUE? Existem outras métricas de eficiência? Poderia nos explicar e dar exemplos?
Resposta:
A PUE (Power Usage Effictiveness) ou eficiência do uso de energia é uma das métricas
estabelecidas pelo The Green Grid para a avaliação da eficiência energética de datacenters, e
pode ser definida como:
[1]
Sendo:
A PUE é definida como a carga total do datacenter dividida pela carga crítica efetiva, conforme
a expressão 1, acima.
A carga total do datacenter é definida como o consumo total de sua infraestrutura. A carga
crítica efetiva é definida como a carga total de equipamentos usados para processar,
armazenar e rotear informações dentro do datacenter. Normalmente, a carga crítica de TI (CTI)
se refere a todos os equipamentos ativos em operação na sala de computadores. Portanto,
a PUE tem como objetivo medir o quanto do consumo de energia elétrica do datacenter é de
fato utilizado pelos equipamentos de TI.
58
CTI = 57 kW
CTOTAL = 133,2 kW
[2]
O resultado acima mostra que, para alimentar uma carga de TI de 57 kW (carga efetiva de TI),
é preciso dimensionar o alimentador da infraestrutura do datacenter para uma carga que é
superior ao dobro da carga crítica efetiva, ou 130% maior. A discussão agora é se essa figura
de PUE é boa (aceitável) ou ruim.
Antes de falarmos sobre valores aceitáveis, viáveis ou até ótimos para a PUE, vamos analisar
alguns aspectos do consumo de energia elétrica dos datacenters. Para efeitos de análise de
cargas, podemos dividir o consumo de um data center em basicamente dois: carga elétrica e
carga térmica.
A carga crítica de TI é a soma das cargas individuais de todos os equipamentos de TI, tais
como servidores, storage, switches etc. Além das cargas dos equipamentos de TI, as cargas
elétricas dos espaços de suporte (sala de impressão, NOC – Network Operation Center, sala
para armazenamento de fitas e outras mídias, espaços reservados para o pessoal de TI, salas
de telecomunicações, salas de baterias etc.) também entram no cálculo da carga total do site.
59
Universidade do Sul de Santa Catarina
Em termos de carga térmica, os elementos que geram calor que deve ser retirado do
datacenter pelo sistema de climatização são os equipamentos críticos de TI, eventualmente
o sistema UPS (quando instalado dentro da sala de computadores), PDU e iluminação (que
tende a representar uma carga térmica desprezível).
Embora a PUE seja a métrica universalmente aceita pelos profissionais de TI para medir a
eficiência energética de datacenters, há outras, como a DCiE (Data Center infrastructure
Effectiveness, Eficência da infraestrutura do Data Center), DCE (Data Center Effectiveness,
Eficiência Energética do Data Center), entre outras que não são tão relevantes.
[3]
[4]
[5]
[6]
De maneira análoga à PUE, podemos entender que uma DCE de 0,42 (equivalente a uma PUE
de 2,3), como um indicador de que a carga crítica efetiva (TI), consome 42% de toda a energia
entregue ao datacenter.
60
Para finalizar, seja a PUE, a DCiE ou a DCE, a métrica adotada para a avaliação da eficiência
energética de um datacenter, os pontos de medição, bem como o período considerado, são
de fundamental importância para que o valor resultante seja preciso e represente o real perfil
de consumo do datacenter.
Pergunta 12: Que conselhos práticos poderia nos dar para melhorar a eficiência energética dos
datacenters?
Resposta:
Portanto, no que diz respeito à otimização da eficiência energética, há alguns pontos que
podem ser melhorados. Como o sistema mecânico é responsável por um alto consumo de
energia, qualquer iniciativa, no sentido de reduzir a carga térmica do datacenter, resultará
uma PUE mais baixa. Por isso, muitas propostas têm sido apresentadas no mercado para a
otimização do sistema de climatização dos datacenters. Particularmente, acredito que essa é
a melhor abordagem para a melhoria da eficiência energética em datacenters.
Quadro 7 – Consumo do datacenter utilizando confinamento de corredores para reduzir o consumo do sistema de
climatização
61
Universidade do Sul de Santa Catarina
[1]
No caso do uso de free cooling, o consumo do datacenter seria ainda mais baixo, conforme
mostrado no Quadro 8.
Quadro 8 – Consumo do datacenter utilizando free cooling para reduzir o consumo do sistema de climatização
Conforme mostrado no Quadro 2, com uso de free cooling que representa uma economia de
energia com o sistema de climatização da ordem de 50%, teremos a seguinte PUE para o
datacenter do nosso exemplo:
[2]
62
Referências
ABNT. Norma ABNT NBR 14565: 2013. Cabeamento estruturado para edifícios comerciais e
data centers.
APC. APC metered rack pdu installation example. 42U.com, 1995-2016. Disponível em:
<http://www.42u.com/images/apc-metered-rack-pdu-installation-example.jpg>. Acesso em: 26
set. 2016.
KEYITEC INC. The Liebert Remote Distribution Cabinet (FDC). Disponível em: <http://www.
keyitec.com/keyitec-Liebert-PDU.html>. Acesso em: 26 set. 2016.
MARIN, P.S. Data Centers – Engenharia: Infraestrutura Física. São Paulo: PM Books, 2016.
MARIN, P.S. Consumo médio do datacenter em função de seus sistemas principais. In:
FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça:
Unisul Virtual, 2016.
MARIN, P.S. Consumo típico de servidores tipo blade de diferentes fabricantes. In: FACCIONI
FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul
Virtual, 2016.
MARIN, P.S. Carga total do datacenter do nosso exemplo, com exceção do sistema mecânico.
In: FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital.
Palhoça: Unisul Virtual, 2016.
MARIN, P.S. Carga total do datacenter do nosso exemplo. In: FACCIONI FILHO, Mauro.
Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual, 2016.
63
Universidade do Sul de Santa Catarina
MARIN, P.S. Esquema elétrico simplificado de um datacenter Tier I, II, III, IV. In: FACCIONI
FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul
Virtual, 2016.
MARIN, P.S. Configuração UPS paralelo-redundante. In: FACCIONI FILHO, Mauro. Conceitos
e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual, 2016.
MARIN, P.S. Esquema de distribuição elétrica em datacenters. In: FACCIONI FILHO, Mauro.
Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual, 2016.
MARIN, P.S. Consumo de um datacenter, por sistemas e total. In: FACCIONI FILHO, Mauro.
Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual, 2016.
MARIN, P.S. Consumo do datacenter utilizando free cooling para reduzir o consumo do
sistema de climatização. In: FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de
datacenters: livro digital. Palhoça: Unisul Virtual, 2016.
64
Infraestrutura de climatização para
datacenters
Apresentação da entrevista
Ao lado da energia elétrica, o outro grande tema em datacenters, discutido nessa entrevista,
é o da climatização. Equipamentos sensíveis de computação necessitam de condições
ambientais específicas, definidas pelos fabricantes e em normas internacionais, e em torno
disso giram as questões aqui colocadas ao Dr. Paulo Marin. Essas condições ambientais
dizem respeito especialmente à temperatura e umidade, e a partir disso são feitos os cálculos
de equipamentos necessários para atender um determinado volume de equipamentos
computacionais.
Além dos equipamentos, outros temas surgem, tais como o dos corredores frios e quentes
e do layout para disponibilizar máquinas e racks. Modelos inovadores de máquinas, junto ao
racks, ou mesmo junto a servidores, são discutidos. O Prof. Marin observa certas práticas
de mercado e nos dá recomendações a respeito do fluxo de ar, da forma de instalação, dos
sistemas elétricos que alimentam tais máquinas, e todas as considerações necessárias para o
melhor aproveitamento energético possível.
Entrevista
Resposta:
grande dissipação de calor. Os mainframes ainda existem, mas não são mais os equipamentos
predominantes nos datacenters.
De acordo com a Classe 1 da ASHRAE (American Society of Heating, Refrigerating and Air-
Conditioning Engineers, Sociedade Americana de Engenheiros de Climatização), entidade
norte-americana internacionalmente reconhecida na área de padronização para climatização, a
temperatura na entrada de ar dos equipamentos críticos de TI deve estar entre 18 °C e 27 °C,
com uma umidade relativa do ar de 60%. A saída de ar quente desses equipamentos (após a
refrigeração) deve estar a uma temperatura aproximada de 38° C, com umidade relativa do ar
em torno de 20%.
Para que a temperatura da sala de computadores na entrada dos servidores opere dentro da
faixa recomendada, as unidades CRAC são configuradas para entregar ar frio entre 20° C e
25° C, com uma taxa de troca de calor de 5° C por hora; isso se aplica à umidade relativa do
ar, que é entregue entre 20 e 80%. Essas condições são determinadas utilizando o nível do
mar como referência.
Faixa de Ponto de
Taxa de troca Umidade
temperatura condensação
Norma máxima relativa do ar Altitude
operacional máximo
18 a 27° C
66
Resposta:
Neste exemplo, para a determinação das cargas térmicas, consideramos que a carga térmica
de TI será igual à carga dos equipamentos críticos de TI. Portanto:
[1]
[2]
[3]
O sistema UPS também é responsável pela geração de calor no datacenter, que deve ser
levado em consideração no levantamento das cargas térmicas do site, pois o calor dissipado
por esses sistemas também precisa ser retirado. A expressão [4] apresenta o cálculo das
cargas térmicas desses sistemas.
[4]
[5]
67
Universidade do Sul de Santa Catarina
[6]
[7]
68
Pergunta 03: O que significam as expressões “corredor frio” e “corredor quente”? São ambientes
especiais? Há algum modelo de projeto ou de configuração para esses ambientes?
Resposta:
Corredores frios e quentes são os espaços na frente e atrás dos gabinetes nas salas de
computadores para conformação dos fluxos de ar frio e quente nesse espaço. A finalidade da
conformação desses corredores é melhorar a eficiência energética do sistema de climatização
do datacenter.
O conceito de corredores frios e quentes tem sido adotado com sucesso, independentemente
do tipo de distribuição de ar utilizado na sala de computadores (sob o piso elevado ou por
distribuição overhead, como veremos mais adiante). Para que corredores frios e quentes sejam
configurados de forma adequada, as unidades CRAC (máquinas de ar-condicionado) devem
ser posicionadas na sala de forma estratégica. A Figura 2 mostra a conformação de corredores
frios e quentes em uma sala de computadores com insuflação de ar sob o piso elevado.
69
Universidade do Sul de Santa Catarina
Para a insuflação de ar frio e consequente conformação dos corredores frios, placas de piso
perfuradas são posicionadas de forma adequada e os racks ou gabinetes são posicionados
de tal forma que os equipamentos ativos fiquem com a frente (para aspirar o ar frio)
orientada para esse corredor. Assim, o corredor frio se configura com o posicionamento dos
equipamentos de TI orientados sempre de frente (a frente de um posicionada para a frente do
outro). O corredor quente é gerado na parte posterior (traseira) dos racks ou gabinetes, onde
há a saída do ar que passou pela eletrônica para retirar o calor gerado devido à sua operação.
O corredor quente não deve ter placas de piso perfuradas para não haver vazamento de ar frio
para dentro dele, prejudicando a eficiência do sistema de climatização. O corredor quente é,
então, criado pelo posicionamento das partes posteriores dos equipamentos de TI, ou seja,
a traseira de um equipamento é alinhada com a traseira do outro. O ar quente flui em direção
à unidade CRAC e é retirado do espaço. Esse mecanismo é mostrado em mais detalhes na
Figura 2.
70
Pergunta 04: Há acrônimos comuns como CRAC e outros quando nos referimos aos
equipamentos de climatização de datacenters. O que significam esses acrônimos, e como
funcionam esses equipamentos?
Resposta:
As unidades CRAH operam com chillers de água gelada, como os sistemas de ar-
condicionado central de grande porte utilizados em edifícios comerciais, shopping centers,
hospitais etc. A refrigeração é obtida por um fluxo de ar que sopra uma serpentina (fan
coil) com água gelada para transferir o calor do refrigerante (água) para o ambiente a ser
climatizado. A água gelada é fornecida à unidade CRAH pelo chiller, localizado na casa de
máquinas do sistema mecânico. As unidades CRAH podem ter válvulas de fluxo variável,
podendo modular a ventilação para manter uma pressão estática tanto sob o livro elevado
quanto em dutos overhead. A Figura 3 mostra um esquema simplificado de um sistema de
climatização com unidades CRAH.
71
Universidade do Sul de Santa Catarina
Vapor
Torre de
resfriamento
Evaporador
Reservatório
de água gelada
Condensador
CRAH
Ar frio insuflado na
sala de computadores
Uma unidade CRAC opera com expansão direta de refrigerante dentro da própria unidade
(mais ou menos como os equipamentos de ar-condicionado que utilizamos em nossas
casas). Isso significa que o compressor e o evaporador utilizados no ciclo de climatização são
montados dentro da unidade. O fluido refrigerante que entra frio na unidade CRAC absorve
o calor e o transporta do ambiente interno (sala de computadores) para o ambiente externo,
onde fica a condensadora. O calor retirado é dissipado no ambiente externo. O esquema de
funcionamento de uma unidade CRAC é mostrado na Figura 4.
Rejeição de calor
Condensadora
CRAH
Evaporador
Ar frio insuflado na
sala de computadores
72
Figura 5 - Exemplo de uma unidade CRAC comumente utilizada em salas de computadores em datacenters
A unidade CRAC mostrada na Figura 5 insufla o ar frio sob o piso elevado, ela é instalada
na mesma altura que a estrutura do piso elevado e ajustada para que sua saída de ar fique
corretamente posicionada.
Resposta:
73
Universidade do Sul de Santa Catarina
Quando utilizadas nessa configuração, se uma unidade falhar, a outra assume 100% da carga
térmica da sala. O uso das máquinas a 50% da carga de projeto ajuda a evitar a sobrecarga
de uma única máquina e a garantir que a unidade redundante opere satisfatoriamente quando
a principal parar e vice-versa.
Essa é uma boa prática, pois uma máquina redundante ociosa pode não ter um bom plano de
manutenção preventiva e falhar quando seu acionamento for necessário.
A Figura 7 mostra um outro exemplo de uso de unidades CRAC redundantes que podem
operar em conjunto ou separadas, em datacenters de pequeno porte.
Na Figura 7, as unidades CRAC são de insuflação overhead, ou seja, são fixadas às paredes
da sala de computadores alinhadas com as partes frontais dos gabinetes. Em ambientes como
o mostrado nesta figura, não há uma conformação de corredores frios e quentes. Isso não
é um problema, pois o espaço é pequeno para esse tipo de configuração e a eficiência do
sistema de climatização não é afetada por isso. Nesses ambientes, também é comum o uso
de unidades operando cada uma a 50% de sua capacidade total ou uma delas operando a
100%, com a redundante em standby. Ambas as configurações são igualmente reconhecidas
por normas e melhores práticas de climatização.
Para finalizar, os sistemas críticos dos datacenters (elétrico e mecânico) são normalmente
implementados com alguma redundância, mesmo em infraestruturas de pequeno porte. A
disponibilidade do site é extremamente dependente desses sistemas.
74
Resposta:
Não sei se podemos classificar como corretas ou erradas, mas certamente há recomendações
de posições que podem oferecer um melhor desempenho tanto em termos de climatização
quanto de eficiência energética.
Quando são utilizadas unidades CRAC com insuflação sob o piso elevado, a melhor forma de
posicioná-las dentro da sala de computadores é de modo que a insuflação de ar frio aconteça
sob o corredor quente da sala, conforme mostrado na Figura 8.
Figura 8 – As unidades CRAC devem ser insuflar ar frio sob o corredor quente da sala de computadores
Outra recomendação é deixar o vão abaixo dos corredores frios com a menor obstrução
possível quando esse vão não puder ser deixado totalmente livre, pois isso melhora a eficiência
energética do sistema de climatização. O erro mais comum, nesses casos, é instalar os
caminhos de cabos do cabeamento estruturado nessas posições. A densidade de cabos do
sistema de cabeamento estruturado é extremamente alta e, certamente, causará a obstrução
das placas perfuradas e grelhas por onde o ar frio deve ser insuflado nos corredores frios.
75
Universidade do Sul de Santa Catarina
a. as câmaras de ar formadas pelos vãos livres sob o piso elevado devem ser
mantidas sem obstruções abaixo dos corredores frios (por onde o ar frio deve
passar);
e. placas perfuradas não devem ser usadas em conjunto com grelhas no mesmo
ambiente para a conformação dos corredores frios – nesses casos, o ar tende
a sair pelas grelhas e pode não ter pressão para sair pelas aberturas das
placas perfuradas;
f. as aberturas para passagens de cabos para dentro dos racks devem ser
seladas;
g. o ar frio deve ser sempre insuflado no corredor pela frente dos racks e
gabinetes e não por baixo deles, ou seja, as placas perfuradas devem ser
posicionadas sempre na frente dos racks e gabinetes e não abaixo deles;
Pergunta 07: Com a alta concentração de equipamentos e potência nos racks, há algum meio de
colocarmos equipamentos de climatização junto a essas cargas?
Resposta:
76
Na Figura 9b é possível ver uma unidade CRAC insuflando ar sob o piso elevado abaixo do
corredor quente, como sabemos, é a melhor recomendação de topologia de instalação de
unidades CRAC em salas de computadores. Ainda, pode-se ver que o ar frio insuflado por
meio do piso elevado não é capaz de atingir as camadas superiores dos gabinetes da sala.
Por isso, equipamentos suplementares são instalados sobre os gabinetes para insuflar ar
frio nos corredores frios para atingir os equipamentos instalados nas partes superiores dos
gabinetes. Isso seria simples se não fosse a necessidade de instalação de tubulações na sala
para o transporte do refrigerante e trocadores de calor, chillers, condensadoras etc., em outros
espaços do datacenter (sala de máquinas, ambiente externo do edifício etc.).
Entre os sistemas suplementares que se tornaram mais populares como sistemas principais
de climatização na sala de computadores estão os equipamentos in-row (em fila), conforme
mostrado na Figura 10.
77
Universidade do Sul de Santa Catarina
78
Para finalizar, os fabricantes de sistemas de climatização para datacenters têm aumentado sua
oferta de equipamentos com menores capacidades (em termos de carga térmica por unidade)
e dimensões, de modo a permitir a instalação em posições mais próximas às cargas térmicas
das salas de computadores e onde são necessários. Em outras palavras, estão oferecendo
maior flexibilidade e relação custo/benefício.
Pergunta 08: A injeção de ar frio deve ser feita pelo piso elevado ou também é possível fazer pela
parte superior? Há alguma recomendação ou técnica para isso?
Resposta:
A climatização overhead também pode ser obtida com o uso de dutos para a insuflação de ar
frio no ambiente com o retorno feito pelo coletor frontal da máquina (unidade CRAC ou CRAH).
A Figura 11 mostra essa arquitetura de climatização; a Figura 12, a insuflação de ar frio em uma
sala de computadores de pequeno porte diretamente das unidades CRAC, sem o uso de dutos.
79
Universidade do Sul de Santa Catarina
Ar insuflado Ar insuflado
Figura 12 – Insuflação overhead de ar em uma sala de computadores com unidades CRAC sem dutos
A insuflação overhead direta na sala de computadores sem o uso de dutos é uma solução de
climatização bastante comum em data de pequeno porte, como o mostrado na Figura 12.
Em sistemas de climatização que utilizam o piso elevado como duto, o vão livre é fator crítico e
deve ser levado em consideração nas etapas de projeto e implementação. É importante considerar
que vários sistemas de um datacenter compartilham o espaço sob o piso elevado, tais como a
distribuição de cabeamento estruturado, a distribuição elétrica, os sistemas de dutos de água (ou
80
Pergunta 09: Sabemos que as instalações elétricas e de cabeamento passam em geral sob o
piso. Isso poderia atrapalhar o fluxo de ar da climatização?
Resposta:
Sim, quando o piso elevado é utilizado para a distribuição dos circuitos de alimentação
elétrica, é importante posicionar suas eletrocalhas abaixo das placas perfuradas do piso
elevado por onde haverá fluxo de ar frio (abaixo do corredor frio), já que isso pode ajudar a
reduzir o calor dissipado pelos cabos elétricos sob o piso elevado.
A Figura 13 mostra um perfil do piso elevado com a distribuição dos serviços de cabeamento
estruturado e de energia elétrica. Note que as calhas dos cabos de telecomunicações
(cabeamento estruturado) são posicionadas abaixo dos corredores quentes.
Figura 13 – Esquema de distribuição de cabeamento estruturado e de energia elétrica sob o piso elevado por onde o
ar frio é insuflado
Os sistemas distribuídos sob o piso elevado devem ficar afastados da laje e também não
podem obstruir as saídas de ar, que ocorrem normalmente por meio de placas de piso
perfuradas ou grelhas.
81
Universidade do Sul de Santa Catarina
Pergunta 10: Voltando ao tema dos corredores frios e quentes, é possível confiná-los e assim
obter melhor rendimento? Como funcionam esses confinamentos?
Resposta:
Sim, é entendimento comum entre os profissionais da área que o confinamento pode ser
implementado para o corredor frio ou para o corredor quente ou ainda, para ambos. Que
configuração oferece o melhor desempenho em termos de eficiência energética é o que
ainda gera alguma discussão. O fato é que o confinamento de corredores, sejam eles frios ou
quentes, oferece alguma otimização do sistema de climatização da sala de computadores.
Alguns estudos mostraram que a eficiência energética pode melhorar entre 20 e 30% quando
utilizado o confinamento de corredores. A Figura 14 mostra um esquema de contenção do
corredor frio.
O sistema apresentado na Figura 14 é obtido pelo fechamento das laterais do corredor frio
em torno de todos os gabinetes de grupos de duas filas e também do teto desse espaço
delimitado pelos fechamentos laterais. Embora, em princípio, qualquer fechamento como
o mostrado na figura sirva ao propósito de confinar o corredor, vários fabricantes oferecem
sistemas com componentes especialmente desenvolvidos para um fechamento efetivo,
provendo acesso ao interior do corredor para manutenção dos equipamentos de TI. A
Figura 15 mostra um exemplo de sistema de confinamento de corredores frios disponível no
mercado.
82
Pergunta 11: A eficiência energética é um tema muito importante e os datacenters são grandes
consumidores de energia. Ao lado dos equipamentos de processamento, os sistemas de
climatização aparecem como “vilões”, e por esse motivo há muita pesquisa buscando formas
de diminuir o consumo elétrico por parte da climatização. O free cooling surge como uma das
soluções para esse problema. O que é o free cooling e como funciona?
Resposta:
O free cooling é uma técnica de climatização que tem a proposta de reduzir o consumo de
energia do datacenter pela utilização do ar à temperatura ambiente para a refrigeração da sala
de computadores.
Embora o conceito seja simples, a operação de climatização free cooling não consiste
simplesmente na coleta de ar externo (à baixa temperatura) e sua insuflação direta na sala de
computadores.
83
Universidade do Sul de Santa Catarina
então, como um sistema convencional, à medida que a temperatura externa sobe a níveis que
inviabilizam o emprego dessa técnica. Portanto, o que define quais etapas serão acionadas
para a climatização da sala de computadores é, basicamente, a diferença entre a temperatura
externa e a temperatura que se deseja manter nos corredores frios da sala.
Ar quente (saída)
Região de ar frio Região de ar quente
Ar frio
externo
O ar frio do ambiente externo é puxado para dentro da câmara de climatização por meio de
ventiladores de alta pressão e velocidade variável, o qual passa por meio do condensador,
esse o resfria e converte o gás quente em refrigerante líquido novamente, que regressa ao
evaporador no compartimento inferior da câmara (4). Desse modo, o calor transportado ao
condensador é retirado da câmara de climatização em forma de ar quente, que é forçado a
fluir para fora da câmara (5). O ar frio é transportado do compartimento inferior da câmara de
climatização para dentro da sala de computadores, formando o corredor frio (6). Esse ar frio é
utilizado para resfriar os equipamentos ativos montados nos gabinetes, dando continuidade ao
ciclo de climatização do datacenter (7).
84
Nessa aplicação, não há mistura do ar interno que circula dentro do datacenter com o ar
do ambiente externo. Assim, eventuais contaminantes presentes no ambiente externo não
ingressam no datacenter. Esses sistemas têm painéis de isolação entre o container da sala
de computadores e o da câmara de climatização. Os painéis também isolam o datacenter de
umidade, água, fogo, entre outros contaminantes e eventos indesejados.
No que diz respeito à temperatura do datacenter, isso vai depender da diferença entre
as temperaturas externas e aquela que se deseja manter no corredor frio. O quadro a
seguir apresenta algumas relações entre as faixas de variação da temperatura externa e
a temperatura do corredor frio, bem como os requisitos adicionais para uma climatização
eficiente da sala de computadores, utilizando free cooling na arquitetura apresentada.
Quadro 4 – Relação entre as temperaturas externas e internas do sistema de free cooling apresentado aqui
Para finalizar, o free cooling pode ser também implementado utilizando-se unidades CRAC
com economizadores, que são assim designados porque ajudam o sistema de climatização
economizar energia. Em geral, esses sistemas têm uma tomada de ar que coleta o ar
do ambiente externo e o utiliza para a climatização da sala de computadores, quando a
temperatura externa está dentro de limites de operação do sistema free cooling. A partir daí,
as etapas de evaporação e condensação são acionadas e o sistema de climatização passa a
operar como um sistema convencional.
Pergunta 12: Ainda no tema da eficiência energética, poderia nos indicar boas práticas no projeto,
operação e manutenção dos sistemas de climatização de datacenters?
Resposta:
85
Universidade do Sul de Santa Catarina
O fechamento das aberturas por onde pode haver vazamento de ar do sistema de climatização
é uma prática que ajuda a aumentar a eficiência energética do datacenter, conforme mostrado
na Figura 16.
Dispositivos utilizados para vedar as aberturas das placas de piso para a passagem de
cabos ajudam a evitar o vazamento de ar frio para dentro do gabinete e melhora a eficiência
energética do sistema de climatização da sala de computadores quando o ar frio é insuflado
sob o piso elevado.
Há soluções muito simples, baratas e eficientes disponíveis no mercado para resolver o problema
de falha na vedação das aberturas do piso elevado, conforme mostrado na Figura 17.
Figura 17 – Solução utilizada para vedar as aberturas de placas de piso para passagem de cabos por meio de
organizadores de cabos verticais
86
As aberturas deixadas nos racks e gabinetes causam a recirculação de ar quente pelo corredor
frio, reduzindo a eficiência do sistema de climatização da sala de computadores. Alguns
autores se referem a esse efeito como “curto-circuito”. A Figura 18 ilustra esse efeito.
Figura 18 – Recirculação de ar por dentro do rack quando são deixadas aberturas na parte frontal
Rack ou Gabiente
Frente Trás
Abertura Abertura
A instalação de painéis cegos para fechar as aberturas dos racks e gabinetes ajuda a manter
a eficiência da climatização da sala de computadores, por não permitir o retorno de ar quente
pelo corredor frio. A Figura 19 apresenta o efeito da instalação de placas cegas nas aberturas
dos racks.
Figura 19 – Aplicação de placas cegas nas aberturas dos racks para evitar a recirculação de ar entre os corredores frio
e quente por dentro do rack
Rack ou Gabiente
Frente Trás
Painel Cego
87
Universidade do Sul de Santa Catarina
Figura 20 – Exemplos de placas cegas para vedação de racks e gabinetes, bem como das placas individualmente
Placas cegas
1U
2U
3U
4U
Placas cegas
Fonte: Marin (2013).
Pergunta 13: O uso de simulações computacionais é útil para o projeto de climatização? O que
vem a ser CFD – Computational Fluid Dynamics?
Resposta:
Sim, as simulações são ferramentas bastante eficientes tanto para a determinação das
condições e parâmetros de projeto quanto para o diagnóstico de problemas em instalações
existentes.
Uma técnica de projeto bastante eficiente para a avaliação do desempenho dos corredores
frios e quentes do sistema de climatização da sala de computadores é conhecida como CFD
(Computational Fluid Dynamics, Dinâmica de Fluidos Computadorizada). Ela consiste no uso
de software específico, que é alimentado com informações realistas e, portanto, confiáveis,
para gerar resultados precisos. A Figura 21 mostra um exemplo de CFD.
88
Conforme podemos ver na Figura 21, os corredores frios são identificados em azul e, quanto
mais forte a tonalidade do azul, mais baixa é a temperatura do corredor. Da mesma forma,
quanto mais próximo do vermelho, maior a temperatura do corredor e/ou ambiente. Portanto,
nessa figura notamos que o corredor frio recebe ar insuflado sob o piso elevado em baixa
temperatura (azul mais forte próximo à base dos gabinetes), que começa a aumentar à medida
que sobe às partes mais altas dos gabinetes. A instalação de uma unidade de suplementação
de ar-condicionado na parte superior do corredor frio ajuda a baixar a temperatura nas partes
superiores do corredor frio. Portanto, essa análise CFD ajuda na decisão de se instalar uma
unidade suplementar de climatização para baixar a temperatura das partes superiores do
corredor frio da datacenter avaliado.
A análise de CFD pode ser utilizada para gerar gráficos termográficos, como mostrado na
Figura 22.
89
Universidade do Sul de Santa Catarina
Na Figura 22, os tons mais próximos ao vermelho indicam áreas nas quais as temperaturas
são mais altas (área em laranja na figura). Da mesma forma, os tons mais claros representam
regiões cujas temperaturas são mais baixas.
Referências
MARIN, P.S. Cargas térmicas do datacenter do exemplo. In: FACCIONI FILHO, Mauro.
Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual, 2016.
MARIN, P.S. Data Centers – desvendando cada passo: conceitos, projeto, infraestrutura
física e eficiência energética. São Paulo: Editora Érica Saraiva, 2013.
MARIN, P.S. Data Centers – Engenharia: Infraestrutura Física. São Paulo: PM Books, 2016.
MARIN, P.S. Esquema de climatização com unidades CRAH. In: FACCIONI FILHO, Mauro.
Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul Virtual, 2016.
MARIN, P.S. Esquema simplificado de operação de climatização com unidade CRAC. In:
FACCIONI FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça:
Unisul Virtual, 2016.
MARIN, P.S. Parâmetros térmicos operacionais para a sala de computadores. In: FACCIONI
FILHO, Mauro. Conceitos e Infraestrutura de datacenters: livro digital. Palhoça: Unisul
Virtual, 2016.
90
Sistemas complementares em datacenter
Apresentação da entrevista
Nesta quarta entrevista, são discutidos os elementos complementares ao sistema elétrico
e de climatização do datacenter. Não que esses elementos sejam secundários ou menos
importantes, porém, a questão da energia e da eficiência energética tem ocupado um cenário
proeminente nas discussões industriais e ambientais em todo o mundo.
Entre esses, temos o cabeamento para as redes de comunicação, assunto no qual o Prof.
Marin sempre se destacou pelo notório saber e que o levou a conquistar importante prêmio
internacional. Ele nos fala sobre as topologias do cabeamento, aplicações com sistemas
metálicos e ópticos, e também aborda a infraestrutura de caminhos e espaços dentro do
datacenter, para atender esses cabeamentos em paralelo aos de energia.
Ao concluir, o Prof. Marin apresenta sugestões e conselhos para o melhor projeto técnico,
de acordo com práticas de qualidade, baseadas em normas e também nas mais recentes
tendências tecnológicas em datacenters.
Entrevista
Resposta:
É verdade que uma grande ênfase é dada aos sistemas elétrico e de climatização no que diz
respeito à infraestrutura de datacenters. Isso é devido, principalmente, às classificações tier,
como discutimos anteriormente.
Universidade do Sul de Santa Catarina
Resposta:
1. Ver “Cabeamento Estruturado: Projeto e Instalação”, de Paulo Sérgio Marin, PM Books Editora, 2015, São Paulo/SP, Brasil.
92
Como podemos observar na Figura 1, são mostradas duas nomenclaturas. A que está fora
dos parênteses é definida pela ISO e adotada na norma brasileira ABNT NBR 14565 (2013), e a
que está entre parênteses é a definida pela norma norte-americana ANSI/TIA-942-A (2005). O
Quadro 1 mostra a equivalência entre a nomenclatura adotada pela ABNT (ISO) e ANSI/TIA.
Quadro 1 – Comparativo entre as nomenclaturas adotadas pela ABNT e ANSI/TIA para os elementos funcionais do
cabeamento para data centers
93
Universidade do Sul de Santa Catarina
d. cabeamento de backbone;
f. cabeamento e backbone;
h. cabeamento horizontal;
94
95
Universidade do Sul de Santa Catarina
96
Note que, devido ao seu porte, um datacenter pequeno pode não precisar de um subsistema
de cabeamento de backbone; somente o horizontal pode ser capaz de atender às suas
necessidades de distribuição de cabeamento. É isso o que mostra a Figura 4, ou seja, as
normas reconhecem conexões diretas entre o MD/MDA e as EO/EDA, onde são instalados os
equipamentos críticos de TI na sala de computadores.
Pergunta 03: Quais as tendências e como devem ser usados os cabeamentos metálicos e
ópticos?
Resposta:
•• cabos balanceados (de pares trançados) de quatro pares, 100 ohms, blindados
ou não, Categoria 6A/Classe EA (600 MHz), ou superiores;
•• cabos ópticos multimodo OM3 e OM4 (50/125 mm), otimizadas para
transmissão laser;
•• cabos ópticos monomodo OS1 e OS2.
Algumas normas, ainda, reconhecem cabos de cobre de categorias inferiores à Cat. 6A, porém
a recomendação de todas elas é o uso de, no mínimo Categoria 6A/Classe EA, no subsistema
de cabeamento horizontal. Da mesma forma, algumas normas ainda reconhecem cabos
ópticos multimodo OM1 e OM2, porém não recomendam sua utilização nos subsistemas de
backbone do datacenter.
97
Universidade do Sul de Santa Catarina
O Quadro 2 mostra exemplos de cabos metálicos (cabos de cobre) reconhecidos por normas
técnicas para uso no cabeamento estruturado de datacenters.
Quadro 2 – Exemplos de cabos de cobre reconhecidos por normas técnicas para uso em datacenters
TIPOS DE CABOS
Par trançado sem blindagem Par trançado sem blindagem Par trançado com dupla
individual e com blindagem geral blindagem – individual e geral
98
(a) (b)
(a) Conector MPO macho (b) Conector MPO fêmea
Fonte: Marin (2014).
Os conectores MPO são utilizados nos cabos trunking ópticos, que são segmentos de cabos
ópticos com várias fibras montados em fábrica, com comprimento pré-determinado pelo
cliente e conectores MPO em cada extremidade. Esses cabos têm encontrado uma aplicação
ampla em datacenters; eles são testados em fábrica e garantidos por seus fabricantes, ou
seja, o instalador não precisa montar conectores ópticos em campo e, em princípio, nem
medir a atenuação do cabo após sua instalação. De qualquer forma, a medição da atenuação
em campo de cabos ópticos é um requisito normativo e a única forma de confirmar que o
enlace óptico apresenta um desempenho adequado conforme projetado.
A Figura 7 mostra um exemplo de cabo trunking MPO, com conectores montados em ambas
as suas extremidades.
Figura 7 – Exemplo de cabo trunking óptico com conectores MPO montados em fábrica
O que torna os cabos ópticos trunking com conectores MPO uma opção muito interessante,
de rápida implementação e flexíveis são os cassetes MPO. Um cassete MPO é um hardware
óptico de conexão que tem um conector MPO em uma de suas faces e um outro padrão de
conexão na outra. A Figura 8 mostra um exemplo de cassete MPO com conectores LC duplex.
99
Universidade do Sul de Santa Catarina
Figura 8 – Exemplo de um cassete MPO (parte frontal) e distribuição no padrão LC (painel frontal)
Pergunta 04: Do ponto de vista dos caminhos e espaços, como se instala o cabeamento? É
possível instalá-lo tanto sob o piso como pela parte superior dos racks?
Resposta:
Sim, o cabeamento estruturado é distribuído por ambos os caminhos, ou seja, sob o piso
elevado e por via aérea dentro da datacenter. Não é uma regra geral, mas normalmente a
distribuição do cabeamento entre equipamentos instalados em gabinetes em uma mesma fila
é feita por caminhos aéreos, entre os distribuidores e as filas de gabinetes, sob o piso elevado.
Os cabos dos sistemas elétricos são normalmente distribuídos sob o piso elevado.
Backbone
100
Figura 10 – Caminhos aéreos de distribuição de cabeamento estruturado em data centers de pequeno porte
101
Universidade do Sul de Santa Catarina
0 150
100 140
150 137
250 128
500 111
Pergunta 05: A automação dos datacenters era feita por sistemas de automação prediais
até recentemente, mas surgiram sistemas específicos, denominados DCIM. Quais suas
recomendações a respeito?
102
Resposta:
CFTV
Energia
Controle de Acesso
Umidade
Temperatura
Fumaça Presença
Inundação
Conforme mostrado na Figura 12, os parâmetros que podem ser monitorados, dentro da sala
de computadores e/ou outros espaços críticos, são basicamente os seguintes:
•• temperatura;
•• umidade;
•• fumaça;
•• vazamento e inundação (sob o piso elevado).
Além dos parâmetros físicos apresentados acima, outras funções podem ser monitoradas, como:
•• utilização do espaço;
•• segurança (imagens do sistema de vigilância eletrônica, controle de acesso etc.);
103
Universidade do Sul de Santa Catarina
•• gestão de ativos;
•• consumo de energia elétrica por quadros, PDUs, fase etc.
Uma ferramenta DCIM eficiente deve ser capaz de atuar nas camadas física e de aplicação
e deve ser implementado por meio de hardware (equipamentos), dispositivos (sensores,
câmeras, atuadores etc.) e uma plataforma de software. A Figura 13 mostra um esquema de
implementação de um sistema DCIM.
IP
Tablet Mobile Computador
Servidor
Banco de Dados
Sensores | Atuadores
Portanto, um sistema DCIM é uma plataforma que combina software e hardware implementada
em um datacenter para otimizar sua operação e integrar seus sistemas, como por exemplo:
104
Com a adoção de sistemas DCIM eficientes pode-se monitorar o consumo de energia elétrica
do site por racks, equipamentos, PDU, tomadas individuais etc. Isso pode ajudar muito para a
medição da PUE e melhoria do consumo do site.
Os sistemas DCIM, normalmente, contam com consoles que reúnem informações críticas
sobre a infraestrutura do datacenter monitorado. Essas informações são normalmente
apresentadas em forma gráfica para visualização imediata. A Figura 14 mostra um exemplo de
tela principal de um sistema DCIM.
105
Universidade do Sul de Santa Catarina
106
Pergunta 06: Falando agora da questão dos sinistros, sabe-se que não são aplicáveis os
dispositivos de detecção e combate a incêndio convencionais. Que sistema então devemos
utilizar? E como devem ser instalados?
Resposta:
Portanto, um sistema de proteção contra incêndio deve ter os seguintes elementos básicos:
A detecção de parâmetros que podem indicar o princípio de um incêndio pode ser feita por
vários tipos de dispositivos. Os mais comuns são:
Os detectores de fumaça por ionização são dispositivos de baixo custo e menos sensíveis que
os detectores VESDA, que operam com laser, são mais sensíveis e apresentam custo mais
elevado.
107
Universidade do Sul de Santa Catarina
No que diz respeito à supressão de incêndio, os seguintes métodos têm sido mais comumente
empregados em datacenters:
108
Ao detectar um evento de incêndio, o sensor envia um sinal à central de controle, que executa
as seguintes tarefas:
•• dispara alarmes;
•• atua no sistema de climatização, desligando a unidade CRAC e fechando
dampers;
•• abre as válvulas para a descarga do gás no ambiente em chamas.
109
Universidade do Sul de Santa Catarina
Pergunta 07: Há uma preocupação grande quanto à segurança patrimonial em datacenters, por
isso, há vários modelos de sistemas de circuito fechado de TV e controles de acesso. Há alguma
especificação própria para datacenters? Esses modelos poderiam ser integrados aos sistemas
DCIM?
Resposta:
Sim, é verdade que a segurança patrimonial é um dos itens de segurança mais críticos do
projeto e operação do datacenter. Por isso, os sistemas de vigilância eletrônica são projetados
e implementados para garantir que nenhuma área crítica do site fique sem monitoramento
por câmeras de vídeo. Isso inclui praticamente todos os espaços do datacenter, internos e
externos.
A vigilância eletrônica do site é feita por meio de circuitos fechados de TV (CFTV), com
câmeras que podem ser analógicas ou digitais. Essas são as mais comumente empregadas
em datacenters e são do tipo IP (Internet Protocol). Os sistemas de vigilância eletrônica em
datacenters devem apresentar as seguintes funções:
110
e. sala de computadores.
É importante que o projetista considere a instalação das câmeras em locais que permitam
o monitoramento adequado da área (ou áreas) de interesse, bem como que estejam fora do
alcance de pessoas, no caso de instalação em áreas externas.
A intensidade de luz para a eficiência do sistema de vigilância por câmeras é também um fator
crítico (com exceção das câmeras infravermelho, que podem registrar imagens em ambientes
escuros). A norma ANSI/BICSI 002 (2014) traz alguns requisitos quanto à iluminação de certos
espaços do datacenter para a operação adequada de sistemas de vigilância eletrônica.
Para finalizar, o sistema de vigilância eletrônica pode fazer parte do sistema DCIM e é
fortemente recomendado que assim seja. A centralização de todas as informações acerca
da infraestrutura do site em uma única plataforma ajuda o gestor do site a manter um maior
e melhor controle sobre todos os seus sistemas críticos. Além disso, com automação
integrada ao sistema DCIM, alarmes e acionamentos de dispositivos podem ser comandados
111
Universidade do Sul de Santa Catarina
diretamente por ele, garantindo, assim, respostas mais eficientes e eliminação de riscos de
invasão e danos ao site.
Pergunta 08: Para concluir, que outras recomendações, boas práticas e novas tendências
tecnológicas você aconselha aplicar em datacenters?
Resposta:
Para finalizar, gostaria de chamar a atenção ao que me parece uma tendência no que diz
respeito à distribuição de cabeamento em datacenters. Embora eu não concorde com a
utilização de sistemas sem normalização em substituição a sistemas normalizados, a topologia
de cabeamento ToR (Top of Rack, Topo de Rack) vem sendo adotada de forma crescente em
datacenters.
Enlaces ópticos
Gabinete de Rede
Enlaces ópticos
Switches Core
(distribuição principal)
112
cabeamento estruturado não é observada. Isso não significa que tal topologia não possa
ser adotada, porém, o projetista deve estar ciente de que ela não atende às normas de
cabeamento estruturado para datacenters.
Embora a justificativa para o uso de topologias sem normalização (como a ToR) seja as
conexões a serem estabelecidas (como link aggregation, por exemplo) e o espaço “adicional”
que o cabeamento estruturado necessita para ser implementado, isso não passa de mito.
No caso específico de conexões que usam link aggregation, cabos trunking podem ser
utilizados, por exemplo, em conjunto com conectores MPO. Isso não vai reduzir a quantidade
de conexões e nem de patch cords, uma vez que isso depende exatamente da quantidade de
portas de switches, e não do arranjo do cabeamento.
Outro ponto a ser considerado é que não é necessário que sejam utilizados cross-connects
(conexões cruzadas) na distribuição; as ligações podem ser feitas por meio de interconexões,
o que pode ajudar a reduzir o custo de implementação de link aggregation, pela redução na
quantidade de portas ópticas e de distribuidores ópticos a serem utilizados.
Para ilustrar melhor essa discussão, a Figura 21 mostra um esquema genérico de link
aggregation.
No exemplo apresentado na Figura 21, o link aggregation é obtido por conexões redundantes
entre as portas do switch core e as portas dos switches de distribuição, bem como entre as
portas desses e portas dos switches de borda. Os switches de borda entregam conexões aos
clientes da rede.
113
Universidade do Sul de Santa Catarina
114
Note que a quantidade de conexões será tão grande quanto o número de enlaces de
agregação envolvidos na distribuição. A topologia de cabeamento estruturado para
datacenters, conforme definida em normas técnicas, pode ser utilizada para link aggregation.
Novamente, as normas não tratam de aplicações específicas, mas especificam uma topologia
que permite a implementação de diferentes aplicações.
Quanto ao argumento do espaço adicional, pode ser que seja necessário o uso de mais
distribuidores em comparação a uma topologia ToR, por exemplo, mas a organização da
instalação será muito maior, haverá sempre a possibilidade de segmentação física da rede
para efeitos de testes e a identificação de falhas e seus consequentes reparos.
Referências
ABNT. Norma ABNT NBR 14565: 2013. Cabeamento estruturado para edifícios comerciais e
data centers.
MARIN, P.S. Data Centers – Engenharia: Infraestrutura Física. São Paulo: PM Books, 2016.
MARIN, P.S. Data Centers – desvendando cada passo: conceitos, projeto, infraestrutura
física e eficiência energética. São Paulo: Editora Érica Saraiva, 2013.
MARIN, P.S. Coluna Interface. Revista RTI. São Paulo: Aranda Editora, Ano 15, N° 168,
maio/2014.
MARIN, P.S., Coluna Interface. Revista RTI. São Paulo: Aranda Editora, Ano 13, N° 147,
ago/2012.
MARIN, P.S., Coluna Interface. Revista RTI. São Paulo: Aranda Editora, Ano 16, N° 189,
fevereiro/2016.
115
Universidade do Sul de Santa Catarina
Considerações finais
Nesses diálogos, estamos certos de que aprofundamos com muita clareza e objetividade os
conceitos e os aspectos que dão origem aos datacenters atuais, desde a fase da concepção
e projeto até instalação e operação da infraestrutura. Com a vantagem de termos essas
informações sendo tratadas por quem está atuando na fronteira das novas tecnologias
relacionadas a datacenters. Concluímos, assim, com o agradecimento ao Prof. Dr. Paulo
Marin, que nos atendeu prontamente com suas respostas e variadas sugestões, sempre no
mais alto nível. Obrigado!
116
Conteudista
Em Literatura, publicou livros de poesia, Olhos cegos, Editora Letras Contemporâneas, 2004;
Duplo dublê, Editora Letras Contemporâneas, 2002; Helenos, Editora Letras Contemporâneas,
1998. Coeditor da Revista Babel, Poesia e Crítica, de 2000 a 2002.
Certificado ATD pelo Uptime Institute (USA) e membro do comitê CE-03:046.05, Norma
14565:2013 da ABNT. Recebeu, em 2012, pelo desenvolvimento da plataforma de software
DataFaz DCIM, o prêmio “Ideia para o Futuro & Conceitos de Design”, do DatacenterDynamics
Awards.
Diretor e sócio-fundador das empresas Fazion Sistemas Ltda. (plataformas e aplicativos para
celulares) e Creare Fazion Ltda. (soluções de infraestrutura e automação para Data Centers).
117
View publication stats