Infraestrutura para Data Centers

Engenharia Gerencial
Projetos, Consultoria e Gesto de Instalaes Eltricas
HTTP://WWW.cspi.com.br jl-gerencial@uol.com.br tel (11) 4192 2935 fax (11) 4192 3241 cel.(11) 8445 5453
Power Premium Solutions
Eng. Jos Luiz De Martini
________________________________________________________________________________________________
Infra-estrutura para Data Centres

Planejando Data Centres de Alto Desempenho.
Eng. Eletricista Jos Luiz De Martini

Consultor especializado no planejamento e desenvolvimento de solues de infra-estrutura de alta eficincia, disponibilidade e confiabilidade para aplicaes de misso critica. Engenheiro Eletricista, titular da Engenharia Gerencial SS Ltda e consultor na rea de Instalaes Eltricas consumidoras de energia, com atuao em grandes centros comerciais e infra-estrutura de suprimento de energia para sistemas de misso critica, processamento e armazenamento de dados e telecomunicaes.
Colaboradores: Eng. Mecnico Eduardo P. Teixeira Grecco

Consultor e projetista especializado em sistemas de ar condicionado, ventilao e exausto, com grande atuao no segmento de planejamento e desenvolvimento de solues de infra-estrutura de alta eficincia, disponibilidade e confiabilidade para aplicaes de misso critica, telecomunicaes e processamento e armazenamento de dados. Engenheiro Mecnico, scio-diretor da Contractors Engenheiros Associados.
Arquiteta Rosely Botti

Projetista especializada em projeto e desenvolvimento de solues arquitetnicas para aplicaes de misso critica. Arquiteta Diretora da Orbi Projetos e Solues.
Pgina 1
________________________________________________________________________________________________
Apresentao.
Este trabalho, dividido em quatro partes, destina-se aos profissionais da Tecnologia de Informao e de Facilities e a todos que tem como objetivo estabelecer formas de implantao e operao de Infra-estrutura destinada ao suporte de operaes de misso critica, em especial centros de dados. Na primeira parte apresentamos de forma introdutria os elementos que devem ser considerados no planejamento de data Centres, desde as boas praticas na rea da Tecnologia da Informao, planejamento de espaos e meios de refrigerao, com os impactos provocados na demanda e consumo de energia. De forma indita so consideradas exigncias para data centres verdes Green IT e que devam seguir Cdigos de Conduta como o definido pela Unio Europia. Na segunda so apresentados os conceitos e solues que garantam as tradicionais exigncias quanto disponibilidade e confiabilidade e implantadas solues de elevada eficincia energtica, incluindo demandas de alta densidade de energia. Na terceira, trabalho elaborado pelo Eng. Eduardo Grecco, apresentando novas tecnologias e solues para climatizao, e na seqncia aspectos arquitetnicos para que os projetos possam comportar no s as reas especificas de produo, mas sim o conjunto total das instalaes e sistemas, com a colaborao da Arqta Rosely Botti
Pgina 2
________________________________________________________________________________________________
Parte 1: Planejando Data Centres de Alto Desempenho.

Nos ltimos dois anos houve uma significativa mudana nas preocupaes dos responsveis pelas reas de TI em infra-estrutura onde a eficincia energtica passou a fazer parte dos fatores preponderantes no planejamento e implantao de estruturas fsicas. De fato, se em maio de 2005 o Data Center Users Group identificava as seguintes preocupaes em pesquisa perante profissionais da rea de TI: - Aquecimento e densidade de energia: 78% - Disponibilidade: 57% - Limitaes de espao: 39% Em 2007 a mesma pesquisa aponta como preocupaes principais: - Aquecimento: 64% - Densidade de energia: 55% - Eficincia energtica: 39% - Disponibilidade: 33% - Limitaes de espao: 29% Esta nova viso plenamente explicvel por uma serie de fatores: - O volume de processamento cresce e assim a participao dos equipamentos de TI no perfil de consumo de energia das empresas idem, tornando-o significativo. - As solues de alta densidade, como blades e pizza-box (1 U) esto cada vez mais presentes. - A relao entre o investimento inicial e o custo operacional (Capex / Opex) fica muito prxima ao longo de 5 a 10 anos. - As empresas esto engajadas em aes de sustentabilidade e eficincia energtica. No Brasil a ComputerWorld avaliou que menos de 1% dos profissionais da rea identificam espontaneamente esta necessidade. Na Europa o Centro de Pesquisa Conjunta da Comisso Europia publicou em novembro de 2008 a primeira verso do Cdigo de Conduta para Eficincia Energtica para Data Center.
Pgina 3
________________________________________________________________________________________________
Atender a estes requisitos em projetos de infra-estrutura significa que um DC: - Deve ser confivel com disponibilidade adequada ao tipo de operao (24x7 ou 8x5). - Deve possuir capacidade (eltrica e climatizao) de forma escalvel, permitindo crescimento gradual, sem ociosidade que acarrete em prejuzo financeiro e baixa eficincia energtica. - As solues devem ser determinadas com foco na eficincia energtica. Mas o que um Data Center eficiente ? Esta resposta no fcil de ser colocada como um ndice ou referencia matemtica, mas resultado da combinao de aplicao de um conjunto de medidas que partem do planejamento da produo em si. O ponto inicial deveria ser a consolidao das aplicaes e planejamento operacional de TI, que no ser objeto deste nosso estudo. Podemos enumerar algumas boas praticas que conduzem a uma significativa reduo de investimentos e custos operacionais. Como so aplicados em cascata resultam ao final da cadeia em redues que so absorvidas com efetivo retorno dos recursos aplicados. O importante termos a conscincia que estas medidas representam a mdio e longo prazo reduo de custos e, portanto so sempre viveis. Ou seja, a diferena no esta em gastar mais ou menos, mas sim em fazer certo ou errado. Os responsveis por TI podem adotar as seguintes providencias com reduo de custos com energia: Procedimento Especificar e adquirir processadores de baixo consumo Especificar e adquirir servidores com fontes de alta eficincia Ativar os recursos de Power Management dos computadores Virtualizao de servidores. Estudos mostram que 20% de virtualizao pode resultar em 8% de reduo de consumo de energia Utilizar solues de menor espao, como blade servers Planejar o arranjo em corredores quentes e frios evitando a mistura de ar quente/frio Utilizar condicionadores de capacidade e vazo varivel Adotar alimentao 220 V~ 240 V, com UPS em 380~400 V, sem transformador Red. % 10 11 8 8 1 1 4 2
Agindo em cascata, estas aes podem resultar em praticamente 50% de reduo de consumo de energia na rea de produo, quando comparado a um Data Center padro.
Pgina 4
________________________________________________________________________________________________
Se estivermos planejando um novo Data Center ou mesmo uma ampliao e pudermos considerar estas providencias isto resultar nos seguintes benefcios: - Reduo do espao de produo em at 65%. - Reduo da demanda de refrigerao em at 34% - Reduo da demanda de energia (UPS) em at 33% - Reduo da capacidade eltrica total (entrada e geradores) em at 47% Estes nmeros referem-se exclusivamente as necessidades finais de produo. Na seleo da configurao da infra-estrutura so aplicveis outras providencias quanto ao projeto, opo de equipamentos e insumos energticos. Observem que sistemas redundantes so consumidores de energia, funo da baixa eficincia dos equipamentos a meia carga. As solues neste caso so: - Avaliar a disponibilidade exigida (24 x 7 ou 8 x 5). - Considerar a contratao de servios de hosting para aplicaes sazonais ou que no sejam parte fundamental do core business. - Questionar a configurao do modelo de redundncia, por exemplo, 2 N, redundante centralizado ou 1,5N, redundante distribudo, pois este utiliza menos equipamento, operando com maior eficincia e menores custos de manuteno. - Selecionar os equipamentos (UPS e ar condicionado) com elevada eficincia a meia carga. Existe um ndice de referencia de eficincia energtica, conhecido como PUE, ou Power Utilization Effectiveness. Este relaciona a energia efetivamente consumida nos processos de TI com a energia total consumida. Definido pelo The Uptime Institute tem como envoltria o valor 2, ou seja para cada W usado no produo outro W agregado na entrada de energia. Bons projetos, desde o inicio da dcada, j atingem aqui no Brasil, valores da ordem de 1.6, porm melhorando as solues, principalmente climatizao possvel obter melhor ndice. Notem que a reduo de espao e o maior adensamento de equipamentos (blades, por exemplo) o ponto de partida, porm a alta densidade enseja solues de extrema eficincia e inovadoras de refrigerao. Na America do Norte mais de 11% dos novos servidores so blades, na Europa 9% e na Amrica Latina menos que 6%. Para um universo de 300.000 servidores (AL) ao ano apenas 20.000 seriam blades. Podemos reduzir com projeto adequado e criteriosa escolha quanto configurao e seleo de componentes em cerca de 10% o consumo de energia, evitando perdas de transformao e converso de energia, a ser visto na segunda parte deste trabalho.
Pgina 5
________________________________________________________________________________________________
Parte 2: Instalaes Eltricas - Data Centres de Alto Desempenho.

Vimos anteriormente que a preocupao com eficincia energtica comea ser objeto de deciso nos projetos, porm haveria certa contraposio entre eficincia energtica e disponibilidade ou confiabilidade ? Se de fato a demanda por servios com continuidade assegurada bsica, portanto compor solues que sem reduzir a disponibilidade signifiquem menores perdas com energia o alvo obrigatrio de novos projetos. Praticando solues deste tipo podemos reduzir o CAPEX e OPEX em pelo menos 30%. Vejam neste grfico o resultado obtido pelo Google em seus mais recentes Data Centres.
O uso de servidores adequados permite reduzir o consumo de energia nos equipamentos de TI (cor laranja). Solues gerais de projeto reduzem o consumo total de energia do Data Center, sobre um data Center padro. Estimam em mais de 30% por ano por servidor o ganho com estas medidas.
Podemos atingir este objetivo com a adoo de praticas de planejamento de aes da rea de TI e seguir com os projetos de construo e instalaes sempre analisando eficincia energtica em cada deciso. A tabela a seguir resume as exigncias referenciadas pelo The Uptime Institute e EIA/TIA 942 Anexo G e deve ser avaliada quanto a real necessidade de suporte a misso critica.
Pgina 6
________________________________________________________________________________________________
Nvel
Condio - Podemos programar paradas de manuteno. - No h prejuzos reais em paradas intempestivas - Podemos programar parada de manuteno anualmente. - Os custos so ponderveis em caso de parada intempestiva - No podemos programar paradas para manuteno. - Os prejuzos em caso de interrupes so imponderveis
Exigncia ou Soluo - Fontes singelas. - Vias simples de alimentao
- Fontes singelas redundantes. - Vias simples de alimentao
- Fontes redundantes (uma ativa e uma alternativa) ou (duas ativas Tier IV). - Vias alternativas de alimentao.
Portanto quando as condies permitem paradas para manuteno e custo pondervel no caso de paradas intempestivas um projeto nvel 2, pode ser adequado. Lembrando que se a Disponibilidade definida pelo desenho do projeto a Confiabilidade leva em conta muito outros aspectos, que vo da seleo dos componentes, testes e comissionamento, manuteno e operao. Os DC que se apresentem com PUE abaixo de 1,3 so de Nvel 2, porm garantidos por conta de projeto, execuo, comissionamento e operao de alta qualidade. O ndice PUE a relao entre a Energia Consumida Total (Refrigerao, Servios Prediais e Equipamentos de TI) / Energia til (equipamentos de TI). A energia total inclui as perdas com transporte de energia (condutores), transformao e rendimento dos UPS, incluindo a correspondente refrigerao. Se um determinado UPS operando prximo a 80% de sua capacidade possuir rendimento em torno de 95%, ter em torno de 92% quando com 40% de carregamento. O mesmo ocorre com transformadores, assim o resultado para um sistema de tipo 3 ter computo de 7% a 9% com perdas no sistema eltrico.
Pgina 7
________________________________________________________________________________________________
Em termos de custo tabelando em valores presentes esta condio e adotando um Data Center com demanda de energia ininterrupta de 900 kW e soluo adequada de climatizao, com demanda total de ~ 1500 kW, teremos, para um Tier 3, redundante centralizado: Tier 3 Sistema eltrico Energia (10 anos) Custo mensal por rack Base R$ 14,3 mil / kW 90 000 MWh Custo total (10 anos) 10 kW/rack 90 racks Investimento / Opex R$ 21.450.000,00 R$ 28.500,000,00 R$ 49.950.000,00 R$ 4.625,00
Se em uma condio melhorada em relao ao desenho da soluo de disponibilidade e adequada escolha dos componentes reduzirmos em 30% as perdas teramos uma reduo de at 2,5% neste montante, ou seja, R$ 712 mil, sem perda quanto disponibilidade desejada. Considerando, portanto apenas o ganho em relao a perdas de transformao, condicionamento e transporte de energia teramos para um Tier 3, redundante distribudo: Tier 3 Sistema eltrico Energia (10 anos) Custo mensal por rack - Crescimento modular. Se as tecnologias de TI evoluem rapidamente, um prdio para Data Center deve ser projetado para pelo menos 20 anos de vida til. A soluo crescimento modular, seja em rea construda e equipada quanto na filosofia dos sistemas, pois as exigncias mudam. Na virada do sculo tnhamos racks com servidores tipo torre (2~3 kW/rack), depois os 1U (6~8 kW/rack, agora blades (15~18 kW/rack) e supermaquinas com at 60~80 kW/Rack. O projeto ideal deve considerar implantao passo a passo, como por exemplo, data centres segmentados permitindo economia inicial e operacional. - Configurao 2N Redundante centralizado ou 1,5 N, redundante distribudo. O modelo convencional para exigncias de Tier III ou IV preconiza que todos os sistemas devem ser alimentados por duas fontes ativas. Para demandas at 1.000 kW, a soluo com dois sistemas independentes e fontes duplas a soluo padro. Esta soluo conhecida como 2N, e exige a duplicao de todos os elementos que compe o sistema eltrico exigindo investimento e custeio das perdas por baixa eficincia e meia carga. Base R$ 11.5 mil / kW Reduo de 2,5% Custo total (10 anos) 10 kW/rack 90 racks Investimento / Opex R$ 17.250.000,00 R$ 27.788.000,00 R$ 45.038.000,00 R$ 4.170,00
Pgina 8
________________________________________________________________________________________________
Na condio dos circuitos terminais os servidores teriam seus dois cordes de alimentao ligados as fontes A e B, e para cargas singelas, o uso de chaves de comutao esttica. Hoje so comuns projetos de Data Centres com demanda acima de 10.000 kW e para projetos acima de 1.000 kW este modelo tem dois agravantes: - Investimento inicial muito alto. - Perdas significativas de energia com cada ramo carregado na faixa entre 40 a 45% da potencia nominal. Uma soluo praticada para reduzir este impacto esta no modelo 1,5 N, conhecido por alguns como tri-bus, ou seja, trs barramentos ou sistemas, com redundncia distribuda. Cada barramento projetado para operar e regime com at 2/3 da capacidade e com a adequada distribuio das cargas. Quais os benefcios: - Menor investimento sendo instalada 1,5 vezes a demanda requerida contra 2 vezes no modelo convencional. - Melhor rendimento, com equipamentos trabalhando entre 60 a 65% da capacidade nominal. - Mesmo ndice de disponibilidade, obtido no modelo redundante centralizado. As restries e os cuidados a serem tomados so: - Exige gerenciamento do carregamento de cada sistema. - Apresenta pequena perda quanto confiabilidade facilmente compensada com um adequado projeto, seleo, testes e comissionamento dos sistemas. - Tipo de UPS a ser usado. Este componente chave para a capacidade, confiabilidade e disponibilidade do sistema eltrico e hoje h um bom leque de opes. principalmente para grandes sistemas: - Estticos (com baterias) ou dinmicos (inerciais) ou fly-wheel. - Dupla conversao ou de regulao paralela (p.ex. delta conversion). Os estticos de dupla converso apresentam bom custo inicial e so mais comuns, porm tem menor rendimento. Os de regulao paralela apresentam elevada eficincia e autonomia nas mesmas condies dos estticos de dupla converso. Os dinmicos (com fly-wheel) com custo inicial mais elevado exigem projeto especifico em funo do reduzido tempo de operao sem rede (15 a 20 segundos), porm so muito eficientes e confiveis intrinsecamente, por no dependerem de baterias.
Pgina 9
________________________________________________________________________________________________
Os dinmicos (fly-wheel) de grande capacidade, com mdulos a partir de 1000 kW muito usados em instalaes de maior porte, podem ser ligados nas redes de mdia tenso, simplificando enormemente o projeto oferecendo altos ndices de disponibilidade sem perda da confiabilidade e custos. Independente da tecnologia os principais fabricantes tem apostado em solues modulares, contradizendo modelos mais antigos de calculo de confiabilidade que os classificaria como de baixo ndice em funo do grande numero de mdulos - Tenso a ser adotada. Seguindo padro Norte Americano, muitos Data Centres tem sido projetados em 480 V, com a necessidade de transformadores acoplando os UPS a carga, normalmente servidores ligados de 120 a 208 V. Estes transformadores so aptos a operar com significativo contedo harmnico na carga, tem, no entanto, trs inconvenientes: - Corrente de magnetizao a jusante dos UPS. - Perdas de energia. - Espao ocupado. Com a melhor qualidade das fontes de alimentao, com menor contedo harmnico e sendo os UPS aptos a manipular esta condio, o conjunto das boas praticas de eficincia energtica aponta para adoo de sistemas em 380~400 V, e servidores ligados diretamente em 220~240 V. - Adaptabilidade dos sistemas de climatizao. Para diferentes densidades de carga, existem diferentes solues de climatizao, que exigem diferentes demandas de espaos fsicos. Se para densidades de at 2 ~3 kW/m podemos pensar em condicionadores tipo down-flow, insuflamento pelo piso e retorno ambiente, esta soluo pode no ser adequada acima destes montantes. O projeto de arquitetura e a capacidade de energia devem considerar solues combinadas usando desde refrigerao localizada nos equipamentos e racks, sistemas como Rear Door Heat Exchanger, IN-Row, XDV, alm de condies ideais para insuflamento e retorno de ar ambiente, como visto na parte 3, deste trabalho. Podemos ainda ajustar os projeto de climatizao as reais condies locais, usando recursos de free-cooling, energia geothermal, cursos dgua existentes.
Pgina 10
________________________________________________________________________________________________
Vejamos a mesma tabela de custos com energia e sistema eltrico quando podemos reduzir a demanda e consumo eltricos com climatizao, em pelo menos 30%. Sistema Base Sistema eltrico(1.340 kW) R$ 11.5 mil / kW Energia (10 anos) Reduo de 15% Custo total (10 anos) Custo mensal por rack 10 kW/rack 90 racks Investimento / Opex R$ 15.540.000,00 R$ 23.620.000,00 R$ 39.160.000,00 R$ 3.626,00
Chegamos a 22% de reduo de custo total de propriedade (Opex + Capex) por servidor em dez anos de operao, apenas com aes de projeto de construo e instalaes. - Confiabilidade, Comissionamento, Manuteno e Controle. Um adequado sistema de gerenciamento e controle das utilidades, controlando energia e climatizao deve ser parte natural de qualquer projeto, pois associado a um bom procedimento de comissionamento, coordenao e seletividade da proteo eltrica e manuteno so os verdadeiros indicadores da Confiabilidade, muito mais slido do que modelos estatsticos padronizados. Grande parte do desperdcio de energia com climatizao vem da operao em contraponto dos condicionadores, onde algumas unidades umidificam e outras desumidificam e reaquecem ao mesmo tempo. Um adequado sistema de controle descarta este problema. A soluo de redundncia distribuda, modelo 1,5N, tambm exige um monitoramente constante das demandas. Enfim se o desenho dos sistemas define a disponibilidade do projeto, estas medidas acabam por eleger o ndice de confiabilidade resultante para uma operao de longa durao, normalmente superior a 10 anos. Ou seja, um projeto reduzido como propomos pode aparentemente ser menos confivel, porm com estas medidas pode no s recuperar como incrementar a confiabilidade, at em funo do menor numero de componentes necessrios.
Pgina 11
________________________________________________________________________________________________
Parte 3: Instalaes de Climatizao.

No incio dos estudos para implantao de um Data Center (DC), independentemente do porte, a questo mais comum que se apresenta qual a carga dissipada que dever ser considerada j que, dependendo da densidade do DC), as melhores solues sero distintas. Esta questo extremamente crtica devido ao impacto financeiro que cada soluo ter no custo final de implantao, alm da vida til, possibilidade de aumento de capacidade, custos operacionais, entre outros. Normalmente, os sistemas de ar condicionado e de eletricidade podem atingir a at 2/3 do total do investimento previsto para a construo de um DC. Existem muitos fatores que devem ser levados em conta por ocasio das definies de potncia eltrica e de climatizao tais como: - tipo dos equipamentos utilizados, - taxa de migrao dos equipamentos de processamento para novas tecnologias, - variaes de densidade de cargas de acordo com o efetivo lay out, - tipo do DC (Corporativo, Financeiro, Governamental, Co-Location, etc) - Variaes de projeto para reas com baixa carga ou densidade. Como exemplo os atuais Blade Servers, 1U Servers e as Storage Areas Networks apresentam densidades superiores a 5000 W/m2. Por outro lado, na grande maioria dos DC, existe uma combinao de equipamentos de tecnologia antiga com novas, que resultam em densidades da ordem de 400 a 500 W/m2, mesclando reas de altssima densidade com outras de densidade extremamente baixa. Ou seja, intuitivo que as solues para ambas as situaes devem ser diferentes e especficas a cada realidade. O Data Center um ambiente que oferece servios de alto valor agregado pelas garantias intrnsecas de confiabilidade, redundncia e performance necessrias para o armazenamento de dados, back up de informaes, gerenciamento de aplicaes, monitoramento, emisso de relatrios on line, suporte tcnico, enfim, quaisquer aplicaes em que seja imprescindvel a operao ininterrupta durante 24 horas, 365 dias por ano, aplicaes estas classificadas como de misso crtica. Os prdios que abrigam ambientes com essa classificao devem ser concebidos com base tecnolgica redundante, ou seja, possuir toda a infra-estrutura necessria ao perfeito funcionamento destes ambientes de maneira plenamente segura. Uma infra-estrutura segura no significa apenas instalar uma quantidade maior de equipamentos, Condicionadores, Chillers, UPS, Geradores, pois, se a concepo dos respectivos sistemas no for adequada, a confiabilidade dos mesmos estar irremediavelmente comprometida, ainda que existam equipamentos redundantes.
Pgina 12
________________________________________________________________________________________________
Uma Viso Geral A potncia consumida pelos equipamentos instalados em um nico rack pode ser extremamente varivel dentro de um mesmo DC, ou seja, podemos ter tanto racks com potncias inferiores a 500 W como outros com potncia superior a 20 kW, como no caso dos Blade Servers. Por outro lado, em grande parte dos atuais DC brasileiros, a carga mdia da ordem de 2 kW/m2, ou seja, no podemos nos preocupar apenas e to somente com a carga total dissipada no dimensionamento do sistema de ar condicionado e sim como essa carga est efetivamente distribuda, ou melhor, concentrada, de maneira a permitir a adoo de medidas especficas para o atendimento destes pontos que, com certeza, devero possuir uma ateno diferenciada. A princpio, a soluo mais simples seria dimensionarmos todo o DC para uma carga de 20kW / rack, com refrigerao redundante. Todavia, se assim procedermos, o resultado ser um enorme e extremamente ineficiente DC e, alm disso, invivel tanto tcnica como economicamente para a grande maioria das situaes. Ou seja, se adotarmos premissas incorretas no momento em que estivermos projetando um DC de alta densidade, iremos aumentar desnecessariamente todos os custos inerentes, quer sejam de implantao, quer sejam de operao e tambm de infra-estrutura super-dimensionada e do desperdcio de reas construdas a maior. Assim sendo, o primeiro passo a tomar rever o conceito de densidade de carga pois podemos cometer erros crticos quando nos limitarmos apenas ao significado original da mesma, ou seja, W/m2 ou at mesmo W/ambiente. Se a potncia consumida em todos os racks fosse aproximadamente a mesma, tal informao seria suficiente para projetarmos o DC. Todavia, na prtica, no isso que observamos, pois a variao de potncia entre os diversos racks varia enormemente em funo das caractersticas e aplicaes de cada um deles. A partir disso precisamos entender que a densidade de carga pode (e deve) estar relacionada ao rack (carga mxima por rack), s filas (carga mxima por fila) e, finalmente, pelo ambiente (carga mxima por rea de piso). Tais diferenas conceituais so fundamentais para permitir a escolha mais adequada do sistema a ser utilizado visando atender as necessidades especficas de cada equipamento e/ou conjunto de equipamentos. Atualmente cada vez mais freqente a utilizao de servidores Blade, tanto nos DC existentes como naqueles em planejamento. Exatamente em funo da alta carga dissipada, tais equipamentos requerem solues especficas que devem ser rigorosamente observadas de modo a otimizar ao mximo todos os recursos disponibilizados. preciso inclusive avaliar a possibilidade de instalarmos todos os Blade Servers numa rea independente com tratamento diferenciado das demais j que as exigncias de resfriamento so elevadas. Caso no seja possvel isolar os Blade e/ou tratar-se de um DC existente, deve-se, na medida do possvel, distribuir-se os Blades uniformemente pelo ambiente.
Pgina 13
________________________________________________________________________________________________
Estratgias para Atendimento. a) Instalar os Condicionadores em Linha com os Corredores Quentes Ao contrrio do que possa parecer num primeiro momento, os condicionadores (CRAC) devem estar posicionados, na medida do possvel, de frente para os corredores quentes, isto porque nessa configurao o ar quente proveniente dos racks seguir preferencialmente em direo aos mesmos, no se misturando com o fluxo de ar nos corredores frios.
CRAC CRAC
Corredor Quente
Corredor Quente
Corredor Frio
Corredor Frio
CRAC
CRAC
Corredor Frio
Pgina 14
________________________________________________________________________________________________
b) Implantar Corredores Quentes e Frios Com raras excees, todos os servidores montados em racks possuem fluxo de ar horizontal no sentido frontal / traseiro. A figura abaixo mostra essa configurao onde todos os servidores esto com a frente voltada para o mesmo corredor (corredor frio), provido de placas perfuradas de insuflamento, da mesma forma que as partes traseiras (corredor quente) onde as placas de piso so cegas.
Podemos otimizar ainda mais essa configurao mediante a utilizao de um forro falso provido de grelhas posicionadas nos corredores quentes, com o ar seguindo at o condicionador de ar cujo retorno dever ser dutado at o pleno formado entre o forro e a laje. Nessa situao, todo o ar quente imediatamente removido e no influencia em nada os demais racks.
Pgina 15
________________________________________________________________________________________________
c) No deixar espaos vagos no rack entre os servidores Caso seja necessrio deixarem-se espaos vagos entre servidores instalados num mesmo rack, os mesmos devero ser fechados com tampas apropriadas de maneira e evitar o curtocircuito de ar quente.
O mesmo procedimento deve ser adotado com relao aos espaos abertos no piso elevado para passagens de cabos.
Pgina 16
________________________________________________________________________________________________
d) Distribuir igualmente os Racks com Maior Densidade pelo DC Quando instalamos conjuntos de vrios Racks de Alta Densidade, a maior parte dos sistemas de climatizao usualmente utilizados se mostram deficientes, isso porque a vazo de ar por setor relativamente limitada e no ter condies de atender as exigncias dos mesmos. Por outro lado, caso os Racks estejam distribudos pelo DC, tal problema pode ser facilmente contornado uma vez que intuitivo que a capacidade total do sistema tambm praticamente distribuda. Situao 1: DC com racks de alta densidade em conjunto
Situao 2: DC com racks de alta densidade distribudos pelo DC
Rack com 10 kW Rack com 2,5 kW
Pgina 17
________________________________________________________________________________________________
Atendimento de Racks com Alta Densidade e/ou Blade Servers Quando a quantidade de Racks com Alta Densidade e/ou de Blade Servers for considervel, ou ainda quando os mesmos forem instalados em DC existentes onde o sistema de climatizao j esteja operando prximo do limite mximo, devemos adotar estratgias diferenciadas de maneira a atender as necessidades destes equipamentos da maneira mais exclusiva quanto possvel de maneira a preservar o funcionamento normal do restante do DC. a) Sistemas Suplementares de Condicionamento Para este tipo de soluo normalmente exigido um planejamento prvio de maneira a permitir a implantao destes sistemas adicionais sem interferncia com os equipamentos existentes. As principais tcnicas para esta alternativa so as seguintes:
Sistemas complementares localizados de acordo com a demanda de refrigerao. Utilizam refrigerao liquida bombeada evitando condensao de umidade.
Pgina 18
________________________________________________________________________________________________
Instalao de dutos de exausto e/ou ventiladores diretamente nos racks interligando a descarga de ar diretamente para o retorno geral do sistema
Instalao de placas de piso especiais providas de ventiladores booster insuflando o ar no corredor frio e/ou diretamente sob o rack
Instalao de Racks especiais providos de sistema autnomo de refrigerao
Condicionadores para instalao em linha formando conjunto ao lado dos racks.
Pgina 19
________________________________________________________________________________________________
b) reas Dedicadas de Alta Densidade Definir ambientes totalmente independentes dos demais especialmente concebidos para atender as altas cargas dissipadas. Estes ambientes podem ser substitudos por solues especficas desenvolvidas por alguns fabricantes reunindo num mesmo conjunto os racks, o sistema de condicionamento e o sistema de fora completo (incluindo UPS), viabilizando a instalao de racks de alta densidade at mesmo em locais providos apenas de sistemas de ar condicionado para conforto uma vez que o sistema de ar condicionado dos racks totalmente independente.
Pgina 20
________________________________________________________________________________________________
Solues com energia limpa baixo consumo. Tradicionalmente so empregados condicionadores de ar com expanso direta ou indireta, estes ligados usualmente em centrais de gua gelada, com sistema de condensao a ar ou gua. At pouco tempo at mesmo condicionadores destinados a sistemas de conforto (com baixa capacidade para calor sensvel) eram usados em prol de um menor investimento inicial. O resultado acabava sendo um pssimo PUE, ultrapassando a barreira de 2, ou seja o consumo de energia nos servidores acaba resultando em pelo menos o dobro no consumo total do Data Center. Hoje devemos procurar condicionadores de alto rendimento, com alta taxa de calor sensvel, capacidade varivel e eficientes sistemas de controle. Tambm j so realidade solues como Free Cooling e aplicaes Geotermais, pois todos os modelos de distribuio de ar citados permitem a eliminao de Hot Spots no Data Center, tornando possvel elevar a temperatura de ar frio para 24C, reduzindo drasticamente a carga trmica e viabilizando estas opes. Diretriz para projeto. Pelo exposto, fica evidente a necessidade da elaborao de um projeto perfeitamente desenvolvido para as efetivas necessidades de cada Cliente em particular, levando em considerao tanto a situao atual como a perspectiva de futuras ampliaes. Dessa maneira de extrema importncia que o sistema de ar condicionado seja modular contemplando reservas operacionais estratgicas que possam vir a suprir eventuais alteraes de tecnologia nos equipamentos de processamento. Apenas como exemplo, muitos ainda se lembram dos imensos computadores instalados no interior dos CPD que necessitavam de resfriamento direto por meio de gua gelada. Estes computadores foram gradativamente substitudos por outros com maior capacidade de processamento, menor rea ocupada e maior facilidade de refrigerao, eliminando a necessidade da utilizao da gua gelada. Todavia, nos dias de hoje j bastante comum a utilizao de racks refrigerados diretamente por trocadores acoplados aos mesmos, ou seja, retornamos a uma condio que todos ns julgvamos ultrapassada. Assim sendo, entendemos que o correto planejamento do DC deva considerar o crescimento escalonado, tanto dos sistemas de processamento como das utilidades, e a curva terica de adensamento prevista para, no mnimo, os prximos 10 anos para somente ento determinar as efetivas necessidades de espao fsico, padro construtivo, solues de climatizao e tambm de energia.
Pgina 21
________________________________________________________________________________________________
Parte 4: Requerimentos de arquitetura.

Como visto nas partes anteriores, o projeto de arquitetura deve considerar a avaliao das necessidades presentes e futuras e assim iniciando com a viabilizao e escolha da localizao e seleo do imvel e chegando as caractersticas fsicas da edificao e condies especficas de capacidade e segurana, sob o vis da certificao atravs das normas especficas e das boas prticas de sustentabilidade. O que deve ser um Data Center? Um Data Center um conjunto integrado de componentes de alta tecnologia que permitem fornecer servios de infra-estrutura- processamento e armazenamento de dados, em larga escala - de alto valor agregado, para que organizaes de qualquer porte possam ter ao seu alcance uma estrutura de grande capacidade e flexibilidade, alta segurana para processar e armazenar informaes. Como categorizar os Data Centres? Uma maneira ampla de classificar um Data Center categoriz-lo pelo porte, e podem ser: 1 - Server CLOSET Unidades instaladas em gabinetes, tpico de pequenos escritrios, lojas e estabelecimentos isolados. 2 - Server ROOM Salas dedicadas a instalaes de equipamentos de TI, porm como parte integrada de uma instalao comum. 3 - Localized DATACENTER Conjunto destinado a receber os equipamentos de TI destinado a suportar as atividades de uma mesmo campus ou sitio. 4 Mid-tier DATACENTER Data Center destinado a aplicaes complexas e variadas de TI, cobrindo necessidades corporativas em mbito global. 5 - Enterprise DATACENTER Data Center com objetivos estabelecidos no prprio modelo de negocio em si. E, como se estabeleceram os padres de projeto? Um pouco de histria: at a TIA-942 Nos ltimos 20 anos, padres para instalaes de cabeamento tem sido a base para garantir design, instalaes e performance adequados para redes de telecomunicaes.
Pgina 22
________________________________________________________________________________________________
A TIA (Telecommunications Industry Association) revolucionou a indstria, quando publicou a primeira TIA-568 Commercial Building Telecommunications Wiring Standard, que descreveu os requisitos de design, instalaes e performance para sistemas de cabeamento em edifcios comerciais. No conjunto, os padres capacitaram a indstria para efetivamente avanar de forma mais rpida e com maior alcance. Porm de inicio os Data Centres, foram projetados sem nenhum padro pr estabelecido, muitas vezes referenciados por solues internas como as da IBM e de instituies como o The Uptime Institute. Em Abril de 2005, a TIA respondeu a essa necessidade com a TIA-942 Telecommunications Infraestructure Standards for Data Centres, o primeiro padro especfico para infra-estrutura de Data Centres. Proposto para ser usado por projetistas de Data Centres, antes do processo de desenvolvimento da edificao, a TIA-942 envolve as premissas e requerimentos para: Terreno e layout Infra-estrutura de cabeamento Graus de confiabilidade (Tiers) Consideraes sobre entorno
Essas normas so constantemente atualizadas, de forma a contemplar as modificaes, novas tcnicas e evoluo de todos os componente do processo. O que so os Nveis de Confiabilidade (TIERs)? A performance do Data Center pode ser descrita por uma srie de termos como confiabilidade, disponibilidade, nem sempre fceis de serem calculados. - Disponibilidade relaciona o tempo mdio entre falhas (MTBF) e o tempo de recuperao, MTTR, e pode ser diretamente as condies de permisso para manuteno previstas em projeto. - Confiabilidade por sua vez expressa a possibilidade de falha de um componente e sua conseqncia para a operao para um determinado tempo de misso. A caracterizao dos nveis ou camadas (TIER) oferece um guia pratico para orientar o projeto de um Data Center sem que complexos clculos precisem ser obrigatoriamente aplicados.
Pgina 23
________________________________________________________________________________________________
Existe sempre um compromisso entre o custo total de propriedade (TCO) e a escolha de uma camada. Ou seja, quanto mais elevado o Tier do Data Center (menor downtime) maior ser seu custo de implantao e operao. No projeto do Data Center a parte do planejamento requer muito cuidado pois aqui que normalmente se encontram os maiores erros. Deve-se construir uma especificao resultante das preferncias e limitaes do projeto. Os mtodos de classificao mais conhecidos so o The Uptime Institute's Tier Performance Standards, TIA 942 e Syska Henessy Group's Criticality Levels. Uptime Performance Standard foi criado em 1995 o guia preferencial em projetos de Data Centres, mas no especifica detalhes de projeto, embora esta entidade possua inmeros trabalhos de referencia publicados. O anexo G da TIA 942 que trata da construo e instalaes para Data Center baseado nos princpios do The Uptime Institute. A escolha da camada de criticidade considerando qualquer um dos mtodos deve vir de um balano entre o custo do downtime (ou prejuzos por paradas) e o equivalente custo total de propriedade (TCO). Devemos considerar se estamos falando de um novo projeto (greenfield) ou de um Data Center j existente (retrofit). Para cada um dos 4 TIERs, esto descritas as recomendaes para arquitetura, segurana, sistemas eltricos, sistemas mecnicos e de telecomunicaes. O mais importante que os projetistas saibam transpor para o projeto estes conceitos, preservando a viabilidade do negcio e os custos, pensando sempre na eficincia energtica. Fundamental: O custo inicial e a eficincia energtica fortemente influenciado pelo projeto de arquitetura, que deve oferecer suporte para todos os aspectos descritos nas etapas anteriores deste trabalho. E, qual impacto nos projetos de Arquitetura? Primeiramente, a arquitetura o meio pelo qual se promovem solues e instalaes que refletem a imagem de uma empresa de alta tecnologia sendo a forma de externar competncia, confiabilidade e posicionamento no mercado. atravs das solues de Arquitetura, que se obtm um Data Center confivel, com alta disponibilidade respeitando-se os custos e o meio ambiente, maximizando o investimento.
Pgina 24
________________________________________________________________________________________________
Devem ser feitas, na etapa inicial do projeto, as consideraes referentes expanso e crescimento gradual, de forma a evitar custos iniciais desnecessrios e perda de eficincia energtica. O custo da edificao, em si, representa menos de 10% do valor total do Data Center, mas esse custo tem impacto na etapa inicial, e principalmente nos custos de operao e manuteno. Um projeto de arquitetura que no responda adequadamente as condies ideais de instalaes poder resultar em custos irreparveis. O projeto deve considerar, antecipadamente, o processo de desenvolvimento da edificao, incluindo a coordenao efetiva, que atravesse as diversas reas de expertise, incluindo telecomunicaes, gerao de energia e sistemas mecnicos. Muito se fala em requerimentos para instalaes, porm as referencias citadas trazem todas as premissas a serem atendidas pela Arquitetura e Construo. Alm das Certificaes, o que h? As inovaes! O foco em Sustentabilidade deve permear todo o projeto, acompanhando as novas tecnologias que se fazem presente, como as solues de maior eficincia energtica e a alta densidade. O projeto de arquitetura deve adequar a edificao, usando novos materiais e aplicar as prticas de um projeto sustentvel. Um exemplo de resposta ao crescente adensamento de cargas, suprir a nova demanda dos Data Center com solues adequadas de refrigerao como visto na terceira parte deste trabalho. O custo do sistema de refrigerao depender e muito do projeto Arquitetnico, incluindo ai a escolha quanto a localizao e seleo do imvel. O emprego de solues com utilizao dos sistemas modulares de climatizao pode prescindir da utilizao de pisos elevados em determinadas condies, reduzindo custos. H ainda a Norma de desempenho de Projetos, que entrar em vigor em Maio de 2010, e que de forma mais incisiva, responsabiliza o autor do projeto pelo desempenho da edificao.
Pgina 25
________________________________________________________________________________________________
Conteudo e programa para projeto arquitetnico. O projeto de arquitetura e construo civil para um Data Center deve considerar o seguinte programa mnimo: - Implantao geral no terreno prevendo: - Estacionamentos. - Areas para equipamentos tcnicos. - Portaria e dependncias de recepo e controle. - Paisagismo. - Edificao (ou edificaes) contendo: - Data Center Room com os equipamentos de produo. - Salas para telecomunicaes. - reas para Command Center (NOC), reunies e equipe de operao. - reas auxiliares, depsitos, manuteno, desembalagem e recebimento. - reas de infra-estrutura eltrica e de climatizao. - reas para conforto humano. A concepo do projeto deve atender aos requisitos das referencias citadas, como a TIA 942, quanto a segurana do complexo e oferecer todos os meios para que os equipamentos de produo, controle e telecomunicaes e infra estrutura de energia e climatizao sejam instalados e operados com a mxima eficincia e adaptabilidade.
Pgina 26
________________________________________________________________________________________________
Concluso.
Resumindo todas as aes, com o efeito em cascata e partindo do modelo Data Center que no seja tomado pelas praticas apresentadas, podemos ter uma diferena de at 2,8 vezes menos consumo de energia para a mesma capacidade ou volume de processamento, com os respectivos ganhos em termos financeiros. Iniciar com o adequado planejamento das aes de TI e dimensionamento correto do data Center considerando o crescimento escalonado das necessidades e a curva de adensamento prevista para os prximos 10 a 15 anos e ento modelar as necessidades de espao (arquitetura e construo civil) e ento implantar solues de climatizao e energia atendendo a estes princpios. Devemos evitar um dos erros mais comuns. O custo do edifcio (imvel e obras civis) muito pequeno em relao ao custo total do Data Center, 10% talvez, e um edifcio inadequado pode significar elevado custo de implantao das instalaes e respectivo consumo de energia. Referencias para consulta. Este trabalho conta com as informaes pessoais do autor e as referencias, que recomendamos conhecer, incluindo os links associados. A Roadmap for Reducing Energy Consumption In The Data Center
Raphael Garcia / Emerson Networking Power
Google Efficiente Computing

http://www.google.com/corporate/green/datacenters
Suns Energy Efficiente DataCenter Tour

http://www.sun.com/aboutsun/environment/media/datacenter_tour.xml http://blogs.sun.com/geekism/entry/i_ll_show_you_mine
U.S. Department of Energy

http://www.lbl.gov/
The Uptime Institute

http://www.uptimeinstitute.org/
Upsite Technologies
http://upsitetechnologies.com/
European Commission Directorate General JRC- Joint Research Centre

Institute for Energy Renewable Energies Unit Code of Conduct on Data Centres Energy Efficiency - Version 1.0, 30 October 2008
Pgina 27

Infraestrutura para Data Centers

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Infraestrutura para Data Centers

Enviado por

Direitos autorais:

Formatos disponíveis

Engenharia Gerencial

Projetos, Consultoria e Gesto de Instalaes Eltricas

Power Premium Solutions

Eng. Jos Luiz De Martini

Infra-estrutura para Data Centres

Eng. Eletricista Jos Luiz De Martini

Colaboradores: Eng. Mecnico Eduardo P. Teixeira Grecco

Arquiteta Rosely Botti

Power Premium Solutions

Eng. Jos Luiz De Martini

Power Premium Solutions

Eng. Jos Luiz De Martini

Parte 1: Planejando Data Centres de Alto Desempenho.

Power Premium Solutions

Eng. Jos Luiz De Martini

Power Premium Solutions

Eng. Jos Luiz De Martini

Power Premium Solutions

Eng. Jos Luiz De Martini

Parte 2: Instalaes Eltricas - Data Centres de Alto Desempenho.

Power Premium Solutions

Eng. Jos Luiz De Martini

Exigncia ou Soluo - Fontes singelas. - Vias simples de alimentao

- Fontes singelas redundantes. - Vias simples de alimentao

Power Premium Solutions

Eng. Jos Luiz De Martini

Power Premium Solutions

Eng. Jos Luiz De Martini

Power Premium Solutions

Eng. Jos Luiz De Martini

Power Premium Solutions

Eng. Jos Luiz De Martini

Power Premium Solutions

Eng. Jos Luiz De Martini

Parte 3: Instalaes de Climatizao.

Power Premium Solutions

Eng. Jos Luiz De Martini

Power Premium Solutions

Eng. Jos Luiz De Martini

Power Premium Solutions

Eng. Jos Luiz De Martini

Power Premium Solutions

Eng. Jos Luiz De Martini

Power Premium Solutions

Eng. Jos Luiz De Martini

Situao 2: DC com racks de alta densidade distribudos pelo DC

Rack com 10 kW Rack com 2,5 kW

Power Premium Solutions

Eng. Jos Luiz De Martini

Power Premium Solutions

Eng. Jos Luiz De Martini

Instalao de Racks especiais providos de sistema autnomo de refrigerao

Condicionadores para instalao em linha formando conjunto ao lado dos racks.

Power Premium Solutions

Eng. Jos Luiz De Martini

Power Premium Solutions

Eng. Jos Luiz De Martini

Power Premium Solutions

Eng. Jos Luiz De Martini

Parte 4: Requerimentos de arquitetura.

Power Premium Solutions

Eng. Jos Luiz De Martini

Power Premium Solutions