NORMA ABNT NBR BRASILEIRA 16665 Primeira edicao 30.09.2019 Cabeamento estruturado para data centers Structured cabling for data centers Numero de referéncia Beaseta TECNICAS 33 paginas @ABNT 2019 “FueABNT NBR 16665;2019 @ABNT 2019 ‘Todos os direitos reservados. A menos que especificado de outro modo, nenhuma parte desta publicago pode ser reproduzida ou utilizada por qualquer meio, eletrénico ou mecanico, incluindo fotocépia e microfilme, sem permiss3o por escrito da ABNT, ABNT Av-Treze de Maio, 13 - 28° andar 2031-901 - Rio de Janeiro - RU Tol: + 55 21 3974-2300 Fax: + 55 21 3974-2346 ‘abnt@abnt org.br wowabnt.org.br ii ABNT 2019 - Todos os direitos reservadosABNT NBR 16665:2019 1 Escopo. 2 Referéncias normativa 3 Termos, defini¢oes, simbolos, unidades e abreviaturas .. 34 Termos e defini¢ées.. 32 Variaveis e constantes. 3.3 Abreviaturas 34 Unidades de medida e conversdes (climatizagao) 4 Requisitos gerais .. 5 Estrutura do sistema de cabeamento 54 Geral. 5.2 Elementos funcionais... 53 ‘Subsistemas de cabeamento. 5.3.1 Geral. 5.3.2 Subsistemas de cabeamento 54 Interconexao ¢ hierarquia dos subsistemas 55 Localizagao dos elementos funcionais.. 56 Equipamentos, enlaces e canais 5.6.1 Canal horizontal 56.2 Canal de backbon 5.6.3 Enlace permanente 57 Dimensionamento e configuraca: 5.7.1 Infraestrutura de entrada 5.1.2 Cabeamento de servicos externos... 5.7.3 Distribuidores. 5.7.4 __ Interface de rede externa. 5.7.5 Cabos 5.7.6 Ponto de distribui¢do local 58 Aterramento e equipotencializagao 6 Demais especificagées. 7 Patch cords.. Anexo A (informative) Uso de hardware de conexao de alta densidade em cabeamento de fibra éptica 7 At Geral 17 A2 Estrutura dos subsistemas de cabeamento. Anexo B (normativo) Melhores praticas para projeto e instalagao de infraestrutura para data centers........ B4 Localizagéo, dimensionamento e consideragées sobre a estrutura civil. B2 Piso elevado BS Caminhos de cabos .. Ba Racks, gabinetes e instalages aparentes ‘© ABNT 2018 - Todos 08 dtetos reservados ii Fa.ABNT NBR 16665:2019 BS Energia e iluminagao 26 Be Ar-condicionado. 27 BT Detecciio e protecao contra incéndio 28 Bs Seguranga patrimonial. 29 Bg Monitoramento da infraestrutura fisic 29 B10 Aterramento 30 B11 —_Eficiéncia energética. 34 B12 Classificagao de data center por Bibliografia.. Figuras Figura 1 — Estrutura do cabeamento em data center. Figura 2 - Exemplo de interconexao.. Figura 3 - Exemplo de conexao cruzada.. Figura 4 — Estrutura hierarquica de cabeamento estruturad Figura 5 - Exemplo de localizagao dos elementos funcionais do cabeamento em data center Figura 6 — Posicées dos equipamentos de teste para ensaios de canal horizontal Figura 7 — Posigées dos equipamentos de teste para ensaios de canal de backbone Figura 8 — Conexao de elementos funcionais com redundancia.... Figura 9 - Exemplos de conexées do cabyoamento de servigos externos & ENI. Figura A.1—Exemplos de hardware de conex4o de alta densidade no cabeamento de distribuicao principal Figura A.2 - Exemplos de hardware de conexio de alta densidade no LDP e EO no cabeamento de distribuigao horizontal. Figura B.1 — Diagrama com os diversos componentes. Figura B.2—Exemplo de leiaute de data center e sala de computadores Figura B.3 - Exemplo de leiaute de data center e salas de computadore Figura B.4 — Paginacao de piso elevado e alinhamento dos racks.. iv © ABNT 2018 - Todos 0s dewitos reservados FLABNT NBR 16665:2019 Prefacio ‘A Associagao Brasileira de Normas Técnicas (ABNT) é o Foro Nacional de Normalizagao. As Normas Brasileiras, cujo contetido é de responsabilidade dos Comités Brasileiros (ABNT/CB), dos Organismos de Normalizagao Setorial (ABNTIONS) e das Comissdes de Estudo Especiais (ABNT/CEE), sao elaboradas por Comissdes de Estudo (CE), formadas pelas partes interessadas no tema objeto da normalizagao. Os Documentos Técnicos ABNT sao elaborados conforme as regras da ABNT Diretiva 2. AABNT chama a atengao para que, apesar de ter sido solicitada manifestagao sobre eventuais direitos de patentes durante a Consulta Nacional, estes podem ocorrer e devem ser comunicados a ABNT a qualquer momento (Lei n® 9.279, de 14 de maio de 1996). Ressalta-se que Normas Brasileiras podem ser objeto de citago em Regulamentos Técnicos. Nestes casos, os érgaos responsdveis pelos Regulamentos Técnicos podem determinar outras datas para exigéncia dos requisites desta Norma. AABNT NBR 16666 foi elaborada no Comité Brasileiro de Eletricidade (ABNT/CB-003), pela Comisso de Estudo de Redes Telefénicas Intemas de Edificagdes (CE-003:046.005). © Projeto circulou em Consulta Nacional conforme Edital n° 08, de 06.08.2019 a 09.09.2019. Esta Norma é baseada na ISO/IEC 24764, Edition 1.0:2010, Amd.1.0:2014. Esta Norma e a ABNT NBR 14565:2019 cancelam e substituem a ABNT NBR 14565:2013. © Escopo em inglés desta Norma Brasil ra. 6 0 Seguinte: Scope This Standard specifies a structured cabling system for data centers and applies to optical and metallic cabling using the ISOMEC 24764 as its reference. This Standard applies to local area network (LAN) as well as campus area network (GAN). The application of this standard is limited to indoor cabling to connecting information technology (IT), security, and automation equipment in data centers. Cabling specified in this standard supports a wide variety of services, including voice, data, image, and automation. ©ABNT 2019 - Todos 08 dieltos reservados vNORMA BRASILEIRA ABNT NBR 16665:2019 Cabeamento estruturado para data centers 14 Escopo Esta Norma especifica um sistema de cabeamento estruturado para data centers e se aplica aos cabeamentos metalico e dptico utilizando como referéncia a |SO/MEC 24764. Esta Norma aplica-se 4s redes locais (LAN) e redes de campus (CAN). A aplicacdo desta Norma limita-se ao cabeamento interno para a conexéo dos equipamentos de tecnologia da informagao (TI), seguranga e automacao usados em data centers. O cabeamento especificado nesta Norma suporta uma ampla variedade de servigos, incluindo voz, dados, imagem e automagao. Esta Norma especifica diretamente ou por referéncia: a) estrutura e configuracao minimas para o cabeamento estruturad b)_ interfaces para tomadas de equipamentos (EO); ©) requisitos de desempenho para enlaces e canais individuais de cabeamento; d) recomendagées e requisitos gerais; e) requisitos de desempenho para 0 cabeamento para distancias minimas e maximas especificadas nesta Norma; f) _requisitos de conformidade e procedimentos de verificagao, Esta Norma apresenta ainda recomendagdes de melhores praticas para projetos e instalagdes de infraestrutura para data centers. Esta Norma considera os requisitos especificados nas aplicagées listadas na ABNT NBR 14565, Esta Norma nao se aplica aos requisitos de protecao e seguranca elétrica, protecao contra incéndio € compatibilidade eletromagnética, que sao cobertos por outras normas e regulamentos. Entretanto, recomendacées desta Norma podem ser tteis. 2 Referéncias normativas Qs documentos relacionados a seguir so indispensaveis a aplicacao deste documento. Para refe- réncias datadas, aplicam-se somente as edicdes citadas. Para referéncias nao datadas, aplicam-se as edigdes mais recentes do referido documento (incluindo emendas). ABNT NBR 5410, insialagdes elétricas de baixa tensdo ABNT NBR 5419, (todas as partes), Protecao contra descargas atmostféricas ABNT NBR 14565, Cabeamento estruturado para edificios comerciais ABNT NBR 14703, Cabos de telematica de 100 ohms para redes internas estruturadas — Especificagéo © ABNT 2019 - Todos os direitos reservados 1 FLT.ABNT NBR 16665:2019 ABNT NBR 16415, Caminhos e espacos para cabeamento estruturado ISO/IEC 11801, Information technology — Generic cabling for customer premises ISO/IEC 24764, Information technology — Generic cabling for data centers. 3. Termos, definigées, simbolos, unidades e abreviaturas Para os efeitos deste documento, aplicam-se os seguintes termos, definigdes, simbolos e abreviaturas. 3.1. Termos e definigoes 344 administra¢ao metodologia que define os requisitos de documentagdo para gerenciar o sistema de cabeamento @ seus componentes, a identificagao dos elementos funcionais, os subsistemas de cabeamento € 0S processos que requerem alteracdes 34.2 aplicagao sistema, incluindo seu método de transmissao, que é suportado pelo cabeamento estruturado 343 atenuagao perda de poténcia de um sinal devido @ sua propagagdo por um meio fisico qualquer 3.4.4 backbone do data center cabo que conecta o distribuidor principal ao distribuidor intermediatio, 0 intermediario ao horizontal elou o distribuidor principal ao horizontal 34.5 blindagem barreira fisica cuja principal fungdo é reduzir as emissdes eletromagnéticas indesejadas e melhorar a imunidade do cabo quanto a ruidos 34.6 cabeamento sistema de cabos, patch cords e hardware de conexéo, com capacidade para suportar um amplo espectro de aplicagdes de tecnologia da informacao NOTA — O cabeamento pode ser instalado sem conhecimento prévio dos requisitos das aplicagdes. 347 cabo conjunto de condutores agrupados, do mesmo tipo e categoria protegido por uma capa externa, com ou sem blindagem 3.1.8 cabo balanceado cabo constituido de dois ou mais condutores em arranjo simétrico (em pares ou quadras trangadas) 2 @ABNT 2019 - Todos 08 dietos reservadosABNT NBR 16665:2019 3.4.9 cabo de fibra éptica cabo éptico cabo composto por duas ou mais fibras épticas 3.1.10 cabo de acesso a rede cabo que conecta a interface de rede externa ao distribuidor principal 34.11 cabo horizontal segmento de cabo que conecta o distribuidor horizontal ao ponto de distribuidor local (opcional) ou as tomadas de equipamentos 3.4.12 cabo trunking cabo éptico com miltiplas fibras em ambas as extremidades, terminadas em hardware de conexao de alta densidade 3.4.43 campus Conjunto de edificios em uma area privada 34.44 canal modelo de ensaio de cabeamento estruturado para efeito de certificagao, que inclui cabo, cordées de equipamentos, cordées da area de trabalho ou patch cords do distribuidor (opcional) eo hardware de conexao 3.1.15 conexdo jungo elétrica entre componentes, cabos ou elementos de cabos 3.1.16 conexao cruzada arranjo que possibilita a manobra entre dois hardwares de conexao por meio de patch cords ou jumpers 3.4.47 cordao segmento de cabo com terminacao em pelo menos uma de suas extremidades 3.1.18 distribuidor de piso hardware de conexdo a partir do qual se origina o cabeamento horizontal 3.1.19 distribuidor horizontal hardware de conexao no data center, a partir do qual se origina o cabeamento de distribuigo horizontal 3.1.20 distribuidor intermediario hardware de conexao no data center, a partir do qual se origina 0 cabeamento de distribuigéo intermediario ©ABNT 2019 - Todos 08 direitos reservados 3ABNT NBR 16665:2019 3.4.21 distribuidor principal hardware de conexao no data center, a partir do qual se origina o cabeamento de backbone 3.1.22 emenda unio de fibras dpticas 3.1.23 enlace permanente segmento de cabo entre 0 distribuidor horizontal e a tomada de equipamento, incluindo um LDP (opcional 34.24 equipamento “cliente” qualquer equipamento conectado a rede por meio de uma EO cordao éptico terminado em um conector multivias em uma extremidade e, em conectores individuais na outra 3.1.26 hardware de conexao componente ou combinagao de componentes usados para conectar cabos ou elementos do cabo 3.1.27 infraestrutura de entrada local de entrada de todos os servigos de telecomunicagées do edificio, que inclui a interface de rede externa 3.4.28 interconexao conexao direta entre o equipamento ativo e o subsistema de cabeamento 3.1.29 interface ponto no qual as conexées so feitas com 0 cabeamento 3.1.30 interface de rede externa ponto de demarcagao entre as redes publica e privada 3.4.31 Jumper ‘segmento de cabo sem conectores, usado para interligagdo em uma conexao cruzada 3.4.32 patch cord cordao com conectores em ambas as extremidades: 4 ©ABNT 2019 - Todos 08 diretos reservados “FLO.ABNT NBR 16665:2019 3.1.33 patch panel painel com hardware de conexao usado para a distribuicdo dos subsistemas de cabeamento 3.1.34 perda de insergao atenuagdo, em decibels, devido a insere3o de componentes em um canal 3.1.35 ponto de distribuigao local ponto de conexo no subsistema de cabeamento horizontal entre o distribuidor horizontal e a tomada de equipamento 3.1.36 tomada de equipamento hardware de conexao no data center, no qual 0 cabo proveniente do distribuidor de zona ou do ponto de distribuigao local é terminado 3.2 Variaveis e constantes ! comprimento maximo do patch cord, expresso em metros (m) H _comprimento do cabo horizontal, expresso em metros (m) k ator de corregao de atenuacdo para cabos de cobre 3.3 Abreviaturas CAN — Rede de campus (Campus Area Network) CFTV Circuito Fechado de Televisio EF _Infraestrutura de entrada (Entrance Facility) ENI Interface de rede externa (External Network Interface) EO —_Tomada de equipamento (Equipment Outlet) EoR (End of Row) EQP — Equipamento (Equipment) ER Sala de equipamentos (Equipment Room) FD __Distribuidor de piso (Floor Distributor) HD _Distribuidor horizontal (Horizontal Distributor) ID _Distribuidor Intermediario (Intermediate Distributor) ISO International Organization for Standardization LDP Ponto de distribuigdo local (Loca! Distribution Point) ©ABNT 2019 - Todos 08 dietos reservados 5 wtABNT NBR 16665:2019 MD _Distribuidor principal (Main Distributor), cabeamento PDU Paine! de distribui¢do de energia (Pane! Distribution Unit) PVC Policloreto de vinila (Polyvinil Chioride) TE —— Equipamento terminal (Terminal Equipment) TE — Equipamento de teste (Test Equipment) Tl _Interface de teste (Test Interface) TR Tonelada de reftigeracao UPS Sistema de energia ininterrupta (Uninterruptible Power Supply) IPMI_—_ Intelligent Platform Management Interface SNMP Simple Network Management Protocol 3.4 Unidades de medida e conversées (climatizagao) BTU: unidade de medida de energia, usada para refrigeragdo 1 kW =3,412 BTU 1kW= ,283 TR 1TR=3,53 kW 1 BTU/h = 0,00029 kW 4 Requisitos gerais Para os efeitos desta Norma, consideram-se os seguintes fatores: a) a configuracao e a estrutura do cabeamento devem estar em conformidade com as especifica- Oes descritas na Secdo 5; b) odesempenho dos canais balanceados deve ser medido conforme os requisitos especificados na ABNT NBR 14565. Isto deve ser obtido por uma das seguintes condi¢des: 1) um canal projetado e implementado deve assegurar o desempenho previsto; 2) 0s componentes apropriados, utilizados para um enlace permanente, sdo especificados por classe de desempenho na ABNT NBR 14565. O desempenho do canal deve ser assegurado inclusive com 0 acréscimo de patch cords nas terminagdes de um enlace permanente, conforme os requisitos da ABNT NBR 14565; 3) usando as implementagées referenciadas e os componentes do cabeamento compativeis com os requisitos da ABNT NBR 14565 ¢ cabos compativeis com a ABNT NBR 14703; ©) 08 requisitos especificos de infraestrutura do cabeamento esto descritos na ABNT NBR 16415; 6 © ABNT 2019 - Todos os dicetos reservados “FLI2-ABNT NBR 16665:2019 d) a implementagéo e 0 desempenho do cabeamento dplico devem atender aos requisites da ABNT NBR 14565; ) as interfaces com 0 cabeamento na tomada de equipamentos devem estar em conformidade com 0s requisitos da ABNT NBR 14565; f) todo e qualquer hardware de conexao do cabeamente, incluindo a tomada de equipamentos, deve atender aos requisitos da ABNT NBR 14565; 9) se presentes, as blindagens devem ser tratadas de acordo com a ABNT NBR 14565; h) a administracao do sistema deve atender aos requisitos da ABNT NBR 14565. NOTA Na auséncia do canal, o desempenho do enlace permanente pode ser usado para verificar a con- formidade com esta Norma. Ensaios devem ser executados para a certificagao de desempenho de um sistema instalado conforme as ABNT NBR 14565 e ABNT NBR 14703. 5 Estrutura do sistema de cabeamento 5.1 Geral Esta Segao identifica os elementos funcionais do cabeamento para data centers, descrevendo como 40 interconectados para formar subsistemas, e identifica interfaces com as quais os componentes de aplicagées especificas $40 conectados ao cabeamento. As aplicagées listadas na ABNT NBR 14565 sao suportadas, conectando-se equipamentos ativos as interfaces de redes externas, tomadas de equipamentos e distribuidores. 5.2 Elementos funcionais Esta Norma define os seguintes elementos funcionais do cabeamento, que s4o: a) distribuidor principal (MD); b) distribuidor intermediario (1D); ¢) distribuidor horizontal (HD); 4) ponto de distribuigao local (LOP); €) tomada de equipamento (EO); f) cabeamento de backbone; 9) cabeamento horizontal. Grupos destes elementos funcionais sao interconectados para formar subsistemas de cabeamento, conforme mostrado na Figura 1 ©ABNT 2019 - Todos 08 direltos reservados 7 “FLASABNT NBR 16665:2019 5.3 Subsistemas de cabeamento 5.3.1. Geral Os sistemas de cabeamento contém até trés subsistemas: cabeamentos de backbone (pode haver no maximo dois niveis) e cabeamento horizontal, interconectados para criar um sistema de cabeamento, como ilustrado na Figura 1 Figura 1 —Estrutura do cabeamento em data center A conexao do cabeamento do data center aos services externos, seja do MD ou ID a ENI, depende das caracteristicas e especificagdes dos servicos fornecidos por seus provedores. © cabeamento de acesso a rede nao é considerado parte do sistema de cabeamento estruturado e est fora do escopo desta Norma. As conexdes entre subsistemas de cabeamento podem ser passivas ou ativas, quando utilizadas com equipamentos de aplicages especificas. As conexdes de equipamentos para aplicagdes especificas adotam a abordagem tanto de interconexao como de conexao cruzada (ver as Figuras 2 e 3). As conexdes passivas entre subsistemas de cabeamento sao geralmente executadas usando conexées cruzadas por meio de patch cords ou jumpers. Servidor Equipamento ativo de rede 1 Patch cord Figura 2 — Exemplo de interconexao 8 © ABNT 2018 - Todos os deetos reservados “FLABNT NBR 16665:2019 Equipamento ativo de rede ee ‘Servidor \, Patch eors EO Patch cord Figura 3 - Exemplo de conexao cruzada No caso de um cabeamento centralizado, as conexdes passivas nos distribuidores sdo executadas por conexdes cruzadas ou interconexées. Além disso, para cabeamento éptico centralizado, € possivel criar conexdes nos distribuidores usando emendas, apesar de isto reduzir a possibilidade do cabeamento de suportar reconfiguragdes. Para detalhes, ver ABNT NBR 14565. 5.3.2 Subsistemas de cabeamento 5.3.21 Subsistema de cabeamento de backbone subsistema de cabeamento de backbone se estende do MD e ID aos HD a eles conectados. © subsistema de cabeamento de backbone inclul: a) os cabos de backbone; b) a terminagéo mecanica dos cabos de backbone no MD ou ID, mais os patch cords e/ou jumpers a eles associados; ¢) a terminagao mecanica dos cabos de backbone nos HD. Nao so considerados parte do subsistema de cabeamento de backbone os cabos de equipamentos que venham a ser utilizados para conecta-los a este subsistema, 5.3.2.2 Subsistema de cabeamento horizontal subsistema de cabeamento horizontal que se estende do HD a EO, inclui: a) 08 cabos horizontais; b) a terminacao mecénica dos cabos horizontais nas EO e no HD, mais os patch cords e/ou jumpers a eles associados; ©) 08 LDP opcionais; 4) asEO. Os cabos do subsistema de cabeamento horizontal devem ser continuos do HD até as EO, a no ser que existam pontos de distribuicdo local, conforme definido por esta Norma. ©ABNT 2019 - Todos 08 direitos reservados 9 FLAS.ABNT NBR 16665:2019 Nao so considerados parte do subsistema de cabeamento horizontal os cordées de equipamentos que venham a ser utilizados para conecté-los a este subsistema De forma a prover maior vida operacional, menos interrupgbes € menores custos associados com reinstalagdes, o cabeamento instalado deve ser projetado para: a) suportar a mais ampla gama de aplicagées existentes e emergentes; b) permitir 0 crescimento esperado, em volume de aplicagées atendidas, por toda a vida util da instalagao. Além disso, recomenda-se, no projeto, a existéncia de redundancia de caminhos, distribuidores e/ou subsistemas de cabeamento, conforme mostrado na Figura 8 5.4 Interconexdo e hierarquia dos subsistemas Os elementos funcionais dos subsistemas de cabeamento sao interconectados para formar uma topo- logia hierarquica basica, conforme mostrado na Figura 4. cabeamento de acesto Sede Cabeamento de distrbuigo principal Cabeamento de distrbuigso Intermedia Cabeamento de distribuigdo horizontal _Caminhos opcionais Figura 4 — Estrutura hierarquica de cabeamento estruturado Conexées entre subsistemas de cabeamento podem ser passivas ou ativas, quando utilizados equi- pamentos de aplicagdes especificas. Conexdes a equipamentos de aplicagdes especificas em um MD, ID ou HD adotam uma configuracao de interconexao ou de conexao cruzada (ver Figuras 2 € 3) Conexdes a equipamentos de aplicacoes especificas na ENI ¢ nas EO adotam uma configuracao de interconexdo. Conexdes passivas entre subsistemas de cabeamento adotam uma configuracdo de conexéo cruzada, por meio de patch cords ou jumpers. 40 @ABNT 2019 - Todos 08 direitos reservados -FLIB-ABNT NBR 16665:2019 5.5. Localizacao dos elementos funcionais Figura 5 mostra um exemplo de localizagao dos elementos funcionais do cabeamento MD, ID, HD e o LDP devem ser instalados em locais permanentes e acessiveis dentro da sala de computadores do data center. A Figura 5 mostra um exemplo de localizagao dos elementos funcionais do cabeamento. MD, ID, HD e 0 LDP devem ser instalados em locais permanentes e acessiveis, dentro da sala de computadores do data center. Sala de equipamentos f°) Figura 5 - Exemplo de localizacao dos elementos funcionais do cabeamento em data center 5.6 Equipamentos, enlaces e canais 5.6.1 Canal horizontal Os equipamentos terminais sao sempre conectados ao cabeamento em suas extremidades. Um ponto de distribuigao local (LDP) nao prové conexao para o equipamento terminal ao sistema de cabeamento. Os equipamentos de teste devem ser conectados ao cabeamento conforme apresentado nesta Seco. No canal em um sistema de cabeamento horizontal, os equipamentos de teste estdo localizados nas posigdes mostradas na Figura 6. HD EO o~ (o>) S c| TE <{uipamentos de teste (TE) no canal horizontal, incluindo o LDP e a conexao cruzada HD EO [eps @—e—~z] fe (TE) no canal horizontal, incluindo o LDP b) Posicées dos equipamentos de HD EO Cap ©) Pe ges dos equipamentos de teste (TE) no canal horizontal, incluindo apenas o LDP Figura 6 — Posigdes dos equipamentos de teste para ensaios de canal horizontal © ABNT 2018 - Todos 08 direitos reservados “1 “FLATABNT NBR 16665:2019 5.6.2 Canal de backbone No canal em um sistema de cabeamento de backbone, os equipamentos de teste estdo localizados nas posigées mostradas na Figura 7. MD ID/IHD a) Posigdes dos equipamentos de teste (TE) no canal de backbone, incluindo a conexao cruzada P 2 b) Posicdes dos equipamentos de teste (TE) no canal de backbone, considerando ‘0 modelo de interconexéo Figura 7 - Posig6es dos equipamentos de teste para ensaios de canal de backbone 5.6.3 Enlace permanente Em um subsistema de cabeamento horizontal, 0 enlace permanente consiste em uma das seguintes configuragées: a) entre HD e EO; b) entre HD e EO, incluindo o LDP; c) entre HD e LOP. Em um subsistema de cabeamento de backbone, o enlace permanente consiste em uma das seguintes configuragées: a) entre MD e ID; b) entre MD e HD; c) entre ID e HD. NOTA Nos modelos de enlace permanente, patch cords e jumpers nao sao incluidos. 5.7 Dimensionamento e configuragao 5.7.1 Infraestrutura de entrada Ver ABNT NBR 16415. 5.7.2 Cabeamento de servicos externos Adistancia entre a ENI eo MD pode ser significativa e depende das caracteristicas de distrib servigos contratados, portanto deve ser considerada uma premissa de projeto. 12 © ABNT 2019 - Todos 0s dretos reservados FLU.ABNT NBR 16665:2019 5.7.3 Distribuidores A quantidade e 0 tipo de subsistemas presentes no cabeamento dependem de sua configuracéo e dimensdes do data center. Os elementos funcionais devem ser posicionados para garantir que © comprimento maximo do canal seja de 100 m para cabeamento em cobre e as distancias maximas permitidas pela aplicagao para cabeamento em fibra 6ptica © mesmo espago fisico pode conter diferentes subsistemas de cabeamento. As fungdes de um MD, ID e HD podem ser combinadas no mesmo espago fisico, contudo cada data center deve possuir pelo menos um MD. Por motivos de seguranga e disponibilidade, consideragdes devem ser feitas com respeito a capaci- dade de recuperagéo de um data center com relagao @ infraostrutura de cabeamento. Ela pode ser melhorada com a incluso de distribuidores, cabeamento e caminhos redundantes, conforme ilustrado na Figura 8. Distrbuidor do avorde com a ABNTNBR 14565. *=~ | Figura 8 - Conexao de elementos funcionais com redundancia 5.7.4 Interface de rede externa A interface de rede extema oferece uma terminagao do cabeamento de acesso a rede, que permite a sua conexao aos servigos externos, como mostrado na Figura 9 NOTA — Recomenda-se que os provedores de servicos tenham rotas diversas para cada uma das varias interfaces de rede externa. Ver ABNT NBR 14565 para detalhes sobre componentes utilizados na entrada de servigos externos. ©ABNT 2018 - Todos 08 direitos reservados 13 -FLIgABNT NBR 16665:2019 Cabeamento de servigo externo {fora do escopo desta Norma) EQP Conexéo do cabeamentode acesso @ rede a0 cabeamento de servico externo (pode incluir equipamento ativo ou passivo) Figura 9 — Exemplos de conexées do cabeamento de servicos externos a ENI 5.7.5 Cabos Para cabeamento balanceado, o requisito minimo de desempenho deve ser Categoria 6A/Classe Ea e, para cabeamento de fibras Opticas, deve ser OM4. 5.7.5.1 Cabos de equipamento Cabos de equipamento sao permanentes e dependem da aplicagao. 5.7.5.2 Patch cords e jumpers Patch cords e jumpers so usados em implementagSes de conexdes cruzadas em distribuidores. A contribuigéo de desempenho desses cordées deve ser levada em consideracao no projeto do canal. Ver ABNT NBR 14565 para orientacao sobre comprimentos de patch cords e jumpers para implementagoes de referéncia do cabeamento. 5.7.5.3. Tomadas de equipamento O projeto de cabeamento do data center é de alta densidade de conexdes, portanto nao ha restrico quanto ao numero de EO. Um grupo de EO pode ser servido diretamente por diversos HD ou por meio de varios LDP. Ainterface da tomada de equipamento deve estar em conformidade com a ABNT NBR 14565. 5.7.6 Ponto de distribuigao loc: A instalagéo de um LDP no cabeamento horizontal pode ser titi, onde acréscimos ou mudangas de equipamentos “cliente” sao frequentes. O LDP deve ser uma interconexéo e nao uma conexao cruzada. Nao pode haver equipamentos ativos no LDP. OLOP, se utilizado, deve ser capaz de suportar a area do data center a ser atendida durante sua vida ‘operacional. A area atendida pode ser definida em termos de quantidade de racks ou gabinetes a serem suportados e deve-se considerar expanso futura. O LDP pode ser instalado em infraestrutura aérea, sob 0 piso elevado ou em racks. 14 (© ABNT 2019. Todos os dicetos reservadosABNT NBR 16665:2019 5.7.6.1 Conexao entre LDP e equipamento “cliente” Em topologias EoR, o LDP conecta o equipamento “cliente” diretamente por meio de patch cords Para cabeamento balanceado, o efeito de diversas conexdes proximas no desempenho de transmiss4o deve ser levado em consideracdo ao dimensionar o comprimento dos cabos entre HD e LDP. ‘O comprimento minimo do cabeamento horizontal entre o HD e o LDP é de 15m © comprimento do patch cord que conecta 0 LDP ao equipamento “cliente” (servidor, storage etc.) deve ser limitado e dimensionado pela aplicacdo da seguinte equacdo: (%H)-sm 7 1 &0.comprimento maximo do patch cord, expresso em metros (m), utilizado para a conexao do LDP ao equipamento “cliente”; H_ &o0 comprimento do cabo horizontal, expresso em metros (m); k 0 fator de corregao (0,2 para cabos U/UTP 24 AWG e 0,5 para cabos blindados balanceados de 26 AWG). limite maximo do comprimento do patch cord para a conexéo do equipamento “cliente” ¢ de 20 m para cabos U/UTP 24 AWG e 15 m para cabos blindados 26 AWG. A soma dos comprimentos dos patch cords e jumpers utilizados no distribuidor de piso nao pode exceder 5 m. 5.7.6.2 Conexao entre LDP e EO Para conexées entre LDP e EO, os seguintes critérios devem ser cumpridos: a) © comprimento minimo de cabeamento entre HD e LDP deve ser de 15 m; b) o comprimento minimo de patch cord entre LDP e EO deve ser de 5 m; c) © comprimento minimo de patch cord na EO deve ser de 2 m (sem LDP) ou 1 m (com LDP); 4) 0 comprimento minimo do cabo de equipamento no HD deve ser de 2 m (interconexao) ou 1m (conexo cruzada); ) ocomprimento maximo dos patch cords deve ser de 5 m. 5.8 Aterramento e equipotencializagao Consultar a série ABNT NBR 5419 e a ABNT NBR 5410. 6 Demais especificagées Consultar aABNT NBR 14565 para as seguintes especificagdes: — _ desempenho do cabeamento balanceado; —_ implementagao do cabeamento balanceado; © ABNT 2019 - Todos 0s direitos reservados 15 “FlatABNT NBR 16665:2019 — desempenho do cabeamento dptico; — requisitos dos cabos; — _ requisitos do hardware de conexao; —_ praticas de blindagem; — gerenciamento; — _ procedimentos de ensaios; — caracteristicas eletromagnéticas; — aplicagdes suportadas. 7 Patch cords Ver ISOEC 11801, Edi¢do 2.2, para especificagdes sobre patch cords de cabos balanceados. 16 -FL22- (©ABNT 2019 - Todos os direitos reservadosal st . ments *Expama *Floraplac MDF Pictures 6, 2019 Sh ago Shago Nov 16, 2019ABNT NBR 16665:2019 Anexo A (informativo) Uso de hardware de conexAo de alta densidade em cabeamento de fibra optica A. Geral O termo “hardware de conexao de alta densidade” deste Anexo se refere ao hardware de conexao de fibra éptica utilizado para a interconexao: © de cabeamento com varias fibras épticas por conexo (acima de duas); ‘© emcabeamento éptico de alta densidade, no qual conectores duplex ocupariam muito espaco no distribuidor; ‘© através de um conjunto de trasigao ou um cordao fan-out. O hardware de conexao de alta densidade pode ser necessério nos seguintes locais: © interfaces para switches de alta densidade; © interfaces para equipamentos que utilizam fontes épticas; ‘* uma ou ambas as extremidades de patch cords nos distribuidores; © nos LDP. A.2_ Estrutura dos subsistemas de cabeamento Exemplos de hardware de conexéo de alta densidade dentro de subsistemas de cabeamento, de acordo com a Segao 5, so mostrados nas Figuras A.1 e A.2. 7ABNT NBR 16665:2019 Patch cordde Fanout Gabo tuning’ Fanout Patch cord de equipamento ‘equipamento \/ ‘Cabo trunking Cabo trunking Cabo trunking Cabo trunking ‘Cabo trunki Canal Legenda Figura A.1 - Exemplos de hardware de conexéo de alta densidade no cabeamento de distribuicao principal 18 © ABNT 2019 - Todos os direitos reservados esABNT NBR 16665:2019 c] EQP Cabo trunking © Fanout Patch cord de equipamento cc] eaP f Cabo trunking irate Patch cord de | ; SS EGP Cabo trunking Cabo trunking equipamento Figura A.2 - Exemplos de hardware de conexao de alta densidade no LDP e EO no cabeamento de distribui¢ao horizontal © ABNT 2019 - Todos os direitos reservados “Fas 19ABNT NBR 16665:2019 Anexo B (normativo) Melhores praticas para projeto e instalagao de infraestrutura Para data centers 0 objetivo deste Anexo é estabelecer um conjunto de melhores praticas e recomendagdes minimas para projetos e instalagdes de infraestrutura de data centers, como especificagées gerais a respeito da sua localizagao, estrutura civil, instalagdes elétricas, piso elevado, infraestrutura, condicionamento de ar, automagao, equipamentos, acessérios e outros componentes. Tais recomendagées tam como objetivo orientar o projeto e as instalagées, facilitar a administragao e manutengo dos sistemas, bem como aumentar a confiabilidade do conjunto. il Ao selecionar uma localidade para a construgdo de um data center, 6 importante considerar se nas proximidades nao ha areas inundaveis, cabeceira de pistas de aeroportos, proximidade de linhas de transmissao ou demais areas de alto risco, e se ha vias de acesso principais que permitam desloca- mento de equipamentos sem obstrugdes. B.1_Localizagao, dimensionamento e consideragées sobre a estrutura O entorno do ambiente onde sera locado 0 data center deve ser analisado minuciosamente (o que esta acima, abaixo e no perimetro do local escolhido), bem como a capacidade de poténcia elétrica total disponivel, distancia do sistema de geracao primaria e secundaria (grupo gerador e distribuidora de energia), facilidade de acesso 4 edificagdo para entrada e saida de equipamentos, suprimento de combustivel para o grupo motor gerador e demais condigdes necessérias para implantagao operacao segura do ambiente. ‘Ao selecionar um local para instalagao do data center no interior de uma edificagéo, devem ser evitadas as dreas que possam trazer limitagdes, restricbes de acesso ou futura expansao, como pogos de elevadores ou paredes externas. Por seguranga e por garantia das condigdes ambientais internas, o data center ndo pode ter janelas ou outras aberturas diretas as areas externas a edificagao, sendo que as paredes devem receber tratamento especial, a fim de garantir isolamento e retardamento as chamas. Aberturas para cabos e tubulagdes devem ser vedadas com selos corta-fogo. Para facilitar 0 deslocamento de equipamentos, bem como reduzir a carga sobre estruturas, é reco- mendavel locar data centers no pavimento térreo sempre que possivel. Recomenda-se evitar localizar 0 data center imediatamente abaixo de caixas d’égua e de tubulagSes principais de dgua da edificagao, em divisas com dreas umidas, em paredes com tubulagdes de agua ‘ou esgoto, junto a paredes externas ou sujeitas a abalroamento. Considerando a necessidade de chegada ou saida de grandes equipamentos no data center, deve-se considerar sua acessibilidade desde as docas de carga e descarga do edificio, passando por todas as reas intermediarias, até o data center, considerando-se ainda a criagao de rampas de acesso com inclinagéo maxima de 10 % 20 (ABNT 2019 - Todos os direitos reservados FL26-ABNT NBR 16665:2019 A sala de computadores do data center deve ser locada em regido onde nao existam fontes de inter- feréncia eletromagnética, como transformadores, equipamentos de raio x, equipamentos de solda e arcos elétricos, radios, radar, entre outros. formato preferido da sala de computadores do data center 6 o retangular, considerando-se para isso as dimensées de racks, a composic¢ao dos corredores @ 0 espago de deslocamento e trabalho (ver Figuras B.2 e B.3) As paredes e aberturas da sala de computadores e das salas de suporte, incluindo janelas internas, 40 construidas para suportar no minimo 1h de fogo externo. Salas de geradores e tanques de combustivel, se internos a edificagéo, devem suportar no minimo 2 h de fogo. Tais paredes e aberturas devem ser tratadas para reduzir poeira e infitragao de todo tipo. Considerar tratamento com barreiras de vapor, ou outras técnicas de impermeabilizagao, nas paredes e teto da sala de computadores para prevenir a transferéncia de umidade com outros ambientes. © ambiente do data center ndo pode possuir forro, porém, caso seja indispensavel a sua utilizacao, as placas do forro ndo podem ser porosas, devem ser compostas por material anti-chama e, caso seja utilizado sistema de extingdo de incéndio com gas em alta pressao, que possuam mecanismo de travamento para evitar desiocamentos durante a descarga do gas. Drenos devem ser projetados e instalados no piso do data center para permitir escoamento de aguas, como prevengao de risco de inundagao. Recomenda-se um dreno para cada 50 m? de area do data center. Se houver a instalagao de maquinas de ar-condicionado com alimentacao de agua, deve ser construida uma contengao sob tais equipamentos, para evitar inundagdo. Os drenos devem conter telas para impedir a entrada de pragas, como insetos ou outros, bem como um mecanismo antirrefluxo. Recomenda-se a compartimentacéo do ambiente do data center, de tal forma que as salas de computadores e subsistemas de energia fiquem em ambientes distintos. Caso nao seja possivel a compartimentagao recomendada, os equipamentos de instalagdes elétricas devem limitar-se a poténcia maxima de 100 KVA, com baterias seladas. Caso as baterias nao sejam seladas, devem ficar em sala separada, com ventilagao forgada e monitoramento da qualidade do ar. Nao sao recomendados, no interior das salas de computadores, sistemas de energia ininterrupta (UPS) com poténcia maior ou igual a 100 KVA, ou de qualquer poténcia, quando nao forem utilizadas baterias seladas, No interior das salas de computadores nao podem existir instalagdes ou passagem de tubulagdes de agua, gas, esgoto, vapor, ar pressurizado ou quaisquer outros sistemas nao relacionados ao data center. Recomenda-se que a laje de piso do data center suporte uma carga minima de 730 kgflm2, sendo que 0 ideal é de 1 200 kgfim2 Considerar um pé-direito minimo de 3,5 m em toda a area do data center. A altura minima no interior da sala de computadores deve ser de 2,6 m, desde 0 piso acabado até a mais baixa instalagdo no teto (forro, luminarias, tubulagdes, cameras etc.), sendo que a altura dos racks ou gabinetes pode requerer altura ainda maior, considerando uma distancia minima de 0,40 m desde sua parte superior até qualquer instalagao no teto. Paredes, divisérias, placas de forro e outras instalagées estruturais devem ser pintadas em cores claras, para melhoria do rendimento da iluminagao, bem como para reduzir ao minimo a incidéncia de poeira. ©ABNT 2019 - Todos os direitos reservados 2ABNT NBR 16665:2019 Portas de acesso ao data center devem ser do tipo corta-fogo, com largura livre minima de 1,2 m e altura livre minima de 2,2 m, com abertura para fora da sala e sem protuberancias nas soleiras. A disposicdo interna dos diversos ambientes de um data center depende de suas dimensées e condi- GOes de instalagao. As figuras seguintes (B.1 a 8.3) apresentam um diagrama geral das relagdes entre Sala de Sala do onorgia telecomunicagoes UPSigeradores Sala de ar-condicionado Figura B.1 — LLL) ome “ Sala de computadores Entrada de Storage telecomincagdes jiagrama com os diversos componentes Figura B.2— Exemplo de leiaute de data center e sala de computadores 22 (CABNT 2019 - Todos os direitos reservadosABNT NBR 16665:2019 Litt Sala de computadores Acesso COOL TT) ft Entrada T Dh Operagses |” de telecom| UPS e baterias (1) Equipamentos de ar-condicionado Geradores ‘Acesso UPS e baterias (2) Subestagao Figura B.3 — Exemplo de leiaute de data center e salas de computadores B.2_ Piso elevado Quando for utilizado piso elevado no data center, o mesmo deve permitir flexibilidade das mudangas necessérias, tanto do cabeamento quanto da posi¢ao dos equipamentos, suportando uma sobrecarga compativel com os esforgos exigidos. © piso elevado constitui-se de placas de dimensdes tipicas de 0,60 m x 0,60 m, suportado por pedestais intertravados com estrutura metalica, cobertura que suporte alta pressao, antiestatico com capacidade de carga distribuida de no minimo 1 200 kgf/m2. Como opgao, em ambientes com restrigao de altura, pode ser adotado piso elevado monolitico, composto por forma de PVC e massa mineral autonivelante, com tampas de inspegao para a organizaco dos cabos. Racks e gabinetes de equipamentos devem ser dispostos lado a lado, em filas, sendo que, quando ha mais de uma fila, a frente dos equipamentos e computadores instalados em uma fila deve estar voltada para a frente da outra fila, formando assim um corredor. Essa disposi¢ao em filas permite a criagdo de areas frias (corredores frios) e quentes (corredores quentes) no ambiente do data center, considerando-se a aplicagao do sistema de condicionamento de ar especifico. A parte frontal dos racks e gabinetes deve estar voltada para o corredor frio, e a parte traseira para 0 corredor quente. O corredor quente é aquele para onde esto voltadas as traseiras dos equipamentos e computadores (ver Figura B.4). A disposigao do piso elevado, em placas de dimens6es proximas a 0,60 m x 0,60 m, permite criar uma grade de identificagao para disposigao e identificagao dos racks e gabinetes (ver Figura E.4). © ABNT 2019 - Todos os direitos reservados 23ABNT NBR 16665: 1019 Recomenda-se criar 0 seguinte sistema de identificagao: * em planta baixa, as colunas de placas de piso (coordenada "X’) sao identificadas por letras (A, B, ou AA, AB etc., dependendo da dimensao do data center e da quantidade de placas); * as linhas de placas de piso (coordenada “Y") sao identificadas por nimeros (01, 02, 03 etc.); © aiidentificagao do rack ou gabinete é feita pela sua posigdo no piso, considerando a coordenada do canto direito frontal do rack/gabinete; ‘© em data centers com varios pisos, adota-se, para identificar 0 rack/gabinete, também o numero (ou nome) do piso em que esta posicionado. ABCDEFGHISKL a [TTT Rack - parte traseira re Rack - parte frontal ‘2 | we Figura B.4 — Paginagao de piso elevado e alinhamento dos racks A altura livre minima, sugerida sob o piso, € de 0,40 m (salvo nos casos em que 0 piso monolitico 6 utilizado). Em iltima analise, a altura livre sob 0 piso deve ser determinada, principalmente, pelo dimensionamento do ar-condicionado, bem como por outras instalagées da infraestrutura que utilizem tal drea, como quantidade de cabos utilizados e outras instalagSes que venham a concorrer pelo mesmo espago. Quando a érea sob 0 piso for utilizada para insuflagao de ar-condicionado, placas perfuradas devem ser dispostas em frente aos racks de servidores e de equipamentos. A area perfurada minima recomendada deve corresponder a 25 % da area total da placa, e o total de perfuragoes da sala deve corresponder a 75 % da insuflagao necessaria para a sala (adotando-se que o restante escapa pelas frestas e encaixes das placas). Ajustes podem ser feitos posteriormente com novas perfuragdes, caso necessario. Area perfurada de placas de piso em frente aos racks pode ainda ser determinada com base no fluxo minimo de ar requerido para refrigeragao dos respectivos racks Os racks devem ser dispostos no piso elevado da sala constituindo corredores quentes e corredores frios, conforme mostrado na Figura B.4. Recomenda-se que a largura minima dos corredores, na frente dos racks, seja de duas placas ou 1,2 m, 0 que for maior, e no minimo uma placa de 0,60 m (recomenda-se 0,90 m) na traseira dos racks, para comportar espaco de servicos e circulagao do ar. O espaco deve ser maior a frente dos racks, porque equipamentos sao instalados e retirados de racks normalmente pela frente. Alinhar as bordas dos racks com as placas de piso, preferencialmente na frente. 24 (© ABNT 2019 - Todos 0s direitos reservadosABNT NBR 16665:2019 Racks com poténcia entre 3,5 KVA até 6 KVAnecessitam de placas com 50 % de perfuragao colocadas em frente aos racks. Racks que excedem 7 KVA requerem grelhas de alta vazao, ventilagao e/ou refrigeracéo forgada. Racks nao refrigerados, e com cargas ainda maiores, podem requerer técnicas de compartimentagao do ar frio ou do ar quente, e/ou suplementacao na refrigeragdo por meio de maquinas colocadas ao longo das filas. Quando o piso elevado for utilizado para insuflacao do ar-condicionado, as aberturas realizadas nas placas de piso para passagem de cabos e dutos devem ser seladas de forma a nao permitir 0 escape de ar frio, o que poderia diminuir a eficiénoia da refrigeracao. B.3 Caminhos de cabos © cabeamento estruturado deve ser organizado de forma agrupada por semelhanga de uso, em con- juntos, disposto sobre calhas, leitos ou trilhos elevados. Conjuntos de cabos amarrados em feixes nao podem causar deformagoes mecdnicas nos cabos. Recomenda-se que cabos dpticos sejam separa- dos dos cabos metalicos por septos divisores ou instalados em caminhos préprios. Cabos alimentadores de energia, se utiizarem 0 espago sob 0 piso elevado, deve ser dispostos de tal maneira que sejam organizados ¢ distintos dos demais, dispostos junto ao concreto e no nivel mais baixo, em frente A fileira de racks (alinhados sob o corredor frio). Cabos de telecomunicagoes (cabeamento estruturado) devem estar atrés da fileira de racks (alinhados sob 0 corredor quente) e elevados do piso de concreto, no nivel mais alto disponivel sob 0 piso. Os cabos de energia e/ou de telecomunicacées (ou cabeamento estruturado) podem ser distribuidos sobre os racks, em leitos ou calhas aéreas, para liberar espago no piso para insuflagao de ar. Nesses casos devem ser respeitadas as alturas livres minimas anteriormente recomendadas. Os caminhos de cabos nao podem prejudicar a circulagao do ar-condicionado e a agao de detectores de inc€ndio e bocas de difuséio de agente de combate a incéndio. Quando houver cruzamento entre cabos de telecomunicagdes (cabeamento estruturado) e de ener- gia, o cruzamento deve ser perpendicular. Quando os cabos de telecomunicagies (cabeamento estru- turado) e os de alimentagao forem posicionados em paralelo, a distancia minima entre eles deve ser suficiente para evitar interferéncias eletromagnéticas. Recomenda-se que a distancia entre os cabos de telecomunicages (cabeamento estruturado) e os cabos dos circuitos monofasicos de energia (20 A/240 V), que agrupados totalizem 5 KVA, seja de no minimo 0,15 m. Quando o total for superior a § kVA ou quando forem circuits trifasicos, esta distancia deve ser de no minimo 0,30 m. Nestes casos deve haver blindagem metalica para os cabos de telecomunicagSes (como calhas metélicas ou outros elementos de blindagem). B.4_ Racks, gabinetes e instalagdes aparentes Gabinetes e racks devem ter, preferivelmente, altura total de até 2,1 m, permitindo com isso melhor acesso a equipamentos e conexdes em sua parte superior. Nao se recomenda que a altura maxima ultrapasse 2,5 m. Racks devem ter dimensées adequadas e suficientes para acomodar os equipamentos planejados, incluindo espacos para o cabeamento frontal e traseiro, organizacao do cabeamento e acessérios, bem como para permitir 0 fluxo de ar necessario para ventilagao e refrigeracao. © ABNT 2019 - Todos os direitos reservados 25 aeABNT NBR 1666! 1019 Racksigabinetes devem ter estrutura interna de largura 0,483 m (19 polegadas) para montagem de patch panels e outros equipamentos. Racksigabinetes de largura 0,585 m (23 polegadas) podem ser usados para equipamentos especificos. Em suas laterais deve haver espacos verticais, em toda a altura, para acomodar a passagem e a organizagao do cabeamento. Guias de cabos horizontais e verticais devem ser instaladas para acomodar cabos fixos e de manobra, facilitando assim as manutengdes, bem como para evilar que seu peso danifique os conectores ou perturbe o fluxo de ar dos equipamentos. Em instalagdes sobre os racks, cabos alimentadores de energia devem ser dispostos em leitos ou calhas exclusivas. O mesmo se aplica aos cabos de telecomunicagoes. As portas traseira e frontal dos racks devem possuit perfuragdes que totalizem pelo menos 50 % de sua rea, de forma a permitir a tomada de ar frio e a exaustéo do ar quente, com excec&o dos racks especialmente projetados para conduzir o fluxo de ar de alguma maneira especifica Ao instalar equipamentos ativos nos racks, atentar para seu correto posicionamento com relagao a0 fuxo de ar. Eles devem ficar posicionados de forma que sua tomada de ar seja realizada a partir do corredor frio e que a exausto do ar seja feita para o corredor quente. Quando sao instalados equipamentos com fluxo de ar nao padrao, isto é, que nao captem o ar frio pela frente endo soltem o ar quente por tras, devem ser utilizados racks com acessrios especiais que “corrijam” esse fluxo, tornando-os compativeis com esquema “corredor frio/corredor quente” adotado. Recomenda-se que todas as posigdes de rack nao utilizadas, bem como os espagos laterais verticais @ furos superiores para entrada de cabos, sejam selados de forma a evitar a recirculagao do ar quente expelido pelos equipamentos. B.5_ Energia e iluminagao A iluminagao no data center deve ser projetada para que se tenha um minimo de 500 lux no plano horizontal, medido a 1 m do piso acabado, no centro dos corredores de racks ou gabinetes. Sequéncias de luminarias devem ser instaladas sobre os corredores entre os racks e sobre as areas limpas livres. Niveis reduzidos de iluminagao podem ser adotados para os locais ¢ hordrios em que nao houver ocupagao. s circuitos de distribuig8o de energia para iluminagao devem ser exclusivos e independentes daque- les destinados a alimentagao de computadores ou outros equipamentos. Recomenda-se que todo rackigabinete seja alimentado por no minimo dois circuitos. Circuitos elétricos para alimentagao dos computadores e equipamentos eletrénicos devem ser inde- pendentes de quaisquer outros circuitos, derivados de quadros de distribuigao elétrica especifica- mente projetados para essa finalidade, instalados em dutos e calhas exclusivos. Recomenda-se que os equipamentos criticos possuam fontes redundantes, cada uma ligada a um circuito elétrico diferente. ‘Tomadas elétricas independentes devem ser instaladas no interior do data center para outros usos, tais como ferramentas, sistemas de limpeza e outras conveniéncias. Para a correta especificagao escola dos componentes para a instalacao elétrica, a ABNT NBR 5410 deve ser obedecida. 26 (© ABNT 2019 - Todos os direitos reservadosABNT NBR 16665:2019 Sistemas de ventilagdo em racks devem ser alimentados por circuitos independentes. Quadros de alimentagao elétrica principal, dos quais derivam os quadros de distribuigao, devem ser projetados com chaves de transferéncia, para ter alimentacdo vinda da distribuidora de energia local, do grupo de geradores do edificio e/ou dos geradores especificos do data center, bem como do sistema de energia ininterrupta (UPS). Geradores devem prover energia para a capacidade plena do data center, em casos de falta de energia da distribuidora, incluindo alimentago para o UPS, iluminagao e equipamentos condicionadores de ar. Geradores de energia devem ser abastecidos por tanques reservatérios de combustiveis com capacidade minima de 24 h de alimentagao. Consideragdes devem ser feitas para permitir maior tempo de alimentacéo. Contratos para abastecimento de combustivel com fornecedores locais devem ser previstos. Geradores devem entrar em operagao por chaves de transferéncia automatica, ensaiadas previamente com rotinas de ensaios periédicos (recomenda-se quinzenalmente). Sistemas de energia ininterrupta (UPS) devem ser usados para garantir alimentag&o dos equipamentos criticos em casos de falta ou transientes de energia, durante o periodo de comutago da carga para o(s) gerador(es).. Para que o data center nao sofra interrup¢ao na prestacao de seus servicos, ele deve ter no minimo dois quadros de distribuigao de energia (PDU), cada um alimentado por um dos UPS. Os quadros elétricos principais para alimentagao das cargas criticas (PDU) podem estar alinhados com as filas de racks/gabinetes dentro da sala de computadores ou em sala dedicada aos sistemas elétricos. Recomenda-se que os quadros elétricos sejam dotados de disjuntores extraiveis sem que seja necessario 0 desligamento do circuito, minimizando impactos no tempo de manutengao. B.6 Ar-condicionado Equipamentos de ar-condicionado em data centers so utilizados para resfriar equipamentos ele- trénicos e nao para propiciar conforto térmico para as pessoas. Porlanto, devem ser eficientes para remocdo de calor sensivel. Assim, equipamentos utilizados no data center devem ser adequados para ‘operaco em ambientes com alto fator de calor sensivel, devendo ser microprocessados e com con- trole automatico de temperatura e umidade. Os equipamentos de ar-condicionado devem ser dedicados ao data center. No caso de haver maquinas redundantes, programar rodizio periédico de utilizaco para manter todas as maquinas sempre em condigdes de operacao. sistema de ar-condicionado deve ser independente do fornecimento de ar do edificio de escritorios e deve operar 24 h por dia, 7 dias por semana, 365 dias por ano, ininterruptamente. A temperatura do ar ambiente na sala de computadores recomenda-se estar entre 18 °C e 27 °C nos pontos de tomada de ar dos equipamentos criticos, ou seja, nos corredores frios. A umidade relativa do ar recomenda-se no minimo de 30 % e no maximo de 60 %. A temperatura maxima do ponto de condensacao recomenda-se estar entre 5,5 °C e 15 °C, dependendo da umidade relativa do ar. ‘A maxima variagdo de temperatura do ar ambiente é de 5 °C em 1h © ABNT 2019 - Todos os direitos reservados 27ABNT NBR 16665:2019 Medigdes de temperatura e umidade ambiente devem ser feitas apenas apos a entrada em operagao dos equipamentos do data center. As medices de temperatura devem ser efetuadas na parte frontal dos racks, no maximo a cada 3 m ao longo da linha central dos corredores frios. As medigbes de umidade serdo realizadas junto ao teto do data center, nos corredores frio e quente, bem como junto ao retorno do ar-condicionado. Paingis de fechamento devem ser instalados nos racks e gabinetes, nos espagos nao utilizados por equipamentos e computadores. Isso deve permitir a uniformizagao das Areas frias no corredor frio ‘Sob 0 piso, onde ha placas de piso perfuradas para passagem do ar insuflado para os corredores frios, no podem ser colocadas obstrugdes, como calhas, cabos ou caixas. Amanutengao dos equipamentos deve ser feita no maximo semestralmente, e a troca de filtros deve ser feita em ciclos trimestrais. Dependendo das condigées ambientais no interior do data center, pode ser necessario 0 uso de equi- pamento de umidificacdo ou desumidificacdo. No interior do data center deve ser proporcionada uma pressao diferencial positiva com respeito as areas ao seu redor. O sistema de ar-condicionado também deve ser assistido pelo sistema de gerador de energia do data center. Caso néo exista um sistema gerador de emergéncia dedicado, 0 ar-condicionado deve ser conectado ao sistema de gerador de emergéncia geral do edificio. Para ambientes com maior criticidade, considerar alimentacao elétrica dupla e/ou sistema UPS para todos os equipamentos do sistema de ar-condicionado. Para sistemas de refrigeragao baseados em gua, considerar tanques de armanezamento de agua gelada, de agua de reposicao e fonte alternativa de agua como redundancia do seu fornecimento externo. B.7 Detecgao e protegao contra incéndio Sistemas de extingao de incéndio devem estar de acordo com os regulamentos do érgo governa- mental de cada regiao. Recomenda-se a utilizagao de detecgao precoce, com detectores de incéndio de alta sensibilidade, como detectores de fumaga por aspiragdo. Os sistemas de combate utilizados em data center devem ser dotados de dispositivos de disparo rapido, preferivelmente utilizando sistemas de extingao de incéndio do tipo seco, com gas inerte. Nao sao recomendados os sistemas de supressao de incéndio por chuveiros automaticos (sprinklers). Caso sejam obrigatérios por regulamento governamental, devem ser do tipo de pre-action. Salas de UPS devem ter no minimo um detector de fumaca com alarme sonoro e extintores de incéndio junto a entrada da sala. Deve ser previsto no minimo um extintor de incéndio de diéxido de carbono para cada 100 m? de area do data center. 28 © ABNT 2019 - Todos os direitos reservadosABNT NBR 16665:2019 B.8 Seguranca patrimonial ‘Sistemas de controle de acesso as éreas criticas do data center devem ser instalados nas portas de acesso a sala de computadores, salas de suporte, como salas de ar-condicionado, UPS, baterias e reas externas importantes, como plantas de geradores, tanques de combustivel, transformadores, sistemas de rejeigao de calor do ar-condicionado etc. Devem ser utiizados sistemas com senha, biometria, cartées de acesso, ou uma combinacao destes, garantindo 0 controle de entrada e saida de pessoas. Consideragdes devem ser feitas para a utilizagao de sistema de portas com eclusas ou outro sistema que permita a passagem de apenas uma pessoa por vez e impeca o acesso de pessoas nao autorizadas. Sugere-se que as principais areas do data center sejam monitoradas por sistema de CFTV, com gravaco das imagens em local seguro (local ou remoto) B.9 Monitoramento da infraestrutura fisica Sistemas de monitoramento e automagao remota do data center podem conter os seguintes subsistemas: — monitoramento dos sistemas de energia (tensdo, corrente, fator de poténcia, circuitos ligados! desligados) dos circuitos gerais e individuais; — monitoramento das baterias do sistema de UPS; — automacdo dos sistemas de energia com capacidade de operar circuitos gerais e individuals; — monitoramento da qualidade do ar quanto & umidade, poeira, fumaca, seja nos ambientes, nos corredores frios e quentes, ou internamente em cada rack; — monitoramento da temperatura no ambiente, nos corredores frios e quentes, e em cada rack; — monitoramento e detecgao de agua em casos de vazamento, infiltragéo ou inundagao; — monitoramento e controle de acesso a cada dependéncia do data center, bem como monitoramento individual de portas abertas/fechadas em racks; — monitoramento dos acessos por imagem dos ambientes (CFTV); — monitoramento das conexées fisicas de cabos. A distribuicao de sensores e atuadores do sistema de monitoramento e automacéo do data center deve ser realizada de acordo com as suas dimensdes, bem como de acordo com as necessidades de maior ou menor detaihamento desejado para as grandezas supervisionadas. Para os diversos sistemas, sugere-se distribuir sensores e atuadores da seguinte forma, conforme o nivel de detalhes do monitoramento desejado: — para sistemas de energia — sensores em quadros elétricos, em barramentos, e junto as cargas; — operagao de circuitos elétricos gerais e individuais — atuadores relacionados a chaves, disjuntores, relés; © ABNT 2019 - Todos os direitos reservados 29ABNT NBR 16665:2019 — qualidade do ar por meio de sensores de umidade, poeira, fumaca nos diversos ambientes, nos corredores frios e quentes, internamente em cada rack; — temperatura no ambiente, nos corredores frios e quentes, e em cada rack (no topo, parte traseira, onde deve ser considerada a temperatura maxima permitida); — deteceao de Agua em casos de vazamento, infiltragao ou inundagao ~ sensores no formato de placas, distribuidos junto ao piso de concreto; — controle de acesso ~ controles biométricos, por senha e/ou cartées, associados as fechaduras das portas de cada dependéncia do data center, bem como de gabinetes; — portas de racks devem ter sensores para porta aberta/fechada para cada gabinete/rack; — circuito fechado de televisao deve ser distribuido para todos os ambientes corredores da sala de computadores/servidores. Recomenda-se que a visualizagao dos sinais de monitoramento seja acessivel em tempo real e que © banco de dados tenha arquivamento por tempo indeterminado (bem como back-up) para permitir langamento de relatorios e filtros de busca, determinando assim a possibilidade de monitoramento com histérico. Recomenda-se também 0 monitoramento dos equipamentos criticos de TI por meio de ferramentas @ protocolos especificos, como, por exemplo, o Intelligent Platform Management Interface (IPMI) @ 0 Simple Network Management Protocol (SNMP), dentro ou fora da banda de rede. B.10 Aterramento O data center deve ter um sistema de aterramento e de protegdo a descargas e transientes integrado ao do edificio onde esta instalado. A malha de aterramento da edificagao deve seguir as recomenda- Ges da série ABNT NBR 5419 e da ABNT NBR 5410, em termos de montagem, especificagdes de materiais, procedimentos de ensaios e de manutencao periddica. No data center deve ser constituido um ponto de aterramento comum para todos os sistemas internos, sendo que tal ponto de aterramento deve ser conectado diretamente ao sistema de aterramento da edificacao. Uma matha de equipotencializagao deve ser constituida para cobrir toda a area do data center. Amalha deve ser constituida de cabos de cobre com Segao minima 10 mm: (ou barras de cobre com Seco equivalente), formando uma grade com dimensées minimas de 0,60 m x 0,60 m e maximas de 3 m x 3 m, podendo formar grades retangulares, respeitando esses limites. O cabo (ou barra) de cobre que constitui a malha de equipotencializagao pode ter isolamento (na cor verde), para prevenir contatos indesejaveis. Armaiha de equipotencializagdo deve ser conectada ao ponto de aterramento principal e deve ser conectada as estruturas metalicas do piso, racks, gabinetes, calhas, dutos metalicos etc Todos os sistemas devem ser conectados ao ponto principal de aterramento do data center individual e diretamente (topologia radial), no sendo permitida um ligagdo em série do cabo de aterramento (por exemplo, um cabo de aterramento conectando varios racks em série). 30 (ABNT 2019 - Todos os direitos reservadosABNT NBR 16665:2019 Cada rack ou gabinete deve ser conectado com um cabo de Se¢ao minima de 10 mm? diretamente ao ponto principal de aterramento do data center, sendo que tal conexao deve ser feita a barra de aterramento do rack criada especificamente para essa finalidade. Todos os componentes e acessdrios do rack devem ter sua continuidade elétrica assegurada. B.11 Eficiéncia energética Além da alta disponibilidade, outro objetivo dos modemos data centers 6 melhorar sua eficiéncia energética, otimizando o consumo de energia elétrica. Adotar medio de consumo elétrico em diversos niveis da distribuigdo elétrica, como, por exemplo, em entradas da instalagdo, saidas de geradores, entradas e saidas de UPS, quadros de distribuigao, entrada de equipamentos criticos, entrada de equipamentos mecanicos e auxiliares Implantar métricas de medicao de eficiéncia energética, como, por exemplo, o PUE (métrica criada pelo The Green Grid), de preferéncia integradas ao sistema de automacao. Técnicas que podem ser utilizadas para redugao das perdas no sistema de distribuicdo elétrica do data center: —_ especificar equipamentos UPS de alta eficiéncia; — utilizar sistema de iluminagao de maior eficiéncia, de preferéncia com controle automético. As técnicas para redug&o do consumo elétrico de sistemas de ar-condicionado incluem: —_utilizagao de alguma técnica de free cooling para a otimizagao do uso do sistema; — utilizagao de maquinas com ventiladores eletronicamente controlados e/ou motores com variadores de frequéncia, com capacidade de se ajustarem as cargas a serem resfriadas; —_ evitar obstrugdes no caminho do ar fornecido e do retorno do ar-condicionado; — melhor controle do fluxo de ar na sala de computadores, segregando o maximo possivel 0 ar frio fornecido do ar quente de retorno, buscando uniformizar a temperatura de entrada em todos os equipamentos criticos; —_ isolar equipamentos com diferentes requisitos de climatizagao (por exemplo, equipamentos que possam trabalhar acima de 27 °C), de forma a nao refrigerar a sala toda, de acordo com os equipamentos de maior demanda. E desejavel a reducdo do consumo elétrico dos equipamentos criticos de TI, especialmente dos servi- dores. Algumas técnicas recomendadas sdo: —_ consolidagao e virtualizagao de servidores; — estabelecer politicas para identificar e remover equipamentos sem uso e que permanecam indevidamente ligados. ©ABNT 2019 - Todos os direitos reservados 31ABNT NBR 16665:2019 B.12 Classificagao de data center por niveis Um modelo amplamente adotado pelo mercado para classificar a redundancia e disponibilidade de um data center é a classificagao em tiers definidas pelo The Uptime Institute. Mais informagées podem ser obtidas por meio do web site do The Uptime Institute. © modelo classifica os data centers em quatro diferentes niveis, ou Tiers: — Tier - basico; — Tier Il - componentes redundantes; — Tier ll - operagdo e manuten¢o simulténeas; — Tier \V - tolerante a falhas. 32 (© ABNT 2019 - Todos os direitos reservadosABNT NBR 16665:2019 Bibliografia [1] ABNT NBR 14433, Conectores montados em patch cords ou cabos de fibras épticas adaptadores - Especificagao [2] ISOMEC 14763-1, Information technology — Implementation and operation of customer premises cabling — Part 1: Administration [3] ISO/EC 14763-3, Information technology — implementation and operation of customer premises cabling - Part 3: Testing of optical fibre cabling [4] ISO/IEC 24702, Information technology ~ Generic cabling — Industrial premises [5] ISO/IEC 24764 Edition 1.0:2010 — Information technology — Generic cabling for data centers. [6] IEC 60793-2-50, Optical fibres — Part 2-50: Product specifications — Sectional specification for class B single-mode fibres [7] Data Center Site Infrastructure Tier Standard: Topology, de 01 de agosto de 2012 © ABNT 2019 - Todos 08 direitos reservados 33