Você está na página 1de 107

Ditec/Gesat/Gedat

Ambiência em Data Center


Março/2017
Abertura, Apresentação e Integração

DITEC/UOS/GEDAT

ditec.datacenter@bb.com.br

Objetivo de aprendizagem – Compreender o conceito de Data Center, e a


importância do planejamento, organização e manutenção dos ambientes físicos
dos Data Centers do BB e reconhecer que quanto mais críticos forem os serviços
de TI para a continuidade do negócio da organização, maiores devem ser os
índices de disponibilidade, confiabilidade e redundância da infraestrutura para
TI.
Histórico
• 1- Inicialmente, os computadores não estavam conectados em
rede;
• 2- A infraestrutura era muito precária e comumente, perdiam-se
arquivos importantes e/ou trabalhos ainda em pleno
desenvolvimento devido a precariedade das instalações;
• 3- Com o surgimento das redes e das networks, os computadores
passaram a fazer parte do dia-a-dia das empresas;
• 4- Logo os computadores passaram a fazer parte da vida das
pessoas;
• 5- Com a globalização, todos trabalhamos e vivemos hoje
interconectados (internet, trânsito, aeroportos, bancos, etc...;
• 6- Falhas já não são aceitas e uma simples parada, pode ter efeitos
catastróficos, dependendo dos sistemas afetados;
• 7- Grande necessidade de guarda, monitoração e gerenciamento de
ativos de TI.

3
4
Conceito de Data Center - Evolução

Data Centers são ambientes reconhecidos como de missão crítica, ou seja, são
ambientes que abrigam equipamentos responsáveis pelo processamento e
armazenamento de informações cruciais (dados) e estratégicas para a continuidade
de negócios nos mais variados tipos de organizações.

Os Data Centers são hoje uma evolução dos antigos CPDs (Centro de
Processamento de Dados), com contínuo aumento na densidade de equipamentos
ativos (equipamentos críticos de TI) e maior garantia de confiabilidade das
instalações.
Visão Geral
• Visão simplificada de um Data Center
Data Center
• Um Data Center, é composto basicamente de:
• 1- conectividade: formada por toda a rede de
comunicação, operadoras inclusive;
• 2- infraestrutura (facilities): formada por
sistemas de apoio de ar condicionado,
energia, controle de acesso, prevenção e
combate a incêndio
• 3- ativos de TI: equipamentos de TIC
• 4- construção física: estrutura do Data Center
7
Data Center
Infraestrutura predial para TI – Facilities

Infraestrutura física (espaço, energia e refrigeração )

GRUPOS GERADORES:
destinados a suprir energia
em caso de falha por parte
das concessionárias.

UPS (Uninterruptible Power


Supply) mantêm o
fornecimento de energia do
data center até o
acionamento dos geradores.

Baterias: fontes
ininterruptas de energia

Subestação: instalações
destinadas a receber a
energia da concessionária
Infraestrutura predial para TI – Facilities

Infraestrutura física (espaço, energia e refrigeração )

Ar Condicionado: instalação destinada a manter a temperatura e umidade


constantes no ambiente do data center.
Infraestrutura de conectividade básica

Redes

Conectividade: conexão física entre os equipamentos de TI.


Quarentena

Recepção dos equipamentos de TIC

Ambiente Quarentena

Essa etapa envolve a preparação da logística, supervisão da recepção e


gerenciamento da armazenagem dos equipamentos até a sua instalação nos
ambientes de produção de TI.

Quarentena é um ambiente restrito destinado à recepção e guarda provisória de


equipamentos.
Norma Ansi/Tia 942 - Histórico

ANSI – American National Standard Institute - Normas técnicas Americanas


(Nossa ABNT)

TIA – Telecomunications Industry Association Standards and Engineering Publications


- É a principal associação comercial que representa a indústria de tecnologia da
informação e comunicação através do desenvolvimento de normas. É credenciada
pela ANSI.

Em 12 de abril de 2005 a ANSI em conjunto com a TIA publicaram a primeira versão


da norma ANSI/TIA 942. Mais de 60 organizações dentro da indústria de
telecomunicações contribuíram com suas experiências para o desenvolvimento da
norma. Fabricantes, consultores, gestores, usuários participaram do processo.

A finalidade da norma é a de fornecer requisitos e diretrizes para o projeto e


instalação de um data center. Foi a pioneira no mundo, possibilitando padronizar
ações para construção de data centers
Normas e requisitos legais - Histórico

Basileia I – Firmado em 1988 na cidade de Basileia na Suíça pelo Comitê de Supervisão


Bancaria de Basileia – Basel.

Exigências mínimas de Capital como precaução contra o risco de crédito

Lei Sarbanes-Oxley – Sox – Criada em 30/07/2002 - Senador Paul Sarbanes e Deputado


Michael Oxley. A SOx obriga as empresas a reestruturarem processos para aumentar os
controles, a segurança e a transparência na condução dos negócios, na administração
financeira, nas escriturações contábeis e na gestão e divulgação das informações

Basileia II – Firmado em 2004 – Substitui o Basileia I e introduz a necessidade do


gerenciamento do risco operacional em instituições financeiras

Resolução 3380 do Banco Central – Em 2006 determina que as instituições financeiras


implementem estrutura de gerenciamento do risco operacional e o define da seguinte
forma:
Normas, Recomendações e requisitos legais

Basiléia e Sarbanes-Oxley
Resolução do Banco Central - 3380

IN 775 – Gestão de segurança em ambiente data center


IN 508 - Infraestrutura Tecnológica para Ambientes de TI
Norma TIA 942 - Infraestrutura de telecomunicações para DC
A classificação Tier e a Importância do Negócio
A classificação Tier e a Importância do Negócio
Data Center no Brasil

18
Formando o conceito de Data Center

CCT-I (DF)
Formando o conceito de Data Center

CCT-I (DF)
Downtime – Custo estimado em instituições financeiras

Downtime: Indisponibilidade dos sistemas de TI que afetam o negócio da empresa

Custo do downtime de TI: Segundo a Associação Brasileira de custos, o custo verdadeiro de um


downtime depende do porte da empresa e do tipo de perda que a mesma sofre por ter seus
sistemas indisponíveis. Referem-se a perda da produtividade, perda de oportunidades,
desorganização de informações, impossibilidade de atendimento a clientes, intervenção técnica e
penalidades legais. O custo é diretamente proporcional a importância do negócio e também
muito particular. Segundo pesquisa da Computerworld, 60% das empresas não calculam esse
custo. No entanto, para fins didáticos é possível obter uma ordem de grandeza. Segundo a
Wordpress.com os seguintes montantes por hora de indisponibilidade podem ser considerados:
Data Center – Infraestrutura de TI e Facilities
CONCLUSÃO

Modularidade D
99,999% A
Servidores
Infra de TI Armazenamento
T
A
Alta Disponibilidade Rede
C
Infra Básica de TI Manutenção Cabeamento
E
Energia
N
99,999% Facilities para TI Refrigeração
T
Gerenciamento
E
Confiabilidade Flexibilidade R
Data Center ICI-II

CCT-I (DF)
Data Center Capital Digital

CCT-I (DF)
Capital Digital

Área total do terreno: 40.000 m²


Área construída: 25.000 m²

Área de piso elevado BB: 4.200 m²


- Telemática 5 (1ºpav.): 2.600 m²
- Telemática 6 (Térreo): 1.600 m²

Área de piso elevado CAIXA: 1.000 m²


CCT I
Complexo Central de Tecnologia I
Asa Norte

CCT II
Complexo Central de Tecnologia II
Cidade Digital
Localização geográfica dos complexos CCT I e CCT II
CCT I – Asa Norte
 Área Total: 35.000m²;
 Composto pelos prédios:
 Sede IV: ambiente administrativo;
 *ICI I e ICI II: ambientes de
produção;
 ICI I esvaziado e desligado para obras
de reforma (RETROFIT).

*ICI – Instalação Central de Informática


ICI II
 Sua construção seguiu normas nacionais e
internacionais, e guarda características de
bunker com estrutura de concreto armado e
infraestrutura redundante.

 O ICI-II segue as premissas da TIER 4. Possui


infraestrutura redundante e capacidade para
operar sob qualquer tipo de ação, manutenção
programada e o ambiente é tolerante a falhas.

 Garante o fornecimento de recursos de energia


elétrica e condicionamento de ar mesmo durante
sérias ocorrências.

 Possui duas salas (Data Hall) para instalação de


equipamentos de TIC – Tecnologia da
Informação Comunicação.
Sala CGI
CAG -Chillers
CAG -Bombas
Geradores
Subestação de Energia
No break
Baterias
Sistema de Incêndio
Corredor técnico ar-condicionado
Mainframes
Data Hall – Telemática 3
Data Hall – Telemática 3
Ambiente Data Center – PC X DC - Ilustração

CCT-I (DF)
Desafios da Jornada (antes do ICI-II)
Dificuldade de identificação
e controle

Diversidade de fornecedores
Desorganização comprometendo com diferentes tipos
a refrigeração de conectores
Solução Adotada
• Padronização da infraestrutura de conectividade básica nos ambientes do BB:
• Cabeamento Estruturado em fibra óptica utilizando elementos customizados;
• Backbones com conectores MPO;
• Jumpers com conectores LC;
• Ambiente de cross-connect utilizando cassetes com alinhadores LC;
• Especificação, nos editais, de elementos de conectividade óptica compatíveis com a
infraestrutura básica existente no BB:
• Fornecedores de hardware entregam fanouts com uma ponta MPO (para conexão
com a infraestrutura de conectividade do BB) e na outra ponta conectores
compatíveis com o equipamento fornecido (LC, SC, MTRJ, etc.).
Infraestrutura de conectividade adotada no BB
Conector MPO
Componentes da Solução

Rack de Acomodação Cross-connect com cassetes LC

Fanout

Via com seis canais (12 fo)

Fanouts lançados
em equipamento
Organização da Conectividade

Antes Depois
Desafios da Jornada (Capital Digital)
Premissas
• Norma ANSI-TIA 942 - Telecommunications
Infrastructure Standard for Data Centers;
• Norma IEEE 802.3 ba – Transmissão 40Gbit/s e
100Gbit/s
• Tipologia de interface dos equipamentos de TI
(SM/MM);
• Quantidade de conexões por equipamento;
• Diminuir sensivelmente o número de intervenções
nos equipamentos em produção;
• Arquitetura Predial e de Datacenter.
Norma TIA 942
Norma IEEE 802.3 ba
Objetivos de alcance para transmissões em 40Gb/s:

• 10 km em fibra SM (1310 nm) 40GBASE-LR4


• 150 m em fibra MM OM4 (850 nm) 40GBASE-SR4
• 100 m em fibra MM OM3 (850 nm) 40GBASE-SR4
• 7 m sobre cobre 40GBASE-CR4
• 1 m para backplane 40GBASE-KR4

Objetivos de alcance para transmissões em 100 Gb/s:

• 40 km em fibra SM (1550 nm) 100GBASE-ER4


• 10 Km em fibra SM (1310 nm) 100GBASE-LR4
• 150 m em fibra MM OM4 (850 nm) 100GBASE-SR10
• 100 m em fibra MM OM3 (850 nm) 100GBASE-SR10
• 7 m sobre cobre 100GBASE-CR10
Tipologia de interfaces dos equipamentos de TI

Mainframe

High End
Quantidade de conexões por equipamento

SWITCH SAN
 Quantidade de canais: 384
 Área ocupada: 0,5 m²
FITOTECA AUTOMATIZADA
 Quantidade de canais: 64
 Área ocupada: 10 m²
Arquitetura Predial e de Data Center

Planta da Capital Digital


Arquitetura Predial e de Data Center – 1º SS
Arquitetura Predial e de Data Center – Térreo
Arquitetura Predial e de Data Center – 1º Andar
Rotas do Anel de Fibra Óptica
Tecnologia DWDM de interconexão
Tecnologia DWDM de interconexão
Formando o conceito de Data Center

CCT-I (DF)
Formando o conceito de Data Center

CCT-I (DF)
FILME 1
Data Center - Visão do Negócio

Suporta as transações realizadas pelos diversos canais/serviços do BB


64 Milhões de clientes. 5.500 Agências no Brasil e Exterior.

Infraestrutura de TI e de Facilities
Data centers do Banco

Complexo CCT – I (Asa Norte – DF)


• CGI – Principal
• Complexo Datacenter - I
• ICI – I
• ICI – II
em Funcionamento
Complexo CCT – II (Capital Digital – DF)
Datacenter

• CGI – Secundário
• Complexo Datacenter - II
• ICI – III
Rio de Janeiro - RJ
• Carj - Andarai
• Sedan
São Paulo - SP
• Verbo Divino
• Av. Paulista

Belo Horizonte - MG
Em Implantação

• Rua da Bahia
Datacenter

• Rua Rio de Janeiro

Curitiba - PR
• São José dos Pinhais - I
• São José dos Pinhais - III
GEDAT – Ambientes Computacionais I
GEDAT – Ambientes Computacionais I
GEDAT – Ambientes Computacionais I
Gestão do Data Center – Ditec – IN 508.1
Atribuições
. Planejamento da ocupação Ditec/Gedat Atribuições
dos ambientes de data center;
Responsável pelo CCT II
. Dimensionar a conectividade (Capital Digital)
optica; Gedat Gedat
Ambientes Ambientes . Gestão do ANS/SLA
. Instalação física dos Computacionais I Computacionais II firmados com a GBT
Equipamentos de TI; (empresa parceira na PPP
do site Capital Digital).
. Gestão dos contratos de
infraestrutura básica de TI; Ambiência
HE/Redes/Telecom/ C.Digital
Mainframe
. Planejamento de capacidade
da infraestrutura básica de TI; Atribuições - continuação
Tecnotur/C
. Elaboração de normativos, Acesso/Normativos . Gestão do ANS com a Dinop/Genop
definição do Tier; Conformidade/Trein e BBTS.
amento

. Atendimento às demandas de . Conformidade dos ambientes


auditorias interna e externa; físicos;
Ambiencia
. Gestão dos acessos aos Infraestrutura . Análise de risco das atividades da
ambientes de data center; Genop na infraestrutura predial p/ TI
Gestão do Data Center – Finalidade
IN 508 – Infraestrutura tecnológica para ambientes de TI

2.1. Aspectos Gerais

2.1.1. A Gestão de Ambientes Computacionais consiste no planejamento, controle e


conformidade da infraestrutura física de conectividade básica de TI e dos recursos disponíveis
de infraestrutura predial para TI (facilities).
CCT-I (DF)
2.1.5. A gestão de Data Centers é atribuição da Diretoria de Tecnologia (Ditec), cabendo à
Diretoria de Operações (Dinop) a gestão de infraestrutura predial para TI.

2.1.7. A finalidade do processo de gestão dos DC é:

2.1.7.1. assegurar a disponibilidade e a racionalidade de uso dos recursos de infraestrutura e


de espaço nos Data Centers, provendo a disponibilidade dos serviços de TI que suportam os
negócios do Banco;

2.1.7.2. assegurar que o planejamento de instalações de equipamentos de TI não sofram


impactos negativos por falta de recursos.
GEDAT – Ambientes Computacionais I
Premissas
• Norma ANSI-TIA 942 - Telecommunications
Infrastructure Standard for Data Centers;
• Norma IEEE 802.3 ba – Transmissão 40Gbit/s e
100Gbit/s
• Tipologia de interface dos equipamentos de TI
(SM/MM);
• Quantidade de conexões por equipamento;
• Diminuir sensivelmente o número de intervenções
nos equipamentos em produção;
• Arquitetura Predial e de Datacenter.
GEDAT – Ambientes Computacionais I
GEDAT – Ambientes Computacionais I
Gestão do Data Center – Conformidade dos
ambientes físicos – IN 508

Validação e conformidade do ambiente físico

Essa etapa destina-se a validação


da instalação conforme exigências
legais e boas práticas de ambiência
de data center.
Gestão do Data Center – Conformidade dos
ambientes físicos – IN 508

Conformidade é a condição de algo estar conforme com o pretendido ou


previamente estabelecido por normas ou regras.

Regras utilizadas: Norma Ansi/Tia 942, IN 508-2:1.2.8.11 e Melhores práticas de


gestão.
CCT-I (DF)

Método : inspeção visual , sem interferência no ambiente.

Dados específicos podem ser coletados com equipamentos adequados (exemplo de


umidade e temperatura).

A vistoria observa aspectos mecânicos, elétricos, arquitetônicos, organização física e


conectividade básica dos ambientes de produção e facilities do Data Center.

Após cada vistoria é preenchido o relatório de conformidade e acionado os


intervenientes necessários para correção das não conformidades.
Conformidade dos ambientes físicos – Exemplos de
conformidade

CCT-I (DF)
Conformidade dos ambientes físicos – Exemplos de
conformidade

CCT-I (DF)
Conformidade dos ambientes físicos – Exemplos de
conformidade

CCT-I (DF)
Conformidade dos ambientes físicos – Exemplos de
conformidade

CCT-I (DF)
Exemplos de não conformidade

CCT-I (DF)
Exemplos de não conformidade

CCT-I (DF)
Exemplos de não conformidade

CCT-I (DF)
GEDAT – Ambientes Computacionais I
Gestão do Data Center – Auditorias – Internas e Externas

INTERNA Ambiente
Audit GA – Infraestrutura Físico

CCT-I (DF)
Externa
Ambiente
Banco Central
Físico
KPMG, Delloite, etc

Ditec/RCC/Conformidade Se Conforme:
(centraliza as Auditorias) Arquivo

Se não conforme:
Ditec/Gedat Recomendações de auditoria
(para condução) para implementação pela
Gedat.
GEDAT – Ambientes Computacionais I
Gestão das Atividades que afetam a produção de TI

INSTALAÇÃO DE EQUIPAMENTOS DE TI (Gesit e Gecin)


Demandante encaminha à Gedat-Ambiência os pré-requisitos de conectividade,
energia e condicionamento de ar através do formulário de reserva de
infraestrutura conforme IN508

CCT-I (DF) RDM


DEMANDANTE ABRE NO
GSTI OS SEGUINTES RLI
DOCUMENTOS: Entrada pela Caixa Postal:
RDT
Para
conectividade
Ditec Gedat

BB TS Conectividade

Gedat Aferição Validação da DAQ solicitada à BBTS

Equipes de conectividade Circuitos elétricos e Ar Cond.


Gepred
Comissiona-
para os ETIs
mento do
Portal Data Center ETI Relatório de comissionamento
51/53
GEDAT – Ambientes Computacionais I
GEDAT – Ambientes Computacionais I
GEDAT – Ambientes Computacionais I
Gestão do Data Center - Gestão dos Acessos – IN 775

O controle de acesso aos ambientes restritos é feito


por meio de portas eclusas, softwares de
gerenciamento e adoção de procedimentos
específicos que visam o cumprimento das
normas de segurança e melhores práticas
do mercado.

O acesso deve ser justificado, autorizado,


registrado e monitorado.

Objetivo: proteger equipamentos,


aplicativos e dados contra
Intervenções não autorizadas e ameaças e
Riscos..
Gestão dos Acessos - Sistema corporativo

CCT-I (DF)
Gestão do Data Center – Ameaças e Riscos

Fogo

Fumaça Impacto

Vapor Explosão

Gases
Corrosivos

Vazamento

Alagamento
Armas de Fogo
Jatos D’água

Acesso Indevido

Arrombamento Pulso eletromagnético

Roubo

Poeira
103
Disponibilidade, Redundância e Confiabilidade
Disponibilidade, Redundância e Confiabilidade

FILME 2
34 Visita Guiada ao ICI-II

Preencher lista com nome e matricula para acesso ao Data center ICI-II

Orientações Gerais
Fim

DITEC/UOS/GEDAT
Ambientes Computacionais I