3 - Infraestrutura de Data Center

Coordenadores:
Marilda Ferrari Mendes Giafarov - CCE
Alberto Camilli - CCE
Membros:
Graa Pimentel - ICMC
Fbio Roberto Vieira Rogero - CIAGRI
Francisco Ribacionka - CCE
Rafael Ferri - CCE
Rodrigo Mello - ICMC
Sidinei Marin - CCE

3.1 INTRODUO
Este documento apresenta o plano estratgico elaborado para o perodo de 2011 a 2014 no sentido de a
USP contemplar os servios de Data Center a serem oferecidos sua comunidade.
O objetivo elaborar as atividades que sero executadas nesse perodo para obter mais confiabilidade
e as disponibilidades necessrias para os servios de misso crtica da Universidade, assim como
atender a demanda de servios centralizados em Data Centers.

3.2 ESCOPO DOS SERVIOS

No atual ambiente de TI o Data Center um componente central de misso crtica. , portanto,
indispensvel que seja concebido para oferecer os servios da Universidade de maneira flexvel e
dinmica, acompanhando as tendncias tecnolgicas e de sustentabilidade hoje exigidas.
Dentre as caractersticas-chaves de um Data Center esto a escalabilidade e flexibilidade
contempladas em projetos baseados em padres e melhores prticas aceitos pela indstria.
Os projetos devem ser desenhados com a infraestrutura adequada para suportar os servios e sistemas
de misso crtica e permitir que funcionem eficientemente, prevendo crescimento futuro e adequao
s tecnologias emergentes. Devem abordar questes de fornecimento de enegia eltrica, arcondicionado, rede de comunicao de dados, armazenamento, servidores, virtualizao e a
escalabilidade da infraestrutura para responder positivamente ao aumento da oferta de servios.
Garantir a escalabilidade requer a resoluo de alguns dos maiores problemas atuais, que exigem a
maior parte do esforo durante a elaborao do projeto de Data Center: espao fsico, carga eltrica e
ar-condicionado.

Esses projetos de infraestrutura so condies essenciais para que possamos ter servios de qualidade
com a disponibilidade que a USP necessita e que permitiro a colaborao de suas Unidades na oferta
de servios em Cloud Computing.
Os projetos devem considerar a elaborao de infraestrutura fsica padronizada, escalvel e segura,
provendo nveis de redundncia e virtualizao.
Vale lembrar que a automao uma caracterstica importante para a implantao de servios em
Cloud Computing. necessrio elaborar mecanismos de provisionamento para agendamento e reserva
de capacidade dos recursos; suporte configurao, garantindo alocao/realocao efetiva de
recursos para grupos mltiplos de usurios; e poltica de controle de acesso para utilizao de recursos.

3.3 MISSO E COMPETNCIAS NICAS

Elaborar Planos de Ao para prover uma infraestrutura de Data Center confivel, escalvel
e sustentvel que acompanhe as necessidades da USP para a gesto atual.
Com o objetivo de cumprir esta misso, foram identificadas e devem ser preservadas competncias
nicas das equipes envolvidas em todo o processo.
As competncias das equipes so:
Equipe de resposta a incidentes: os Centros e Ncleos de Informtica da Universidade
dispem de uma equipe estruturada e com capacitao para responder e tratar todos os
incidentes de segurana de TI.
Suporte individualizado: as equipes so capacitadas a dar o suporte necessrio implantao
de servios que so demanda da Universidade.
Gratuidade: os servios centralizados hoje oferecidos so gratuitos.
Polticas de uso customizvel: existe flexibilidade nas polticas de uso dos servios dentro da
Universidade.
Viabilizao de projetos institucionais: o que se d pela customizao da infraestrutura.

3.4 OBJETIVOS E METAS

Os Planos de Ao foram elaborados com o objetivo de melhorar a infraestrutura dos Centros e
Ncleos de Informtica e prover mecanismos de provisionamento para agendamento e reserva de
capacidade dos recursos, suporte configurao, garantindo alocao/realocao efetiva de recursos
para a implantao de servios centralizados ou em Cloud Computing.

3.5 ESCRUTNIO INTERNO

Como principais agentes no ambiente interno esto as seguintes unidades:
Coordenadoria da Tecnologia da Informao CTI
Centros de Informtica CCE, CISC, CIAGRI, CIRP
Ncleos de Informtica das Unidades
2

3.5.1 Pontos fortes

O escrutnio interno procurou identificar os pontos fortes a serem considerados no Plano de Ao.
Dentre eles destacam-se:
Competncia tecnolgica
Parque instalado e infraestrutura de rede existente
Equipe existente
Conhecimento da Instituio
Gerenciabilidade
Amortizao do custo fixo da Universidade
Aderncia s polticas institucionais
Monitorao 24x7x365
Servios customizados
3.5.2 Pontos fracos
Da mesma forma que se identificaram os pontos fortes, foi feito levantamento dos pontos fracos, que
seguem abaixo:
Falta de agilidade nas aquisies de recursos
Atendimento pela demanda mdia e no pelo pico
Capacidade limitada
Incerteza na continuidade dos investimentos
Restries oramentrias
Planejamento dependente da demanda espontnea de servios

3.6 AMBIENTE EXTERNO

No ambiente externo foram efetuados levantamentos de oportunidades e ameaas.
3.6.1 Oportunidades
Desta forma detectaram-se como oportunidades:
Existncia de um planejamento estratgico
Ambiente que propicia projetos de vanguarda e de pesquisa aplicada
Estmulo pela concorrncia
Possibilidade de parceria com instituies externas (universidades e governo)
Recursos de agncias de fomento para investimento em infraestrutura
Dificuldade dos docentes em encontrar local/infraestrutura para abrigar seus projetos em sua
Unidade
3.6.2 Ameaas
possvel apontar fatores que podem trazer riscos ao Plano em relao ao ambiente externo. So eles:
Provedores externos de infraestrutura: email, Data Center (Google, Amazon)
Greves

3.7 PLANOS DE AO
3

Aps levantamento do objetivo e metas, anlise dos pontos fortes e fracos, oportunidades e ameaas,
foram estabelecidos os Planos de Ao assim listados:

Avaliar a infraestrutura eltrica, de ar-condicionado, de dados dos Centros de Informtica

e Ncleos de Informtica PA01
Readequar a infraestrutura eltrica, de ar-condicionado, de dados dos Centros e Ncleos
de Informtica PA02
Definir padres mnimos de servios de rede e de interoperabilidade para a Nuvem
(inclui Backup) PA03
Criar um Data Center de contingncia para servios de misso crtica PA04
Prover servios virtualizados de armazenamento, servidores, Web PA05
Elaborar uma prova de conceito para a Nuvem PA06
Estruturar a poltica e padres de hospedagem da comunidade USP nos Centros de
Informtica e Ncleos de Informtica PA07
Prover servios de Nuvem PA08
Prover redundncia dos principais dispositivos de conexo de rede dos Centros de
Informtica e Ncleos de Informtica, entre si e destes para a Internet PA09

Estes planos so descritos a seguir:

3.7.1 Avaliar a infraestrutura eltrica, de ar-condicionado, de dados dos Centros de Informtica (CIs) e
Ncleos de Informtica (PA01)

Objetivo:
Avaliar infraestrutura necessria para os CIs operarem no conceito de Nuvem e propor condies para
melhorar sua infraestrutura e adequ-los hospedagem de servios para a USP.
Escopo Macro:
Rever condies eltricas de cada Centro ou Ncleo de Informtica eleito para disponibilizar servios
centralizados e aumentar a confiabilidade e disponibilidade dos sistemas.
Premissas:
Dispor a lista dos Centros e Ncleos de Informtica que sero os centros de servios.
Obter a colaborao desses Centros.
reas envolvidas: DTO, DA, Centros e Ncleos de Informtica da USP
Indicador de desempenho:
Definio dos Centros de Informtica capazes de atender ao conceito de Nuvem a partir de um
conjunto de modificaes.
Prazo de implementao: quatro meses. Incio: janeiro/2011 trmino: abril/2011
Custo: R$ 10.000,00

Grau de necessidade de implementao: Alto (5)

Condies de implantao: Alto (5)

Fases do Projeto:
1. Eleger os Centros e Ncleos de Informtica que faro parte do projeto
2. Compor a equipe de avaliao
3. Estabelecer o cronograma de visitas
Agendar com a Unidade
Providenciar transporte
Providenciar dirias
Providenciar hospedagem
4. Analisar as caractersticas de Data Center:
Avaliar o local
1) Arquitetura
2) Logstica para entrega de equipamentos
3) Eltrica
4) Ar-condicionado
5) Avaliar telecomunicaes
o Sistemas eltricos
o Sistemas de aterramento
o Cabeamento estruturado
o Passagem de cabos
o Racks e gabinetes
o Equipamentos ativos de rede
o Hierarquia de cabeamento estruturado
o Nvel de disponibilidade (tier)
o Segurana
Avaliar Gesto
1) Equipe disponvel
2) Administrao
3) Atendimento da equipe
Avaliar manuteno e suporte
1) Infraestrutura
2) Sistemas
Avaliar segurana e equipe de resposta a incidentes de segurana
3.7.2 Readequar a infraestrutura eltrica, de ar-condicionado, de dados dos Centros e Ncleos de
Informtica (PA02)

Objetivo:
Readequar as instalaes eltricas nos diversos Centros e Ncleos de Informtica para prover
hospedagem de servios, conforme levantamento realizado.
5

Escopo Macro:
Adquirir equipamentos, melhorar a infraestrutura de gerador nobreak e ar-condicionado. Melhorar
processos, utilizar as tecnologias de consolidao e virtualizao para oferecer os servios
centralizados, de acordo com o levantamento feito.
Premissas:
Dispor da lista dos Centros e Ncleos de Informtica que sero os centros de servios.
Obter a colaborao desses Centros.
Dispor dos recursos financeiros necessrios.
reas envolvidas: DTO, DA, Centros e Ncleos de Informtica
Indicador de desempenho:
Proporo dos CIs adequados, conforme planejamento.
Prazo de implementao: dois anos. Incio: janeiro/2011 trmino: janeiro/2013
Custo: R$ 4.000.000,00
Grau de necessidade de implementao: Alto (5)
Condies de implantao: Mdio (3)
Fases do Projeto:
1. Analisar os relatrios obtidos da avaliao
2. Fazer o projeto da arquitetura do Data Center
3. Fazer o levantamento do material necessrio
4. Adquirir materiais e equipamentos
5. Realizar as obras
6. Instalar equipamentos
7. Elaborar o plano de gesto
a. Elaborar o plano de continuidade de servios
b. Monitorar servios
c. Dimensionar equipe de suporte
d. Alocar pessoas para a equipe
8. Elaborar o plano de segurana

3.7.3: Definir padres mnimos de servios de rede e de interoperabilidade para a Nuvem (PA03)
Objetivo:
Definir padres para a rede e a interoperabilidade entre os equipamentos segundo a norma TIA 942
nos vrios Centros e Ncleos de Informtica para prover hospedagem de servios.
Escopo Macro:
Definir padres de rede, de rede de storage, de conectividade com os servidores e de servios.
6

reas envolvidas: DTO, DA, Centros e Ncleos de Informtica

Indicadores de desempenho:
Elaborao de documento contendo especificaes de atrasos mximos para
armazenamento e replicao de dados em Data Centers dos CIs da USP e no acesso das
Unidades, considerando acesso pela USPnet.
Nmero de Data Centers e Unidades aderentes aos padres (ie, com possibilidade de
comporem a Nuvem da USP).

Prazo de implementao: cinco meses. Incio: janeiro/2011 trmino: maio/2011

Custo: R$ 10.000,00
Grau de necessidade de implementao: Alto (5)
Condies de implantao: Alto (5)
Fases do Projeto:
1. Definir os padres do Data Center segundo a norma TIA 942
a. Definir arquitetura de rede com alta disponibilidade
b. Definir arquitetura voltada a virtualizao de servidores e storage e servios de Nuvem
i. Definir arquitetura de rede de storage com alta disponibilidade
ii. Definir servios com alta disponibilidade

3.7.4 Criar um Data Center de contingncia (PA04)

Objetivo:
Prover redundncia e disponibilidade tier IV aos servios de misso crtica. Evitar a ocorrncia de
desastre por ameaas externas.
Escopo Macro:
Construir, ou escolher no mercado, um Data Center de contingncia, criando condies de replicao
dos servios de misso crtica.
Definir as caractersticas, local e gerncia. Fazer as aquisies, instalar e disponibilizar os servios.
Premissas:
Apoio da Reitoria da USP.
Investimento para sua instalao.
Restrio:
Custo de hospedagem externa em Data Center de terceiros.
reas envolvidas: DTO, DA, CTI, Reitoria
Indicadores de desempenho:
7

Inaugurao do Data Center.

Servios replicados.
Prazo de implementao: trs anos. Incio: janeiro/2011 trmino: janeiro/2014
Custo: R$ 10.000.000,00
Grau de necessidade de implementao: Alto (5)
Condies de implantao: Baixo (2)
Fases do Projeto:
1. Definir caractersticas
2. Definir local
o Quanto ao acesso e logstica
o Quanto geografia
o Infraestrutura de saneamento bsico e facilidades
3. Definir
o Estrutura de acesso rede
o Infraestrutura eltrica
o Escalabilidade
4. Definir ambientes do Data Center
5. Definir requisitos e nveis de segurana
6. Definir os padres utilizados no Data Center
o de construo
o de rede
o de energia eltrica
o de ar-condicionado
o do sistema de proteo contra incndio
o das aplicaes
7. Definir o sistema de monitorao de servios e equipe
8. Adquirir o local
9. Elaborar projetos
10. Readequar a arquitetura
o eltrica
o de ar-condicionado
o de telecomunicaes
o dos sistemas eltricos
o dos sistemas de aterramento
o de cabeamento estruturado
i. Passagem de cabos
ii. Racks e gabinetes
iii. Equipamentos ativos de rede
iv. Hierarquia de cabeamento estruturado
v. Nvel de disponibilidade (tier)
11. Segurana
o de gesto
8

o de manuteno
12. Adquirir equipamentos
13. Realizar as obras e instalaes
14. Elaborar projetos para aplicaes e servios
15. Adquirir equipamentos de rede
16. Adquirir servidores
17. Adquirir storages
18. Instalar equipamentos
19. Implantar os servios
20. Treinar equipes

3.7.5 Prover servios virtualizados de armazenamento, servidores, Web (PA05)

Objetivo:
Criar infraestrutura de rede de armazenamento e servidores para oferecer servios
virtualizados.
Escopo Macro:
Criar infraestrutra de storage, servidores e software para a virtualizao de servios.
Riscos:
Limitaes na rede e ambiente para abrigar a rede de storage e servidores.
Falta de automao.
reas envolvidas: Centros e Ncleos de Informtica, CTI
Indicador de desempenho:
Taxa de servios virtualizados.
Prazo de implementao: dois anos
Grau de necessidade de implementao: Alto (5)
Condies de implantao: Mdio (3)
Custo: R$ 100.000,00
Fases do Projeto:
Definir arquitetura de rede com alta disponibilidade
Definir arquitetura de virtualizao de servidores e storage
Definir arquitetura de rede de storage com alta disponibilidade
Definir servios com alta disponibilidade
Definir os servios que sero virtualizados

3.7.6 Elaborar uma prova de conceito para a Nuvem (PA06)

Objetivo:
Elaborar um piloto para Nuvem de servios.

Premissas:
Utilizao das infraestruturas de virtualizao j existentes.
Utilizao de um catlogo de servios de Nuvem.
Risco:
Falta de automao nos servios.
reas envolvidas: Centros e Ncleos de Informtica, CTI, Data Centers externos
(Terremark)
Indicadores de desempenho:
Disponibilizao de interface de Nuvem, pelo qual um site Web pode ser carregado em
servidores da Nuvem USP, sem especificao de localizao fsica.
Acesso ao site criado e avaliao de desempenho do mesmo.
Custo: R$ 5.000,00
Prazo de implementao: dois anos
Grau de necessidade de implementao: Mdio (3)
Condies de implantao: Mdio (4)
Fases do Projeto:

Utilizar a infraestrutura de servios virtualizados

Elaborar um catlogo de servios
Oferecer os servios do catlogo

3.7.7 Estruturar a poltica e padres de hospedagem da comunidade USP nos Centros e Ncleos
de Informtica (PA07)

Objetivo:
Gerir o processo de hospedagem e seus acordos firmados.
Escopo Macro:
10

Estabelecer um processo de gerncia de hospedagem para dispositivos de clientes do IDC.

.
Premissas:
Utilizao das ferramentas de controle j existentes.
Comprometimento com as normas da Universidade.
Aderncia poltica de segurana da USP.
Restries:
Restries jurdicas.
Riscos:
Excesso de burocracia.
Falta de automao.
reas envolvidas: Centros e Ncleos de Informtica, CTI
Indicadores de desempenho:
Taxa de hospedagem.
Tempo de internao.
Nmero de acordos renovados anualmente.
Prazo de implementao: um ano
Grau de necessidade de implementao: Mdio (3)
Condies de implantao: Alto (5)
Custo: R$ 5.000,00
Fases do Projeto:
1. Reavaliar e reescrever o perfil do servio de hospedagem
2. Documentar o fluxo do servio
3. Rever procedimento de hospedagem
4. Rever documentao
5. Gerir servios contratados
6. Controlar manutenes
7. Prover relatrios de manuteno e servio
8. Prover relatrios de disponibilidade
9. Controle de segurana
Prover recomendao de segurana
10. Monitorar datas de vencimento dos acordos
Datas
Responsveis
11. Prover mecanismos para aditivos de acordos
12. Prover meios de comunicaes com os responsveis
11

13. Readequar os servios j hospedados ao novo modelo de gesto

3.7.8 Prover servios de Nuvem (PA08)

Objetivo:
Criar um catlogo para gerir a Nuvem de servios.
Escopo Macro:
Estabelecer um processo de gerncia para a Nuvem de servios da USP.
.
Premissa:
Criao de infraestrutura oferecida como servio
Risco:
Falta de automao.
reas envolvidas: Centros e Ncleos de Informtica, CTI
Indicador de desempenho:
Nmero de servios hospedados seguindo o catlogo oferecido.
Custo: R$ 5.000,00
Prazo de implementao: trs anos
Grau de necessidade de implementao: Mdio (3)
Condies de implantao: Mdio (3)
Fases do Projeto:
1. Elaborar um catlogo de servios da Nuvem
2. Requisitos

Escolher a linguagem de programao

Escolher Hardware do Front-end
Estabelecer poltica de uso e de acesso
Definir dos servios do catlogo
Identificar e desenhar cada processo de servio do catlogo
Ter a infraestrutura como servio implementada

3. Definir o escopo do servio que ser oferecido integrando os recursos disponveis

nos Centros e Ncleos de Informtica
4. Desenhar o layout das telas
5. Criar o fluxo do servio do catlogo da Nuvem
12

6. Implementar o fluxo
7. Estabelecer o Acordo de Nvel de Servios ou Acordo de Servio
8. Estabelecer a documentao/contratao do servio

3.7.9 Prover redundncia dos principais dispositivos de conexo de rede dos Centros e Ncleos
de Informtica, entre si e destes para a Internet (PA09)

Objetivo:
Prover redundncia dos principais dispositivos de conexo de rede dos Centros e Ncleos
de Informtica para aumentar a disponibilidade e confiabilidade dos servios oferecidos.
Escopo Macro:
Adquirir equipamentos de rede, configurar a redundncia na rede de servios.
reas envolvidas: Centros e Ncleos de Informtica, CTI
Indicadores de desempenho:
Percentagem dos dispositivos de conexo de rede redundantes.
Oferecimento e clculo de um ndice de resilincia para a rede.
Custo: R$ 400.000,00
Prazo de implementao: dezoito meses
Grau de necessidade de implementao: Mdio (3)
Condies de implantao: Baixo (2)
Fases do Projeto:
Elaborar o projeto da nova arquitetura da rede
Adquirir equipamentos
Reconfigurar a rede

13

Custo R$ x 1000

Condies para
implementao
Aporte financeiro

Grau de necessidade
de implemetao

Planos de Ao

Dificuldade dos docentes em encontrar local/infraestrura

para abrigar seus projetos

Recursos de Agncias de fomento para investimento

em infraestrutura

Possibilidade de parceria com instituies externas

(universidades e governo)

Estmulo pela concorrncia

Ambiente propicia projetos de

vanguarda e de pesquisa aplicada

Existncia de um planejamento estratgico

Provedores externos de infraestrutura: email,

Data Center (Google, Amazon)
Greves
Oportunidades

Planejamento dependente da demanda espontnea

de servios
Ameaas

Restries oramentrias

Incerteza na continuidade dos investimentos

Capacidade limitada

Atendimento pela demanda mdia e no pelo pico

Falta Agilidade nas aquisies de recursos

Pontos Fracos

Servios customizados

Monitorao 24x7

Aderncia s polticas institucionais

Amortizao do Custo fixo da Universidade

Equipe existente
Conhecimento da Instituio
Gerenciabilidade

Parque instalado e infraestrutura de rede existente

Competncia tecnolgica

Pontos Fortes

Anexo A Tabela de interdependncia dos Planos de Ao

14

2 10 X
X X X
X
X
X
X
X
X
X

Readequar a infraestrutura
eltrica, ar-condicionado e
dados dos Centros e Ncleos
de Informtica

Avaliar a infraestrutura eltrica,

de ar-condicionado, de dados dos
Centros de Informtica e
Ncleos de Informtica

5
3
5 4000X
X X X
X
X
X
X
X
X
X

Definir padres mnimos

de servios de rede e de
interoperabilidade para
a Nuvem ( inclui Backup)

Prover servios
virtualizados de
armazenamento,
servidores, Web

5
4
2 10 X
X
X
X X
X
x
x

5
3
5 1000x
x
x
x x x
x
x
x
X
X
X
X

15

Criar servios de Nuvem

Criar um Data Center

de contingncia para
servios de misso crtica

Estruturar a poltica e padres Elaborar uma

de hospedagem da comunidade USP
prova
nos
de conceito para
centros de informtica e
a Nuvem
Ncleos de Informtica

3
4
1 5
X

3
5
1 5
x

5
2
5 4000x

3
3
3 60 x

X
X
X

x
x x x
x

x
x x x
x
x
x

X
X

x
x
x

X
X

16

Prover redundncia dos principais

dispositivos de conexo de rede dos
Centros de Informtica e Ncleos de Informtica, entre si e destes
para a Internet

4
2
4 400
x
x
x
x
x

17

3.8 GRFICO DE BOLHAS PRIORIDADE DE EXECUO DOS PLANOS

DE AO

18