UNIP Universidade Paulista ICET Instituto de Cincias Exatas e Tecnologia

Fernando Luis de Lima Natalia Cristina Pereti Rodrigo dos Reis Wanderson Rangel

A128GC-0 294256-9 A113FF-0 A14CDA-2

SISTEMAS DISTRIBUDOS: Supercomputador Jaguar / Titan

SO JOS DO RIO PRETO 2012

Fernando Luis de Lima Natlia Cristina Pereti Rodrigo dos Reis Wanderson Rangel

A128GC-0 294256-9 A113FF-0 A14CDA-2

SISTEMAS DISTRIBUDOS

Trabalho de Supercomputador Jaguar/Titan apresentado para avaliao na disciplina Sistemas Distribudos com orientao do Prof. Mrio Prado.

RELATRIO Nome do Computador: Jaguar (2005-2011) / Titan (2012)

Nome Tcnico (Top 500): Cray XT5-HE Opteron 6-core 2.6GHz

Ano de Fabricao: O incio do Jaguar pode ser fixado em 2005 (seu projeto comeou em 2004 como um produto comercial). A instalao do supercomputador recebeu o nome de Cray XT3 e codinome Red Storm. Desde ento, o supercomputador tem recebido algumas atualizaes - Cray XT4 em 18 de novembro de 2006 e finalmente Cray XT5 em seis de novembro de 2007. As atualizaes do supercomputador so constantes e com a ltima atualizao (que o transformou em Titan) se mantm no posto dos maiores supercomputadores do mundo, almejando com a nova lista TOP500 chegar ao topo novamente, que j foi atingido no perodo de novembro de 2009 a junho de 2010. Pas: EUA Estados Unidos da Amrica

Empresa Proprietria: O Jaguar/Titan foi desenvolvido pela Cray Inc. em parceria com o Departamento de Energia dos EUA atravs de seu Centro Nacional de Computao Cientfica, (NCSS) filiado ao Departamento. Desde ento, muitas parcerias foram realizadas para adio de novos recursos. Hoje, parcerias importantes foram feitas com a AMD e com a Nvidia.

Colocao: Atualmente o Jaguar/Titan o 3 maior supercomputador do mundo, almejando com as prximas atualizaes da lista, chegar ao topo novamente, brigando diretamente com a IBM por esse posto.

Configurao do conjunto: O Jaguar/Titan est em constante atualizao desde sua criao com o Jaguar XT3 e seus 25 teraflops iniciais.

O Jaguar possua em maio de 2010, 224,256 ncleos baseados em processadores AMD Opteron. Ele rompeu a barreira de mais de 200.000 ncleos em 2009 quando se conectou a SeaStar2+ da Cray Inc. que outra rede interna dedicada a supercomputadores construdos pela Cray Inc. (a empresa possui vrios supercomputadores desenvolvidos). O Jaguar fisicamente possui divises nomeadas como XT4 e XT5. A XT5 continha 18.688 ns contabilizando ns dedicados de login nessa quantia. Cada n contm um processador dual hex-core Opteron 2435 (Istanbul) rodando a 2.6GHz, 16GB de memria DDR-2 de 800Mhz e um roteador SeaStar 2+. O resultado: 224.256 ncleos de processadores, 300TB de memria e um pico de performance de 2.3 petaflops (2.3 quadrilhes de operaes com ponto flutuante por segundo ). A XT4 continha 7.832 ns, tambm contabilizando ns dedicados de servio de login. Cada n continha um processador quad-core AMD Opteron 1354 (BudaPest) rodando a 2.1GHz, 8GB de memria DDR2-800 (alguns DDR2667) e um roteador SeaStar2. O resultado: 31.328 ncleos de processamento, mais de 62 TB de memria, mais de 60 TB de espao de disco e um pico de desempenho de 263 teraflops por segundo. A topologia 3D torus (proprietria) de rede baseada em roteadores SeaStar2+ tinha um pico de largura de banda de 57.6GB/s, enquanto a baseada em SeaStar2 tinha o pico em

45.6GB/s. Isso provinha uma interconexo com altssima largura de banda, baixa latncia e extremamente escalvel. Toda a estrutura do Datacenter organizada em gabinetes. Inicialmente a estrutura do Jaguar possua menos de 300 gabinetes, cada gabinete com capacidade para 192 processadores AMD. No total, a mquina rodava com 45 mil chips quad-core que representam at 180 mil processadores. Em maio de 2011, a Cray realiza a primeira atualizao do Jaguar aumentando o numero de ncleos e gabinetes em mais 200 (quase dobrando), tornando o Jaguar com capacidade para picos de mais de 2 petaflops. Em 24 de maio quando se iniciou o projeto de atualizao, o Jaguar possua exatos 2.33 petaflops. Nessa data o Jaguar j possua seis ncleos por n, ao invs dos dois iniciais.

No segundo semestre de 2011, uma parceria entre Cray Inc, AMD, Nvidia e o Departamento de Energia Eltrica americano de 97 milhes de dlares, viabiliza a mega atualizao do Jaguar Cray XT5, que o transforma no supercomputador Titan. Com novos mtodos de interconexo de discos e de ns completos (Crays Gemini proprietrio) e de dados (Cray Sonexion Data Storage), o Titan comea a ser implantado baseado em GPUs ao invs de CPUs (tecnologia Nvidia, com vrios ncleos realmente distintos de processamento por processador) capaz de escalar mais de 500.000 processadores e superar os 50 petaflops chegando at 100 petaflops. O projeto envolve remover um dos processadores do Opteron em cada n do Jaguar e substitu-lo por uma GPU da Nvidia. O novo sistema poder incluir at 18 mil GPUs. O Titan chegar

inicialmente a 20 petaflops. Todos os gabinetes Jaguar sero substitudos ao final do projeto, pelos gabinetes Cray XT6, com GPUs Tesla. O jaguar vem sendo atualizado at hoje, e ao mesmo tempo, o Titan vem sendo implantando. Em 29/02/2012 o Jaguar j possua picos de 3.3 petaflops. O Laboratrio responsvel pelo Jaguar dentro da NCSS (Oak Ridge Lab) gerenciado pela University of Tennessee. O Titan ir combinar CPUs de 16 ncleos AMD Opteron 6200 com os GPUs Tesla da Nvidia. Ele ter 299.008 ncleos podendo chegar a um total de 38.400 processadores e 600 TB de memria.

Propsito: O Jaguar/Titan um supercomputador pblico, aberto, destinado a cincia e pesquisa aberta. Ele possui destaques no trabalho de resoluo de alguns problemas cientficos em reas como o modelamento de clima, energia reaproveitvel, cincia dos materiais, sismologia, qumica, astrofsica, fuso, e mais recentemente tem ajudado em pesquisas contra o Cncer e a AIDS. Com a ajuda do Jaguar, os pesquisadores do Laboratrio Nacional de OAK Ridge, nos Estados Unidos, esto procurando por padres suspeitos de trfego de informaes na internet para encontrar pessoas que espalham pornografia infantil pela rede. Geralmente, o que a polcia faz em investigaes deste tipo vasculhar o disco rgido do internauta para saber se ele fazia produzia ou fazia o download de contedo ilegal. Mas o foco desta pesquisa encontrar os produtores deste material, uma vez que eles poderiam levar s crianas que so abusadas. Mas no fcil saber quem fez as imagens armazenadas em um computador. O problema que existe muita pornografia infantil na internet e ela se espalha com muita facilidade para computadores do mundo inteiro em segundos, o que complica as investigaes. A Associao Nacional de Proteo das Crianas, localizada tambm nos EUA, procurou os cientistas do Laboratrio OAK Ridge para encontrar uma soluo. O chefe do projeto, Robert Patton desenvolveu um algoritmo para analisar o trfego de informaes na internet focado nas palavras que as pessoas usavam em sites e redes de compartilhamento de arquivos. Expresses indicativas de que o internauta busca por pornografia infantil so marcadas e o algoritmo faz o rastreamento de quantos endereos de IP diferentes respondem ao pedido.

Assim, o sistema mostra s organizaes de proteo infantil quais computadores provavelmente esto colocando novos materiais pornogrficos em sites de compartilhamento. O projeto permanecer em atividade por um ano e usar um milho de horas de processamento do supercomputador.

Software:O Jaguar funciona sob um SO desenvolvido pelo Cray, baseado no kernel do Linux, e chamado formalmente de UNICOS/Lc. O UNCOS acoplado a um kernel modificado Linux, sob um ambiente denominado de Cray Environment Linux ao invs do GNU, tradicional do Linux. O UNICOS incorpora o kernel Linux da distribuio SUSE, mais especificamente do produto SUSE Enterprise Linux Server e de outro kernel baseado em Linux da Cray, chamado Cray Node Linux. Essa implementao hbrida deu origem ao UNICOS. O File System possui uma tecnologia desacoplada do SO, gerenciada externamente pelo Lustre File System, bastante usado em SDs e Clusters. Essa tecnologia recebeu o nome de Spider. O Spider comandado pelo UNICOS, porm, a interconexo feito pelo Lustre. Todo o conjunto opera em 64 bits assim como o hardware do supercomputador. O Sistema de leitura e escrita do file system capaz de alcanar a velocidade de operao de 240GB/s e possibilita mais de 10 petabytes (PB) de armazenamento.

Desempenho: No momento, a notcia mais atual divulgada pelo Oak, coloca o Jaguar com 3.3 petaflops. J o Titan que est operando junto com o Jaguar e responsvel pelo salto dos 1.75 petaflops iniciais, ir operar na casa dos 16 petaflops, com picos de 20 petaflops, podendo em atualizaes futuras, chegar at 100 petaflops. Para efeito de comparao, 120 bilhes de pessoas com 120 bilhes de calculadoras demorariam 50 anos para fazer o que o "Titan" faria em um dia. Ele custou cerca de US$ 100 milhes e ocupar uma rea de 318 metros quadrados Consumo de Energia: Um computador usando a tecnologia x86 exascale de hoje exigiria dois gigawatts de potncia, equivalente potncia mxima da barragem de Hoover! Nossa tecnologia precisa ser cerca de 100 vezes mais eficiente em energia, a fim de construir sistemas prticos de exascale. Se ns colocssemos todos os transistores que poderamos colocar em um chip, velocidade mxima, o chip iria derreter. Ento agora tudo sobre eficincia energtica. a que vm as GPUs. Ao contrrio das CPUs tradicionais, que so projetadas para fazerem as tarefas de srie executadas o mais rpido possvel, GPUs so projetadas para executar muitas

tarefas paralelas com o menor consumo de energia possvel. O resultado que uma GPU consome vrias vezes menos energia do que uma CPU por operao. As GPUs Kepler da prxima gerao utilizadas no sistema Titan, ir fornecer mais de um teraflop de desempenho por chip. Em computao heterognea, a GPU poder executar o trabalho pesado, executando o trabalho paralelo com potncia muito baixa, e a CPU poder ento executar rapidamente o trabalho em srie que est sobrando. Esta a nica esperana de chegar ao exascale de computao a um custo razovel e com baixo consumo.