Apresentacao Supercomputador Da UFRN

Introdução Supercomputador Acesso Uso Status Ajuda online Dúvidas
Apresentação - Supercomputador da UFRN
Prof. Samuel Xavier de Souza

Danilo Chaves de Sousa Ichihara
Haroldo Watson Teodósio da Silva
<atendimento@npad.ufrn.br>
Núcleo de Processamento de Alto Desempenho - NPAD

Universidade Federal do Rio Grande do Norte
Março de 2021
NPAD Apresentação - Supercomputador da UFRN Março de 2021 1 / 47

Introdução - O NPAD
Quem somos
Grupo que administra o supercomputador e dá suporte ao seu uso
Equipe
Prof. Samuel Xavier de Souza
Danilo Chaves de Sousa Ichihara
Haroldo Watson Teodósio da Silva

Introdução - O NPAD

Introdução - O Supercomputador



Supercomputador - Informações Gerais
SO: Centos 6.5 x86_64

72 nós computacionais (2 nós GPUs)
2376 núcleos
2 processadores Xeon Phi KNL (136 núcleos)
4 co-processadores Xeon Phi
2 processadores Xeon E5-2683v4 (16 núcleos)
16 GPUs NVidia Tesla V100 (10240 NVIDIA Tensor Cores e
81920 NVIDIA CUDA Cores)
9.2 TB de Memória RAM (128 GB por nó)
110 TB de armazenamento secundário (HD e SSD)

Supercomputador - Hardware

Supercomputador - Comparativo
Computador pessoal bom

4 cores + hyper-threading (4 virtual cores)
16 GB of RAM

Um nó computacional
128 GB de RAM
8x Computador pessoal bom
Cluster
8704 GB de RAM
544x Computador pessoal bom
Figura: Saída do Programa no supercomputador
Figura: Saída do Programa em uma máquina normal

Supercomputador - Política de Acesso
<http://npad.ufrn.br/acesso.html>

Criação de conta
<http://npad.ufrn.br/cadastro.php>

Acesso remoto ao supercomputador
Através de SSH
Não precisa de senha
Autenticação realizada pelo par chave pública e privada
As chaves são geradas no computador do usuário
A chave pública deve ser mantida no supercomputador
Figura: Página de cadastro solicitando chave pública

Acesso ao supercomputador - regras gerais
Ter um cliente SSH com suporte a criação de par de chaves

criptográficas
Informar a chave pública no cadastro e manter a chave privada
consigo
Endereço de acesso: sc.npad.ufrn.br
Porta de acesso: 4422
O usuário de acesso é o que você informar no cadastro

Acesso ao supercomputador - Linux/macOS
Para criar o par de chaves:
$ ssh-keygen -t rsa
Para ver a chave pública:
$ cat ~/.ssh/id_rsa.pub
Uma vez cadastrado, o usuário pode acessar o supercomputador

com:
$ ssh -p 4422 nomeDoUsuario@sc.npad.ufrn.br
Mais informações: <http://npad.ufrn.br/tutoriais/

introducaoSupercomputador-parte1-linux.php>

Acesso ao supercomputador - Windows
É necessário instalar um cliente SSH. Exemplos:

Putty: <https://www.putty.org/>
MobaXterm: <https://mobaxterm.mobatek.net/>
As instruções específicas do uso desses dois clientes podem ser
encontradas na página de tutoriais do NPAD em <http://npad.ufrn.
br/tutoriais/introducaoSupercomputador-parte1-windows.php>.

Adição de Chave Pública
Figura: <http://npad.ufrn.br/addChave.php>
Copiando arquivos por interface gráfica
O usuário pode transferir arquivos do e para o supercomputador por

interface gráfica.
Linux: a partir do explorador de arquivos, geralmente há uma
opção "conectar ao servidor", variando de distro para distro
Windows: utilizando o WinSCP ou outro cliente SCP

Acesso via interface gráfica - Linux

Acesso via interface gráfica - Windows
Figura: https://winscp.net/eng/download.php
Execução de programa no supercomputador
Nó de login
Apenas para teste
Programas terminam após aproximadamente 30 min (depende
do uso do processador)
Modo de execução padrão - executa programa direto no
terminal
Nós de computação
Sem acesso direto pelo usuário
Programas são executados através do slurm (gerenciador de
recursos)
Saída do programa fica salva em arquivo em vez de ser
mostrada no terminal

Pastas pessoais
Pastas Pessoais Compartilhadas

/home/nomeDoUsuario
/scratch/global/nomeDoUsuario
Pasta Pessoal Local
/scratch/local/nomeDoUsuario - 110 GB por nó
Pasta Capacidade Compartilhada Velocidade

/home/nomeDoUsuario 40 TB Sim Normal
/scratch/global/nomeDoUsuario 60 TB Sim Normal
/scratch/local/nomeDoUsuario 110 GB Não Alta

Slurm
Gerenciador de recursos do supercomputador

Funções principais do Slurm
Prover uma plataforma para iniciar, executar e monitorar jobs
Enviar jobs para os nós de computação
Gerenciar fila de jobs quando não há recursos suficientes no
momento
Características do Job
É descrito por script shell
Permite execução de um ou mais programas
Define quantidade de recursos e tempo de execução

Exemplo de script de job

Programa Sequencial
Programa sequencial

Script para Programa Sequencial
script-do-job.sh:
#!/bin/bash
#SBATCH --time=1-2:3
./meuprograma arg1 arg2 arg3
Para submeter o job:
$ sbatch script-do-job.sh

Programa Multithread
Programa multithread

Script para Programa Multithread
script-do-job.sh:
#!/bin/bash
#SBATCH --cpus-per-task=32
./meuprograma arg1 arg2 arg3

Programa Distribuído
Programa distribuído

Script para Programa Distribuído
script-do-job.sh:
#!/bin/bash
#SBATCH --nodes=4
#SBATCH --ntasks-per-node=32
srun meuprograma arg1 arg2 arg3

Execução do job
Após a execução, por padrão, o SLURM cria um arquivo chamado

slurm-xxxxx.out, correspondendo ao id do job que foi submetido.
[usuario@service0 aula]$ ls
sbatch_script.sh
[usuario@service0 aula]$ sbatch sbatch_script.sh
Submitted batch job 1411200
[usuario@service0 aula]$ ls
sbatch_script.sh slurm-1411200.out

Softwares - Módulo

Softwares - Módulo
Ver módulos disponíveis:
$ module av
Carregar módulo:
$ module load softwares/nomeDoSoftware/versão
Ex.:
$ module load softwares/r/3.5.0-gnu-7.3

Instalação de software pelo usuário
Compilação de códigos próprio

gcc, g++, gfortran (Compiladores GNU)
icc, icpc, ifort (Compiladores Intel)
Instalação de programas utilizando código-fonte
Baixa e Descompacta o código fonte
./configure
make
make install
Instalação de programas utilizando gerenciador de pacotes
yumdownloader <nome do programa>
rpm2cpio <nome do arquivo baixado>.rpm | cpio -idv

Supercomputador - Estado dos nós
Comando sinfo para visualizar estado dos nós:
alloc: Nó usado por 1 job

mix: Nó compartilhado por mais 1 job
maint/resv: Nó reservado
idle: Nó disponível
Supercomputador - Estado dos nós
Quando todos os nós estiverem ocupados e um usuário enviar um

job, o que acontece?
O novo job ficará esperando numa fila.

O supercomputador é um recurso compartilhado e seu uso está
condicionado a aguardar, às vezes por dias, por disponibilidade.

Supercomputador - Fila
Comando squeue para monitorar a fila
Variações:
squeue -t PD
squeue -u $USER
watch squeue -l
Supercomputador - Prioridade
Quando todos os nós estão ocupados e vários jobs são enviados por
vários usuários diferentes, quem deve ser o próximo a ocupar um nó?
Quem tiver maior prioridade.
Fatores:
Duração esperada do job
Tempo de espera do job
Uso prévio do usuário e do grupo

prioridade =
1000 × Tempo + 10000 × Fairshare + 15000 × FatorDePartição
Comando sprio para visualizar prioridade de jobs aguardando na fila

Tempo: Relacionado ao tempo que o job está aguardando na

fila
Fairshare: Influenciado por como estão sendo usados os
recursos
FatorDePartição: Relacionada ao grupo de máquinas
selecionadas para o uso (valor alto para vocês!)
Mais informações: <http://npad.ufrn.br/uso.php>

Resumo dos comandos
Comando Descrição
Visualizar as informações das partições e nós do
sinfo
supercomputador.
Visualizar as informações dos fatores que compõem a
sprio
prioridade na fila de cada job.
Visualizar as informações gerais dos Job’s que estão
squeue
na fila ou executando.
sbatch Enviar um Job para o supercomputador.
scancel Cancelar um Job que está na fila ou em execução.
module av Listar softwares instalados como módulo.
module load Carregar software.
<http://npad.ufrn.br/tutoriais/comandos.php>
Ajuda online - Tutoriais

Ajuda online - FAQ

Ajuda online - Links
Tutoriais do NPAD: <http://npad.ufrn.br/tutoriais/>

Manual SLURM:
<https://slurm.schedmd.com/documentation.html>
Manual MPI: <https://www.open-mpi.org/doc/current/>
Vídeo-aulas OpenMP:
<https://www.youtube.com/watch?v=nE-xN4Bf8XI&list=
PLLX-Q6B8xqZ8n8bwjGdzBJ25X2utwnoEG>

Dúvidas
atendimento@npad.ufrn.br

Apresentacao Supercomputador Da UFRN

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Apresentacao Supercomputador Da UFRN

Enviado por

Direitos autorais:

Formatos disponíveis

Introdução Supercomputador Acesso Uso Status Ajuda online Dúvidas

Apresentação - Supercomputador da UFRN

Prof. Samuel Xavier de Souza

Núcleo de Processamento de Alto Desempenho - NPAD

NPAD Apresentação - Supercomputador da UFRN Março de 2021 1 / 47

NPAD Apresentação - Supercomputador da UFRN Março de 2021 2 / 47

NPAD Apresentação - Supercomputador da UFRN Março de 2021 3 / 47

NPAD Apresentação - Supercomputador da UFRN Março de 2021 4 / 47

NPAD Apresentação - Supercomputador da UFRN Março de 2021 5 / 47

NPAD Apresentação - Supercomputador da UFRN Março de 2021 6 / 47

Supercomputador - Informações Gerais

SO: Centos 6.5 x86_64

NPAD Apresentação - Supercomputador da UFRN Março de 2021 7 / 47

NPAD Apresentação - Supercomputador da UFRN Março de 2021 8 / 47

Computador pessoal bom

NPAD Apresentação - Supercomputador da UFRN Março de 2021 9 / 47

Figura: Saída do Programa no supercomputador

Figura: Saída do Programa em uma máquina normal

NPAD Apresentação - Supercomputador da UFRN Março de 2021 12 / 47

Supercomputador - Política de Acesso

NPAD Apresentação - Supercomputador da UFRN Março de 2021 13 / 47

NPAD Apresentação - Supercomputador da UFRN Março de 2021 14 / 47

Acesso remoto ao supercomputador

Figura: Página de cadastro solicitando chave pública

NPAD Apresentação - Supercomputador da UFRN Março de 2021 15 / 47

Acesso ao supercomputador - regras gerais

Ter um cliente SSH com suporte a criação de par de chaves

NPAD Apresentação - Supercomputador da UFRN Março de 2021 16 / 47

Acesso ao supercomputador - Linux/macOS

Para criar o par de chaves:

Para ver a chave pública:

Uma vez cadastrado, o usuário pode acessar o supercomputador

$ ssh -p 4422 nomeDoUsuario@sc.npad.ufrn.br

Mais informações: <http://npad.ufrn.br/tutoriais/

NPAD Apresentação - Supercomputador da UFRN Março de 2021 17 / 47

Acesso ao supercomputador - Windows

É necessário instalar um cliente SSH. Exemplos:

NPAD Apresentação - Supercomputador da UFRN Março de 2021 18 / 47

Adição de Chave Pública

Copiando arquivos por interface gráfica

O usuário pode transferir arquivos do e para o supercomputador por

NPAD Apresentação - Supercomputador da UFRN Março de 2021 20 / 47

Acesso via interface gráfica - Linux

NPAD Apresentação - Supercomputador da UFRN Março de 2021 21 / 47

Acesso via interface gráfica - Windows

Execução de programa no supercomputador

NPAD Apresentação - Supercomputador da UFRN Março de 2021 23 / 47

Pastas Pessoais Compartilhadas

Pasta Capacidade Compartilhada Velocidade

NPAD Apresentação - Supercomputador da UFRN Março de 2021 24 / 47

Gerenciador de recursos do supercomputador

NPAD Apresentação - Supercomputador da UFRN Março de 2021 25 / 47

Exemplo de script de job

NPAD Apresentação - Supercomputador da UFRN Março de 2021 26 / 47

NPAD Apresentação - Supercomputador da UFRN Março de 2021 27 / 47

Script para Programa Sequencial

Para submeter o job:

NPAD Apresentação - Supercomputador da UFRN Março de 2021 28 / 47

NPAD Apresentação - Supercomputador da UFRN Março de 2021 29 / 47

Script para Programa Multithread

./meuprograma arg1 arg2 arg3

Para submeter o job:

NPAD Apresentação - Supercomputador da UFRN Março de 2021 30 / 47