Cluster de Computadores Beowulf e a biblioteca MPI

Bruno Raphael Cardoso Dias Darlisson Lus Bezerra Vasconcelos Manoel Cndido Ribeiro Jnior

Histrico
1967: Publicao de artigo sobre a Lei de Amdahl (por Gene Amdahl da IBM); 1960: Redes de troca de pacotes; 1969: Primeiro cluster de computadores com uma rede de padres pblicos; 1977: ARCnet, da Datapoint; 1984: VAXcluster, da DEC; 1989: Parallel Virtual Machine; 1993: Projeto Beowulf.

Modelo Beowulf e a Biblioteca MPI

Beowulf: uso de computadores funcionam como um s (escravos); Envolve uso de sistemas bibliotecas de apoio; comuns que e o

operacionais prontas

livres para

Aplicaes precisam estar processamento paralelo;

Principais suportes para a programao paralela: Parallel Virtual Machine e Message Passing Interface; MPI: criada por William Gropp, Ewing Lusk, dentre outros; Implementao usada: MPICH2, desenvolvido pelo Argonne Laboratory dos EUA.

Modelo Beowulf e a Biblioteca MPI

Implementao realizada

Mquinas em rede local com sistema operacional Linux (2.6.28); Implementao da biblioteca MPI: MPICH2; Sistema de arquivos em rede NFSv4 (Network File System 4); Acesso remoto via OpenSSH.

Construo do Cluster
Idia: todos os computadores funcionaro como um s, compartilhando recursos. Abordagem: uma das mquinas ser considerada a mestre. Todas as outras sero escravas e funcionaro como partes da mquina mestre. Todas precisaro estar com dados em sincronia para o funcionamento correto do cluster.

Construo do Cluster
Os programas devero ser usados por um usurio existente em todas as mquinas; Acesso do mestre s outras mquinas feito por SSH com tal usurio; Em todos os ns, o usurio usado pelo MPICH2 deve ter o mesmo UID, GID e diretrio pessoal; Cada equipamento deve ter um nome e os outros devem poder referenciar seus vizinhos por tal nome.

Construo do Cluster

O acesso do mestre a cada n feito via SSH; O uso de um sistema de arquivos em rede facilita a configurao; Diretrio pessoal do usurio do MPICH2 compartilhado; O SSH deve estar configurado para acesso sem senha;

Construo do Cluster

Funcionamento do MPICH2
mpd inicia localmente os servios MPICH; mpdboot prepara o n para funcionar no cluster; mpdtrace mostra quais ns esto disponveis na rede; mpiexec executa um programa em paralelo especificando o nmero de processos usados. Arquivo mpd.hosts: indica quais ns fazem parte do cluster.

Algumas observaes
Existem projetos de clusters com ns distribudos pelo mundo todo e ligados pela Internet. Exemplos: SETI@Home e Folding@Home; H maneiras de dividir usurios pela rede, porm, isso no recomendado nesta abordagem.

Referncias Bibliogrficas
Beowulf (computing). http://en.wikipedia.org/wiki/Beowulf_(computing) Acesso em Junho de 2009. Cluster (computing). http://en.wikipedia.org/wiki/Cluster_(computing) Acesso em Junho de 2009. STIMI, K.O. Cluster computing. ER&DCI Institute of Technology Beowulf. http://www.beowulf.org. Acesso em Junho de 2009.