Como Montar seu Cluster Beowulf em Casa

Introduo
Aqui vai um rpido tutorial para auxiliar na montagem de um cluster caseiro. Este tutorial foi montado aps a instalao do Cluster Beowulf do GEMPP. Um cluster definido como um agregado, conjunto de mquinas para computao paralela distribuda. Cluster um termo bastante utilizado para definir a utilizao de dois ou mais computadores independentes, interligados via rede, que trabalham em conjunto trocando informaes entre si em torno de uma nica tarefa. Os cluster so divididos em: Alta Disponibilidade: Mantm um servio de forma estvel pelo maior tempo possvel. Alta Performance: O cluster designado para prover grande poder computacional. Cluster Beowulf so clusters de desempenho escalveis, baseados numa infraestrutura de hardware comum, rede privada e software 'open source' (Linux). Para Clusters Beowulf, existe um servidor responsvel ("frontend") por controlar todo o cluster, principalmente quanto distribuio de tarefas e processamento.

Equipamentos necessrios
Para montagem do cluster, voc precisar ter em mos: 2 ou mais computadores. CD/DVD de distribuio Linux. Switch. Computadores interligados atravs do switch. Cabo UTP conectorizado. (De preferncia homologado).

Instalao
Demonstraremos a instalao do cluster, utilizando trs computadores ( 1 frontend, 2 slaves). A instalao do cluster pode ser dividida em duas etapas: a instalao e configurao do servidor; e a instalao e configurao dos nodos "slaves". Primeiro ser descrita a configurao necessria para ambos, e depois as configuraes separadas. Instalao do Sistema Operacional (em nosso caso, Debian Squeeze, 6.0.5). A instalao deve contemplar somente o sistema bsico. (SSH, Servidor Web, ambiente grfico...) devem ser instalados em separado ao finalizar a instalao. Aps a instalao do SO, se faz necessrio instalar os pacotes que sero essenciais: SSH: Necessrio para acessar os nodos: # apt-get install openssh-server && apt-get install ssh GCC e G++: Utilizado para compilao dos cdigos fonte: # apt-get install gcc && apt-get install g++ NFS: Network File System, utilizado para configurao do sistema de arquivos: # apt-get install nfs-kernel-server

Configurao da Rede:
# vim /etc/network/interfaces No servidor: auto eth0 iface eth0 inet static address 172.0.0.2 netmask 255.255.255.0 network 172.0.0.0 broadcast 172.0.0.255 gateway 172.0.0.1 no01: auto eth0 iface eth0 inet static

address 172.0.0.3 netmask 255.255.255.0 network 172.0.0.0 broadcast 172.0.0.255 gateway 172.0.0.1

no02:

auto eth0 iface eth0 inet static address 172.0.0.4 netmask 255.255.255.0 network 172.0.0.0 broadcast 172.0.0.255 gateway 172.0.0.1

Configurao do Hostname:
Editar o arquivo /etc/hostname inserindo o nome do "n" caso no possua.

Configurao Hosts:
Editar o arquivo /etc/hosts inserindo o nome e ip dos nodos do cluster, por exemplo: frontend 172.0.0.2 no01 172.0.0.3 no02 172.0.0.4 Reiniciar o Servio: /etc/init.d/networking restart

Configurao NFS:
No Servidor: Editar o arquivo /etc/exports inserindo as seguintes linhas: /usr *(rw,sync,no_root_squash) /lib *(rw,sync,no_root_squash) /home *(rw,sync,no_root_squash) No Cliente: Montar o NFS: # mount frontend:/usr /usr -t nfs # mount frontend:/lib /lib -t nfs # mount frontend:/home /home -t nfs

Editar o arquivo /etc/fstab inserindo as seguintes linhas: frontend:/usr /usr nfs defaults 0 0 frontend:/lib /lib nfs defaults 0 0 frontend:/home /home nfs defaults 0 0

SSH sem senha:

Repetir o procedimento abaixo para todos os ns. Gerar chave pblica: # ssh-keygen -t rsa Ao ser perguntado o arquivo onde ser salvo, definir: /home/"usuario"/.ssh/id_rsa_"nomedon" Copiar todas as chaves geradas de forma concatenada para o authorized_keys.

cat /home/"usuario"/.ssh/id_rsa_"nomedon" >> /home/"usuario"/.ss/authorized_keys

Instalao MPI no Servidor

O MPI deve ser instalado somente no Servidor. # apt-get install libopenmpi-dev # apt-get install mpi-default-bin

 O MPI tambm pode ser instalado manualmente. Para isto, basta baixar o tar.gz do site do openmpi e instalar. Sites e documentos interessantes e que foram utilizados no desenvolvimento deste tutorial:

Referncias
NFS -> http://nfs.sourceforge.net/nfs-howto/ OpenMPI -> http://www.open-mpi.org/ Debian -> http://www.debian.org/ Cluster Beowulf -> http://www.infowester.com/cluster.php