Universidad Nacional José F.

Sánchez Carrión
Facultad de Ingeniería
Escuela Profesional de Ingeniería de Sistemas
Ciclo Académico: 2005-II

SISTEMAS DE
COMUNICACIÓN
Ing. Wigberto Martín Nicho Virú
E-mail: wmnicho@hotmail.com

Huacho, Enero del 2006

• Clustering Definición
Termino común para identificar el mecanismo de distribuir un servicio sobre un
numero de servidores para incrementar la tolerancia a fallas y soportar mayores
cargas que las que podría soportar un servidor simple.

• Es usado para aplicaciones de gran escala y de misión critica donde no puede haber
tiempos muertos. Un cluster contiene los servidores que comparten el estado en un
cierto nivel, tal como estado del HTTP, el estado de EJB o estado del contexto de
aplicación. El acceso del cliente a estos servidores es manejado normalmente por los
balanceadores de la carga
» Orión http://www.orionserver.com

• Un cluster no es un supercomputador pero si es necesario obtener un rendimiento

parecido, estos satisfacen todos los requerimientos
 Porque clusters x86?

Un ejemplo de las ventajas del procesamiento paralelo

 Clustering

Los servicios de cluster ofrecidos con una aplicación Orion Application Server incluye:
Balanceo de carga, Replicación del Contexto de estado de Aplicación, Replicación de
estado HTTP y Replicación de estado EJB
Una versión gratuita puede bajarse de:

http://www.orionserver.com/mirrordownload.jsp?file=orion2.0.2.zip
 Cluster de Datos - Ejemplo
Funciones Ventajas
Recuperación Proporciona disponibilidad de datos continuada
tras fallo para un servidor de almacenamiento no disponible
automática con y notifica al administrador la recuperación tras
notificación fallos

Recuperación y Permite llevar a cabo el mantenimiento planificado

restauración de un servidor dedicado a almacenamiento sin que
Solución para manual repercuta en la disponibilidad de datos.
garantizar la
disponibilidad de los Recuperación Los usuarios finales no se ven afectados por la
datos en entornos transparente recuperación tras fallos, ya que, una vez realizada,
empresariales clave tras fallos continúan accediendo a los datos.
Ofrece una Configuración Ambos servidores dedicados a almacenamiento en
disponibilidad de datos activa / activa cluster están funcionando.
superior al 99,99%, Cluster de larga Los administradores disponen de una gran
distancia flexibilidad con respecto a la ubicación física de los
servidores dedicados a almacenamiento en cluster.
Cluster Aplicaciones y Datos - Ejemplo
La solución de cluster
para aplicaciones y datos
ofrece un nivel de tiempo
total de actividad muy
alto.
Hasta 48 Tb de datos y
tarjetas de red: Gb Eth,
FEth, Quad FEth, OC-3.
OC12
 Porque cluster?
Necesidades actuales de cálculos intensivos:
• Predicción del tiempo
• Diseño de productos avanzados
• Almacenamiento masivo de datos
• Procesamiento de imágenes
Requieren de recursos de gran capacidad para
• resolver los problemas más rápido
• Cluster con WIN2000
Microsoft Cluster Server (MSCS) para sistemas Windows NT, se puede llegar a conseguir
una disponibilidad de hasta 99.999%.

• Implica una preparación, implementación y mantenimiento más especializados que la

gestión de dos servidores independientes.

• MSCS es un componente de NT Server Enterprise Edition (NTS/E), que también se

incluye en Windows 2000 Advanced Server y en W2000 Datacenter Server
Hardware

• La arquitectura de almacenamiento para cluster puede ser con SCSI o Fibre Channel (mas
caro pero mas fiable).

• Cada componente constituyente del sistema debe ser tan fiable como sea posible.

• Es recomendable redundar la fuente, de alimentación, ventiladores o tarjetas de red, y

proteger el almacenamiento local del servidor mediante duplicación, como una
controladora RAID o la función de duplicación de disco de NT.

• La utilización de almacenamiento por disco compartido en el cluster crea un único punto

de fallo: si el almacenamiento del cluster queda inaccesible, lo mismo le ocurrirá al
almacenamiento del sistema. Se sugiere implementar las controladoras de disco como
 Clustering Win 2000 – La actualidad
Windows 2000 incluye un poderoso soporte de Clustering
MSCS: Microsoft Cluster Service
Windows 2000 Advanced Server
Windows 2000 Datacenter Server
Opciones:
2 Nodos W2000 Advanced Server

3 Nodos W2000 Datacenter Server

4 Nodos W2000 Datacenter Server
Clustering Win 2000 – La actualidad
2 Nodos - El Cluster más simple
Activo / Activo
Activo / Pasivo

Conceptos similares se aplican a Clusters de

3 y 4 nodos
 Clustering – ¿Cómo funciona el Cluster?

LAN LAN

SQL 2000 Virtual Server - MSCS SQL 2000 Virtual Server - MSCS

Nodo A Nodo B

Heartbeat

Array de discos compartido

 Clustering Win 2000 – La actualidad

Server Virtual
• Se le asigna un nombre
• Se le asigna una IP
• Para el cliente, es indistinto y transparente el nodo
que le brinda servicio
 Clustering Win 2000 – La actualidad
Pros del Clustering Contras
• Reduce al mínimo los tiempos • Costo mayor que un Stand by
de un server caído server
• Tiene respuesta automática • Precisa más tiempo en la
ante la caída de un nodo instalación
• No se necesita renombrar los • Requiere un mantenimiento
servidores mayor
• La recuperación es rápida: tan • Requiere administradores de
pronto se arregle el server red y DBA’s con más
experiencia
 Clustering Win 2000 – La actualidad
Software necesario para un Cluster de 2 nodos
• 2 Windows 2000 Advanced Server
• 1 SQL Server 7 Ent. ó 1 SQL 2000 Ent. para un cluster Act / Pas
• 2 SQL Server 7 Ent. ó 2 SQL 2000 Ent. para un cluster Act / Act

Software necesario para un Cluster de 3 o 4 nodos

• 3 ó 4 Windows 2000 Datacenter Server
• 3 ó 4 SQL Server 7 Enterprise Edition ó SQL 2000 E.E.

• Aplicar el último Service Pack para Windows y SQL Server

 En el mundo Linux/Unix
La Historia de Beowulf
• A fines de 1993 Donald Becker y Thomas Sterling comenzaron a bosquejar el entorno de
un sistema basado en un cluster diseñado como alternativa rentable a los
superordenadores grandes

• El proyecto Beowulf arranco a inicios de 1994, trabajando con CESDIS bajo el

patrocinio del proyecto ESS, de NASA

• El prototipo inicial fue concebido con un cluster formado por 16 PC’s 486 DX4
conectados por Ethernet de 10 Mb usándolo como canal asegurado. La máquina fue un
éxito inmediato y su idea de proporcionar sistemas de bajo costo fue adoptado por la
NASA y las comunidades de investigación.

• Este primer sistema requirió el rediseño de los drivers Ethernet para usarlo como canal,
subdividiendo el trafico para que curse por mas de un Ethernet

• En 1997 el cluster de 140 nodos de la Universidad de Caltech ejecutó un problema (N-

Body) a una tasa de 10 GFlops/sec
 Beowulf - Como funciona?
• Básicamente, un sistema de Beowulf consiste en uno o más nodos principales, que son sistemas
completos con sus dispositivos de I/O, y muchos nodos auxiliares (slaves), que son
generalmente placas base o PC’s sin monitor, teclado y con un mínimo disco o ninguno.
• Es una tecnología para agrupar computadores basados en el sistema operativo Linux para formar un
supercomputador virtual paralelo, a partir de hardware común, sistema operativo Linux y software
abierto (open source)
•
• El nodo principal divide el problema y empaqueta los pedazos hacia los nodos auxiliares;
después consigue los resultados y no requiere ningún proceso adicional para combinar los
resultados. También vigila las tareas domesticas y otras faenas
•
• La comunicación entre él y sus esclavos es por pase de mensajes

• Debido a que los nodos no están estrechamente acoplados y no comparten la memoria, pueden
ser heterogéneos
•
• Por convención, los sistemas de Beowulf están divididos en clases de máquinas I y II.
•
• Las del tipo I no contienen otra cosa que componentes estándares que pueden comprarse en por
lo menos tres diversas fuentes

• Un sistema de la clase II utiliza componentes modificados para requisitos particulares de algún

 Diseño
Hacer que el cluster se comporte como una sola maquina
• Los usuarios deben ser conocidos en todos los nodos (NIS) u
otro mecanismo para mantener consistentes los /etc/passwd
• Las aplicaciones deben estar presentes en todos los nodos:
– compartir el /usr/local
Conclusiones
– La escalabilidad en un punto significativo
– Los cluster Linux constituyen una plataforma adecuada para muchas
aplicaciones
– Alta disponibilidad
Limitaciones
– redes con alto nivel de latencia
 Beowulf - Ventajas
• Bajo costo inicial
• Fácil de mantener
• Tecnología familiar
• Escalable
• Software gratis: Linux, PVM (Paralell Virtual Machine), MPI (Message
Passing Interface)
Escalabilidad
• Permite agregar nuevos componentes para aumentar el nivel de
prestaciones sin necesidad de eliminar los elementos ya existentes
Disponibilidad
• Existe redundancia natural, cada nodo posee sus propios componentes:
bus, memoria, procesador.
• Se puede implementar políticas para el reemplazo rápido en caso de falla
del servidor maestro
Uno de los proyectos .. La Universidad
de Kentucky
• 16 computadoras Pentium de
700 Hz
• Por un costo inferior a
$10,000
• Con fines de ser usados en
video-games por Internet
• Puede ser construido a partir
de las maquinas que otros
dejan de usar, a partir de 486
En el proyecto del genoma
humano, se utilizó un cluster de
1000 nodos
www.genetic.programing.com
 Supercomputador Stone
El equipo del laboratorio nacional de
Los Alamos construyó Avalon, el 25°
superordenador más rápido del
mundo por $152.000 (abril 2000), un
equipo similar hubiera costado cerca
de $1 millón
• Cluster heterogéneo formado por
maquinas de diferente hardware
• Creció lentamente hasta 126 nodos
• Cada nodo tiene por lo menos MB
20 de la memoria, por lo menos MB
400 de la espacio de disco y está
conectado con una red Ethernet de
10 Mb/s para las comunicaciones
internas del nodo
• Si una maquina se deteriora, se
utiliza como “donador” sus partes
son aprovechadas para alargar la
vida de los demas integrantesdel
cluster
 Los 5 Supercomputadores más grandes
Eart Symulator Center •5,120 (640 nodos de 8-vias) 500 MHz NEC CPUs
Yokohama NEC Sx •8 GFLOPS por CPU (41 TFLOPS total)
•2 GB (4 512 MB FPLRAM modules) por CPU (10 TB total)
• Memoria compartida dentro del nodo
•640 × 640 Switch crossbar entre los nodos
•16 GB/s ancho de banda inter-nodo
•20 KVA de consumo de energía por nodo = 12,800 KVA

•13.88 TFLOPS
•3,072 AlphaServer ES45s HP
•12,288 EV-68 1.25-GHz CPUs con 16-MB cache
•33 Terabytes (TB) memory
ASCI Q •Gigabit fiber-channel disk drives con 664 TB
Los Alamos •Dual controller accessible 72 GB drives arranged in
National 1536 5+1 RAID5 storage arrays, interconectados a
Laboratory (LANL) traves deswitchs fiber-channel a 384 nodos file server
 Los 5 Supercomputadores más grandes
Virginia Tech Sx •10.28 TFLOPS
•1,100 sistemas Apple G5 teniendo cada uno dos procesadores
IBM PowerPC 970 de 2 GHz.
•Cada nodo tiene 4GB de memoria principal y 160GB de
almacenamiento Serial ATA.
•176TB total almacenamiento secundario.
•4 nodos principales para compilaciones/job startup.
•1 nodo de administración

•9.82 TFLOPS
•1,450 procesadores dual Dell PowerEdge
•1750 servidores corriendo Linux Red Hat,
•1 Switch Myrinet 2000 high-speed interconnect fabric,
Tungsten NCSA's •1 SubCluster I/O con mas de 120 TB Almacenamiento
Urbana Campaign, DataDirect
USA
Los 5 Supercomputadores más grandes
•980 nodes HP/Linux Itanium 2 ("Madison") 1.5 GHz
•1,960 procesadores Quadrics Elan 3 interconectados
•11 TERAFLOPS de performance pico teórico
•7 Tb de RAM
•142 Tb de espacio en disco
•53 TB de espacio global en disco scratch
Escala de procesamiento
Lista de soluciones comerciales con tecnología Beowulf -
Software

• HP • Custom Fit, Inc.

• Northrop Grumman • Atipa
• Accelerated Servers • Turbotek
• Penguin Computing • Microway
• Aspen Systems • Linux Labs
• PSSC Labs • Open Clustering UK
 Lista de soluciones comerciales con tecnología Beowulf -
Hardware
• Accelerated Servers • Eversys Corporation
• HP • azure
• Custom Fit, Inc. • Western Scientific
• Turbotek • IntegrityLinux Systems
• Open Clustering UK • Pioneer Technology
• Penguin Computing • Atipa
• Paralogic • massiveparallel.com
• PSSC Labs • Alineos
• Northrop Grumman • Linvision
• Sybrandt • Linux Labs
• Paralline • Aspen Systems, Inc.
• ParTec • Microway, Inc.
• Linux NetworX • AETHIA
• Great Lakes Computer • Advanced Clustering Technologies,
• California Digital Inc.
• RackSaver • Artabel
 Documentación
Manual de instalación
• http://www.cecalc.ula.ve/documentacion/tutoriales/beowulf
• http://www.cecalc.ula.ve/documentacion/tutoriales/beowulf.pdf

Página recomendada

• http://www.beowulf.org