Вы находитесь на странице: 1из 37

CLUSTERS BEOWULF

Samuel Rodrguez Cid


Toms Guerra Cmara
Indice
1. Introduccin
2. Cluster Beowulf
3. Beneficios
4. Clasificacin
5. Hardware y software
6. Configuracin
7. Ejemplos
8. Conclusin
9. Referencias
1.- Introduccin
Surgimiento plataformas de computacin y
procesamiento de bajo coste.
Presentan diversas capacidades para el cmputo
paralelo con un relativo alto rendimiento.
Cluster: Trmino que se aplica a conjunto de
ordenadores construidos con componentes
comunes y se comportan como nico ordenador.
2.- Cluster Beowulf
Datos:
Ao 1994 por Donald Becker y Thomas Sterling
16 procesadores conectados en red.
Usan libreras como MPI
Estaban paralelizados, es decir, usaban libreras
como MPI.
Fue un gran xito.
Beowulf es un concepto, no hay componentes
exclusivos.
2.- Cluster Beowulf
Mltiples definiciones.
Unos dicen que solo los que son como el
construido la primera vez, otros dicen que llega
con que ejecute cdigo paralelo.
Beowulf es una arquitectura conformada por
mltiples computadores que puede usarse para
computacin paralela.
2.- Cluster Beowulf
Suele estar formado por:
Nodos tontos, todo el control lo lleva el
servidor
Nodo Servidor (maestro)
Nodo/s Clientes (esclavos)
Mximo 1024
Nodos tontos, todo el control lo lleva el
servidor
Escalabilidad.
2.- Cluster Beowulf
Usos:
Simulaciones.
Biotecnologa.
Mercado de valores.
Servidores Internet.
Firewall.

3.- Beneficios
Construir cluster aporta diferentes ventajas:
Incremento velocidad procesamiento.
Incremento nmero transiciones.
Incremento confiabilidad y robustez.
4.- Clasificacin
Hay una clasificacin por clases:
Clase I:
Sistemas cumplen certificacin Computer Shopper
Sus elementos son de uso comn.
Fcil adquisicin.
4.- Clasificacin
Clase II:
No pasan la certificacin Computer Shopper.
No son de uso comn.
Todas aquellas que no pertenecen al grupo de la
clase I.
Pueden presentar un nivel de prestaciones superior a
las de clase I.
4.- Clasificacin
Ventajas
Clase I
Mayor disponibilidad.
Reduce dependencia fabricante.
Soporte drivers.
Basado en estndares (SCSI, Ethernet,)

Clase II
Mayor rendimiento.
4.- Clasificacin
Desventajas.
Clase I:
Rendimiento inferior.
Clase II:
Aumento del coste.
Mayor dependencia del fabricante.
Variedad de drivers.
5.- Hardware y Software
5.- Hardware y Software
Hardware:
Comunicacin entre nodos.
Ethernet Facilidad de instalacin.
Uso switch.
5.- Hardware y Software
Hardware:
Equipos sin disco duro
Conocidos como diskless.
Uso muy difundido.
Necesitan mantenimiento y configuracin que se
realiza desde el servidor central.
5.- Hardware y Software
Ventajas:
Centralizacin datos en servidor central.
Economa.
El uso de esta tcnica es una extensin del uso de
sistemas de archivos por red.
Desventajas:
Incremento uso disco del servidor central.
Bajo desempeo en acceso a archivos por parte de
nodos.
5.- Hardware y Software
5.- Hardware y Software
Software:
Distribucin Linux.
Bibliotecas paso de mensajes como:
PVM (Parallel Virtual Machine)
MPI (Message Pasing Interface)
Alternativa para manejar recursos de un cluster
beowulf es MOSIX.
6.- Configuracin
1.- Configuracin red
2.- Compartir directorio.
3.- Habilitar ssh.
4.- Beowulf con MPICH
5.- Beowulf con LAM/MPI
6.- Configuracin
1. Configuracin de Red
Se realiza en el servidor.
Configuramos el archivo /etc/hosts para colocar
un nombre a cada Nodo que participa en el cluster
192.168.1.40 PC-10.RM.NT PC-10
192.168.1.37 PC-09.RM.NT PC-09
6.- Configuracin
2. Compartir directorio
Instalacin servidor NFS (paquete nfs-kernel-
server)
El directorio a compartir ser ~/ del lado del
maestro y los esclavos lo montaran en ~/.
Una vez tenemos seleccionado el maestro:
Editamos permisos a los nodos. /etc/hosts.allow.
Directorios a exportar. /etc/exports.
Reiniciamos el servidor NFS y el portmap.
6.- Configuracin
2. Compartir directorio
En nodos:
Reportamos todos los directorios que comparte el
servidor de NFS.
showmount e PC-10
Montamos el directorio compartido.
mount t nfs PC-10:/home/tomas /home/Tomas
6.- Configuracin
3. Habilitar SSH
Para que el master pueda ejecutar comandos
remotos en los esclavos, MPICH utiliza rsh
(Remote Shell) o ssh (Secure Shell)
Para disponer de SSH instalaremos en los nodos el
servidor SSH (paquete openssh-server)
Configuramos para que acepten conexiones desde
el maestro sin pedir password ni passphrase.
6.- Configuracin
3. Habilitar SSH
Para ello:
Creacin clave RSA en master.
Activaremos ssh-agent en el master para que no nos
pida la pass-phrase.
Copiaremos la clave pblica en todos los esclavos:
La aadiremos en cada esclavo al final del fichero
~/.ssh/authorized_keys.
6.- Configuracin
4. Beowulf con MPICH
Instalacin:
En el lado del master instalar el paquete mpich-bin que nos
proporciona los binarios para la ejecucin, libmpich para las
libreras de desarrollo y la ultima versin de gcc y gCC (>4.0).
En el cliente se instala el paquete mpich-mpd-bin con sus
respectivas libreras libmpich-mp.
En ciertas ocasiones tambin es necesario tener instalado este
paquete en el master.
6.- Configuracin
4. Beowulf con MPICH
Configurar master:
Listar los nodos que participaran en el cluster en el
archivo /etc/mpich/machines.LINUX.
#master
PC-10
#esclavos
PC-09
PC-11
6.- Configuracin
4. Beowulf con MPICH
Configurar esclavos:
Listamos los nodos en el archivo .mpd.hosts de la
misma forma que en el maestro y agregamos una
contrasea de nuestra eleccin.
WM_WORDSECRET=contrasea
Si no est el archivo, crearlo en el directorio del
usuario comn.
6.- Configuracin
4. Beowulf con MPICH
Probar MPICH
MPICH proporciona el comando tstmachines.
Comprueba la disponibilidad de las mquinas
de/etc/mpich/machines.LINUX para ejecutar
programas MPI.
o edu@PC-10:~$ tstmachines v
o Trying true on PC-10...
o Trying ls on PC-10 ...
o Trying user programon PC-10
6.- Configuracin
4. Beowulf con LAM/MPI
Instalacin:
Instalar en el master y el resto de nodos los paquetes:
lam-runtime
lam
6.- Configuracin
4. Beowulf con LAM/MPI
Configuracin de los nodos:
La definicin del cluster se encuentra en los fichero
/etc/lam/bhost.def y /etc/lam/bhost.conf .
Deben contener todos los nodos del cluster, usuario de conexin
y nmero de CPU's.
#master
PC-10 cpu=1 user=tomas
#esclavos
PC-09 cpu=2 user=tomas
PC-08 cpu=4 user=tomas
6.- Configuracin
4. Beowulf con LAM/MPI
Probar LAM:
Para comprobar si el cluster LAM/MPI puede activarse:
tomas@PC-10:~$ recon
Para activar el cluster lamboot lanza el demonio lamd en cada
mquina listada en/etc/lam/bhost.conf :
tomas@PC-10:~$ lamboot v
Una vez activado el cluster, para comprobar el estado de los nodos:
tomas@PC-10:~$ tping N
6.- Configuracin
4. Beowulf con LAM/MPI
Monitorizar LAM:
LAM/MPI proporciona la herramienta XMPI (paquete xmpi), que
permite ejecutar programas paralelos MPI y monitorizarlos .
XMPI no puede activar el cluster, ste tiene que haber sido activado
con lamboot antes de lanzar XMPI
tomas@PC-10:~$ xmpi
6.- Configuracin
4. Beowulf con LAM/MPI
Monitorizar LAM:
7.- Ejemplos
Medusa
Cluster Beowulf en la Universidad de Wisconsin.
Analisis de Laser Interferometer Gravitational-
wave Observatory (LIGO).
300 nodos. 1Ghz.
80Gb HD ATA-100 cada nodo(24Tb)
512 Mb RAM /nodo (150Gb)
100M- 1Gb Ethernet
Coste: $593,323
7.- Ejemplos
Medusa
8.- Conclusin
Econmico.
Gran potencia de calculo.
Escalabilidad
Facilidad instalacin.
Seguridad.
9.- Referencias
http://www.cecalc.ula.ve/documentacion/tutoriales/beowulf/node1.html
http://www.seccperu.org/files/Cluster_Debian.pdf
http://www.estrellateyarde.org/discover/cluster-beowulf-mpi-en-linux
http://www.retronet.com.ar/?p=673
http://clusterfie.epn.edu.ec/clusters/Definiciones/definiciones2.html
http://xxito.files.wordpress.com/2008/11/trabajo-final-beowulf.pdf
http://www.phy.duke.edu/~rgb/brahma//beowulf_book/beowulf_book.html
http://www.lsc-group.phys.uwm.edu/beowulf/medusa/index.html