A GRID approach for Gravitational
Waves Signal Analysis with a MultiStandard Farm Prototype
CHEP 2004
27 September
Dr. Silvio Pardi
Università degli Studi di Napoli “Federico II”
Overview
The detection of gravitational waves (GW)
is one of the most interesting fields of the
modern physics: it will provide a strong
proof of the general relativity theory,
opening in this way a completely new
channel of information on the dynamics
and evolution of astrophysical objects .
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
The Virgo Experiment
Analyses of Data coming from
interferometric gravitational wave detector
FOCUS

signals coming from
coalescing binaries

signals coming from
neutron stars
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
The Virgo Experiment
Computational cost for Matched filter on
VIRGO’s data
~300 Gflops for CB
~1 Tflops for NS
we need High Performance Computing
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
Technologies
Hardware & Software Technologies
Available
FOCUS

Bewulf Cluster &
Parallel computation

GRID COMPUTING
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
The Virgo Lab of Napoli
SWITCH
GIGABIT
PC SUPERMICRO
PENTIM III
PC APPRO
XEON
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
SWITCH
FAST ETHERNET
Hardware

20 Node Dual Processor
12 with Pentium III 1 Gz
8 With Xeon 2.4 Gz
– RAM (512 Mb)

Network
– Fast Ethernet (100 Mbps)
– Gigabit Ethernet (1Gbps)
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
High
Troughtput
Linux Farm
Operativing system Linux RedHat
Distribution

S.O. stable

library of parallel
calculation available

Free
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
Linux Farm
Every node can work in two possible
configuration:

Local Cluster
(MPI & OpenMosix)

GRID
(Testbed of GRID-it)
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
Diskless Cluster
Advantages of a diskless cluster
 Easy
Management
 Single File system
 Low costs
(Beowulf)
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
GRID ARCHITECTURE
GRI
D
USER INTERFACE
USER
FARM
STORAGE
ELEMENT
vo
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
COMPUTING
ELEMENT
PUB
…
…
NODE10
NODE11
APPRO MASTER
APPRO NODE 1
…
…
APPRO NODE 7
UI
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
SWITCH
GIGABYTE
CE
SERVER
ALPHA
UP LINK
SE
SWITCH
FASTETHERNET 10/100
LCFG
ng
NODE1
NODE2
…
SWITCH
10/100
MASTER
GRID Configuration
IP
ADDRESS +
LOCAL
BOOT
LCFG
ng
SERVER
DHCP
MASTER
NODE1
…
…
…
NODE10
NODE11
APPRO MASTER
APPRO NODE1
…
APPRO NODE7
DHCP
REQUEST
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
Local Cluster Configuration
LCFG
ng
SERVER
DHCP
IP
ADDRESS
APP MASTER
+
APP NODE1
NEXT
…
SERVER
MASTER
TFTP
REQUEST
MASTER
APPNODE7
KERNEL
DHCP
REQUEST
NODE1
…
…
…
NODE11
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
Cosa hanno in comune?
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Conclusion
This double configuration of the cluster’s node
:GRID and Local FARM, allow to a laboratory with
limited resources to participate to the GRID plans
without to renounce to a local farm when
is necessary.
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
THE END
Esigenze principali

Elevata potenza di calcolo

Velocità di esecuzione

Disponibilita’ di risorse

Costi Ridotti
COME FARE?
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Paradigma di risoluzione

GRID
Livelli
stratificati
che poggiano
l’uno sull’altro

CAMPUS GRID

BEOWULF

CALCOLO PARALLELO
GRID
Campus GRID
Beowulf
Calcolo parallelo
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Cos’e’ GRID
Middleware per la gestione delle
risorse di calcolo distribuite sul
territorio.
GRID
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Perche’ GRID?
La rete GRID, condividendo risorse dislocate,
permette di ottenere una potenza di calcolo
che difficilmente puo’ essere concentrata in
un unico laboratorio
Vantaggi



Prof. Guido Russo - FOCUS ON RESEARCH 2003
Disponibilita’
di risorse
Modularita’
Scalabilita’
I servizi GRID
Una struttra tipo GRID fornisce
servizi indispensabili per la ricerca.

Distributed Computing
 On-Demand Computing
 Data-Intensive Computing
 Collabborative Computing
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Osservazione
Per ottenere prestazioni migliori
con GRID occorrono line veloci e
alta disponibilita’ di risorse
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Problema
Ci sono un Chimico un Fisico e un
Matematico in un campus
Mendeleev
Domanda
Einstein
Zermelo
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Come fanno a
condividere le
proprie risorse
di calcolo?
Campus GRID
I D E A!
Una rete GRID di CAMPUS
ovvero: Una Virtual
Organization tra Dipartimenti
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Campus GRID
QUALI SONO I VANTAGGI?

Reti Veloci

Interdisciplinarieta’

Test e sviluppo GRID
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Campus GRID
PARTECIPANTI

CDS
 Dip di Chimica
 Dip di Fisica
 Dip di Matematica
 INFN
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Campus GRID
Specifiche della Rete
Fisica
INFN

Cablaggio Stellare
 Dorsale in Fibra
ottica monomodale
Chimica
Banda
1 Gbit
Prof. Guido Russo - FOCUS ON RESEARCH 2003
CDS
Matematica
Piantina del Campus
CDS
Dip di Chimica
Dip di Fisica /INFN
Dip di Matematica
Fibra ottica
Campus Grid
Di Monte Sant’Angelo
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Campus GRID
Macchine e servizzi

User Interface
macchina a cui collegarsi per mandare i job sulla GRID

Information Index
servizio che contiene le informazioni sulle risorse della GRID

Resource Broker
macchina che distribuisce e monitorizza i job sulle risorse disponibili
sulla base delle informazioni ricevute dal Information Index

Monitoring e Support
macchina che monitorizza la funzionalita’ dei nodi e notifica eventuali
anomalie
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Campus GRID
Richiesta sottomissioni job
User Interface
Resource Broker
CICLO DI VITA DI UN
JOB SOTTOMESSO
SULLA GRID
Information Index
Monitor & Suppot
User Farm
User Farm
Prof. Guido Russo - FOCUS ON RESEARCH 2003
User Farm
Risorse de Campus GRID
Cosa c’e’ sotto la sovrastruttura di
Campus GRID?

Macchine SMP
Molto veloci ma limitatamente scalabili
Cluster
BEOWULF
La soluzione migliore?
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Cluster Beowulf
Cluster di PC costituito con materiale
facilmente reperibile sul mercato.
QUALITA’ PRINCIPALI
Bassi costi di
implementazione
 Alte prestazioni
 Versatilita’
 Scalabilita’

Prof. Guido Russo - FOCUS ON RESEARCH 2003
Network nei Beowulf
Nei cluster Beowulf
si prediligono
schede di rete
performati ma di
basso costo
Fast Ethernet
 Gigabit Ethernet

Prof. Guido Russo - FOCUS ON RESEARCH 2003
High
Troughtput
Problema
Il TCP/IP
satura il
90% della
banda
teorica
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Problema
Come si fanno a
configurare ed
amministrare
semplicemente i
nodi di un cluster?
IDEA!
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Tecnologie di Calcolo Parallelo
Obiettivo: Bilanciamento del
carico di lavoro sui nodi.
PRINCIPALI TECNICHE

Distribuzione statica dei
processi con MPI
 Bilanciamento dinamico
del carico dei nodi con
OpenMosix
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Open Mosix per Beowulf
Open Mosix e’ un estensione del kernel
di linux che permette di far migrare in
maniera trasparente i processi sui nodi
disponibili per garantire un dinamico
Load-Balancing
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Conclusioni Beowulf
TIRANDO LE SOMME
BEOWULF
DISKLESS
S.S.I.
OPENMOSIX
S.S.I. (Single System Image)
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Requisiti richiesti
Le tecniche utilizzate per l’estrazione del segnale
gravitazionale dal fondo di rumore strumentale
richiedono
300
Gflops per le Binarie Coalescenti
1 Tflop per Stelle di Neutroni
Necessarie
archietture
di calcolo
Parallelo
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Virgo & GRID
Per frontegiare un tale costo computazionale il
lab Virgo di Napoli si avvale di

Cluster Beowulf locale
(cluster diskless di pc)

GRID
(il Virgo partecipa al testbed di EDG)
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Multistandard Farm
Il Beowulf di Virgo e’ un
esempio di Multistandard
Farm capace di lavorare
su Grid ed In locale con
MPI o OpenMosix.
CARATTERISTICHE
Alte
prestazioni
Flessibilita’
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Campus GRID
Il cluster di Virgo e’ un esempio di risorsa
utilizabile nella rete di campus
COS’E’ LA SINERGIA?
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Campus GRID & Beowulf
E’ integrazione di varie attività
produttive e organizzative allo
scopo di raggiungere una maggiore
efficienza e risultati più vantaggiosi
=
CAMPUS GRID
Prof. Guido Russo - FOCUS ON RESEARCH 2003
FINE
Prof. Guido Russo - FOCUS ON RESEARCH 2003