COMPUTING DELLA CSN2
D. Martello
Dep. Of Physics - Lecce
Esperimenti in Commissione 2
Studio Radiazione Studio Radiazione
Cosmica nello
Cosmica in
Spazio
Superficie
AGILE
AMS2
CREAM
GLAST
PAMELA
Fisica del
Neutrino
Onde
Gravitazionali
Processi rari
Fisica
Generale
BOREX
HARP
K2K
MANU2
MI-BETA
OPERA
AURIGA
DUAL-RD
GGG
LISA-RD
RAP-RD
ROG
VIRGO
CUORE
DAMA
LVD
WARP
GGG
LARES
e Sottomarina
ANTARES
ARGO-YBJ
AUGER
MAGIC
NEMO-RD
SLIM
33 sigle
Solo alcune presentano esigenze di
calcolo rilevanti
MAGIA
MIR
PVLAS
Esperimenti in Commissione 2
Una possibile suddivisione :
Esperimenti con richieste di calcolo “minori”
Borex, Agile
Esperimenti che propongono la realizzazione
di una o piu’ farm locali presso le sezioni
Antares, Auger, Glast, Nemo
Esperimenti che propongono investimenti di calcolo
presso il CNAF
Ams, Argo, Magic, Opera, Pamela, Virgo
BOREX
Status/milestones esperimento
― Avvio presa dati di fisica gennaio 2007
Modello di calcolo per analisi dati e simulazioni
Un cluster di analisi centrale ai LNGS, e' previsto fornire la risorsa di calcolo e
di storage (1 TB/y) piu' importante.
L' architettura e' basata su PC Linux. E' prevista la connessione al sistema di
backup di dati in dotazione al Servizio Calcolo del Laboratorio
Responsabilita' INFN
L' INFN ha la responsabilita' primaria dell' online e dell' offline.
10 ricercatori INFN su un totale di 24 partecipano allo sviluppo e mantenimento
del software.
AGILE
Status/milestones esperimento
― Lancio imminente
Modello di calcolo per analisi dati e simulazioni
Simulazione in Geant4 e Geant3, analisi dei dati in IDL e ROOT.
Risorse necessarie
Un 1.0 TB di spazio disco, storage su nastro per 2 TB
Minima potenza di calcolo richiesta
ANTARES
Status/milestones esperimento
― Obiettivo 6 linee connesse per la fine 2006.
― Iniziata presa dati di test con una linea.
Modello di calcolo per analisi dati e simulazioni
- L’apparato completo di 12 stringhe produrrà circa 1 GBps di raw data
- 1 MBps sarà il flusso di dati filtrati per circa 30 Tbyte/anno immagazzinati a LIONE
- 300-600 Gbyte per anno sarà la quantità di dati dopo il filtro offline in Italia
Risorse necessarie
E’ previsto che Bari e Bologna dispongano di una copia dei dati quindi sono stati
realizzati cluster di dual processor per l’analisi
Responsabilita' INFN
Bologna ha la responsabilità del filtro offline
Bari coordina il WG di astronomia neutrini
Attività dei gruppi italiani nella simulazione e rivelazione di neutrini in acqua
AUGER
Status/milestones esperimento
― 3 occhi in acquisizione, quarto occhio in costruzione building.
― 1200 tanks in acquisizione per fine 2006
― Esperimento in presa dati di fisica
Modello di calcolo per analisi dati e simulazioni
E' stata definita l' organizzazione del calcolo basata su architettura distribuita
che prevede tre siti mirror dedicati allo storage dei dati (Lione CNRS-IN2P3,
FNAL e Buenos Aires) dai quali le Istituzioni partecipanti trasferiscono i dati
alle risorse locali per ricostruzioni ed analisi.
I siti mirror fungono anche da archivio degli sciami simulati
Pianificazione e localizzazione risorse
Si è realizzata in Italia (LNGS) una farm in cui si tiene una copia dei dati di
Lione.
Una seconda farm è stata realizzata presso la sede di Napoli prevalentemente
mirata a simulazioni di canali di interesse specifico della collaborazione italiana.
GLAST
Status/milestone esperimento
― In fase avanzata integrazione satellite, inizio test di volo.
― Lancio previsto 2007
Modello di calcolo per analisi dati e simulazioni
Il modello di calcolo per l’analisi dei dati non è attualmente definito. La
simulazione dell’esperimento è basata su Geant 4 in un framework GAUDI. La
collaborazione italiana è stata fortemente impegnata nel completamento
dell’hardware dell’esperimento.
Risorse necessarie
La collaborazione stima di raccogliere circa 4 TB/anno di dati per un periodo di 5
anni (durata esperimento). Stima le potenze di calcolo necessarie (parte italiana)
intorno a 100 KSI. Prevede di migrare al CNAF.
NEMO-RD
Status/milestones esperimento
― Installazione minitorre imminente
― Installazione torre a 16 piani 2007
Modello di calcolo per analisi dati e simulazioni
Il modello di calcolo per l’analisi dei dati non è attualmente definito. La
collaborazione prevede di realizzare una piccola farm presso i LNS che funga da
storage e data-filtering per i dati raccolti dalle stringhe di test che si stanno
mettendo a punto
Risorse necessarie
Si richiedono 20 TB di spazio disco e una decina di bi-processori, più unità di
backup (in discussione).
ARGO-YBJ
Status/milestones esperimento
―
Inizio presa dati aprile 2006 (104 clusters)
―
Acquisiti dati di test con 16 - 42 clusters
Modello di calcolo per analisi dati e simulazioni
L’esperimento prevede di duplicare i sui dati in due siti (CNAF e Pechino)
Fase 1 – agosto 2006 (?)
I dati raccolti su LTO-1 presso YangBajing vengono inviati al CNAF.
Fase 2
I dati vengono trasferiti via rete da YangBajing al CNAF e archiviati in
CASTOR
Presso il CNAF si procede alla ricostruzione e analisi degli eventi ed al
riempimento dei DB di bookeeping.
I dati prodotti a regime ( 2006 ) sono dell’ ordine di 200 TB/anno
(includendo raw data, dati ricostruiti e simulati) con mantenimento in linea
di un anno per i dati ricostruiti.
E’ in produzione la simulazione di eventi per il 10% degli eventi raccolti in un
anno.
Produzioni più massicce potranno essere realizzate nell’ambito di GRID
ARGO-YBJ
Risorse necessarie
Il Tier-1 del CNAF coprirà il 90-100% delle risorse necessarie. A regime il Tier1
del CNAF sarà il centro principale in Italia di raccolta dati raw dell’esperimento, il
quale svolgerà il ruolo di Tier0. Richiede di allocare spazio disco per 200 TB/anno di
dati e una potenza di calcolo di 400 KSI2000.
La collaborazione ha iniziato la migrazione del software verso GRID, ma prevede di
passare definitivamente a GRID non prima della seconda metà 2007.
E’ l’esperimento di CSN2 con più grosse esigenze di calcolo nell’immediato.
Presso la sede di Roma-3 è disponibile una farm che è stata utilizzata per l’analisi
dei dati raccolti durante i run di test (2004-2005) e per la simulazione di DB di dati
utilizzati per la messa a punto del software di analisi.
ARGO-YBJ
Responsabilità INFN
L' INFN ha la responsabilità primaria dell' offline e inoltre contribuisce alla messa
a punto delle farm Cinesi
16 FTE INFN contribuiscono allo sviluppo del software di analisi
La collaborazione dispone di 0.5 FTE dedicati all’esperimento presso CNAF
PAMELA/WIZARD
Status/milestones esperimento
― Satellite integrato e pronto al lancio
― Lancio imminente (primavera 2006)
Modello di calcolo per analisi dati e simulazioni
I dati trasmessi a terra (NTsOMZ-Mosca ) dal satellite a partire dal momento
del lancio (imminente) saranno 10-20 Gbytes/day
Linea MEPhI-CERN da 100 Mbit/sec sarà utilizzata per trasferire i dati al
CNAF.
Risorse necessarie
Il CNAF verrà usato come centro di archiviazione primario dei dati. Le richieste
di spazio disco/nastri e potenza di calcolo sono minime ( 5 TB/anno e 20
KSI2000). Molta rilevanza riveste l’affidabilità dello storage (CASTOR).
Non prevede un passaggio a GRID.
Responsabilità INFN
L' INFN ha la responsabilità primaria dell’analisi dati
MAGIC
Status/milestones esperimento
― Specchio completato e in acquisizione.
― Proposta secondo specchio in discussione (MAGIC2)
Modello di calcolo per analisi dati e simulazioni
Lo schema del modello di calcolo della collaborazione MAGIC prevede l’utilizzo di un di un
centro di calcolo centrale (CDC). Il compito di questo centro è quello di immagazzinare i dati
e preparare i Data Summary Tapes (DSTs) che vengono poi distribuiti a tutta la
collaborazione. La collaborazione ha identificato come CDC il PIC di Barcellona e sta
migrando i dati da Wuerzburg (Germania), attuale CDC temporaneo a Barcellona. Utilizza il
CNAF come Centro Regionale.
Risorse necessarie
La collaborazione prevede di utilizzare il CNAF allocando 3 TB/anno di dati e impegnando una
potenza di calcolo pari a 20 KSI2000. La collaborazione ha già iniziato una migrazione del
software verso GRID.
Responsabilità INFN
La collaborazione italiana si sta interessando delle simulazioni MC attualmente attestate al
CNAF.
OPERA
Status/milestones esperimento
― Inizio presa dati con 1 SM seconda metà 2006
Modello di calcolo per analisi dati e simulazioni
I dati prodotti dal rivelatore elettronico dell’esperimento sono valutati in 100
Mbyte/s I dati immagazzinati in coincidenza con il beam sono valutati in 100
Gbyte /anno, inclusi i dati di calibrazione
Una piccola Linux farm presso LNGS ( 5 PC dual processor e 1.4 Tbyte disco)
produrrà le predizioni per i brick da rimuovere e immagazzinerà le informazioni in
un Database ORACLE (copia al Cern)
La maggior parte dei dati sarà prodotto dallo scanning in emulsione (circa 100 TB
per le tracce ricostruite in 5 anni). Lo scanning verrà eseguito in 12 laboratori e
strutture distribuite geograficamente, la maggior parte delle quali (8) è
localizzata in Italia.
OPERA
Un database ORACLE raccoglierà i dati dai laboratori locali di scanning. Verrà
utilizzata un’architettura multi-master per permettere di avere simultaneamente
più copie del DB. La collaborazione ha identificato in Lyon/CERN, Nagoya
(Giappone) e CNAF le tre sedi idonee allo scopo.
Risorse necessarie
In relazione allo scanning dei brick nei laboratori Italiani ( Bari, Bologna, Napoli,
LNGS, LNF, Padova, Roma, Salerno) per la ricerca e analisi degli eventi nei brick
si prevedono per la parte Italiana :
40 PC dual processor + 10 Tbyte disco per l’acquisizione ed elaborazione di
immagini in emulsione per i brick + 100 TB LTO per online ed offline storage (raw
data)
Le macchine per l’acquisizione ed elaborazione online di immagini operano in
ambiente Windows.
Data Base ORACLE con 100 TB disco presso il CNAF.
Non si prevede utilizzo di GRID.
OPERA
Responsabilità INFN
La responsabilità dello scanning in emulsione e’ divisa tra Europa e Giappone. L’INFN
ha la responsabilità dei 2/3 dello scanning europeo.
L' INFN ha la responsabilità del coordinamento dell’analisi fisica dell’esperimento
e dello scanning ed analisi in emulsione . Tali responsabilità sono condivise con i
giapponesi.
Inoltre e’ responsabilità INFN lo sviluppo del software per gli spettrometri.
Circa 20 FTE sono coinvolti nello scanning ed analisi in emulsione e circa 10 FTE sono
coinvolti nell’analisi ibrida ( detector + emulsione )
AMS2
Status/milestones esperimento
― Rivelatori pronti per integrazione in satellite
― Problemi lanciatore. Situazione altamente incerta.
Modello di calcolo per analisi dati e simulazioni
La copia primaria del campione dati verrà mantenuta al CERN. Pur non facendo
parte dell’esperimento il CERN ha approvato lo stato di “recognized experiment”
per AMS e mette a sua disposizione spazi, uffici e sistemi di calcolo. Al CERN
verrebbe realizzata una CPF (Central Production Facility) che oltre a mantenere
una copia dei dati si occuperebbe della loro ricostruzione, di una frazione della
simulazione Monte Carlo per l’esperimento e dell’analisi dei dati.
La collaborazione italiana necessita di un Italian Ground Segment Data Storage
(IGSDS) che consenta l’archiviazione dei dati e l’analisi degli stessi, nonchè la
produzione di eventi Monte Carlo.
AMS2
Risorse necessarie
Il gruppo ha individuato nel Centro Regionale in formazione al CNAF il sito
elettivo per la realizzazione dell’ IGSDS.
A fine missione si richiede di poter allocare presso il CNAF 350 TB di dati su
nastro e di disporre di spazio disco per analisi di 40TB.
AMS2
Responsabilità INFN
Il gruppo italiano è fortemente coinvolto nella simulazione e analisi dati
dell’esperimento. Le responsabilità sono molteplici e distribuite in tutte le sezioni
partecipanti all’esperimento. In particolare si segnala la responsabilità di
produrre presso il CNAF il 20% dei dati MC.
VIRGO
Status/milestones esperimento
― Sensibilità da progetto praticamente raggiunta
― Inizio run di fisica imminente. Pressione comunità internazionale.
Modello di calcolo per analisi dati e simulazioni
Acquizione dati online, analisi inline e storage temporaneo al Tier0 di Cascina
[aspettative per ~70 KSpecInt2000 (300GFlops) e 72TB]
Analisi dati offline in ambiente distribuito costituito da:
- Tier1 a Lione (CNRS-IN2P3) per storage di tutti i dati prodotti e calcolo
“leggero”
- Tier1 al CNAF per storage temporaneo (~1 anno) e calcolo “intensivo”
integrato con le risorse da dispiegare nelle Sezioni
VIRGO
Risorse necessarie
Le richieste per l’analisi relative al Tier1 del CNAF e ammontano a 70 TB
necessariamente su disco e di una potenza di calcolo pari a 150 KSI2000.
Il Tier0 di Cascina è realizzato dal consorzio EGO e non “grava” direttamente
sull’INFN.
VIRGO
Responsabilità INFN
31 (20.6 FTE) componenti di Virgo Italia svolgono attività nei seguenti task,
tutti finalizzati ad un uso distribuito delle risorse.
Sezione
Fi
Ur
Na
Pg
Pi
Pers (FTE)
2 (0.75)
3 (1.5)
9 (7.0)
5 (3.2)
6 (4.1)
Rm1
6 (4.0)
Task
Binarie coalescenti
Segnali impulsivi, Binarie coalescenti
Binarie coalescenti
Binarie coalescenti, Analisi dati commissioning
Simulazioni rivelatore, Analisi del rumore,
Algoritmi correlazioni antenne
Pulsar
Esperimenti CSN2: Data Taking
Lancio Glast
1 torre Nemo
Full Auger
1 SM Opera
6 Linee Antares
Run Virgo
Lancio Agile
104 Cl Argo
Lancio Pamela
2006
2007
CNAF
2008
non CNAF
Stima crescita potenza di calcolo necessaria
CPU (KSI2000)
Antares
800
700
600
500
400
300
200
100
0
Auger
Glast
Nemo
Argo
Pamela
Magic
Q1
Q2
Q3
Q4
Quadrimestri
Q1
Q2
Opera
Virgo
Totale
Stima crescita storage necessario
Storage TB
Antares
500
Auger
400
Glast
300
Nemo
200
Argo
Pamela
100
Magic
0
Q1
Q2
Q3
Q4
Quadrimestri
Q1
Q2
Opera
Virgo
Totale
CNAF
Modalità di
accesso
Modalità di utilizzo
Locale
GRID in studio
Tier1
<10
ARGO-YBJ Locale
GRID in studio
Tier0
10-20
MAGIC
Locale
GRID
Tier1
(Tier0)
10-20
OPERA
Locale
(DB Oracle)
Tier0
(multi-master)
>=20
(utenza int.)
PAMELA
Locale
Tier0
>=20
(utenza int.)
VIRGO
Locale
GRID
Tier1
<10
AMS02
Utenza stimata
CNAF
CPU KSI2000
Storage (TByte)
500
700
600
500
400
400
300
200
100
CNAF
300
CNAF
non CNAF
200
non CNAF
100
0
0
2004
2006
2004
2006
Confronto tra le richieste di allocazione risorse al CNAF e non al CNAF da
parte di esperimenti di CSN2 nelle due indagini compiute.
CNAF
Richieste (M€)
Esperimenti
6
1,50
4
2
0
Esp al CNAF
1,00
Esp non CNAF
0,50
0,00
2004
2006
2004
2006
Confronto tra le richieste di allocazione risorse al CNAF e non al CNAF da
parte di esperimenti di CSN2 nelle due indagini compiute.
CNAF
Stime risparmio ottenuto in CSN2 grazie al trasferimento del
calcolo di alcuni esperimenti al CNAF
1500 K€ per le potenze di calcolo richieste
 220 K€ per lo storage su disco
 0.5 – 2.0 M€ robotica per storage di massa
Conclusioni
Si è in prossimità dell’ inizio della presa dati di esperimenti ad “alto” rate di
acquisizione (Argo-Ybj, Virgo).
Quasi tutti gli esperimenti con significative esigenze di calcolo sono
progressivamente migrati verso il Tier1 del CNAF.
Per alcuni esperimenti il CNAF svolge il ruolo di punto principale di raccolta
dati raw (Tier0).
L’utilizzo delle risorse del CNAF avviene prevalentemente mediante accesso
diretto e utilizzo del sistema di code li presente (LSF). Gli esperimenti con
maggiori richieste di calcolo hanno iniziato o stanno per iniziare la migrazione del
loro software su GRID.
Come conseguenza, le richieste di risorse di calcolo per il 2006 pervenute in
CSN2 sono dell’ ordine di 0.4 M€ da confrontare con i 1.2 M€ richiesti per il
2004.