Stato della farm di COMPASS-TS
CSNI
Castel Gandolfo, 11 settembre 2001
Benigno Gobbo
INFN Trieste
[email protected]
11 settembre 2001
CSNI
Benigno Gobbo – INFN Trieste
1
Stato dell’ Hardware

Farm 2000







11 PC Client (2PIII @800 MHz, 2x20 GB EIDE disks, 256 MB RAM)
PC Server EIDE (2PIII @700, 2x15 GB sys, 14x75 GB data, 512 MB)
2 PC User & Test (2PIII @800, 2x30 GB disks, 512 MB RAM)
1 Sun (SparcIII &750, 18 GB SCSI disk, 512 MB RAM)
RAID 5 controller + 8x73 GB SCSI disks
Infrastrutture di rete e di gestione
Componenti ordinati nel 2001
 PC Server EIDE ( 2PIII @800, 2x20 GB sys, 20x80 GB data, 512 MB)

20.217 CHF ( + 2.500 CHF 3 anni di garanzia “on-site” ) (+ spese doganali)
 Upgrade PC Server EIDE (6x80 GB EIDE disks+trays)

3858 CHF (+ spese doganali)
 19 PC Client (2PIII @1000 MHz, 2x40 GB EIDE disks, 512 MB RAM)

2.432.500 + IVA l’uno
 Ampliamento infrastrutture di rete e gestione

11 settembre 2001
4.380.000 + IVA
CSNI
Benigno Gobbo – INFN Trieste 2
Stato dell’ Hardware (cont.)

Da Ordinare





Tape Library Ultrium (LTO) con 2 drive
LTO tapes
Switch gigabit ad almeno 6 porte
Upgrade Sun (+SparcIII @750, + 18 GB SCSI disk)
Upgrade di memoria a 512 MB per client vecchi
11 settembre 2001
CSNI
Benigno Gobbo – INFN Trieste 3
Hardware
11 settembre 2001
CSNI
Benigno Gobbo – INFN Trieste 4
Stato del Software

OS ed applicativi installati
 RedHat 6.2 con kernel 2.2.19-6.2.7 ( RedHat 7.2 da ottobre, se release OK e
CERN certification)






OpenAFS 1.0.4
OpenSSH 2.3.0 (da Caspur)
Printing software: CUPS 1.1.9-0
Monitoring Software: Big Brother 1.8
Load management: Sun Grid Engine 5.3 (alpha release)
Gcc 2.95.2

In test su un nodo: kernel 2.4.5, gcc 3.0
 CERN Software

ANAPHE 3.6.1



CERNLib 2001
CASTOR 1.3.3.0


Utilizziamo: Objectivity/DB 6.1, ConditionsDS 2.2.0, CLHEP 1.6.0.0
In test su un nodo: installazione del sw ASIS (CERNLib+CASTOR) locale mediante rpm
ROOT 3.01.02
 COMPASS Software



11 settembre 2001
CORAL (programma di ricostruzione)
COMGeant (sumulazione)
DATE (software DAQ da ALICE)
CSNI
Benigno Gobbo – INFN Trieste 5
Stato del Software (cont.)
Farm Monitoring: Larrd su BB
11 settembre 2001
CSNI
Benigno Gobbo – INFN Trieste 6
Attività sulla Farm

Test di performance di accesso simultaneo ad un federated
database Objectivity/DB
 Ottimizzazione dello schema di riscostruzione con CORAL
 Fino ad 11 client su server EIDE. Accesso via AMS

Sviluppati:




Script Perl di configurazione dei test e sottomissione dei processi via ssh
Programmi in C++ per popolazione/accesso dei DB
Script Perl per creazione, spostamento, cancellazione delle federazioni
Accesso remoto al DB delle condizioni
 Implementazione della possibilità di run di CORAL locale
 Utilizza Remote Method Invocation di Java


DB nella CCF (CERN), accesso da ACID (Trieste)
Idea: Programma di ricostruzione (CORAL, scritto in C++) gira su ACID
ed accede al DB delle condizioni su CCF.


11 settembre 2001
Prima realizzazione: client, server in Java
Poi: accesso con programma C++ via Java Native Interface
CSNI
Benigno Gobbo – INFN Trieste 7
Attività sulla Farm (cont.)

Alcuni risultati
 Simulazione del processo di ricostruzione di CORAL dal punto di
vista del traffico su LAN da e verso DB

Ottimizzazione del numero di processi client (CORAL) per server sia in
scrittura verso DB che in lettura da DB.
 Ottimizzazione del Page Size

“Strano” andamento delle performances in funzione del Page Size.
Confermato anche da altri test. Da investigare…
 Fattibilità del run di CORAN su ACID prelevando le condizioni da
CCF

Allo startup:





11 settembre 2001
Determinazione della finestra temporale di validità dei dati da analizzare
Richiesta da ACID di tutte le condizioni necessarie relative all’intervallo
Raccolta in CCF delle calibrazioni necessarie
Trasferimento verso ACID delle calibrazioni
Run locale di CORAL
CSNI
Benigno Gobbo – INFN Trieste 8
Attività sulla Farm (cont.)
Test di lettura, Page Size 8192
AMS CPU Usage
usage (%)
Running Readers
22
20
18
16
14
12
10
8
6
4
2
0
0
1000
2000
3000
system
user
200
180
160
140
120
100
80
60
40
20
0
0
4000
1000
2000
3000
4000
time (s)
time (s)
Server Speed
IN
OUT
30.0
MB/s
Data MB
Server Network Traffic
25.0
20.0
20
18
16
14
12
15.0
10
8
10.0
6
5.0
4
2
0.0
0
1000
2000
3000
0
4000
0
time (s)
2
4
6
8
10
12
14
16
18
20
22
Number of Readers
Ogni cliente legge da un diverso DB (da 1.9 GB)
11 settembre 2001
CSNI
Benigno Gobbo – INFN Trieste 9
Attività sulla Farm (cont.)
Test di performance in lettura da più container
Page Size 16384
Page Size 8192
Running readers
Running readers
12
10
8
6
4
2
0
12
10
8
6
4
2
0
0
200
400
600
0
200
400
600
time (s)
time (s)
Server speed
MB/s
MB/s
Server speed
10
8
10
8
6
6
4
4
2
2
0
0
0
1
2
3
4
5
6
7
8
9
10 11
0
Number of readers
1
2
3
4
5
6
7
8
9
10 11
Number of readers
Confronto tra FDB con Page Size 8k e 16k. Ogni client legge un diverso container nello stesso DB (da 1.9 GB)
11 settembre 2001
CSNI
Benigno Gobbo – INFN Trieste 10
Attività sulla Farm (cont.)

Attività iniziate
 Produzione MC e loro analisi con CORAL per la misura di h1


15 g presa dati  ~ 40 M eventi “buoni”
Per produzione, storage ed analisi di circa 106 eventi



Produzione: 3.9 s/evento  1080 h CPU time  ~50 h su farm attuale (~20 h su 30 nodi)
Storage: 90 kB/evento  90 GB disco
Analisi con CORAL: 2 s/evento  560 h CPU time  ~25 h su farm attuale
 Proseguimento sviluppo software di ricostruzione (CORAL)

Test di creazione, lettura ed update di DST da raw data
 Proseguimento sviluppo software di ricostruzione del RICH1

Test su MC e su Dati

Anche qui serve produzione di MC “ad-hoc”
 Test software su piattaforme eterogenee (non possibile sulla CCF)



Ricerca eventuali bugs del compilatore
Test endianess
…
 Sviluppo ed installazione tools per ripartizione della processatura sulle varie
macchine
11 settembre 2001
CSNI
Benigno Gobbo – INFN Trieste 11
Attività sulla farm (cont.)

prossimo futuro
 Processing dati RAW per test specifici (RICH1 in particolare)

Allo stato attuale, visti i tempi di event processing, la CCF del CERN
risulta sottodimensionata
 Analisi (m)DST prodotti (qui ed al CERN)
 Produzione massiccia di MC e loro analisi per h1
 Proseguimento test colloquio ACID  CCF

Nel 2002
 Studio risposta del RICH1
11 settembre 2001
CSNI
Benigno Gobbo – INFN Trieste 12