CMS
I Tier2 in CMS Italia
Massimo Biasotto - LNL
M.Biasotto, Roma, 22 novembre 2001
1
CMS
Sommario
 Stato attuale delle farm italiane
 Il Tier2 di riferimento a Legnaro/Padova
 Il servizio di analysis farm da implementare a LNL
 Conclusioni
M.Biasotto, Roma, 22 novembre 2001
2
CMS
Le farm italiane
Tier1
M.Biasotto, Roma, 22 novembre 2001
Tier2+
Tier2
Tier3
3
CMS
Stato attuale
Sezione
# CPU
SI 95
Storage (TB)
Bari
20
840
2.3
Bologna
28
1400
1.6
Catania
4
170
0.3
Firenze
50 (shared: 17)
1900 (shared: 630) 1.7
Legnaro
88
4400
10
Padova
30
1100
2.7
Perugia
16
800
1
Pisa
31
1500
2.4
Roma
25
1100
1.5
Torino
6
280
0.5
Totale
260
12200
24
M.Biasotto, Roma, 22 novembre 2001
4
CMS
Evoluzione 2002
Sezione
SI95 - 2001
SI95 - 2002
Storage-2001 Storage-2002
Bari
840
+300
2.3
+2
Bologna
1400
-
1.6
+2
Catania
170
+300
0.3
+1.2
Firenze
630
+300(?)
1.7
+2(?)
Legnaro
4400
+3000(?)
10
+6
Padova
1100
+1000
2.7
-
Perugia
800
-
1
-
Pisa
1500
-
2.4
-
Roma
1100
?
1.5
+1.5(?)
Torino
280
+200
0.5
+2
Totale
12200
+5100(?)
24
+16.7(?)
M.Biasotto, Roma, 22 novembre 2001
5
CMS
Riepilogo CPU
SI95
8000
7000
6000
5000
2001
4000
2002
3000
2000
1000
0
BA
M.Biasotto, Roma, 22 novembre 2001
BO
CT
FI
LNL
PD
PG
PI
RM
TO
6
CMS
Riepilogo Storage
Storage (TB)
18
16
14
12
10
2001
8
2002
6
4
2
0
BA
M.Biasotto, Roma, 22 novembre 2001
BO
CT
FI
LNL
PD
PG
PI
RM
TO
7
CMS
Layout tipico
N1
FE
N2
NODI DI
CALCOLO
S
W
I
T
C
H
GE
Nx
GATEWAY
DISK
SERVER
 Notevole uniformita’ delle
farm sia nell’architettura che
nel software (grazie anche al
toolkit di installazione)
 Architettura tipica:
– 1 gateway (accesso
esterno, home utenti, sw
applicativo)
– storage centralizzato su 1
o piu’ disk servers in
GigaEthernet
– N nodi di calcolo in
FastEthernet
LAN
M.Biasotto, Roma, 22 novembre 2001
8
CMS
Storage: SCSI / EIDE
 Attualmente:
– EIDE a BO, CT, LNL, PD, PG, PI, TO
– SCSI a BA, FI, RM
 Costo per GB favorevole all’EIDE
– SCSI 22k/GB (HD da 160)
– EIDE 9k/GB (HD da 80)
 In arrivo per gli SCSI HD da 320GB, ma anche per gli EIDE
HD da 160
 I controller RAID per EIDE (3ware Escalade 6000, Adaptec
2400) offrono performance equivalenti agli SCSI nel RAID0
Per il RAID 5 invece rimane la superiorita’ degli SCSI,
specialmente in scrittura (EIDE: ~15MB/s, SCSI: ~45MB/s),
ma la situazione potrebbe evolvere
M.Biasotto, Roma, 22 novembre 2001
9
CMS
CPU
 Attualmente tutte le farm con Intel PIII (tipicamente 1GHz).
Anche negli acquisti in corso si e’ rimasti sul PIII, nella
versione Tualatin con 512MB di cache (a 1.13 o 1.26 GHz)
 Nessuno ha “rischiato” nel provare le alternative (Intel
Xeon o AMD Athlon) che offrono frequenze di clock
maggiori, fino a 2GHz
 A Padova nell’ambito del WP4 di INFNGRID stanno
acquistando alcune di queste macchine: sarebbe
interessante provare il software CMS per verificare se la
maggiore velocita’ teorica corrisponde a reali benefici nella
pratica.
M.Biasotto, Roma, 22 novembre 2001
10
CMS
Network
BO
BA
CT
12Mb
TO
12Mb
12Mb
4Mb
FI
32Mb
GRID
RM
~ 34Mb
28Mb
Gb
16Mb
16Mb
PI
PG
M.Biasotto, Roma, 22 novembre 2001
4Mb
GPOP
PD
LNL
28Mb
PD
~ 10 Gb
11
CMS
Layout Farm LNL
2001
34 Nodes
8 TB
N1
1
N1
2
8
FastEth
FastEth
SWITCH
SWITCH
SWITCH
S1
S10
N24 2001-2-3
up to 190
Nodes
To WAN
34 Mbps 2001
~ 1Gbps 2002
32 – GigaEth 1000 BT
Nx – Computational Node
Dual PIII – 1 GHz
512 MB
3x75 GB Eide disk + 1x20 GB for O.S.
M.Biasotto, Roma, 22 novembre 2001
N1
N24
FastEth
2001
4400 SI95
2001
10 Servers
3 TB
N24
S16
Sx – Disk Server Node
Dual PIII – 1 GHz
Dual PCI (33/32 – 66/64 512 MB
4x75 GB Eide Raid disks (exp up to 10)
1x20 GB disk O.S.
12
CMS
Farm LNL
19” rack (5 kW)
for network
Equipments,
Disks, etc.
max 16 PC (5 kW)
x shelf module
max 64 PC (20 kW)
x shelf (4 modules)
~ 6 KSI95 Now
max 30 1U
PC (10 kW) x rack
~ 3 KSI95 Now
T2+ Rif.
~ 70 KSI95
~ 250 TB
2002
2001
7m
~ 25 TB Now
T2+ Prototype
Max 200 Box
T2+ Evolution
Replacing old shelfs with 19” racks
Max 1000 Boxes
10 m
M.Biasotto, Roma, 22 novembre 2001
13
CMS
M.Biasotto, Roma, 22 novembre 2001
Farm LNL
14
CMS
Espansione Farm LNL
 Acquisti in corso con i finanziamenti 2002 anticipati al 2001:
– 3TB dischi EIDE nei server gia’ esistenti
– ~ 30 PC (computing nodes)
– 3TB dischi SCSI + 3 PC disk-servers
– Tape Library StorageTek L80 LTO (8TB in linea)
finanziata dalla comm. calcolo
 Nei 3 servers con 3TB sara’ installato il DB che raccogliera’
tutte le produzioni fatte (non solo LNL ma tutta CMS Italia)
 Con questo DB si potra’ avviare un servizio di Analysis
Farm, inizialmente per la comunita’ italiana e poi per tutta
CMS.
M.Biasotto, Roma, 22 novembre 2001
15
CMS
Layout farm LNL 2002: produzione + analisi
Production
computing
nodes
N24
N1
N24
N1
N24
N1
FastEth
FastEth
FastEth
SWITCH
SWITCH
SWITCH
32 – GigaEth 1000 BT
Production
servers
M.Biasotto, Roma, 22 novembre 2001
S1
S10
S11 S12 S13
Analysis
computing
nodes
To WAN
34 Mbps 2001
~ 1Gbps 2002
Analysis
servers
16
CMS
La farm di analisi
 Come implementare il servizio di analisi per gli utenti CMS?
 Negli ultimi mesi esperienza limitata (muoni PD + altri) con
account locali per gli utenti: non puo’ andar bene su scala
piu’ estesa
 Servizio su piu’ livelli:
– gennaio 2002 (quando arriva l’hardware): installazione e
creazione del DB
 accesso remoto al DB: AMS su WAN
– gennaio 2002: installazione GDMP
 possibilita’ di copia del DB via GDMP
– inizio 2002: grid tools
 sottomissione remota di jobs di analisi in esecuzione
locale su parte della farm
M.Biasotto, Roma, 22 novembre 2001
17
CMS
Grid tools per la farm di analisi (I)
 Utilizzo dei tools di grid per:
– autenticazione e autorizzazione utenti remoti (certificati
personali, VO LDAP server di CMS)
– sottomissione remota di jobs (WP1 tools, anche senza
Resource Broker)
– data moving (WP2 tools: GDMP, GridFTP, ...)
 Gia’ avviati i test di questi tools, in concomitanza col
Testbed di Datagrid
 In parallelo ed oltre ai test ufficiali per Datagrid, in alcuni
siti CMS/Grid (LNL, PD, BO, ...) prove specifiche per
verificare la corrispondenza dei tools alle nostre esigenze
M.Biasotto, Roma, 22 novembre 2001
18
CMS
Grid tools per la farm di analisi (II)
CMS LDAP
SERVER
REPLICA
CATALOG
SERVER
RESOURCE
BROKER
CNAF
USER
STORAGE
ELEMENT
GATE
KEEPER
COMPUTING ELEMENT
LNL
M.Biasotto, Roma, 22 novembre 2001
STORAGE
ELEMENT
GATE
KEEPER
COMPUTING ELEMENT
PD
--19
CMS
Grid tools per la farm di analisi (III)
 Completati i test, installazione sulla farm
 Inizialmente con numero limitato di utenti. E’ necessario
procedere per gradi perche’ si tratta di una cosa nuova (mai
sperimentata neanche da altri)
– efficienza dei tools in un ambiente reale?
– impatto sulla farm di produzione?
 L’evoluzione successiva dipendera’ naturalmente dai
riscontri via via ottenuti
 Se i risultati saranno positivi si potra’ pensare all’utilizzo
dei grid tools anche per le produzioni
M.Biasotto, Roma, 22 novembre 2001
20
CMS
Conclusioni
 Il modello estremamente
distribuito del calcolo di CMS
Italia rappresenta da una parte un
problema
– necessita’ di sviluppare
efficaci strategie e tools di
coordinamento
 Grid tools, Impala, Boss, ...
 Ma dall’altra una grande
opportunita’
– ampia base di esperienze
 stima rapporto ottimale
CPU/Disco (0.1*e, 0.5<e<1)
 stima rapporto ottimale
Server/Computing nodes (1:7)
– possibilita’ di esplorare
nuove idee
M.Biasotto, Roma, 22 novembre 2001
21