Stato del GRID Computing a
Catania
Giuseppe Andronico
Staff
 Centro di Calcolo: Ernesto Cangiano, Carlo
Rocca, Giuseppe Sava, Patrizia Belluomo
 Centro di Calcolo + GRID: Giuseppe
Platania
 GRID: Roberto Barbera, Salvatore
Monforte, Marco Pappalardo, Rosanna
Catania, Antonio Carrieri, Valeria Ardizzone,
Emidio Giorgio, Giuseppe La Rocca
Cagliari, 26/05/2004
Giuseppe Andronico
2
Overview
 Panoramica
 Fabric




Computer Room
Rack
Rete
Computers e Controllo
 Management
 LCFG
 OpenPBS
Cagliari, 26/05/2004
Giuseppe Andronico
3
Parliamo di:
 Panoramica
 Fabric




Computer Room
Rack
Rete
Computers e Controllo
 Management
 LCFG
 OpenPBS
Cagliari, 26/05/2004
Giuseppe Andronico
4
Panoramica
 Development testbed in EDG
 WP1, WP2
 Application testbed in EDG
 Application testbed EGEE, INFNGRID,
GILDA, GILDA CA
 Sito di produzione di ALICE con AliEn
Cagliari, 26/05/2004
Giuseppe Andronico
5
Computing Room oggi
Cagliari, 26/05/2004
Giuseppe Andronico
6
Parliamo di:
 Panoramica
 Fabric




Computer Room
Rack
Rete
Computers e Controllo
 Management
 LCFG
 OpenPBS
Cagliari, 26/05/2004
Giuseppe Andronico
7
Fabric
Sala per il GRID Computing a Catania
Parliamo di:
 Panoramica
 Fabric




Computer Room
Rack
Rete
Computers e Controllo
 Management
 LCFG
 OpenPBS
Cagliari, 26/05/2004
Giuseppe Andronico
9
Computer Room
 Estensione di 200 mq in previsione di LHC
 Parzialmente allestita (modulare)
 Condizionamento:
 2 condizionatori
 Gruppo di continuitá
 Potenza 40 kVA
 Autonomia 25 minuti (7 min a pieno carico)
 Gruppo elettrogeno
 400 kVA (start-up dopo 60 sec dal black-out)
Cagliari, 26/05/2004
Giuseppe Andronico
10
Parliamo di:
 Panoramica
 Fabric




Computer Room
Rack
Rete
Computers e Controllo
 Management
 LCFG
 OpenPBS
Cagliari, 26/05/2004
Giuseppe Andronico
11
Armadi rack: InfraStruXure
 1UPS Symmetra PX 10-40kW, 400V
o 1 Intelligence Modules
o 5 Power Modules da 10kVA/10kW,
N+1 type ridondante
o N Battery Unit hot swap
o 2 Web Management Card
 1PDU con Information Controller e
bypass manuale ed automatico
 10 Rack 42U
 10 Masterswitch  totale 80 prese
monitorate e gestite via IP
 5 Environmental Monitoring Unit
Cagliari, 26/05/2004
Giuseppe Andronico
12
Armadi rack: caratteristiche
 La ventilazione delle porte supera gli 830 pollici
quadrati (5355 cm2) per una ventilazione
adeguata
 Profondità di montaggio regolabile
 Compatibilità garantita
 Porte ventilate con opzioni di raffreddamento
scalabili
 Canali posteriori di sistemazione cavi
 Canali
posteriori
di
distribuzione
dell'alimentazione
 Accesso ai cavi
Cagliari, 26/05/2004
Giuseppe Andronico
13
Armadi rack: caratteristiche
Numerazione delle unità sui montanti
Profondità ottimizzata
Larghezza ottimizzata
Trasportabile su rotelle attraverso una
porta alta 7 piedi
 Viene
spedito
completamente
assemblato
 Selezione semplice




Cagliari, 26/05/2004
Giuseppe Andronico
14
Armadi rack
Cagliari, 26/05/2004
Giuseppe Andronico
15
Armadi rack: management
 Manutenibilità
 Porte ad apertura rapida
 Pannelli laterali ad apertura rapida
 Porte posteriori a due battenti

Adattabilità
 Porte invertibili
 Espansione






Monitoraggio di tutti i componenti

Gestione e monitoraggio del singolo ups
Gestione remota UPS via web
Controllo remoto 80 prese via IP
Notifica via e-mail degli allarmi
File di log degli allarmi con data ed ora
Remote Monitoring Service (12 mesi)
Cagliari, 26/05/2004
Giuseppe Andronico
16
Armadi rack: management
Cagliari, 26/05/2004
Giuseppe Andronico
17
Armadi rack: management
Cagliari, 26/05/2004
Giuseppe Andronico
18
Parliamo di:
 Panoramica
 Fabric




Computer Room
Rack
Rete
Computers e Controllo
 Management
 LCFG
 OpenPBS
Cagliari, 26/05/2004
Giuseppe Andronico
19
Networking: apparati
 1 Master Switch 68 porte
Gigabit
 8 Switch Ethernet
 Numero porte:24
 Tipo porte:GIGABIT
 Velocità di
trasferimento:10/100/
1000 MBPS
 Form factor:RACK 1U
 cavi UTP cat. 6E
Cagliari, 26/05/2004
Giuseppe Andronico
20
Networking: topologia attuale
Fiber
Front-end
router
MASTER
CABLE CAT.6E SWITCH
switch24
disk server
node
CABLE CAT.6E
Cagliari, 26/05/2004
Giuseppe Andronico
21
Networking: futuri sviluppi
 Configurazione di trunking e loadbalancing dappertutto
 Configurazione del Master Switch
come edge-router
 Connessione diretta al PoP di Garr-G
Cagliari, 26/05/2004
Giuseppe Andronico
22
Parliamo di:
 Panoramica
 Fabric




Computer Room
Rack
Rete
Computers e Controllo
 Management
 LCFG
 OpenPBS
Cagliari, 26/05/2004
Giuseppe Andronico
23
I computer
Tipo Processore
Frequenza RAM
Storage
(GHz)
(MByte)
10
Dual Xeon
2.8
2048
40GB
18
2
Dual Xeon
2.4
2048
40GB
2.2T
5
Dual Pentium III
1.4
1024
40GB
8
8
Dual Pentium III
1
1024
30GB
2.2T
14
Dual Pentium III
800 Hz
1024
30GB
Cagliari, 26/05/2004
Giuseppe Andronico
24
I computer: file system server
LVM + reiserfs
sda1
sdb1
(PVs on partitions or whole disks)
diskvg
testlv
datalv
ext3
reiserfs
Cagliari, 26/05/2004
(VG)
---> single mount point
/data
(LVs)
(filesystems)
Giuseppe Andronico
25
KVM
 6 AlterPath Console
Server Cyclades
 1 da 16 porte seriali con
funzionalità master
 5 da 32 porte seriali con
funzionalità slave
Cagliari, 26/05/2004
Giuseppe Andronico
26
KVM: funzionalitá

Accesso tramite 3 metodi:




Console direttamente
connessa al server
AlterPath Console
Telnet/ssh
Browser
Configurazione kvm:


Vi
Wizard

Web Management
Interface (HTTP/HTTPS)
Command Line
Interface (Linux Shell)

Cagliari, 26/05/2004
Giuseppe Andronico
27
KVM: configurazione ed uso
1. Unico indirizzo IP statico per il
master
2. Accesso “in cascata” dal KVM master
ai 5 KVM slave
3. Gestione tramite porte seriali
(115200 bps, 8, N, 1)
Cagliari, 26/05/2004
Giuseppe Andronico
28
KVM: Collegamento terminale
Cagliari, 26/05/2004
Giuseppe Andronico
29
KVM: Collegamento terminale
Cagliari, 26/05/2004
Giuseppe Andronico
30
KVM: Collegamento terminale
Cagliari, 26/05/2004
Giuseppe Andronico
31
KVM: Browser
Cagliari, 26/05/2004
Giuseppe Andronico
32
KVM: Browser
Cagliari, 26/05/2004
Giuseppe Andronico
33
KVM: Security
 SSH v1 e v2
 Local, RADIUS, TACACS+, LDAP, NIS, and Kerberos
Authentication
 Token-based strong authentication (SecurID)
 Local backup user authentication support
 PAP/CHAP authentication (for dial-up lines)
 Dial back support
 IP Packet and Security Filtering
 User Access Lists per port
 System Event Syslog
 IPSec support
Cagliari, 26/05/2004
Giuseppe Andronico
34
KVM: benefits
 Improved availability (dual power supply)
 Secure In-band and Out-of-band Network
Management
 Rock-solid stability (Linux Inside)
 Rack space savings (1U form factor)
 Improved network monitoring
 Flexibility to support existing and future
interface types (PCMCIA support)
Cagliari, 26/05/2004
Giuseppe Andronico
35
Parliamo di:
 Panoramica
 Fabric




Computer Room
Rack
Rete
Computers e Controllo
 Management
 LCFG
 OpenPBS
Cagliari, 26/05/2004
Giuseppe Andronico
36
GRID Management
Configurazione e gestione dei testbed
GRID a Catania
Parliamo di:
 Panoramica
 Fabric




Computer Room
Rack
Rete
Computers e Controllo
 Management
 LCFG
 OpenPBS
Cagliari, 26/05/2004
Giuseppe Andronico
38
LCFG


Struttura centralizzata basata su LCFG:
1. Il server LCFGng crea i profili dei nodi processando i
file
di configurazione. Questi profili vengono
pubblicati via web .
2. Il client legge il profilo dall'URL e si configura gli
oggetti descritti.
TUTTO il sito di Catania e’ gestito da LCFG
Cagliari, 26/05/2004
Giuseppe Andronico
39
Parliamo di:
 Panoramica
 Fabric




Computer Room
Rack
Rete
Computers e Controllo
 Management
 LCFG
 OpenPBS
Cagliari, 26/05/2004
Giuseppe Andronico
40
OpenPBS
 Testbed GRID
 Farm Alice
 Cluster teorici
Cagliari, 26/05/2004
Giuseppe Andronico
41
OpenPBS: testbed GRID
 Server PBS in GRID
 Localizzato sul dal nodo CE
 definisce le 3 code short ,long ed infinite
pubblicate dal CE
 Queste code smistano i job ai 32 WN
 Sull’hardware di nuova concezione
hardware è abilitato l‘hyperthreading
Cagliari, 26/05/2004
Giuseppe Andronico
42
OpenPBS: ALICE farm
 Sullo stesso server PBS è definita una coda
workq non pubblicata
 Solo gli utenti ALICE (tra cui aliprod per
AliEn) possono accedere alla coda
 Devono prima accedere normalmente al CE
e poi sottomettere i job
 Il numero di CPU allocato alle varie code
può essere variato “al volo”, a seconda delle
esigenze di calcolo del momento,
massimizzando così l’utilizzo della farm
Cagliari, 26/05/2004
Giuseppe Andronico
43
OpenPBS: Alice farm
AliEn jobs
Grid queues
Local/AliEn queue
Cagliari, 26/05/2004
Local jobs
Giuseppe Andronico
Grid jobs
44
OpenPBS: ALICE farm
Uso della farm:
PDC04 di ALICE
(in corso!)
Alice::Catania::PBS
Cagliari, 26/05/2004
Giuseppe Andronico
45
OpenPBS: cluster teorici
Tecnica simile verrà presto adottata per il
cluster dei teorici
main
short
medium
long
infinite
infinitePIII
shortPIII
mediumPIII
longPIII
shortATHLON
mediumATHLON
longATHLON infiniteATHLON
shortXEON
mediumXEON
longXEON
Cagliari, 26/05/2004
Giuseppe Andronico
infiniteXEON
46