INFO
Sevizio Centralizzato Informatica e Reti
INFRASTRUTTURA PER IL
CALCOLO SCIENTIFICO DEL Centro
di FRASCATI
Ing. Antonio De Gaetano
[email protected]
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
1
INFO
Sevizio Centralizzato Informatica e Reti
PRINCIPALI RISORSE
• IBM SP
• CLUSTER LINUX
• GRAFICA AVANZATA
• CATIA
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
2
Infrastruttura di calcoloFrascati
INFO
Sevizio Centralizzato Informatica e Reti
BACKUP & DIS.-REC.
SERVER AFS
Mainframe Gest.
Posta el. DNS
IBM-SP
AFS
“enea.it”
LAN
Web
Cluster Linux
SGI-ORIGIN 3200
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
3
CATIA
INFO
Sevizio Centralizzato Informatica e Reti
IBM-SP
Elaboratore General Purpose Massivamente
Parallelo ad architettura DMP (Distributed Memory
Processor) costituito da un insieme di nodi di
calcolo interconnessi tra loro con una rete dedicata
ad alta velocità HPS (High Performance Switch)
• Utilizzato nei principali settori commerciali :
Banche, WEB, gestionale, editoria, database, ecc.
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
4
INFO
Sevizio Centralizzato Informatica e Reti
IBM SP FRASCATI
FRAME 3 SP3
48 GFlops
FRAME 2 9,6 GFlops
FRAME 1 9,9 GFlops
THIN 2
THIN 2
THIN 2
THIN 2
PW3
PW3
THIN 2
THIN 2
PW3
PW3
THIN 2
THIN 2
THIN
THIN
THIN 2
THIN 2
SWITCH
PW3 II
THIN 2
THIN 2
•R50
SWITCH
MEMORY
MEMORY
THIN 2
THIN 2
THIN 2
THIN 2
•R50
SWITCH
SWITCH
PW3 II
MEMORY
SWITCH
MEMORY
SWITCH
SWITCH
LAN
Casaccia, 5, 06,
2002
AFS
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
5
INFO
IBM-SP
Sevizio Centralizzato Informatica e Reti
CARATTRISTICHE DEI NODI
Mod
ARC
Freq.
CPU PfPk
RAM
THIN
POWER2
66 MHz
1
210 MFlops
256 MB
R50
PowerPC
200 MHz
8
1.6 GFlops
2 GB
THIN2
PW2SC160 MHz
PW3
POWER3
200 MHz
2
1.6 Gflops
1 GB
PW3 II
POWER3 II
375 MHz
16
24 Gflops
16 GB
Casaccia, 5, 06,
2002
1
620 MFlops
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
512 MB
6
INFO
375 MHz POWER3 SMP High Node
Sevizio Centralizzato Informatica e Reti
New
7/00
Symmetric Multiprocessor (SMP)
16-way
4-, 8-, 12- or
375 MHz POWER3-II
64-bit
Copper
RIO
1GB - 64GB memory
16 GB
Internal disks
Base node: 2 internal disks, 0 to 72.8GB
Relative OLTP
performance
ƒ
2 X 18 GB
SSA DISC
PCI bus architecture (base node)
One 32-bit bus (one 32-bit slot)
Two 64-bit buses (four 64-bit slots)
Choice of SP Switch and MX2 Adapter or
SPECfp
_rate95 (peak)
ƒ
ƒ
SP Switch2 and SP Switch2
Adapter*
SPECint
_rate95 (peak)
4-way = 81.7
8-way = 163.7
12-way = 242.3
16-way = 319.3
4-way = 1739
8-way = 3418
12-way = 4985
16-way = 6353
4-way = 845
8-way = 1684
12-way = 2523
16-way = 3352
* MX2 and SP Switch2 Adapters do not use PCI
slots.
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
7
System Implementation
L2 Cache
POWER3
L2 Cache
L2 Cache
L2 Cache
POWER3
POWER3
POWER3
Switch
DRAM
Memory
Memory I/O
Controller
BUS-BASED
I/O
DRAM
Memory
I/O
SWITCH-BASED
Supports bus- and switch-based MP bus memory configurations
Superscalar Processor
Floating
Point
Unit
Floating
Point
Unit
Fixed
Point
Unit
Fixed
Point
Unit
Fixed
Point
Unit
LD/ST
Unit
LD/ST
Unit
FPU1
FPU2
FXU1
FXU2
FXU3
LS1
LS2
Branch/Dispatch
Memory Mgmt Unit
Data Cache
Memory Mgmt Unit
Instruction Cache
DU
IU
32 Bytes
BIU
32 Bytes
Bus Interface Unit: L2 Control, Clock
32 Bytes
L2 Cache
1-16 MB
16 Bytes
6XX Bus
INFO
Sevizio Centralizzato Informatica e Reti
SP Switch2
New generation of SP Switch and adapter
Switch throughput increased (3x bandwidth of SP
Switch)
150 to 500MB/sec one-way
300 to 1000MB/sec for bi-directional
Supports only POWER3 and POWER3-II high nodes
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
10
INFO
Sevizio Centralizzato Informatica e Reti
Software Installato Localmente
– S.O. AIX 4.3.3
– XLF 7.1
– XLC 5.0 ( C, C++)
– HPF 1.4
– POE (Parallel Operating Enviroment)
– ESSL
– PESSL
– Client AFS
– LSF
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
11
INFO
Sevizio Centralizzato Informatica e Reti
XLF 7.1
• Supporto F77, F90, F95, OpenMP e
direttive SMP
• Ottimizzazione di alto livello tramite
Interprocedural Analysis
– xlf -c -O5 (ottimizzazione estrema)
• -qnostrict (preserva la sintassi ANSI)
• -qsmp (supporto multiprocessor)
• -q64 (compilazione 64bit nativi)
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
12
INFO
Sevizio Centralizzato Informatica e Reti
Librerie matematiche
• ESSL, PESSL
– Supporto multiprocessor, supporto MPI, BLAS, elevata
ottimizzazione per i processori IBM
• Libreria IBM Libmass disponibile free su
http://www.rs6000.ibm.com/resource/technology/MASS/
– xlf -o code …… -lmass
– particolarmente efficiente per le funzioni intrinseche
sqrt, div, log, exp, sin, cos, tan, etc.
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
13
INFO
Sevizio Centralizzato Informatica e Reti
Parallel Environment
• Supporto MPI, MPI-2
– ottimizzazione in ambiente share memory
– ottimizzato per ambiente con interconnessione
Switch SPS e SPS-2
– poe code -procs np
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
14
INFO
Sevizio Centralizzato Informatica e Reti
debugger
• DBX & PEDBX per codici paralleli
• xlf -c -g code.f ….
– analisi post-mortem
– analisi in modalita’ running (dbx -attach nid)
– comandi di analisi
•
•
•
•
print
run
where
quit (detach in modalita’ running)
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
15
INFO
Sevizio Centralizzato Informatica e Reti
Software SP- FRASCATI
•
LIBRERIE MATEMATICHE :
– NAG
– IMSL
Prodotti:
ABAQUS,
ANSYS,
MCNP,
FLUENT,
MATLAB,
……..
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
16
INFO
Sevizio Centralizzato Informatica e Reti
CLUSTER
LINUX/INTEL
10x IBM PC
Intellistation
Switch Fast eth
LAN
Pentium IV @
1.8 GHz
PC 1
512 MB
RDRAM
PC 2
X2
PCPC
3 (3)
40 GB ATA100
Hard Disk
2x EtherExpress
100 Mb/s
1x GigaEther
PC 10
Monitor, tastiera
e mouse
Rack
Mounted
Console Switch
Cavi tastiera, mouse, monitor (m. 30)
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
17
INFO
Sevizio Centralizzato Informatica e Reti
Rete per servizi di
accesso e monitoring
del Beowulf cluster
CLUSTER LINUX/INTEL
FRASCATI
Configurazione Hardware
10.0.0.*
Rete comunicazioni
internodo codici
paralleli
(Fast Ethernet)
Rete comunicazioni
punto-punto codici
paralleli
(Gb Ethernet)
192.168.1.*
frascati.enea.it
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
18
INFO
Sevizio Centralizzato Informatica e Reti
CLUSTER LINUX/INTEL FRASCATI
Software locale
S. O. Linux RedHat 7.2 (kernel 2.4.7)
AFS: OpenAFS client V1.2.3
Replica
dell’installazione
(semplificata via NFS)
ma maggiore velocita’
di accesso agli
eseguibili di sistema
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
19
CLUSTER LINUX/INTEL
FRASCATI
Configurazione Hardware
INFO
Sevizio Centralizzato Informatica e Reti
Tools di sviluppo
• Compilatori Portland Group
(cc, f77/90, c++, hpf, OpenMP) con MPICH
• Compilatori GNU (gcc, g77, g++)
• MPI LAM V6.5.6
(Ohio Supercomputer Centre)
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
20
INFO
Sevizio Centralizzato Informatica e Reti
CLUSTER LINUX/INTEL
FRASCATI
Configurazione Hardware
Tools di amministrazione e monitoring
• Scalable Cluster Environment
(Kasetsart University in Thailand)
SMILE Cluster Management System
Web/VRML based system monitoring
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
21
INFO
Sevizio Centralizzato Informatica e Reti
CLUSTER LINUX/INTEL
FRASCATI
Configurazione Hardware
Tools di amministrazione e monitoring
• Webmin: Amministrazione e monitoring
via WEB
(www.webmin.com)
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
22
INFO
Sevizio Centralizzato Informatica e Reti
Prestazioni
NetPipe V2.5
• Uno tra i migliori software di test delle
comunicazioni internodo (punto-punto)
• Compilato per usare a basso livello
– TCP/IP
– MPICH
– LAM-MPI
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
23
INFO
Sevizio Centralizzato Informatica e Reti
Casaccia, 5, 06,
2002
Prestazioni
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
24
INFO
Sevizio Centralizzato Informatica e Reti
Casaccia, 5, 06,
2002
Prestazioni
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
25
INFO
Sevizio Centralizzato Informatica e Reti
GRAFICA AVANZATA
FTU experiment
Misure
interferometriche
ENEA
GARR
Node
Olografia 3D
LAN
ENEA
CAMPUS
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
26
INFO
Sevizio Centralizzato Informatica e Reti
SGI™ Onyx® 3000 Series
MACCHINA MASSIVAMENTE
PARALLELA AD ARCHITETTURA
NUMAflex COSTITUITA DA UN
INSIEME DI CPU INTERCONNESSE
TRAMITE ROUTERS R-BRICK
SGI™
Onyx® 3800
(16-512p, 1-16 pipes)
INFO
Sevizio Centralizzato Informatica e Reti
Rack 1
C
C
Rack 2
C
C
C
Rack 3
C
C
C
Rack 4
C
C
C
1
2
3
4
C
C
R
R
C
C
R
R
C
C
R
R
C
C
R
R
C
R-Brick
8-port router
C
C
C
C
C
C
C
C
C
C
C
C
128P System Topology
I-Brick
G-Brick
G-Brick
G-Brick
G-Brick
G-Brick
G-Brick
G-Brick
Power Bay
Power Bay
Minimum (16p) System
Casaccia, 5, 06,
2002
128p System
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
28
INFO
Sevizio Centralizzato Informatica e Reti
System Building Blocks
G-brick
Graphics Expansion
C-brick
CPU Module
R-brick
Router Interconnect
I-brick
Base I/O Module
P-brick
PCI Expansion
X-brick
XIO Expansion
Casaccia, 5, 06,
2002
D-brick
Infrastrutture e Servizi per il
Disk Storage
Calcolo Scientifico
FRASCATI
29
INFO
Sevizio Centralizzato Informatica e Reti
SGI™ Onyx® 3200 4p, 1RM 4 GB RAM
C-Brick
Network
Network
P
BR
G-Brick
P
BR
P
P
XIO+
XIO+ Ports
I-Brick
XIO+ Ports
P,I, or X-Brick
P, I, or, X-Brick
I-Brick
IR Pipe
IR Pipe
C-Brick
G-Brick
Power Bay
System Topology
4p System
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
30
InfiniteReality3™ Graphics
Pipeline
INFO
Sevizio Centralizzato Informatica e Reti
XIO
Geometry
Engine®
4 GE-16
Raster
Manager
RM10
Geometry
Processing
Pixel
Processing
Display
Generator
Video
Processing
Converts
triangle
outline
to dots
Transforms
Triangles
Gets
pixels
to the
outside
world
13 M
Polygons/sec
Inherently
parallel
lighting
DigitalApplies
->
Analogue
conversion
256
MB
Texture
Adding
RM's
adds:
Convolution
2 outputs,
plus
s-video Mem
standard
Frame
Buffer
Converts
pixel formats Mem
Can add
320
MB
Framebuffer
Pixel
Fill
Floating
digital
outputpoint heavy
880
M
Pixels/sec
Does
not increase
6 more
outputs texture memory
3520time
Mdivision
Samples/sec
Casaccia, 5, 06,
Infrastrutture
e Servizi per il
multiplexer
2002
2-8 Outputs
Calcolo Scientifico FRASCATI
(4RMs)
Image credit: Monitor Image of Bay Bridge courtesy of Coryphaeus Software
Second output can be
NTSC/PAL Composite
or S-video
31
INFO
Sevizio Centralizzato Informatica e Reti
File Server AFS
• AIXFS ( IBM F50 + 7133-600) 150 GB SSA
• RS2CED (IBM H70 + 7133-D40) 570 GB
SSA
• 43p (IBM 6H1 + 7133-D40) 180 GB
SSA (RAID 5 +1)
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
32
INFO
Sevizio Centralizzato Informatica e Reti
PROGETTAZIONE
MECCANICA
FRASCATI
CATIA: 4.2 e 5.2 in AFS
multipiattaforma ( IBM, SGI, NT)
•L’utente non è legato alla ws
•Tutti i modelli sono accessibili da tutti i sistemi della cella enea.it e
dal mondo AFS.
•Integrazione con l’ambiente di grafica avanzata (ONYX2) per
analisi 3D, grafica immersiva, ecc.
•AMBIENTE DI LAVORO:
• SGI-ORIGIN 3200 (4 CPU,4 GB RAM),
•5 IBM/RS6K-43P( 1 CPU,512 RAM)
•7 IBM/RS6K-41T(1 CPU,128 RAM)
• IBM/RS6K-43P(2 CPU, 1 GB RAM)
INFO
Sevizio Centralizzato Informatica e Reti
Modalità di utilizzo dei server di calcolo
del C.E.D. di Frascati
INFO
Sevizio Centralizzato Informatica e Reti
Macchine riservate per lavori interattivi
Nome macch.
sp01
sp05
sp11
sp12
sp13
sp14
bw09
bw10
fenf
Arc.
PowerPC
“
Power3
“
“
“
Pentium IV
“
Pentium III
Sist. Oper.
N° cpu
AIX 5.1.0
“
“
“
“
“
Red Hat 7.2
“
“
8
“
2
“
“
“
1
“
2
RAM
Freq.
2 GB
“
1 GB
“
“
“
512 MB
“
256 MB
200 MHz
“
200 MHz
“
“
“
1.8 GHz
“
600 MHz
INFO
Sevizio Centralizzato Informatica e Reti
Risorse di calcolo riservate per lavori batch
sp2
sp3
16 nodi
PW2SC
160 MHz
RAM 512MB
O.S.
AIX 5.1.0
2 nodi
Power3II
375 MHz
RAM 16GB
32 CPU
O.S.
AIX 4.3.3
linux
8 nodi
Pentiun IV
1.8 GHz
RAM 521MB
O.S.
Linux
Red Hat
7.2
INFO
Sevizio Centralizzato Informatica e Reti
Comando per controllare lo stato delle risorse
lsload –R nome delle risorsa report delle macchine di una specifica risorsa
lsload report di tutte le macchine client (LSF) della cella AFS enea.it
lsload frascati report di tutte le macchine client (LSF) di Frascati
Ex. lsload –R linux
INFO
Sevizio Centralizzato Informatica e Reti
Run di un job seriale
Scheduler LSF
Comando bsub
Dal prompt di una Shell Unix di una macchina (AFS – LSF) CLIENT della cella enea.it scrivere:
bsub –R nome della risorsa* –q nome della coda ** my_programm
dove:
* nome della risorsa può essere uguale a (“ sp2, sp3 o linux ”)
** nome della coda può essere uguale a (“ small_10m, medium_2h, large ”).
Ex. Bsub –R sp3 –q medium_2h a.out
INFO
Sevizio Centralizzato Informatica e Reti
Run di un job parallelo (SP2 o SP3)
Scheduler LSF + LOADLEVELER
Parallel environment POE
Script poe.bsub
Dal prompt di una Shell Unix di una macchina (AFS – LSF) CLIENT della cella enea.it scrivere:
poe.sub my_programm nome della risorsa* -inp my_input –out my_out –err my_error
–queue nome della coda ** -procs n***
dove:
* nome della risorsa può essere uguale a (“ -sp2 o -sp3 ”)
** nome della coda può essere uguale a (“ small_10m, medium_2h, large ”).
*** n = 2-16 per sp2 , 2-32 per sp3
Ex. poe.sub a.out –sp3 –queue medium_2h
INFO
Sevizio Centralizzato Informatica e Reti
Run di un job parallelo (Linux)
Scheduler LSF
Parallel environment LAM
Script lam.bsub
Dal prompt di una Shell Unix di una macchina (AFS – LSF) CLIENT della cella enea.it scrivere:
lam.sub my_programm nome della risorsa* -inp my_input –out my_out –err my_error
–queue nome della coda ** -procs n***
dove:
* nome della risorsa deve essere uguale a -linux
** nome della coda può essere uguale a (“ small_10m, medium_2h, large ”).
*** n = 2-8
Ex. lam.sub a.out –linux –queue medium_2h
INFO
Sevizio Centralizzato Informatica e Reti
Comandi per controllare lo stato dei jobs
sottomessi
bjobs lista dei propri jobs in esecuzione o in coda d’attesa
bjobs –u all lista di tutti i jobs
bkill cancella un job in coda
bpeek lista dello standard output
Per ottenere ulteriori informazioni sull’utilizzo dei comandi digitare:
man nome del comando
INFO
Sevizio Centralizzato Informatica e Reti
Ulteriori informazioni
• www.frascati.enea.it
• Presentazione su
• www.afs.enea.it/nino/public
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
42
INFO
Sevizio Centralizzato Informatica e Reti
Casaccia, 5, 06,
2002
Infrastrutture e Servizi per il
Calcolo Scientifico FRASCATI
43