Infrastruttura HPC Cresco
Analisi Preliminare
Riunione CRESCO 3-4-2007
[email protected]
Caratteristiche codici CRESCO
•
•
•
•
•
•
•
•
Codici seriali ( UNIX)
Codici paralleli fortemente accoppiati
Codici paralleli debolmente accoppiati
Più codici paralleli fortemente accoppiati che
interagiscono fra loro ( es. accoppiamento fluido
struttura)
Codici particolari con funzioni molto spinte su alcuni
algoritmi ( es. analisi immagini, genomica)
Data base grandi dimensione
Codici seriali ( windows)
…….
Riunione CRESCO 3-4-2007
[email protected]
Caratteristiche dei dati dei codici
CRESCO
• Accesso ai file di input ed output
– frequenza
– flusso per accesso
• Dimensione della memoria RAM
– visibile direttamente dal singolo nodo
– totale su tutti i nodi
• Data base grandi dimensione
• File grandi dimensioni (maggiori 20GB)
• …..
Riunione CRESCO 3-4-2007
[email protected]
Infrastruttura HPC Cresco
•
•
•
sistema di supercalcolo HPC
sistema di storage ad alte prestazioni
sistema software
–
–
–
–
–
–
•
rete di interconnessione
–
–
–
•
•
•
•
•
software di sistema
software di gestione
middleware ENEA-GRID
software di monitoring
ambienti per lo sviluppo applicativi ad alto parallelismo
software applicativo
alta banda e bassa latenza
alta banda
interconnessioni di servizio
rete di interconnessione alla rete locale
sistema di backup
sistema di sicurezza
sistema di alimentazione e di continuità
adeguamento sistema condizionamento
Riunione CRESCO 3-4-2007
[email protected]
Sistema di supercalcolo HPC (1)
struttura in funzione dei codici
• Codici seriali ( UNIX, Windows)
• Sezione 1 ( dimensionamento preliminare)
•
Codici seriali che necessitano di memoria RAM maggiore di 4 GByte
– Una sezione con almeno 512 core organizzata ad uno o più nodi ad
immagine unica di ciascuno di tipo SMP con almeno 16 Core per
nodo.
– doppia interconnessi in fibra per il calcolo con una rete di almeno
1 Gbit/s;
– una memoria ram di almeno 2 GBit/s per core;
– due dischi almeno da 73GByte;
– predisposizione connessione InfiniBand
• Sezione GRID
•
•
Codici seriali che necessitano di memoria RAM minore di 2 GByte
Su GRID si trovano alcune macchine che soddisfano le condizioni della Sezione 1 ( AIX,
SGI, LinuxSGI)
Riunione CRESCO 3-4-2007
[email protected]
Sistema di supercalcolo HPC (2)
struttura in funzione dei codici
• Codici paralleli fortemente accoppiati
• Sezione 2 ( dimensionamento preliminare)
– Una sezione con almeno 2048 core organizzata con nodi ad
immagine unica di ciascuno di tipo SMP con almeno 8 Core per
nodo, con configurazione 2 socket quad-core
– doppia connessione Gbit ( per ogni 8 core )
– doppia connessione Infiniband 4X ( per ogni 8 core ) ( reti
proprietarie per immagini uniche SMP maggiori di 16 core)
– 1 GByte per core
– Un disco da 73GB SAS (per 8 core)
• Sezione GRID
•
Su GRID si trovano alcune macchine che soddisfano le condizioni della
Sezione 2 ( AIX, LinuxSGI, LinuxCRAY) per parallelismo fino ad un massimo di
192 proc.
Riunione CRESCO 3-4-2007
[email protected]
Sistema di supercalcolo HPC (4)
struttura in funzione dei codici
• Codici paralleli debolmente accoppiati
• Sezione 1 + Sezione 2
–
–
–
–
Una sistema toale con almeno 2560 core
doppia connessione Gbit ( per ogni 8/16 core)
1 GByte per core
Un disco da 73GB SAS (per 8 core)
• Sezione GRID
• Per codici fortemente disaccoppiati si possono sperimentare
anche casi con circa 3000 core.
Riunione CRESCO 3-4-2007
[email protected]
Sistema di supercalcolo HPC (3)
struttura in funzione dei codici
• Più codici paralleli fortemente accoppiati che
interagiscono fra loro ( es. accoppiamento
fluido struttura)
• Soluzioni possibili:
– Partizionando la Sezione 2 (2 codici fortemente
accoppiati)
– Sezione 1 ( codice poco scalabile) Sezione 2
(codice scalabile)
– Sezione GRID codici su più site
Riunione CRESCO 3-4-2007
[email protected]
Sistema di supercalcolo HPC (4)
struttura in funzione dei codici
• Codici particolari con funzioni molto
spinte su alcuni algoritmi ( es. analisi
immagini, genomica)
• Piccola sezione integrata CELLBE ( 8 CPU)
• Data base grandi dimensione
• Storage ad alte performance
Riunione CRESCO 3-4-2007
[email protected]
Sistema di supercalcolo HPC (4)
struttura in funzione dei codici
•
•
•
Codici particolari con funzioni molto spinte
su alcuni algoritmi ( es. analisi immagini,
genomica)
Piccola sezione integrata CELLBE ( 8 CPU)
Data base grandi dimensione
Dischi ad alte performance
Codici seriali ( windows)
4-5 nodi 4 core 64 bit 16 GByte RAM insieme a
nodi di servizio ( Fuori gara)
Riunione CRESCO 3-4-2007
[email protected]
Sistema di supercalcolo HPC (5)
Dischi ad alte prestazioni
• Caratteristiche Funzionali
Il sistema dischi che ha come riferimento una capacità di circa 100 TByte
nominali dovrà avere al minimo le seguenti caratteristiche:
–
–
–
–
–
Capacità nominale minima 120 TByte
Capacita con in configurazione RAID6 96 TByte ( ovvero con due dischi di parità)
Prestazioni di picco minime 3 GByte/s
Prestazioni sostenute minime, con File system GPFS, 2GByte/s
Interfaccie minime: (preliminare)
• n. 8 FC4
• supporto nativo InfiniteBand (IB)
• IB e FC4 devono poter essere inteconnesse allo stesso controller
– Caratteristiche di merito
• Velocità di scrittura e lettura uguali;
• Verifica della parità in scrittura e lettura ( questo è estremamente
significativo per avere un’affidabilità nelle fasi di lettura)
• Livello di degrado delle prestazioni nella fase di ricostruzione del dato
Riunione CRESCO 3-4-2007
[email protected]
Configurazione fisica di massima
Sala Calcolo Portici
Condizionamento 4 x 50 K watt + 1 predisposizione
Dischi (1 Rack)
Rete e servizi ( 3 Rack)
Sezione 1 (4-5 Rack)
Rete
HPC
Rete
LAN
Rete
HPC
Sezione 2 (4-5 Rack)
Backup (1 Rack)
Ingresso
Riunione CRESCO 3-4-2007
[email protected]