CAPI 2004
8° Workshop sul Calcolo ad Alte Prestazioni in Italia
IL CALCOLO PARALLELO PER LA
MODELLISTICA ATMOSFERICA
M.Pasqui1, B. Gozzini1, L. Ruffo2. G. Giuliani2, G. Maracchi1
1) IBIMET-CNR, Via Caproni, 8, 50145 Firenze e-mail: [email protected]
2) LaMMA-IBIMET, Via Madonna del Piano, 50019 Sesto Fiorentino (FI)
www.ibimet.cnr.it
Laboratorio per la Meteorologia e la Modellistica Ambientale
Progetto Regione Toscana - Unione Europea
Contratto FERS (U.E.) reg. 2081/93
Attuale gestione:
Istituto di Biometeorologia
Campi IBIMET
di applicazione:
- CNR
•
Meteorologia
•
Qualità dell’aria
Servizio
Meteorologico Regionale
•
Climatologia
LaMMA-SKYMED SPA
•
Osservazione della terra
soci: Regione Toscana, Agenzia Spaziale Italiana, Consiglio
• Nazionale
Sistemi
informativi
delle Ricerche, FMA
LEGGE REGIONALE 6 aprile 2000, n. 55
www.lamma.rete.toscana.it
www.lamma.rete.toscana.it
SERVIZIO METEOROLOGICO REGIONALE
 monitoraggio dello stato del tempo atmosferico in atto mediante
osservazioni remote (radar, satelliti, …)
 previsioni meteo per RAI (TG3 e GR1), Web, Comuni, Lago di Bilancino,
giornali, radio locali, UVB, stagionali, …
 fornitura campi meteorologici per l’ARPAT
 supporto alla Protezione Civile con presenza operativa di un previsore
meteo 7 giorni su 7
 sperimentazione di nuove tecnologie per l’osservazione dei fenomeni:
satelliti, pluviometro lineare, …..
22/11/2004
Ogni previsione meteorologica si basa su una
fase di osservazione dell’atmosfera che può
essere di due tipi:
Osservazioni da terra
Osservazioni satellitare
Esigenza servizio operativo: dati in tempo reale
Osservazioni: base di partenza per le previsioni elaborate
utilizzando modelli meteorologici
Modello Meteorologico: modello matematico che, a partire dallo
stato attuale, è in grado di simulare l'evoluzione dell’atmosfera per
un determinato numero di giorni
Esigenza servizio operativo: previsioni in tempi utili ed alto
dettaglio sul territorio
LA CATENA
PREVISIONALE
Rete globale di
rilevazione dati
atmosferici
Centri di elaborazione
dati e produzione
previsioni a scala
globale:
per l’Europa ECMWF
presso Reading, UK
Centri
elaborazione
dati e previsioni
a scala locale
Utenti finali
5
MODELLI GLOBALI
A partire dalla situazione attuale a livello globale effettuano
la previsione di parametri meteorologici per l’intero globo
Modello globale
Dati satellitari
Dati da reti di
rilevamento globale:
stazioni meteo
boe
palloni sonda
Pressione al livello del mare e
geopotenziale 500 hPa
Risol. Oriz. 50/60 Km
Precipitazioni previste (mm/6h)
IL MODELLO RAMS PRESSO IL LaMMA
I Modelli Globali elaborano previsioni sull’intero globo,
ma poco dettagliate (a bassa risoluzione)
Per ottenere previsioni più dettagliate si
impiegano i modelli ad area limitata (RAMS)
che grazie alle informazioni dei modelli
globali forniscono previsioni ad alta
risoluzione
Elaborazioni modello globale
Modello RAMS
LaMMA
GFS/AVN Model
00/12 UTC Run
60 km.
Elaborazioni modello RAMS
Previsioni Meteorologiche richiedono elaborazioni su
domini quadrimensionali: calcolo di stime su milioni di
variabili e trilioni di operazioni per secondo in
virgola.
Maggiore Accuratezza
Aumento esponenziale
numero di operazioni
Maggiore tempo
per l’elaborazione
Enorme potenza di calcolo,
di memoria, di spazio
disco.
22/11/2004
Grid 1 40 kM
Cenni storici
1998
COMPAQ XP900-ALPHASTATION
RAMS 3b
Model Configuration
Grid 2 8 kM
 TWO NESTED GRIDS
 GRID 1: 40x36 points (40 Km), 24 levels.
 GRID 2: 42x52 points (8 Km), 24 levels.
 INITIALIZED with ECMWF-GCM (T319)
12:00 UTC RUN (0.5°X0.5° Resolution)
 FORECAST PERIOD: 72 HOURS
 COMPUTATIONAL TIME: 13 HOURS
22/11/2004
9
Un’unica macchina non riesce a sopperire alle
risorse richieste
Cluster
Dallo sviluppo delle tecnologie di
rete e del sistema distribuito
raggiunti nel 1990
Supercomputer
soluzione disponibile dal
1970
Alta Scalabilità
Alte prestazioni
Alta affidabilità ed efficienza
Tecnologia Proprietaria
Buon rapporto prezzo/prestazioni
Elevati costi
Hardware reperibile da più fonti (costi
Bassa scalabilità
contenuti e facile manutenzione).
Protocolli e librerie standard (software
facilmente reperibile)
22/11/2004
Nostra Scelta
Novembre 2000 - Inizia l’avventura Cluster
... l’avventura continua (febbraio 2001)
2000
BELLEROFONTE
17 PC Linux Cluster
• 10 PIII/800 MHz
• 7 PIII/1 GHz
• 1 Switch 3COM 3300 24 porte a
100Mb/s
MASTER
Node
SWITCH
•PIII-800 Mhz
•512 Mbyte RAM
•80 GByte HD
•Linux Red Hat 6.2 with
Kernel 2.2.14
•PIII 800/1000 Mhz
•256 Mbyte RAM
•20 GByte HD
•Linux Red Hat 6.2
with Kernel 2.2.14
MASTER
Node Node Node Node Node Node Node Node Node
Node Node Node Node Node Node Node Node
Conceptual
Scheme #1
BELLEROFONTE
Linux Cluster
RAMS
MPICH
Linux Red Hat
Tipologia di diagramma di flusso del cluster
Conceptual Scheme
#2:
Domain Decomposition
BELLEROFONTE
Linux Cluster
Esempio:
10 PC - Linux Cluster
Il processo computazionale seriale viene
scomposto in:
• 1 processo master: inizializzazione e
I/O
• 9 processi node/compute: calcolo
effettivo
Domain decomposition: rappresenta la
strategia di distribuzione del carico
computazionale sui nodi di calcolo
presenti.
Ogni Nodo comunica con i Nodi adiacenti
scambiandosi le righe di overlap dei
subdomain ad ogni timestep della
simulazione.
Il
Subdomain
RAMS è stato sviluppato per
architetture con memoria distribuita, ma
possiede un’elevata efficienza di calcolo
anche su architetture con memoria
condivisa.
IL MODELLO RAMS presso il LaMMA 2000
CENTRO EUROPEO PER LE PREVISIONI A
MEDIO TERMINE
20 km.
MODELLO GLOBALE ECMWF
ECMWF Model
12 UTC Run
60 km.
LaMMA
“Bellerofonte”
Cluster Linux
22/11/2004
4 km.
RAMS Operativo “Toscana”
Wall Time (I/O + Sys)
Wall Time (I/O)
Crescita comput.
Spin-up
Wall Time (Comp.)
Configurazione Operativa RAMS
20 Km
2000
4 Km
TEMPISTICA DI BELLEROFONTE
Ore 1:00 dati modello ECMWF (12 UTC) disponibili al LaMMA
Ore 1:00 parte in cascata la run del modello RAMS
Km
Ore 7:00 4escono
le previsioni relative alle prime 24 ore
Ore 8:00 quelle per domani (24-48)
Ore 9:00 quelle di dopodomani (48-72)
2 Griglie innestate (Two-Way nesting)
“Specifiche Griglia 1”
• 100x97 punti griglia, 26 liv. Vert., 11
liv. suolo
• r.o. 20 Km, r.v. 50m < Z < 1000m,
• Simulaz. giorn. a + 60h.
• Circa 6 min per 1 ora di previsione
“Specifiche Griglia 2”
• 90x97 punti griglia, 26 liv. Vert.,
11 liv. suolo
• r.o. 4 Km, 50m < Z < 1000m,
• Simulaz. Giorn. a + 60h.
• Circa 6 min per 1 ora di previsione
RAMS Operativo “Toscana”
9.00
Total Elapsed Time
8.50
Total Elapsed Time [hour]
8.00
7.50
7.00
6.50
6.00
Grazie a nuovi flags di compilazione
5.50
5.00
27/02/2002
01/03/2002
03/03/2002
05/03/2002
07/03/2002
09/03/2002
Date
11/03/2002
13/03/2002
15/03/2002
17/03/2002
DESMO
2003
L’attuale Cluster è costituito da 21 nodi di calcolo e da un Master che svolge
anche la funzione di Server I/O fornendo tutti i servizi di rete di cui necessitano i
vari nodi
Software:
 S.O. RedHat Linux 9C
 Kernel 2.24.26 smp
 gcc 3.2.2-5
 MPICH 1.2.5
Il cluster aderisce al modello
Beowulf
 Intel PGHPF90 5.2-1
 Nodi bi-processore AMD Athlon ™
 Master processore AMD Athlon ™
MP 2400 - 2,4GHz
 RAM 512 MB
 2 Hard Disk SCSI da 72GB
 Schede rete 3COM: 100BaseTx,
1000BaseTx
 Scheda rete Intel Pro 100
 MP 2400 - 2,4GHz
 RAM 512 MB
 Hard Disk EIDE 30GB
 Schede rete 3COM: 100BaseTx,

1000BaseTx
22/11/2004
CAMPI PER INIZIALIZZAZIONE
MODELLO RAMS
Orografia: U.S. Geological
Survey (USGS). risoluzione
orizzontale spaziale di circa
1 Km;
“land use”: U.S. Geological
Survey (USGS). risoluzione
nominale di 1 Km, è basato
sul sensore AVHRR
temperatura
superficiale
del mare derivata dal
sensore AVHRR/NOAA. La
risoluzione a terra dei dati è
di 4 km
Dati GFS modello globale
AVN run 00/12, risoluzione
50 Km
2003
CONFIGURAZIONE OPERATIVA DI RAMS
2003
Prima griglia (184x120) copre
tutto il Mediterraneo e usa la
parametrizzazione convettiva KF
Seconda griglia (158x178) copre
l’intera penisola e usa la
parametrizzazione convettiva KF
Terza griglia (158x178) centrata
sulla Toscana e non usa nessuna
parametrizzazione convettiva
Doppia run al giorno (00 e
12 UTC)
Risoluzione verticale da 50 metri vicino al suolo a 1,2 km al top, con 36 livelli totali.
SCHEDA: le griglie di RAMS Operativo “Toscana”
Griglia 1 (32 Km):
1. 184 x 120 punti griglia, 36 livelli verticali, 11 livelli di suolo.
2. Risoluzione spaziale orizzontale: 32 km.
3. Risoluzione spaziale verticale: da 50 m fino a 1100 m,
con un fattore di stretching di 1.125.
4. Time-step: 90 sec.
5. Parametrizzazione convettiva attivata
Griglia 2 (8 Km):
1. 158 x 178 punti griglia, 36 livelli verticali, 11 livelli di suolo.
2. Risoluzione spaziale orizzontale: 8 km.
3. Risoluzione spaziale verticale: da 50 m fino a 1100 m,
con un fattore di stretching di 1.125.
4. Time-step: 90/4 sec, NNDRAT = 4
5. Parametrizzazione convettiva attivata.
Griglia 3 (2 Km):
1. 158 x 178 punti griglia, 36 livelli verticali, 11 livelli di suolo.
2. Risoluzione spaziale orizzontale: 2 km.
3. Risoluzione spaziale verticale: da 50 m fino a 1100 m,
con un fattore di stretching di 1.125.
4. Time-step: 90/16 sec, NNDRAT = 16
5. Nessuna parametrizzazione convettiva.
2003
Le nuove griglie
RAMS: la catena operativa
2003
SCARICO DATI DA AVN (RUN 00): dati disponibili ore 05:00
1° RUN
2-WAY NESTING
32 km.
Prev. 72 H
Tempi: circa 6 ore
2 volte al giorno
8 km.
2° RUN
2-WAY NESTING
8 km.
Prev. 48 H
Tempi: circa 6,5 ore
1 volta al giorno
DOPPIA RUN DATI AVN (run 12):dati disponibili ore 17:00
22/11/2004
2 km.
CONFIGURAZIONE DEL
MODELLO RAMS PRESSO IL LaMMA
Esempi di alcune variabili a
diverse risoluzioni:
• vento a 10 metri (m/s)
• pioggia (mm)
• nuvolosità
2003
ATTUALE CONFIGURAZIONE
OPERATIVA DI RAMS
Prima griglia (200x172), 35
livelli verticali, 11 livelli di suolo,
risol. orizzontale: 20 km.
Risoluzione verticale: da 50 m
fino a 1100 m, con un fattore di
stretching di 1.133.
Time-step: 60 sec.
Parametrizzazione convettiva
attivata (Kain - Fritsch).
Seconda griglia (180x134), 36
livelli verticali, 11 livelli di suolo,
risol. orizzontale: 6.5 km.
Risoluzione verticale: da 50 m
fino a 1100 m, con un fattore di
stretching di 1.125.
Time-step: 20 sec.
Parametrizzazione convettiva
attivata (Kain - Fritsch).
2004
ATTUALE CONFIGURAZIONE
OPERATIVA DI RAMS
Esempi di alcune
variabili a diverse
risoluzioni:
• vento a 10 metri (m/s)
• pioggia (mm)
• nuvolosità
2004
MODELLO METEOROLOGICO RAMS
2004
I tempi della catena operativa
SCARICO DATI
DA AVN (RUN 00):
dati disponibili
ore 04:00
Tempo di scarico
via FTP 10 min.
Tempi di calcolo:
20 km 40 minuti per 24 ore
6,5 Km 72 minuti per 24 ore
04:10 circa: inizio run
05:40 circa: 20 km 3 giorni
DOPPIA RUN
DATI AVN (12):
dati disponibili
ore 16:00
08:30 circa: 6,5 km 2 giorni
dati su web e per
modelli in cascata
dati su web e per
modelli in cascata
22/11/2004
Svantaggi Soluzione
Cluster
Amministrazione più onerosa di quella di un singolo sistema
In fase di studio sistema di
monitoraggio dello stato di
“salute di rete” automatico
Procedure di installazione e
aggiornamento automatico
Dati
Analisi dei
Sniffer
Registrazione
Dati
dati
e-mail
22/11/2004
grafici
Scopo: analisi delle grandezze caratteristiche del
protocollo TCP per l’individuazione e/o risoluzione dei
ritardi lungo tutta la catena operativa
Analisi dati
raccolti
risultati grafici
Latenza
Congestione switch
Traffico pkt/sec
22/11/2004
Traffico byte/sec
CHE FINE HA FATTO IL VECCHIO BELLEROFONTE?

La piattaforma è ancora utilizzata dopo 4 anni !!

Master kernel 2.6.9 con 3 dischi SCSI 18 GB ed 1 disco EIDE 80 GB.

16 nodi calcolo diskless kernel 2.6.9 con immagine NBI 64MB
etherboot e tftp, montano in NFS la directory HOME del master.

Rete 100Mb tra i nodi con il master con 2 interfacce in bonding.

Prestazioni superiori del 50% rispetto alla versione originale del
cluster grazie agli sviluppi del solo software !

Utilizzato operativamente per i modelli marini WAVEWATCHIII e
ROMS e per provare le nuove versioni di compilatori, middleware e
modelli.

La scelta del “modello” cluster è vincente anche in termini di aumento
del tempo di vita operativa delle piattaforme.
Nuova Struttura Catena Operativa
 Struttura di memorizzazione centralizzata (MSA1000).
 Nuova macchina di visualizzazione ed elaborazione risultati RAMS, collegata
ai dischi di memorizzazione e con un numero di utenti ad accesso limitato.
 2 Cluster operativi (Desmo e Desmo2) con Master dotati di porte ottiche in
modo che la comunicazione con i dispositivi di memorizzazione avvenga
attraverso fibra ottica
 1 Bellerofonte come Cluster di sviluppo
22/11/2004