CESI Modelli numerici ed applicazioni ai corpi idrici della fluidodinamica ambientale CAPI ‘04 Milano, 24/25 Novembre 2004 R. Guandalini Area Studi Territoriali ed Ambientali Pianificazione Risorse Idriche E-mail : [email protected] web : www.cesi.it L’esperienza del CESI (1) Il CESI ha raccolto e consolidato l’esperienza e la tradizione di diverse realtà produttive e di ricerca (CISE, ENEL-DSR, CRIS, ISMES) nel campo della modellistica fluidodinamica e strutturale, realizzando nell’Area Studi Territoriali ed Ambientali una completa sinergia tra i comparti acqua, atmosfera e territorio. In questo ambito, il gruppo di Pianificazione delle Risorse Idriche si pone come riferimento per lo studio e la risoluzione delle problematiche legate all’uso della risorsa idrica, prevalentemente riferite ai corpi idrici superficiali, mediante l’utilizzo della simulazione numerica avanzata. L’attività di servizio per terzi non ha impedito l’attività di ricerca, anzi ha meglio finalizzato lo sviluppo di codici proprietari e di modelli avanzati, anche nell’ambito della Ricerca di Sistema Elettrico CESI CAPI’04 * 24/25 Novembre 2004 L’esperienza del CESI (2) L’analisi fluidodinamica mediante modelli numerici supporta le Valutazioni di Impatto Ambientale per diverse tipologie di impianti (dissalatori, raffinerie, centrali idroelettriche e termoelettriche, piattaforme petrolifere, gassificatori, dighe) affronta problemi di sostenibilità ambientale (qualità delle acque, erosione dei fondali e delle coste, effetti di flussi idrodinamici forzati, rispetto delle normative, interazione con manufatti) è parte essenziale in studi di caratterizzazione biologica di particolari ambienti (lagune, sistemi idraulici complessi, laghi) è utilizzata per l’addestramento di sistemi di previsione e di controllo operanti in tempo reale CAPI’04 * 24/25 Novembre 2004 CESI I modelli numerici per lo studio dei corpi idrici (1) Caratteristiche dei modelli sono basati sulle equazioni di Navier-Stokes, integrate dall’equazione della superficie libera, dalle equazioni di stato, dalle equazioni scalari per la diffusione termica e di sostanze inquinanti utilizzano diversi approcci modellistici 2-D e 3-D (elementi finiti, volumi finiti, differenze finite) includono modelli di turbolenza a diversi livelli di scala (parametri costanti, modello di Prandtl, k-) CAPI’04 * 24/25 Novembre 2004 CESI I modelli numerici per lo studio dei corpi idrici (2) Interazione con i parametri ambientali considerano l’interazione con i parametri ambientali quali vento, irraggiamento, scambio termico con l’atmosfera, marea, sessa Aeronautica Militare - Stazione meteorologica di Genova Frequenze medie annuali di vento 0-1 nodi 2-4 nodi 337.5 - 360.0 5-7 nodi 8-12 nodi 0.0 - 22.5 80 13-23 nodi >23 nodi 22.5 - 45.0 70 315.0 - 337.5 60 45.0 - 67.5 50 40 292.5 - 315.0 67.5 - 90.0 30 20 10 270.0 - 292.5 0 90.0 - 112.5 247.5 - 270.0 112.5 - 135.0 225.0 - 247.5 135.0 - 157.5 202.5 - 225.0 157.5 - 180.0 180.0 - 202.5 CAPI’04 * 24/25 Novembre 2004 CESI I modelli numerici per lo studio dei corpi idrici (3) Principali vantaggi (suggeriti dall’esperienza) duttilità nella rappresentazione dei fenomeni, possibile a diversi livelli di complessità di rappresentazione piena scala. Nessuna necessità, rispetto a modelli fisici costosi e realizzabili solo presso laboratori attrezzati, di operare in scala ridotta simulazione dei fenomeni anche per lunghi periodi e su domini di grandi dimensioni, rispetto alle misure in campo, molto costose su larga scala e per lunghi periodi simulazione dei diversi aspetti di un problema ambientale connettendo diversi modelli numerici in cascata (idrodinamica, qualità delle acque, evoluzione di componenti biologiche) CESI CAPI’04 * 24/25 Novembre 2004 I modelli numerici per lo studio dei corpi idrici (4) Principali svantaggi (suggeriti dall’esperienza) complessità crescente al crescere del dettaglio di simulazione e del numero delle variabili indipendenti, con aumento della potenza di calcolo necessaria necessità e costi di una manutenzione specialistica delle diverse versioni (sequenziale, parallela) su diverse piattaforme di calcolo, conseguente agli inevitabili aggiornamenti e miglioramenti modellistici uso spesso possibile solo ad un utilizzatore specializzato con una conoscenza approfondita sia dei problemi che degli algoritmi di simulazione CAPI’04 * 24/25 Novembre 2004 CESI Come mantenere i vantaggi e ridurre gli svantaggi? (1) Gli obiettivi ed i vincoli aumento delle prestazioni, con possibilità di studiare problemi più ampi e complessi, riducendo il tempo di esecuzione massima portabilità sulle diverse piattaforme, allo scopo di minimizzare l’impatto del turn-over e del diverso sistema operativo delle macchine, spesso legato a scelte aziendali ambiente software standardizzato, in modo da garantire la minimizzazione dei costi di sviluppo e manutenzione, e la massima sinergia tra i diversi approcci modellistici CAPI’04 * 24/25 Novembre 2004 CESI Come mantenere i vantaggi e ridurre gli svantaggi? (2) Le soluzioni approccio parallelo, allo scopo di aumentare le dimensioni del calcolo e ridurre i tempi realizzazione di un unico interfaccia grafico, in ambiente Visual Tcl/Tk operativo sulle diverse piattaforme, che si fa carico di gestire automaticamente i dati di ingresso, la gestione ed il controllo del calcolo, l’analisi dei risultati “porting” di tutto il software in Fortran 2000, eliminazione di librerie non standard, sostituzione delle routine di sistema con le corrispondenti funzioni intrinseche del linguaggio (routine del tempo, funzioni di interrogazione del sistema) CAPI’04 * 24/25 Novembre 2004 CESI Esperienze di calcolo parallelo (1) Considerazioni preliminari i problemi tipicamente affrontati (tratti fluviali o reti di canali da poche centinaia di metri a qualche decina di km, laghi o aree marine da qualche kmq ad un centinaio di kmq) presentano domini irregolari per forma e fondali, presenza di strutture civili ed industriali che richiedono un alto livello di discretizzazione spaziale e temporale le dimensioni del calcolo possono raggiungere i 150000-200000 nodi spaziali, e l’analisi in transitorio può interessare periodi di parecchi giorni con passi temporali dell’ordine di pochi secondi CAPI’04 * 24/25 Novembre 2004 CESI Esperienze di calcolo parallelo (2) Esperienze con PVM, MPI, HPF per la maggior parte dei codici è stata in passato realizzata una versione PVM o MPI sono state fatte esperienze come “end user” anche in ambito europeo (progetti PARADISE e PCECOWATER) per ottimizzare le prestazioni è stata fatta una valutazione di portabilità in HPF nell’ambito del progetto europeo PHAROS vi è un problema di compatibilità tra le installazioni su diverse piattaforme CAPI’04 * 24/25 Novembre 2004 CESI Esperienze di calcolo parallelo (3) Conclusioni le caratteristiche del calcolo fluidodinamico (rapporto operazioni/IO) e l’alta velocità raggiunta dai processori rispetto ai tempi di trasferimento dati mostrano una scalabilità fino al max a 8 processori, e speed up ottimale fino a 4 processori (2.8-3.5) il costo di aggiornamento e manutenzione di versioni parallele PVM/MPI è alto rispetto alle prestazioni ed alla manutenzione di una versione sequenziale per avere buone prestazioni è necessario (in HPF indispensabile) ristrutturare la gestione dei dati, già di per sé complessa; occorrono competenze specialistiche non sempre presenti in una struttura produttiva CAPI’04 * 24/25 Novembre 2004 CESI Esperienze di calcolo parallelo (4) Il progetto INTONE: finalità Il CESI ha partecipato al progetto europeo INTONE (INnovative TOols for Non-Experts) per la definizione e realizzazione di un ambiente di sviluppo integrato per la parallelizzazione ed ottimizzazione in ambiente Open-MP 2.0 di codici di calcolo di tipo industriale da parte degli stessi utenti finali l’ambiente INTONE include il compilatore Fortran, il compilatore C, le librerie runtime, l’analizzatore di performance Vampir, il “performance assistant” per la ottimizzazione ed un “cluster programming system” per l’uso su cluster di macchine shared memory è liberamente scaricabile dal sito www.cepba.upc.edu/intone CAPI’04 * 24/25 Novembre 2004 CESI Esperienze di calcolo parallelo (5) Il progetto INTONE: risultati i codici di fluidodinamica proprietari sono stati parallelizzati includendo le direttive Open-MP viene aggiornata una sola versione sorgente del codice, in grado di essere eseguita sia sequenzialmente che in parallelo le prestazioni in termini di speed up sono leggermente inferiori rispetto ad una versione MPI, ma non occorrono ristrutturazioni del codice, e comunque dipendono dal livello di parallelizzazione sono disponibili su piattaforme Windows, Unix, Linux ed Irix CAPI’04 * 24/25 Novembre 2004 CESI Esperienze di calcolo parallelo (6) Le esperienze in corso Il codice SWEET-OMP® è stato utilizzato per compiere una serie di test su macchine a 64 bit di nuova generazione (AMD64 Opteron e Intel Itanium-2) in collaborazione con il laboratorio di PC Professionale (Mondadori Informatica) sono state effettuate prove in ambiente Linux Red Hat, Linux Suse e Windows XP, fino a 4 processori, ottenendo ottime prestazioni con le nuove architetture di comunicazione che riducono i tempi di latenza il problema principale si è rivelato il software, con particolare riferimento ai compilatori, che non sempre sono risultati pienamente compatibili con le nuove architetture CAPI’04 * 24/25 Novembre 2004 CESI I codici di calcolo in uso presso il CESI (1) I codici proprietari il codice SWEET-OMP® 3.04 utilizza un modello 2-D “shallow water” secondo De Saint-Venant, con un dominio descritto da elementi finiti triangolari parabolici, particolarmente adatto per lo studio di fiumi, reti di canali ed in generale acque poco profonde il codice HYDRA-OMP® 5.04 utilizza un modello 3-D con approssimazione idrostatica, con un dominio descritto da elementi finiti esaedrici lineari, particolarmente adatto per lo studio di fiumi, laghi, aree marine ed in generale acque profonde il codice TRIMDI 3.01 utilizza anch’esso un modello 3-D con approssimazione idrostatica, ma con un dominio discretizzato secondo un reticolo a maglie sfalsate particolarmente adatto per lo studio aree marine molto vaste CESI CAPI’04 * 24/25 Novembre 2004 I codici di calcolo in uso presso il CESI (2) I codici su licenza il codice CFX® 5 utilizza un modello 3-D molto sofisticato, e viene utilizzato per risolvere problemi fluidodinamici complessi in cui la componente turbolenta è fondamentale (in generale per studiare interazioni tra fluido e strutture e per flussi non a pelo libero) il codice WASP 6.1 è il codice per la simulazione numerica della qualità delle acque ed è automaticamente connesso con tutti i codici di fluidodinamica. La licenza di questo codice è pubblica (USEPA) CAPI’04 * 24/25 Novembre 2004 CESI I codici di calcolo in uso presso il CESI (3) Caratteristiche comuni interfaccia grafica GUI dati di ingresso di tipo ingegneristico, quali si possono avere da cartografia tecnica, GIS, strumenti in campo, schemi di progetto diagnostica autoesplicativa aggancio automatico con i più comuni standard CAD/CAE CAPI’04 * 24/25 Novembre 2004 CESI Esempi di applicazione (1) Studio di una popolazione di meduse nella rada di La Spezia Distribuzione della velocità Campo di moto vettoriale Discretizzazione spaziale della rada CAPI’04 * 24/25 Novembre 2004 CESI Esempi di applicazione (2) Studio della concentrazione di cloro prodotta da elettrodi marini Anodo lineare in struttura protetta (Algeria). Concentrazione di cloro Elettrodi multipli posati sul fondo del mare (Spagna). Reticolo di calcolo e concentrazione di cloro CAPI’04 * 24/25 Novembre 2004 CESI Esempi di applicazione (3) Erosione della struttura di scarico di un dissalatore Struttura di scarico del concentrato salino (Emirati Arabi) Concentrazione salina nella sezione mediana CAPI’04 * 24/25 Novembre 2004 Distribuzione degli sforzi sulla struttura e sul fondo (particolare) CESI Esempi di applicazione (4) Modello fluidodinamico del bacino del Lisert canale Lisert canale Tavoloni fiume Moschenizze Foce del Timavo CAPI’04 * 24/25 Novembre 2004 fiume Timavo CESI Esempi di applicazione (5) Proliferazione algale in un bacino artificiale montano WASP 6.1 CAPI’04 * 24/25 Novembre 2004 Lago di Fiastra (Marche) CESI Esempi di applicazione (6) Diffusione termica in mare da una centrale termoelettrica Distribuzione 3D di temperatura Campo di moto dovuto a più scarichi Porto di Genova CAPI’04 * 24/25 Novembre 2004 CESI Esempi di applicazione (7) Addestramento di un sistema tipo PREDIT CAPI’04 * 24/25 Novembre 2004 CESI Esempi di applicazione (8) Analisi di strutture di contenimento delle piene Bacino del fiume Sierila (Finlandia) Struttura di contenimento Distribuzione delle velocità CAPI’04 * 24/25 Novembre 2004 CESI Esempi di applicazione (9) Simulazioni del fiume Po Effetto della marea nel delta del Po Analisi del livello nel tratto mantovano CAPI’04 * 24/25 Novembre 2004 CESI Esempi di applicazione (10) Minimizzazione della turbolenza in uno scarico idroelettrico in lago CFX CAPI’04 * 24/25 Novembre 2004 CESI Esempi di applicazione (11) Ottimizzazione della ripartizione delle portate in un impianto idroelettrico Prima…sbilanciamento gruppi funzionanti 1,2,3,4 biforcazione CAPI’04 * 24/25 Novembre 2004 Portata complessiva ai gruppi Portata complessiva ai gruppi SITUAZIONE ATTUALE: 100% 100% 80% 60% 40% 20% 0% 0% Galleria Principale Galleria Secondaria CONVOGLIATORE 2/3 galleria principale: gruppi funzionanti 1,2,3,4 Dopo…bilanciamento ! 100% 80% 60% 48% 52% Galleria Principale Galleria Secondaria 40% 20% 0% CESI Esempi di applicazione (12) Studio di erosione di un alveo CFX CAPI’04 * 24/25 Novembre 2004 CESI Considerazioni finali L’esperienza CESI ha evidenziato che: la fluidodinamica ambientale applicata ai corpi idrici superficiali è in grado di simulare con buona accuratezza fenomeni complessi possono essere affrontati problemi assai vari per tipologia e contenuti è conveniente effettuare le simulazioni su macchine/cluster di piccola/media taglia (da 2 a 4 processori) si ottiene un buon rapporto costi/prestazioni ed una forte riduzione dei costi di esercizio se si usano standard di parallelizzazione non specialistici (Open-MP) CAPI’04 * 24/25 Novembre 2004 CESI