FEM 2010, Roma 13 dicembre 2010 Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale Antonello Tamburrino, Salvatore Ventre Ass. EURATOM/ENEA/CREATE, DAEIMI, Università di Cassino, Italy Flavio Calvano, Guglielmo Rubinacci Ass. EURATOM/ENEA/CREATE, DIEL, Università di Napoli Federico II, Italy S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale FEM 2010, Roma 13 dicembre 2010 Sommario • Introduzione • Il problema di riferimento • Velocizzazione del calcolo • Risultati • Conclusioni e prospettive S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale Introduzione FEM 2010, Roma 13 dicembre 2010 • Calcolo elettromagnetico Progetto di sistemi elettrici/elettronici: macchine elettriche, dispositivi micro e nano, dispositivi fusionistici • Equazioni di governo Full Maxwell o sue approssimazioni quasi statiche • Calcolo intensivo Full 3D modelling, Effetti non lineari, Parti in movimento Tecniche veloci e codice parallelo Compressione e parallelizzazione S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale Il Problema di riferimento FEM 2010, Roma 13 dicembre 2010 Calcolo degli sforzi elettrodinamici in un turbo generatore Ferro (laminato) statorico Ferro (massiccio) rotorico Carcassa in ferro massiccio Avvolgimento statorico in rame Fig. 5.1: spaccato parte terminale lato camera ad anelli (l'avvolgimento rotorico di eccitazione e la gabbia smorzatrice non sono rappresentati) fornita da Ansaldo Energia. R. Albanese, F. Calvano, G. Dal Mut, F. Ferraioli, A. Formisano, F. Marignetti, R. Martone, G. Rubinacci, A. Tamburrino, S. Ventre, “Electromechanical Analysis of End Windings in Turbo Generators”, presented at the 14th IGTE Symposium, Graz (Austria), 2010. S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale FEM 2010, Roma 13 dicembre 2010 Formulazione Integrale del problema magnetostatico M magnetizzazione incognita Br B S r 0Mr r r' dV ' 0 Mr' nˆ r' r r' dS ', in R 3 0 ' M r ' 3 3 4 V 4 V r r' r r' f (1) f BS è l’induzione magnetica prodotta correnti (imposte) sul rotore e sullo statore Vf è la regione dello spazio occupata dal materiale magnetico (di statore e rotore) Vf rappresenta la frontiera di Vf M r G Br in V f (2) Equazione costitutiva non lineare (senza memoria) Sostituendo la (2) nella (1) M GT M in V f (3) S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale FEM 2010, Roma 13 dicembre 2010 Modello numerico La soluzione della (3) come convergenza a punto fisso GT è una contrazione M k 1 GTM k M r M j P j r in V f Incognita M j Pj -1 k 1 dV P G M i Vf Galerking P P dV i Il termine k dV P T M i i Vf Shape function k dV P T M i Vf P P dV i Vf diventa 1 , i i D EM W k Vf S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale FEM 2010, Roma 13 dicembre 2010 ; Definizione delle matrici Matrici Numeriche nˆ r Pi r nˆ r ' P j r ' 0 dSdS' Eij 0 Dij 4 Vi V j r r' Dij Pi P j dV Vf Wi Pi B S dV Vf Matrice Piena Ciclo 1. 2. 3. 4. k=0, M 0 calcola B k usando D1 EM k W k 1 applica la relazione caratteristica per il calcolo di M Se la differenza tra M k 1 e M k è piccola ci si ferma, altrimenti si ritorna al punto 1. 0 S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale FEM 2010, Roma 13 dicembre 2010 Problematiche numeriche nello schema di calcolo 1. Calcolo dell’induzione prodotta dalle sorgenti imposte 2. assemblaggio della matrice piena E k 3. calcolo del prodotto matrice piena per vettore E M W Per il punto 2. due la memoria e il calcolo cresce come O(n2) dove n è il numero di incognite pari a 3 volte il numero di elementi Il tempo di calcolo del passo 3. cresce come O(n2) Il passo 3. va ripetuto per ogni passo del ciclo S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale Velocizzazione del calcolo FEM 2010, Roma 13 dicembre 2010 Parallelizzazione del codice • Le macchine multicore sono poco costose • Sono presenti strumenti e librerie parallele collaudate • Utilizzo di architetture parallele (ad esempio Grid computing ) Miglioramenti proposti 1. La matrice W calcolata suddividendo in maniera equilibrata il carico sui processori 2. La matrice E trattata efficacemente a) Assemblaggio equilibrato b) Compressione c) Distribuzione equilibrata della memoria d) Calcolo E*M equilibrato S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale Velocizzazione del calcolo FEM 2010, Roma 13 dicembre 2010 Trattamento della matrice E Una parallelizzazione semplice è inefficace Il costo computazionale dipende quadraticamente dalle incognite Usando p processori (ideale) T(Ns)= T(Np) Tp(N)=O(N2/p) N p Ns p E’ necessario Algoritmo lineare per avere uno speedup lineare Sparsificazione della matrice E S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale Velocizzazione del calcolo FEM 2010, Roma 13 dicembre 2010 OBIETTIVO Integrare in maniera efficiente il metodo di compressione in una implementazione parallela Fattori determinanti le prestazioni Assembly balancing Memory balancing Computation balancing S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale Metodo Veloce FEM 2010, Roma 13 dicembre 2010 Sparsificazione di E (con complessità quasi lineare) Introduzione di una griglia multilivello che include tutta la mesh Decomposizione in parte vicina e lontana Calcolo e compressione della parte lontana, ottenuta secondo una tolleranza assegnata (precisione) Calcolo esatto della parte vicina S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale Metodo Veloce FEM 2010, Roma 13 dicembre 2010 Introduzione Griglia Multilivello S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale Metodo Veloce . FEM 2010, Roma 13 dicembre 2010 Decomposizione in parte vicina e lontana EE far E near Calcolata senza errori Nfar E far E ib1,ib 2 i 1 Nfar # totale di interazioni lontane E ib1,ib 2 Matrice di interazione locale tra due box lontane ib1 e ib2 Basso rango approssimata S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale Metodo Veloce FEM 2010, Roma 13 dicembre 2010 Compressione QR approssimata della matrice di interazione Siano me and m (ne and n) rispettivamente il numero degli elementi e delle incognite in ib1 (in ib2). r×n m×n E ib1,ib 2 ≈QR m×r r rango che dipende dalla errore richiesto (Modified Gram-Schmidt QR) EFFICIENTE (m+n) × r << m×n. Si osservi che Memory Required e ComputationTime sono uguali a (m+n) × r S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale Metodo Veloce FEM 2010, Roma 13 dicembre 2010 Implementazione Parallela di EFAR me * ne Costo assemblaggio della matrice di interazione locale Costo Totale assemblaggio Nfar Nfar i 1 1 E ib1,ib 2 Ctot mi * ni Ci ib1,ib 2 Assembly balancing Distribuire il carico di E in maniera equilibrata su p processori S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale Metodo Veloce FEM 2010, Roma 13 dicembre 2010 Algoritmo di distribuzione dei carichi Problema con complessità esponenziale risolto usando algoritmo sub-ottimo s i C sorted (Ci , descendent) C k 0, k 1,.., p for i 1,.., Nfar K min min C k C k Costo di assemblaggio del k-simo processore In uscita Int2proc(i) fornisce il processore a cui compete l’interazione i 2.5 x 10 6 2 k C k C k CiS Int2Proc(i ) K min end 1.5 1 0.5 0 0 5 10 15 20 25 30 35 Prestazioni dell’algoritmo sub-ottimo S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale Metodo Veloce FEM 2010, Roma 13 dicembre 2010 Memory /Computation balancing di Lfar Sono automaticamente verificati se la dimensione del problema è sufficientemente grande (problemi di interesse per il parallelo) 2.5 x 10 Non c’è bisogno di ulteriori comunicazioni 6 2 1.5 1 0.5 0 0 5 10 15 20 25 30 35 Memory/Computation balancing ottenuti automaticamente S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale Risultati FEM 2010, Roma 13 dicembre 2010 Contract AenGe_CiFe10 CREATE-Ansaldo Energia 2009/10 S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale FEM 2010, Roma 13 dicembre 2010 MMFs in phase MMFs opposite MMFs in quadrature Computational Cost No. of elements: 11038 No. of unknows: 33114 No. of iterations: 500 Iteration time: 0.39s Preproc. time: 2792s Machine: ALTIX 4700 N proc.: 32 CPU: Dual Core Montecito (IA-64) @1,6 GHz, 8MB L3 cache and 533 MHz Bus S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale Risultati FEM 2010, Roma 13 dicembre 2010 Validazione del metodo con codice commerciale Radial component of the magnetic induction Br (in Tesla) in function of the angular coordinate (in deg): comparison between the 3D integral formulation (--) and the 2D commercial code (continuous line) calculated at z=2.4. S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale FEM 2010, Roma 13 dicembre 2010 Conclusioni e prospettive • Utilizzando la sparsificazione SVD e la sua parallelizzazione è possibile studiare strutture la cui una complessità computazione non è altrimenti affrontabile dai codici attualmente disponibili: dettagliata descrizione della geometria Validazione con codice commerciale •Attività corrente: estensione del metodo (sparsificazione + parallelizzazione) al problema delle eddy-current S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale FEM 2010, Roma 13 dicembre 2010 Grazie per l’attenzione …… S. Ventre et all, Calcolo Elettromagnetico Intensivo per la soluzione di problemi basati su formulazione integrale