ET2010, Napoli 11 giugno 2010
Modelli elettromagnetici veloci e
paralleli per analisi di instabilità
MHD in dispositivi fusionistici
Salvatore Ventre
DAEIMI, Università degli Studi di Cassino
Associaz.EURATOM/ENEA/CREATE
con il contributo di
Y. Liu, M. Furno Palumbo, R. Palmaccio, G. Rubinacci, F. Villone
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici
ET2010, Napoli 11 giugno 2010
Sommario
• Introduzione
• Il codice CarMa
• Metodo Veloce/Parallelo
• Risultati
• Conclusioni e prospettive
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici
Introduzione
ET2010, Napoli 11 giugno 2010
Instabilità nei dispositivi fusionistici
• Plasmi fusionistici descritti da equazioni MHD
• Modi instabili di plasma con costanti di tempo  microsecondi
• Le correnti indotte sulle strutture passive dalle perturbazioni di
plasma hanno un effetto stabilizzante
• A causa della resistività finita, le eddy currents decadono 
modo ancora instabile ma con costanti di tempo  millisecondi:
Resistive Wall Modes (RWM)
• E’ possibile controllo attivo per stabilizzare il modo
• E’ necessaria un’analisi dettagliata della struttura conduttrice 3D
con solutori nel limite magneto-quasi-statico  richiesta una
grossa capacità computazionale
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici
Il codice CarMa
ET2010, Napoli 11 giugno 2010
Approccio modellistico
Si introduce una superficie S:
• all’interno di S equazioni MHD
• su S appropriate condizioni di raccordo
• fuori di S modello delle Eddy Currents:
plasma
S
Resistive
wall
 Formulazione integrale in cui la densità di corrente J è l’incognita
Si sposa con la geometria tipica dei dispositivi fusionistici con alti
rapporti vuoto/pieno (solo i conduttori devono essere discretizzati)
 Conduttori 3D di forma arbitraria (e.g. no thin-shell approximation)
 Trattamento automatico di geometrie con topologia complessa
 Possibile anisotropia resistiva
 Inclusione nel modello degli elettrodi di alimentazione
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici
Il codice CarMa
ET2010, Napoli 11 giugno 2010
Formulazione numerica
Termine dovuto al plasma
dI
dU
RI  L

 FV
dt
dt
J=T
T
I
k
Nk
 J
k
Li, j

 0
4
 
  Ni (r)    N j (r' )
r  r'
Vc Vc
Fi , j  

Sj
  N i  nˆ dS
I
k
Tensioni di alimentazione
  Nk
k
dV dV '
Ri, j 

Vc
  Ni     N j dV
U  SQ I
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici
Il codice CarMa
ET2010, Napoli 11 giugno 2010
Procedura iterativa per la determinazione
di autovalori e autovettori instabili
Sistema nella forma
stato-vettore
dI
 K I  BV
dt
Risolto usando metodo iterativo
R   L I
*
0
 L I k 1 ,
*
k
0, I k 1 : valori di tentativo
k  0 
I Tk I k 1
I Tk I k
L*  L  S Q
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici
Il codice CarMa
ET2010, Napoli 11 giugno 2010
Il “bottleneck” computazionale
AI  N
A  R   0 L*
Assemblare,Immagazzinare,Risolvere un sistema (reale o complesso) denso
(# Unknows ~ 200k )
METODO ITERATIVO
Risolvere efficacemente
Valutare efficacemente il prodotto
AI  N
AI
PRESTAZIONI DIPENDONO DA
• tempo per costruire ogni termine di A
• memoria necessaria a immagazzinare ogni termine di A
• tempo necessario per fare il prodotto di ogni termine di A
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici
Il codice CarMa
ET2010, Napoli 11 giugno 2010
Impatto numerico dei singolo termini
TERMINE
Assembly Time Memory
Required
Computation
Time
R
LOW
LOW
LOW
SQ
HIGH
LOW
LOW
L
HIGH
HIGH
HIGH
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici
Metodo Veloce
ET2010, Napoli 11 giugno 2010
Il problema non è scalabile efficacemente solo utilizzando il parallelo
Matrice piena
Memoria O(N2)
Inversione
3)
O(N
(metodo diretto)
Inversione
(metodo iterativo O(N2)
precondizionato)
Tempo seriale di inversione Ts(N)=O(N2)
Tempo parallelo di inversione Tp(N)=O(N2/p)
Usando p processori (ideale)
Ts(Ns)= Tp(Np)
N p  Ns p
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici
Metodo Veloce
ET2010, Napoli 11 giugno 2010
Termine L SPARSIFICAZIONE(compressione)
IMPROVEMENTS
PARALLELO
new
OBIETTIVO
Integrare in maniera efficiente metodo di compressione in una
implementazione parallela
Fattori determinanti le prestazioni
Assembly balancing: assemblare il termine in maniera da
equilibrare i tempi di calcolo tra processori
Memory balancing: la memoria locale necessaria per contenere il termine
deve essere equidistribuita tra i processori
Computation balancing: il tempo di calcolo per costruire il prodotto locale
deve essere equilibrato tra processori
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici
Metodo Veloce
ET2010, Napoli 11 giugno 2010
Sparsificazione di L (con complessità quasi lineare)
 Introduzione di una griglia multilivello che include tutta mesh
 Decomposizione in parte vicina e lontana
 Calcolo e compressione della parte lontana, ottenuta secondo una
tolleranza assegnata (precisione)
 Calcolo esatto della parte vicina
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici
Metodo Veloce
ET2010, Napoli 11 giugno 2010
Introduzione Griglia Multilivello
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici
Metodo Veloce
.
ET2010, Napoli 11 giugno 2010
Decomposizione in parte vicina e lontana
LL
far
L
near
Calcolata senza errori
L
Nfar
L
far

L
ib1,ib2
i 1
Nfar # totale di interazioni lontane
ib1,ib2
Matrice di interazione locale
tra due box lontane ib1 e ib2
Basso rango
approssimata
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici
Metodo Veloce
ET2010, Napoli 11 giugno 2010
Compressione QR approssimata della matrice di interazione
Siano me and m (ne and n) rispettivamente il numero degli
elementi e delle incognite in ib1 (in ib2).
r×n
m×n
L ib1,ib2 ≈ Q R
m×r
r rango che dipende dalla errore richiesto (Modified Gram-Schmidt QR)
EFFICIENTE
(m+n) × r << m×n.
Si osservi che Memory Required e ComputationTime sono uguali a (m+n) × r
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici
Metodo Veloce
ET2010, Napoli 11 giugno 2010
Implementazione Parallela di LFAR
me * ne Costo assemblaggio della matrice di interazione locale L
Nfar
Costo Totale assemblaggio
Ctot 
Nfar
 m * n  C
i
i 1
i
i
1
ib1,ib2
Assembly balancing
ib1,ib2
Distribuire il carico di L
in maniera equilibrata su p processori
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici
Metodo Veloce
ET2010, Napoli 11 giugno 2010
Algoritmo di distribuzione dei carichi
Problema con complessità esponenziale risolto usando algoritmo sub-ottimo
Cis  sorted (Ci , descendent)
C k  0, k  1,.., p
Costo di assemblaggio del k-simo processore
In uscita
Int2proc(i) fornisce il processore a cui compete l’interazione i
for i  1,.., Nfar
K min  min
Ck
Ck
k
10
C k  C k  CiS
Int2Proc (i )  K
x 10
8
8
min
6
Ck
end
4
Prestazioni dell’algoritmo sub-ottimo
2
0
0
10
20
30
Processor #
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici
40
Metodo Veloce
ET2010, Napoli 11 giugno 2010
Memory /Computation balancing di Lfar
Sono automaticamente verificati se la dimensione del problema è
sufficientemente grande (problemi di interesse per il parallelo)
Non c’è bisogno di ulteriori comunicazioni
7
8
x 10
Dimensione di Lfar
7
6
5
4
3
2
1
0
0
5
10
15
20
25
30
35
Processor #
Memory/Computation balancing ottenuti automaticamente
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici
Metodo Veloce
ET2010, Napoli 11 giugno 2010
Dettagli Implementativi
 Metodo iterativo: standard gmres
 Precondizionatore
In cui per
*
L
P  R   0 L*
si intende
near
*
L
near
valutato sulla sparsità di
L near
Come precondizionatore usiamo MUMPS (http://mumps.enseeiht.fr )
(free parallel solver for large sparse matrix)
MUMPS supporta l’assemblaggio parallelo
Non sono necessarie ulteriori
• riallocazioni
• comunicazioni
codice è in standard fortran 90
 libreria parallela è MPI (http://www.open-mpi.org/)
Macchina target Altix System (http://www.bsc.es/index.php) (Shared Memory Machine)
In futuro il codice girerà anche su SCOPE (http://www.scope.unina.it/default.aspx) (Grid Computing )
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici
Risultati
ET2010, Napoli 11 giugno 2010
Studio dei RWM in ITER 1/2
# Nodi 329276
# Elementi 173304
# Incognite 206401
Occupazione necessaria per
allocare la matrice completa
298GB
La mesh usata copre 360° in direzione toroidale!
(Metodo fast/parallel) Occupazione reale
25GB
distribuita in maniera uniforme tra 32 processori (circa 780 MB per ogni processore)
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici
Risultati
ET2010, Napoli 11 giugno 2010
Studio dei RWM in ITER 2/2
Distribuzione di corrente associata al
modo instabile includendo i blanket
modules (schermi neutronici)
Studiati numerosi equilibri di plasma
con diverse assunzioni sul livello di
dettaglio delle strutture conduttrici
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici
ET2010, Napoli 11 giugno 2010
Conclusioni e prospettive
• Utilizzando il metodo veloce e la sua parallelizzazione è
possibile studiare strutture di interesse fusionistico la cui una
complessità computazione non è altrimenti affrontabile dai
codici attualmente disponibili:
 dettagliata descrizione della geometria
 inclusione di loop di controllo
 riproduzione di risultati sperimentali
•Attività futura: estensione del metodo (sparsificazione +
parallelizzazione) ad altri problemi elettromagnetici descritti
da una simile formulazione integrale (e.g. materiali magnetici)
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici
ET2010, Napoli 11 giugno 2010
Grazie per l’attenzione ……
S. Ventre, Modelli elettromagnetici veloci e paralleli per analisi di instabilità MHD in dispositivi fusionistici