Supercalcolo e dinamica
di sistemi stellari
R. Capuzzo Dolcetta
Sapienza, Univ. di Roma
SAIt 2009, Pisa, 7/5/2009
Supercalcolo e dinamica di sistemi stellari
N ≤ 10
Meccanica celeste
N ≤ 1012
N→∞
Dinamica stellare
Grande scala,
cosmologia
Supercalcolo e dinamica di sistemi stellari
La gravità terrestre
Supercalcolo e dinamica di sistemi stellari
La gravità celeste
Ammasso globulare
Galassia ellittica
Supercalcolo e dinamica di sistemi stellari
Peculiarità dell’ astrofisica è il ruolo dell’auto-gravità (self-gravity)
  auto grav/ext grav
50 km
30 pc = 90 al = 6x106 UA
lago di Garda
 ~10-8
AG: M 13
 ~10-2
1 Mpc =30 Mal = 2 GUA
Ammasso di galassie
 ~10-2
Supercalcolo e dinamica di sistemi stellari
I sistemi auto-gravitanti sono difficili da
studiare per la doppia divergenza di Uij1/rij

1) divergenza UV ( lim U ij  )
rij 0
 t  0
2) divergenza IR (Uij non si annulla mai)  O( N 2 )
Supercalcolo e dinamica di sistemi stellari
Il problema gravitazionale classico
degli N corpi (sistema secco)
N
ri  G 
j 1
j i
mj
| ri  r j |
3
r  r 
i
j
ri (0)  ri 0
ri (0)  ri 0
Indipendentemente da N, ci sono 10 integrali primi
Soluzioni analitiche solo per N=2.
Supercalcolo e dinamica di sistemi stellari
Il sistema:
● è di complessità O(N2);
● è lontano dalla linearità;
● ha pochi vincoli nello spazio delle fasi.
Il premio Oscar (re di Svezia):
Dato un sistema di punti di massa che si attraggono secondo
la legge di Newton, nell’ipotesi di non avere collisioni,
trovare per le coordinate un’espressione in serie di una
funzione nota del tempo convergente uniformemente.
Supercalcolo e dinamica di sistemi stellari
● Il premio fu vinto da H. Poincarè, con un articolo che portò
alla teoria del caos. Piccole differenze nelle c.i. portano a
grandi differenze nell’evoluzione secolare degli
N corpi.
● La soluzione per N=3 del problema del bando venne nel
1912 da K. Sundman che dimostrò l’esistenza di sviluppo
in serie di potenze di t1/3.
● Il risultato di Sundman generalizzato a ogni N nel 1991 da
Q. Wang.
Supercalcolo e dinamica di sistemi stellari
I sistemi astrofisici non sono isolati, né secchi
N
N
mj

ri  r j   U e ,
ri  G 
3
j 1 | ri  r j |
j 1

j i

 2U e  4G e ,

ri (0)  ri 0 ,
r (0)  r , (i  1,2,..., N ).
i0
i
Supercalcolo e dinamica di sistemi stellari
I sistemi astrofisici reali non sono semplici N corpi…
Una fase condensata (s) è immersa in una diluita (g)
d
    v ,
dt
dv

 p  ( U g  U* ),
dt
du

  p  v     ,
dt
d 2 ri
 ( U g  U* )( i  1,..., N ),
2
dt
 2U g  4G ,
f ( p ,  ,T )  0.
eq. di continuità g
eq. del moto del gas g+
eq. dell’energia
g
eq. del moto stelle g+
eq. di Poisson
eq. di stato
g
g
r  r j 
U * (r)  G
3
 forza di pressione force p (short-range)
j 1 | r  r j |
 forza di gravità force U (long-range)
N
mj
Supercalcolo e dinamica di sistemi stellari
Sistemi astrofisici 3D auto-gravitanti
sono ben rappresentabili lagrangianamente
(sistemi di particelle: =N corpi, g=SPH)
…tuttavia...
 fluttuazioni su piccola
scala di p(r) introducono
grandi fluttuazioni of p
Basso costo computaz.;
bassa precisione
 la forza di volume
richiede (NSPH+N*)2
valutazioni
Alto costo computaz;
alta precisione
Supercalcolo e dinamica di sistemi stellari
3D self-gravitating astrophysical systems
may be suitably simulated in a Lagrangian
way
(particle systems: =N bodies, g=SPH)
…nevertheless...
 small scale fluctuations of  the body force requires
(NSPH+N*)2 valutations
p(r) introduce large
fluctuations of p
Low computational
cost low precision
High computational
cost high precision
Supercalcolo e dinamica di sistemi stellari
Profiling in una simulazione tipica
task
tempo di Cpu
valutazione delle forze
gravitazionali,  N2
60%
val. delle quantità fluidodinamiche,  n2
25%
integraz. Temporale, 
N
15%
Supercalcolo e dinamica di sistemi stellari
la distanza euclidea…
| ri  r j |
( xi  x j )  ( yi  y j )  ( zi  z j )
2
2
2
è uno dei problemi…
Si usano vari algoritmi: Erone, Bombelli, Newton,
dispendiosi computazionalmente…
Supercalcolo e dinamica di sistemi stellari
Problema 1: valutazione della forza Fij=Uij
35 flop
con un PE da v=1 Gflop/sec,
tij =3.510-8sec
nf = n. di op. per passo
temporale
N
N ( N  1)


n f   35 flop 
35 flop
2
2 
t  nf / v
N=1000  nf =1.5107 flop
t = 1.8/100 sec
 N=105  nf =1.51011 flop
t = 180 sec =3 min
N=1011  nf =1.51023 flop
t = 1.81014sec = 5.7 Myr!
Supercalcolo e dinamica di sistemi stellari
Problema 2 : lunghezza delle simulazioni
Coarse-grain: rilassamento violento tcross
Fine-grain: rilassamento“collisionale”
trel
10 tcross ammasso aperto
1 N
trel 
tcross
10 log e N
1000 tcross ammasso globular
4x108 tcross galassia
L’età di un a. globulare (~12 Gyr) is  2105 tcross 200
trel  720 anni di simulazione!
Supercalcolo e dinamica di sistemi stellari
Un’approccio economico all’HPC: GPUs
Quasi 1 Tflop/sec per 1250 euro
TESLA C 1060
240 cores, 4 Gb memory,
1.3Ghz per core. 936 Gflop/sec
FIRESTREAM 9170
320 cores, 2 Gb memory,
750Mhz, 1.2 Tflop/sec
Supercalcolo e dinamica di sistemi stellari
+
=
Potenza:
~ 12 Gflops (CPU)
~ 2 Tflops (GPU)
2 quadcore Xeon
da 2 Ghz
2 TESLA C1060
Costo:
~ 7000 euro
~ 1000 W
High performance...
I sistemi autogravitanti sono difficili da studiare a
causa della doppia divergenza di Uij1/rij

1) divergenza UV ( lim U
rij 0
ij
 )
2) divergenza IR (Uij never vanishes)

Problema a scale spazio-temporali multiple

Impossibile usare metodi perturbativi
Dinamica di ammassi globulari...
Da pochi corpi (N10) a molti corpi (N1011)
passando per un ... numero intermedio di corpi (N106)
t = age of the system, trel= relax. time, tcross= orb.time
Fluid (collision-dominated): trel<< tcross<t
Intermediate N
Few body
Stellar system Binaries, triple, Open
clusters
Plan. systems
Many body
Globular clusters,
galactic nuclei
Galaxies,
Galaxy clusters
 109
N
2,3, 10
10,000
105109
Regime
Deterministic
Collisional
Secularly collisional Collisionless
Time-scales
tcross  t
trel tcross<t
tcrosstrel<t
tcross< t  trel
Gravity
Newtonian
Newtonian
Newtonian,general
relativity
Technique
Analytic,
Perturbative,
Direct N-body
Gas+Direct Fokker-Planck,
N-body
Direct N-body
Newtonian,
gen.relativity
Tree-codes,
PM, P3M
High performance...
Sistemi auto-gravitanti: da pochi a tanti corpi
AA, AG, nuclei gal.: Intermed. N body prob. (102109)
treltcross<età  collisionale; tcross<<trel<età  sec. collisionale
La molteplicità dei tempi scala richiede
passi temporali individuali
t
costante
sbagliato!
t
variabile
Dinamica di ammassi globulari...
Profiling in a typical simulation
Pro
Cpu time (%)
Gravitational force
evaluation
80
Communications
time integration,
20
Dinamica di ammassi globulari....
tCPU= nstep  tstep
Quasi-circular GC
orbit
High performance...
GC tidal tails
S-shape
clumps!
High performance...
Morphology of GC tidal tails: the S-shape
Palomar 5 (Odenkirchen et al. 2003)
Simulation
High performance...
Density profiles
simulation
Palomar 5
r -3
r -1.6
High performance...
Morphology of tidal tails: the S-shape
ri'  ri  rGC  ω  ω  ri'   2 ω  ri'  ω  ri'
Planar, clockwise motion
GC
y’
x’
Galaxy centre
•
ri  rGC  ω  ω  ri'   2 ω  ri'  ω  ri'
High performance...
•Clumps in the tails are
not bound structures;
clumps
•stars slow down their
motion in the clump for
a while and then move
to the outer part of the
tail;
•clumps are symmetrical
in the tails;
• clumps are associated
with the region where
the inner S-shape
profile of the tail
stretches along the
cluster orbit.
Dinamica di ammassi globulari...
• Simulazione N-corpi
ad alta risoluzione
• Ogni AG ha
N=250,000 stelle
back
Dinamica di ammassi globulari...
Dinamica di ammassi globulari....
High performance...
Coarse grain t. scale: tcross Rhm/vvir  treg =  tcross=
=  6104 yr
Fine grain t. scale: trel  tij  rij / v ij

t=min{treg,  tij}
very small
down to  1 yr
i
rij
j
(back)
High performance...
Peculiarity of astrophysical simulations is the role of self-gravity
  self grav/ext grav
50 km
30 pc = 90 ly = 6x106 AU
Garda lake
GC: M 13
 ~10-8
 ~10-2
1 Mpc = 30 Mly = 2 GAU
Galaxy cluster
 ~10-2
Dinamica di ammassi globulari...
• HST + large ground telescope provide data on GCS
distribution mainly in early type galaxies (e.g. Forbes et al.
1996,1998a,1998b; Harris et al. 2000, 2004,2006).
• Growing evidence of presence of very massive (>107 M)
YOUNG star clusters in Antennae (Fritze-v. Alvensleben
1999), MCs, M33, Fornax dSph (de Grijs et al. 2005), M31
(Fusi Pecci et al. 2005) as well as OLD (Harris & Pudritz
1994) in M87 and Virgo ellipticals.
• Harris et al. (2006) indicate how up to a 40% of the total
mass in GCS of brightest cluster galaxies is contributed by
massive (p.d. mass > 1.5 106 M), in good agreement
with recent theoretical results by Kravtsov & Gnedin
(2005).
High performance... .
Self-gravitating systems: from small to large N
Planetary systems: a Few body problem (N<10)
torb <<
age
• Solar system stability
Problem first tackled by Laplace.
Why supercomputing? To get superprecision!
It depends on resonances, difficult to treat (tides
favour resonances).
Neptune and Pluto are in a 3:2 resonance.
(this is a numerical result by Cohen and Hubbard,
1965, US Naval Weapons Lab.).
High performance...
It is just by mean of the next generation of
supercomputers that the results by Sussman & Wisdom
(1987), Laskar (1989) and Sussman & Wisdom (1992)
suggesting:
• the solar system is a chaotic system
could be confirmed
The Digital Orrery
High performance...
Self-gravitating systems: from small to large N
Galaxies: a Large N body problem (10111012)
tcross< age << trel  collisionless
After a violent relaxation phase  tcross a metastable
configuration is reached  fluctuations over the
mean field are negligible  galaxies are (now)
collisionless systems where stars move in a general
potential.
But, how the metastable configuration was
achieved? Why spiral, elliptical, irregular galaxies?
Many body dynamics to integrate over a relatively
short time.
High performance...
Self-gravitating systems: from small to large N
OC and GC: an Intermediate N body problem (102107)
ttreltcross<age  collisional; tcross<<ttrel<age  sec. collisional
The multiplicity of time scales requires
individual time stepping
constant
t
wrong!
variable
t
High performance...
Profiling in a typical simulation
Procedura
Cpu time (%)
Gravitational force
evaluation
80
time integration,
communications
20
High performance...
tCPU= nstep  tstep
Dinamica di ammassi globulari...
M 87
Dinamica di ammassi globulari...
Ammassi globulari nella Galassia
150-200 oggetti
privi di gas
età = 13 Gyr
0.00 < e < 0.27
800 < M (M) < 2.5×106
1000 < N < few ×106
0.50 < c=Log rt/rc < 2.50
4.90 < Log tr,c< 10.16
-1.12 < Log r0 < 5.92
Gli AG sono i più grandi sistemi di N corpi studiabili 1:1
Supercalcolo e dinamica di sistemi stellari
Solar and stellar systems are composed by N=2 up to N=1012 stars, often
embedded in a gaseous cloud...Multi-phase gravitational N-body problem
Binaries...
N=2
Solar system ...
N=10
Supercalcolo e dinamica di sistemi stellari
Small open clusters
N=50
embedded in their mother
cloud...like M16
Large open
clusters N=1000
15 ly
Supercalcolo e dinamica di sistemi stellari
M
5
Globular clusters
104  N  106
30 pc = 90 ly = 6x106
AU
M 13, in
Hercules
Supercalcolo e dinamica di sistemi stellari
1 pc = 3 ly
M 15
Supercalcolo e dinamica di sistemi stellari
N = 21011
Andromeda
160,000 ly
N=
1012
M 87
a giant elliptical
t = age of the system, trel= relax. time, tcross= orb.time
Fluid (collision-dominated): trel<< tcross<t
Intermediate N
Few body
Stellar system Binaries, triple, Open
clusters
Plan. systems
Many body
Globular clusters,
galactic nuclei
Galaxies,
Galaxy clusters
 109
N
2,3, 10
10,000
105109
Regime
Deterministic
Collisional
Secularly collisional Collisionless
Time-scales
tcross << t
trel tcross<t
tcross < trel<t
tcross< t << trel
Gravity
Newtonian
Newtonian
Newtonian,general
relativity
Technique
Analytic,
Perturbative,
Direct N-body
Gas+Direct Fokker-Planck,
N-body
Direct N-body
Newtonian,
gen.relativity
Tree-codes,
PM, P3M
Supercalcolo e dinamica di sistemi stellari
Solutions:
Resort to grid methods, like P3M methods (Poisson’s e
on a grid via FFT and a local direct summation)
or
Resort to multipole expansions
tree algorithms
or (partially...)
to dedicated (non programmable) computational
architectures like the japanese
Supercalcolo e dinamica di sistemi stellari
Like a graphics accelerator speeding up graphics calculations on a worksta
the GRAPE acts as a Newtonian force accelerator, in the form of an attach
piece of hardware.
TABLE-1 Low-Precision
machines
Machine
Year
Peak
speed
GRAPE-1
1989 240
Mflop/s,
GRAPE-3
1991
15
Gflop/s
GRAPE-5
1998/9 ~
1Tflop/s
TABLE-2 High-Precision
machines
GRAPE 6
Supercalcolo e dinamica di sistemi stellari
Real astrophysical systems are not simple N-bodies...
a condensed phase (s) in a dilute medium (g)
d
continuity eq. g
    v ,
dt
dv
gas motion eq. g+

 p  ( U g  U* ),
dt
du
energy eq. g

  p  v     ,
dt
d 2 ri
 ( U g  U* )( i  1,..., N ), stellar motion eq. g+
2
dt
Poisson’s eq. g
 2U g  4G ,
f ( p ,  ,T )  0.
eq. of state g
 pressure force p (short-range) U (r)  G | r  r | r  r 
 gravity force U (long-range)
N
*
j 1
mj
3
j
j