WP 10 – Applicazioni
Astrofisica – stato
Leopoldo Benacchio
INAF
Osservatorio Astronomico di Padova
Pisa 6 ottobre 03
Ricordo dei fondamenti
In Grid.it INAF ha il WP10
che fa capo alla UDR4 assieme alle altre “applicazioni”
3 poli ingaggiati : Padova Trieste, Napoli
Obiettivo principale “determinare le richieste della Astrofisica”
alla Grid”
Ricordo dei fondamenti
Scopo principale delle 3 attività previste nel WP10 è infatti
effettuare il porting dei sistemi descritti per ogni attività in
una struttura di GRID, per verificare i requisiti che queste
applicazioni pongono alla struttura stessa.
E’ da ricordare inoltre come queste applicazioni siano di
importanza ed interesse internazionali, sviluppate all’interno
di consorzi europei. Questo mentre aggiunge valore ed
interesse, costituisce anche un fattore fondamentale di cui
tenere conto (standard definiti a livello di consorzi,
rappresentazione dati, software da utilizzare)
Attivita’
Per le attività 1 e 2 il lavoro “preliminare” e’ in fase di
chiusura, mentre per la attività 3 è ancora in svolgimento e si
presume di avere ancora un trimestre di lavoro. Siamo in
schedula con la rimodulazione
Per la organizzazione del lavoro la unità di Padova si è presa
l’incarico, come previsto, sfruttando la contiguità territoriale
con altri gruppi dell’Udr 4, di fare da punto di accumulazione
e distribuzione della informazione e conoscenza tecnico
operativa . Questo permette una ottimizzazione del lavoro e
del tempo impiegato e contemporaneamente libera energie
locali negli altri gruppi per lo studio del porting vero e proprio.
Attivita’
Sono stati organizzati almeno 2 incontri informali “plenari” ed
approfonditi con infn-wp3, oltre a continui contatti su temi
specifici del set up delle strutture di base di una griglia.
E’ stato organizzato anche uno workshop esteso alla
comunità intera che ha avuto un buon successo, circa 60
partecipanti, e suscitato interesse nei confronti del progetto e
della tematica di ricerca.
WP10-3-5-14 meeting
Attivita’ comune (OAPd)
•Studio approfondito della piattaforma software Grid da
utilizzarsi per lo sviluppo delle attività:
• analisi della documentazione esistente e la
•partecipazione alla Grid Summer School di Vico Equense;
ciò ha consentito di avere una panoramica:
1) degli aspetti relativi al setup e mantenimento di un sito Grid,
2) Dei problemi relativi all'utilizzo da parte di un utente finale
ha condotto alla formulazione di vincoli hardware e software
minimali per la realizzazione di un sito Grid di training e test.
Attivita’ comune (OAPd)
•Realizzazione di un sito Grid prototipale mediante l'utilizzo di
hardware esistente; sperimentazione in locale del
funzionamento e delle architetture implementabili (GT);
•Prima formulazione specifiche hardware e software per la
realizzazione del nodo di Grid 'standard' effettivamente
utilizzabile per gli scopi dell’Astrofisica
•Raccolta preliminare dei requisiti comuni alle 3 attività
previste dal Workpackage 10 nei siti di Padova, Trieste,
Napoli, con particolare attenzione alle features indispensabili
richieste al middleware.
Attivita’ comune (OAPd)
•Analisi sicurezza per l'accesso ai nodi di Grid; allestimento
delle infrastrutture necessarie (R.A., certificati,…).
• Collaborazione con WP3-5 (INFN/Pd) sulle caratteristiche
del software fornito dalla release basata su LCG1 1.0.1. In
modo da fornire supporto e coordinamento a Trieste e Napoli
• Installazione di una User Interface accessibile ai tre poli x
familiarizzare testare la struttura esistente
• Diffusione del know how acquisito e supporto ai 3 siti del
WP10 (sicurezza, installazione e configurazione software)
Attivita’ from the Science
side
•Preparazione dati
•Rivisitazione sistemi
•Standard astronomici
Applicazioni: Case study I
Database e Archivi Astronomici
(TNG, GSCII)
TNG at Canarias
Poli coinvolti
Trieste, Padova
Applicazioni: Case study I
TNG : OATS
Raccolta e studio documentazione relativa al middleware , in
funzione dell’utilizzo delle applicazioni
La partecipazione a GGF8 e a User Tutorial sul Data Grid
organizzato da INFN (molto utili in vista interfaccia utente)
A GGF8 contatti finalizzati alla attivazione del nuovo
Research Group Astro-RG (Astronomical Research Group).
Applicazioni: Case study I
TNG : OATS
Contemporaneamente l’archivio pilota di TNG e’ stato
rivisitato nelle sue parti fondamentali (struttura dell’archivio,
formato dei dati, procedure di archiviazione e di retrieval) al
fine di procedere alla pianificazione delle varie attività per
giungere alla completa gridizzazione dello stesso in una
prima fase, e successivamente alla messa a punto
dell’archivio TNG-LTA in modalità Grid-oriented.
Applicazioni: Case study I
GSCII : OAPD
E' stata riesaminata l'architettura del sistema di
consultazione GSCII (attualmente accessibile via web) al
fine di delineare la strategia per il trasferimento su grid di tale
sistema.
In particolare, si sono individuate alcune caratteristiche
fondamentali del sistema attuale da preservare
(consultazione via ASU query, presenza di una seppur
scarna interfaccia grafica, modifica interattiva dei parametri
di consultazione in base a statistiche e stime) da utilizzare
per la formulazione di requisiti specifici.
Applicazioni: Case study II
Image reduction and Analysis della VST survey
VST e’ un telescopio
Di 2 m con un CCD
Mosaico da 32.000 x
Al “servizio” dei 4
Telescopi VLT
Poli
coinvolti
Napoli
(Padova)
Applicazioni: Case study II
Attività 2 : Accesso ad una facility per la pipeline di
calibrazione di immagini astrofisiche a grande campo OANa
La riduzione delle immagini di VST si basa sulla pipeline
Astro-Wise (www.astro-wise.org).
La pipeline di Astro-Wise si avvale di concetti di parallel
processing, archiviazione distribuita e federated database.
Applicazioni: Case study II
Le attività svolte finora si sono concentrate su due aspetti:
1) archiviazione di dati distribuita: ora la pipeline di Astro-Wise
usa un meccanismo originale "peer-to-peer" per accedere
all'archivio distribuito di dati.
E' stata analizzata la possibilità di implementare nella pipeline
Astro-Wise gli elementi standard (storage element e replica
manager) richiesti per l'utilizzo dell'infrastruttura GRID.
Si e’ dimostrata la possibilità di utilizzare questi elementi
dopo minime modifiche alla pipeline, feature fondamentale
per gli utenti sia di GRID che della pipeline Astro-Wise.
Applicazioni: Case study II
2) Calcolo parallelo - distribuito: la versione attuale della pipeline
Astro-Wise utilizza uno scheduler basato su XML per distribuire i
processi nei diversi nodi.
Il porting di cio’ in GRID è più complesso perche’ la pipeline
Astro-Wise usa un approccio "object oriented“ che mantiene la
relazione tra le diverse classi di oggetti durante l’elaborazione
Nel caso di processi distribuiti su nodi diversi, la pipeline
mantiene la relazione tra oggetti usando una procedura
particolare, implementata nello scheduler di Astro-Wise.
Che fare?
Applicazioni: Case study III
Telescopi e Grid : e’ possibile distribuire
la osservazione ?
Poli
coinvolti
Trieste
Before grid
After grid
Applicazioni: Case study III
Attività 3 : Monitoraggio distribuito della osservazione
remota da Telescopi. OATS
Poli
coinvolti
A partire dal sistema di controllo
del TNG, attualmente in
uso, e’ stata stilata una lista di specifiche tecniche per il
Trieste
porting delle applicazioni di
controllo sulla struttura Grid e
di requisiti che le applicazioni di controllo gridizzate
devono soddisfare al fine di preservare le caratteristiche
del sistema di controllo corrente.
Casi Studio
1) Identificazione di sorgenti da archivio TNG
2) Selezione di osservazioni “particolari” da archivio TNG
Percentage 99% ……