PROGETTO SEADATANET2
BANCA DATI MMD CNR - ENEA
Banche dati Italiane e proposte COI
Un pochino di storia:
• SeaDataNet (2006 – 2011) was funded by the EU as an FP6
Research Infrastructures project
• Focused on developing a Pan-European infrastructure for managing,
indexing and providing access to ocean and marine data sets and data
products, acquired from research cruises and other observational
activities
• Undertaken by the National Oceanographic Data Centers (NODCs)
• CNR was not included as partner, because it did not qualify as Data
Centre at the time. It was included as “consultant” (ISAC, IMAA).
Gennaio 2012
1
SeaDataNet II project upgrades SeaDataNet infrastructure into
an operationally robust and state-of-the-art Pan-European
infrastructure
• Establishes SeaDataNet as the core data management
component of the EMODNet infrastructure and of global portal
initiatives, such as the IOC-IODE – Ocean Data Portal (ODP), and
GEOSS.
• Achieves INSPIRE compliance and contributes to the INSPIRE
process for developing and implementing rules for oceanography
• Achieves an improved capability for handling also marine
biological data and interoperability with the emerging biodiversity
data infrastructure in close cooperation with actors in the EurOBIS,
MarBEF, and LifeWatch initiatives
Gennaio 2012
Compared to the present SeaDataNet, in SeaDataNet II:
• Metadata will be produced at the local data centres and
automatically harvested by the central SeaDataNet
metadatabase systems from the data centers.
• This will be achieved by adopting (OGC) Catalogue Services
for the Web (CS-W) and the ISO 19139 transport schema
(INSPIRE) in all discovery services.
Gennaio 2012
CNR in SeaDataNet2
CNR e’ entrato come partner, ossia come Marine Data
Center.
Istituti partecipanti: IIA, ISAC, ISMAR
Budget totale 157 KE
Le attivita’ includono:
- Popolazione di metadati e dati nella Banca Dati
- Sviluppo di prodotti
- Sviluppo di standard e interfaccia
- Sviluppo di interopearabilita’ con il portale INSPIRE
Gennaio 2012
Il Progetto SeaDataNet 2
Ancora un pochino di storia:
Il CNR e’ entrato in SeaDataNet II come dotato di una banca dati di
idrologia funzionante e visibile, che in realta’ all’epoca non aveva.
ISMAR e’ inserito nel progetto con un un’attivita’ specifica legata alle
azioni dei nodi, o Data Center marini.
Per poter costituire la banca marina con standard internazionali in
tempi molto brevi, si e’ deciso di collaborare con ENEA (Giuseppe
Manzella), istituendo una banca dati congiunta, perlomeno come
primo passo.
Grazie soprattutto al lavoro di Catia Chiappini e Anna Vetrano in
collaborazione con ENEA, la Banca dati comune e’ stata costituita e
si e’ iniziato a popolarla, in collaborazione anche con IAMC e ISAC.
Il portale Mediterranean Marine Data e’ ora on line sul sito ISMAR
Metadati sono accessibili a tutti mentre i dati sono protetti da pswd.
Gennaio 2012
5
Situazione attuale Banche Dati Marine Italiane:
• OGS e’ formalmente il NODC (National Oceanographic Data Center) per
mandato ministeriale
• ISPRA ha mandato per banche dati ambientali
• CNR e’ ancora frammentato. Al momento ha numerose banche dati in-situ
di progetto, data base satellitare in MyOcean, e MMD con ENEA.
Inoltre CNR ha un esperienza riconosciuta a livello internazionale per
sviluppo e interoperabilita’ (IIA, S.Nativi), che e’ presente sia in SeaDataNet
che nel progetto interdipartimentale GIIDA
Gennaio 2012
Prospettive?
Posizione della Commissione Oceanografica Italiana (COI) e azioni in
corso
• La COI supporta la formazione di NODC come National Data “Commettee”
piuttosto che “Center”, ossia una federazione di sistemi che nel loro interno possono
avere, ove necessario, una organizzazione gerarchica.
• Propone diversi sistemi 'tematici', da realizzare con un approccio incrementale
• Suggerisce di costituire un gruppo di lavoro per formare NODC, definire standards e
applicare tecnologie informatiche basate sulla interoperabilita’
• In particolare, il Presidente reputa il potenziale apporto del CNR nel costituendo NODC
particolarmente importante per quanto riguarda tecnologie informatiche di
interoperabilita’ innovative, e il diretto coinvolgimento con i gruppi di lavoro INSPIRE.
Discutere una strategia…… (breve,medio, lungo termine??….)
Gennaio 2012
La Banca Dati MMD
MEDITERRANEAN-MARINEDATA.EU
La Banca Dati MMD
Nasce da una collaborazione CNR – ENEA ed è un sistema
informativo di dati marini relativi alla colonna d’acqua; ha lo scopo di
diventare un supporto di analisi, condivisione e distribuzione di dati
relativi all’ambiente marino per tutti gli operatori di settore.
Il sistema si basa su un server http (apache vers. 2.0.49) con dbms
mysql (vers. 4.0.18) a cui ci si connette eseguendo delle query
attraverso l’utilizzo di pagine php (vers. 5.1.4 with GD vers. 2.0.28) .
Il database è composto da dati georeferenziati la cui visualizzazione
viene offerta mediante l’utilizzo delle API di Google Maps.
L’accesso ai dati è a 2 livelli: guest e autenticato. Nel caso di accesso
guest, l’utente potrà visualizzare i metadati di tutte le campagne
presenti nel data base ed i dati (grafici, etc) di quelle campagne ad
accesso libero; l’accesso da utente autenticato, invece, consente di
accedere a tutto il dataset.
Gennaio 2012
8
La Banca Dati MMD
MEDITERRANEAN-MARINEDATA.EU
La ricerca avviene mediante un’interfaccia grafica, user friendly, – che si
trova sul lato sinistro della pagina web – composta da tendine di
selezione che hanno lo scopo di restringere il più possibile il campo di
ricerca; le stesse tendine comunque consentono di lasciare la ricerca
completamente libera e visualizzare tutte le informazioni disponibili
all’interno del dataset. Dopo aver scelto il tipo di query da inviare al
database ed aver fatto click sul tasto “GO”, il sistema restituirà, in base
alle politiche di accesso del dataset stesso, i metadati/dati relativi ai
profili verticali e/o alle serie temporali selezionati, con una
visualizzazione geografica mediante l’uso delle Goolge Maps.
Il sistema consente, nel caso di accesso libero ai dati, la visualizzazione
dei grafici di alcuni paramentri tra cui: temperatura, ossigeno, salinità,
etc.
Gennaio 2012
9
La Banca Dati MMD
MEDITERRANEAN-MARINEDATA.EU
Il sistema risponde alle direttive INSPIRE della Comunità Europea sui
servizi che una banca dati di questo genere dovrebbe fornire, ed in
particolare:
- discovery services  ricerca nel dataset e visualizzazione dei
metadati, attraverso l’utilizzo di una semplice interfaccia, mediante la
selezione di alcuni parametri quali il range temporale, il tipo di
strumento, il nome della campagna, etc;
- view services  visualizzazione/navigazione dei profili del dataset
mediante un sistema di georeferenziazione (API di Google Maps);
- download services  download dei profili ricercati sia in formato
testo che;
- transformation services  trasformazione dei dati del dataset in
modo da ottenere la piena interoperabilità con altri applicativi (formato
netcdf, odv, etc).
Gennaio 2012
10
Il Controllo di Qualità dei Dati
MEDITERRANEAN-MARINEDATA.EU
Il Controllo di Qualità dei Dati
Prima dell’inserimento dei dati delle campagne ISMAR nel database
sopra descritto, sono state fatte alcune verifiche sui dati provenienti
dalla sonda SeaBird:
1. verifica manuale, con la quale sono stati eliminati quei profili
oggettivamente errati o duplicati (in base anche alle
segnalazioni di Mireno Borghini);
2. utilizzo del software CTD di proprietà di ENEA (realizzato dal
Dott. Andrea Bordone), con il quale si sono ricercati errori di
tipo macroscopico (assenza nome cruise, assenza nome
stazione, assenza profondità di riferimento, etc); nel caso di
segnalazioni di errore, si è provveduto a modificare i files in
modo da renderli formalmente corretti;
Gennaio 2012
11
Il Controllo di Qualità dei Dati
MEDITERRANEAN-MARINEDATA.EU
3. utilizzo di alcuni script Fortran, realizzati dal Dott. Giuseppe Manzella
di ENEA, con la funzione di verificare piu’ profondamente i profili e
ad identificare i possibili errori di:
 posizione (l’area utilizzata è quella del mediterraneo e quindi
south = 030.0, north = 046.0 west =-009.0, east = 037.0);
 velocità dell’imbarcazione (in base allo spostamento da una
stazione all’altra, considerando come velocità reale di
navigazione, nel nostro caso della nave URANIA, max velocity =
10.0 e min velocity = 2.5);
 velocità dell’imbarcazione (in base allo spostamento da una
stazione all’altra, considerando come velocità reale di
navigazione, nel nostro caso della nave URANIA, max velocity =
10.0 e min velocity = 2.5);
 profondità (preso a riferimento il grid ETOPO1 della NOAA);
 verifica dei parametri presenti nei profili in base ad un file di
controllo dei limiti regionali per ogni grandezza misurata per: la
pressione, la temperatura, la salinità, l’ossigeno, la turbidità e la
fluorescenza.
Gennaio 2012
12
Il Controllo di Qualità dei Dati
MEDITERRANEAN-MARINEDATA.EU
Dalle verifiche di cui al punto 3, vengono prodotti dei file di testo con le
indicazioni degli errori o comunque dei valori fuori range, a cui deve
seguire un attento controllo dei brogliacci di navigazione.
L’ultimo degli script Fortran che viene lanciato, genera un file unico
MEDATLAS con la sequenza di tutte le stazioni analizzate della
campagna, e completa questo file con i flags del controllo di qualità
eseguito, in base alle seguenti regole:
0 NOT CONTROLLED VALUE
1 CORRECT VALUE
2 VALUE INCONSISTENT WITH STATISTICS (Out of narrow range limits)
3 DUBIOUS VALUE (SPIKE)
4 FALSE VALUE (Out of broad range regional limits, or corresponding to a
vertical unstability)
5 VALUE MODIFIED DURING QC (only for obvious location or time errors)
6-8 Not used
9 NO OBSERVED VALUE
Gennaio 2012
13
La Banca Dati MMD
MEDITERRANEAN-MARINEDATA.EU
Con l’ultimo script Fortran viene anche generato un file in formato odv,
che consente un’immediata analisi visiva/grafica dei profili, appunto, con
il software Ocean Data View.
Per inserire i profili della campagne nel database MMD, una volta
terminato il QC, viene riutilizzato il file Medatlas e viene utilizzato un
altro programma Fortran che consente la “scompattazione” in tanti files
.dat quante sono le stazioni della campagna.
L’inserimento dei dati nel database avviene attraverso una pagina web,
inserendo user e password; tramite tale interfaccia è possibile anche
configurare nuove campagne, modificare quelle presenti, oltre
ovviamente alla possibilità di agire sui vocabolari utilizzati (in modo da
mantenere sempre i dati aggiornati agli standard di riferimento).
Gennaio 2012
14
MEDITERRANEAN-MARINEDATA.EU
L’uso dell’interfaccia web
Esempio pratico di query al
db MMD:
Sul lato di sinistra si hanno le
prime
informazioni
sulla
campagna ricercata, da cui si
vede che sono presenti nel
dataset
12
stazioni
corrispondenti a misurazioni
eseguite nel marzo del 2010.
Per
avere
ulteriori
informazioni si deve far click
sul link corrispondente al
riferimento al numero delle
stazioni per mese o sul link
posto sotto al numero totale
di stazioni trovate.
Gennaio 2012
15
Uso dell’interfaccia web
MEDITERRANEAN-MARINEDATA.EU
A questo livello si possono già avere
alcune delle informazioni circa le
stazioni trovate, dal punto di vista della
localizzazione sulla mappa e poi
basterà selezionare la stazione o le
stazioni che interessano sulla mappa
oppure facendo click sul link “view
station list” e si potrà accedere sia ai
metadati, che ai dati, che ai grafici (in
base al livello di accesso necessario per
accedere ai dati).
Gennaio 2012
16
Uso dell’interfaccia web
MEDITERRANEAN-MARINEDATA.EU
A questo punto facendo click sul bottone META
(in alto) si possono avere tutte le info sulla
stazione che ci interessa
Gennaio 2012
17
Uso dell’interfaccia web
MEDITERRANEAN-MARINEDATA.EU
Per poter lavorare più
agevolmente ai dati basterà
far click su uno dei link
indicati nel cerchietto rosso
trateggiato (qui a destra)
per poter fare il download
dei profili in 3 diversi
formati:
-Medatlas v. 2
-Odv v.4
-Netcdf
Gennaio 2012
18