STRUMENTI PER LA
VALIDAZIONE DEGLI
OUTPUT DI FARM
G. Briganti, A. Cappelletti,
M. D’Isidoro, M. Mircea
Bologna 23-24/marzo/2011
VALIDAZIONE DI FARM
OBIETTIVO: SVILUPPO DI UN SOFTWARE PER IL CONFRONTO
MODELLO- OSSERVAZIONI
 Valutazione statistica: misura delle prestazioni del modello
mediante il calcolo di indici di prestazione per tutte le specie
inquinanti considerate dalla normativa (DIRETTIVA
2008/50/CE): O3, NO2, NOX, CO, SO2, PM10, PM2.5;
 normativa: calcolo delle statistiche previste dalla 2008/50/CE.
Criteri di esistenza del dato
VALIDAZIONE DI FARM
DIRETTIVA 2008/50/CE
VALIDAZIONE DI FARM
DIRETTIVA 2008/50/CE
VALIDAZIONE DI FARM
DIRETTIVA 2008/50/CE
PM2.5
VALIDAZIONE DI FARM
DIRETTIVA 2008/50/CE
OZONO
• AOT40F (protezione boschi: somma delle eccedenze sopra la soglia di 40 ppb delle
concentrazioni orarie, relativamente all’intervallo orario 06-18, estesa al periodo AprileSettembre)
• AOT40C (protezione coltivazioni: come AOT40F ma estesa al periodo Aprile-Giugno)
• AOT40Fdir (come AOT40F ma intervallo orario 08-20, secondo la direttiva 2008/50/CE - allegato
VII)
• AOT40Vdir (protezione vegetazione: somma delle eccedenze sopra la soglia di 40 ppb delle
concentrazioni orarie, relativamente all’intervallo orario 08-20, estesa al periodo Maggio-Luglio direttiva 2008/50/CE )
• SOMO35 (protezione salute umana: somma delle eccedenze sopra la soglia di 35 ppb dei
massimi giornalieri delle medie mobili di 8 ore, estesa all’intero anno)
• SOMO00 (somma dei massimi giornalieri delle medie mobili di 8 ore su 1 anno)
• Superamenti: soglia di 120 µg/m3 (da non superare più di 25 volte per anno civile)
CRITERIO: condizione necessaria è l’esistenza del 90% dei dati – rinormalizzazione SOMO/AOT al
numero massimo di giorni/ore per l’anno considerato.
VALIDAZIONE DI FARM
SOFTWARE FORTRAN DI ELABORAZIONE
LETTURA FILE
INIZIALIZZAZIONE
• Directory dei dati farm e meteo
• Dominio
• Nome file coordinate (lista stazioni)
• Dir DB misure
LETTURA FILE
MISURE
• Legge i dati medi orari
• Controlla esistenza medie giornaliere:
se non sono disponibili le calcola
LETTURA FILE
FARM & METEO
(routine netCDF)
• Processo LENTO: implementata
parallelizzazione con paradigma
OpenMP, ma deve essere testata
• Campi meteo : U, V, T, TCC, PREC
• Salvataggio 1 file per stazione misura
• Interpolazione bilineare
CALCOLO INDICI
STATISTICI
• Allineamento misure-simulazioni
• Indici statistici prescritti da normativa
• Indici statistici di prestazione (1h/24h)
• Percentili (25, 75)
• Eccedenze orarie/giornaliere
OUTPUT
• Tabelle indici statistici da normativa
• Indici statistici di prestazione
orari/giornalieri
• Ciclo medio giornaliero
VALIDAZIONE DI FARM
SOFTWARE DI ELABORAZIONE
INDICI STATISTICI DI PRESTAZIONE
• R (Pearson’s Correlation Coefficient)
Cs   Cs Co   Co 
R
2 0.5
 Cs   Cs    Co   Co 2
• MBE (Mean Bias Error)
MBE  Cs  Co
• MNBE (Mean Normalised Bias Error)
Cs  Co
MNBE  100
Co

0.5
VALIDAZIONE DI FARM
SOFTWARE DI ELABORAZIONE
INDICI STATISTICI DI PRESTAZIONE
• MAGE (Mean Absolute Gross Error)
MAGE  Cs  Co
• MANGE (Mean Absolute Normalised Gross Error)
MANGE  100
Cs  Co
Co
• FAC2 (Factor of two)
FRAZIONE DI DATI SIMULATI COMPRESA ENTRO UN FATTORE 2 (TRA
LA META’ ED IL DOPPIO) RISPETTO ALLE OSSERVAZIONI
VALIDAZIONE DI FARM
SOFTWARE DI ELABORAZIONE
INDICI STATISTICI DI PRESTAZIONE
• FB (Fractional Bias)
 C s    Co 
FB  2
 C s    Co 
• NMSE (Normal Mean Square Error)
NMSE 
(Cs  Co ) 2
C s Co
4 FB 2
NMSE 
 NMSERANDOM
2
4  FB
• VG (Geometric Variance)
VG  exp  (ln Cs  ln Co ) 2 
VG  VGRANDOM  exp(  ln Cs    ln Co ) 2
VALIDAZIONE DI FARM
SOFTWARE DI ELABORAZIONE
INDICI STATISTICI DI PRESTAZIONE
• PPEA (Paired Peak Estimation Accuracy)


Cs ( xst , t max )  Co ( xst , t max )
PPEA  100

Co ( xst , t max )
In caso di più massimi
osservati coincidenti,
vengono calcolati i PPEA
/SPPEA corrispondenti e
ne viene calcolato il
minimo.
• SPPEA (Spatially Paired Peak Estimation Accuracy)


Cs ( xst , t max  3h)  Co ( xst , t max )
SPPEA  100

Co ( xst , t max )
• UPA (Unpaired Peak Estimation Accuracy)


max Cs ( x , t )  Co ( xst , t max )
UPA  100

Co ( xst , t max )
UPA calcolato solo
su stazioni rurali
VALIDAZIONE DI FARM
SOFTWARE DI ELABORAZIONE
INDICI STATISTICI DI PRESTAZIONE
• ASPEA (Average Station Peak Estimation Accuracy)

N
1
ASPEA 
N st
SPPEA i
i 1
• IOA (Index of Agreement)
IOA  1 
Cs ( xst , t )  Co ( xst , t ) 2




 | Cs ( xst , t )  Co ( xst , t ) |  | Co ( xst , t )  Co ( xst , t ) |  2
N.B. Maggiori fluttuazioni nelle concentrazioni, a parità di scarto
medio modello/osservazioni, migliorano IOA.
VALIDAZIONE DI FARM
SOFTWARE DI ELABORAZIONE
DIRECTORY DI LAVORO SU GRID
/gpor_proj/minni/briganti/minnifarm/post_farm
…/obs_data
…/scores
VALIDAZIONE DI FARM
SOFTWARE DI ELABORAZIONE
DIRECTORY DI LAVORO SU GRID
…/obs_data
BRACE-EMEP.1999
NOx
BRACE.2005
hour.AirBase.2005
O3
day.AirBase.2005
…
AirBase.2005
VALIDAZIONE DI FARM
SOFTWARE DI ELABORAZIONE
DIRECTORY DI LAVORO SU GRID
…/scores
2005_4x4
AirBase.2005
out
2005_20x20
…
soft
farm_extr
NI0
AirBase.2005
CI0
…
…
VALIDAZIONE DI FARM
PROSPETTIVE
• Correzione di bug.
• Definizione di convenzioni condivise: nomi dei file, struttura dello
spazio di lavoro, formato output, ecc.
• Armonizzazione delle procedure illustrate con quelle relative alla
meteorologia: aggiunta di routine ad hoc. Ciò è possibile grazie ai
vantaggi di questo tipo di software:
 flessibilità: programma principale che chiama delle routine;
 lettura diretta da archivio (peraltro richiesta da UPA).
• Messa a punto di una sola procedura automatica per concentrazioni
e meteo.
• Realizzazione di una procedura preliminare di validazione e controllo
dei dati osservati: individuazione spike, dati anomali, errori
sistematici, rumore, ecc.
• Sviluppo di un’interfaccia grafica.
File .INI
2005
! anno
5 23
! farm: ora iniziali e finali
1 0
365 23
! giorno inizio, ora inizio, giorno fine, ora fine
NI0
! dominio
/gpor_proj/minni/briganti/minnifarm/farm/out/
! root dir concentrazioni
conc
! prefisso file concentrazioni (tipo conc_NI0_YYYYJJJ.nc)
/gpor_proj/minni/briganti/minnifarm/meteo/
! root dir meteo
meteo
! prefisso file meteo (tipo meteo_NI0_YYYYJJJ.nc)
surfpro_saprc90
! prefisso file contenente la copertura nuvolosa (surfpro_saprc90_NI0_YYYYJJJ.nc)
surf
! prefisso file contenente la pioggia (surf_saprc90_NI0_YYYYJJJ.nc)
310. 4840. 4. 4. 146 96 16
! grid SW corner (X coord., Y coord.), x step, y step (km), nx, ny, nz
../../obs_data/AirBase.2005/hour.AirBase.2005/
! directory contenente i dati orari delle stazioni
../../obs_data/AirBase.2005/day.AirBase.2005/
! directory contenente i dati giornalieri delle stazioni
../../obs_data/AirBase.2005/AirBase.2005.coo
! Nome del file di coordinate
../../scores/out/AirBase.2005/2005_4x4/
! output dir
AirBase.2005_scores_O3_NI0_2005.txt
! nome file output statistiche
O3
! inquinante
_____________________________________________________________________________________________________________
File coordinate
UTMX
UTMY
NOME
TIPO
ZONA
QUOTA
LON
LAT
CODICE
86861.95 5003955.01 DRUENTO
Background
rural
337.00
7.56
45.18
IT1121A
512568.70 5004069.79 PAVIA
Background
urban
77.00
9.16
45.19
IT0912A
447335.32 4340258.16 PORTOSCUSO Industrial
suburban -9999.00
8.39
39.21
IT1396A
827947.10 5109459.37 UDINE
Traffic
urban
100.00
13.24
46.06
IT0760A
…
…
_____________________________________________________________________________________________________________
File output