PROVE INTERLABORATORIO
Roberto Morabito
ENEA – UTS PROT
[email protected]
CORSO CIMACQ
Qualità del dato analitico e
validazione dei metodi di analisi chimica
Ferrara, 15-16 aprile 2003
Uso di LRM negli Esercizi Interlaboratorio
►I Materiali di Riferimento da
laboratorio (LRM) possono essere
utilizzati nell’ambito di un Esercizio
Interlaboratorio
2
Esistono diversi tipi di Esercizi
Interlaboratorio:
• Esercizi di Certificazione, in cui
l’obiettivo è la certificazione di una o
più proprietà (ad es. analita) di un
Materiale di Riferimento;
• Esercizi di Standardizzazione, in cui
l’obiettivo è lo studio delle prestazioni
di un metodo (“test method”);
• “Proficiency tests”, in cui l’obiettivo è la
valutazione delle prestazioni dei
laboratori partecipanti;
• Studi in Collaborazione, in cui un
gruppo di laboratori cerca di migliorare
le proprie prestazioni analitiche o di
ottimizzare un metodo analitico.
Uso di LRM negli Esercizi Interlaboratorio
►I Materiali di Riferimento da
laboratorio (LRM) possono essere
utilizzati nell’ambito di un Esercizio
Interlaboratorio
3
Gli organizzatori variano a
seconda del tipo di Esercizio
Interlaboratorio:
• Esercizi di Certificazione,
normalmente sono condotti da
fornitori di CRMs, come BCR, NIST,
IAEA, etc.
• Esercizi di Standardizzazione, sono
normalmente organizzati da
organismi di normazione come ISO,
CEN, ASTM, AOAC, etc.
• “Proficiency tests” (PTs), sono
generalmente usati o raccomandati
da enti di accreditamento, come
UKAS, COFRAC, ENAC, IPQ, etc.;
i PTs sono organizzati da enti ed
istituti sia pubblici che privati.
Uso di LRM negli Esercizi Interlaboratorio
►Un Esercizio Interlaboratorio
prevede l’organizzazione, la
gestione e la valutazione di
prove effettuate su un materiale
sufficientemente omogeneo
(generalmente LRM) da parte di
due o più laboratori, in accordo
con condizioni pre-determinate
(“ISO Guide 43”).
►Un LRM viene scelto e prodotto
in maniera tale da essere il più
simile possibile ai campioni di
routine, per meglio riprodurre le
difficoltà analitiche che tali
campioni presentano.
4
► Esempi di tipi di Esercizi Interlaboratorio:
• Schema Qualitativo: analisi qualitativa
di una o più caratteristiche di un LRM;
• Elaborazione di Dati: manipolazione e
trattamento di un set di dati fornito dagli
organizzatori;
• “Split Level Test”: analisi di due
campioni, sia per valutare le capacità di
rivelazione che per prevenire collusione
di risultati;
• Schema a “split-sample”: diversi
campioni di un prodotto o materiale
sono distribuiti a 2-3 laboratori;
• Esercizio a Prestazione Singola:
organizzato una volta sola, senza
continuità;
• Esercizi a Schema Continuo:
organizzati in modo periodico e
continuo
• Esercizio di Campionamento
Organizzazione di Esercizi Interlaboratorio 5
►Generalmente, gli esercizi
Interlaboratorio sono organizzati
seguendo i successivi
passaggi:
• Progetto
• Sviluppo
• Valutazione
Decisione dell’obiettivo/scopo
Selezione degli organizzatori/ fornitori
Selezione di LRM (incluso studio di
fattibilità, se necessario)
Selezione delle analisi/studi che
devono essere eseguite/i
Selezione dei partecipanti
Preparazione di LRM
Distribuzione di LRM
Analisi da parte dei partecipanti
Rapporto da parte dei partecipanti
Riunione di Discussione tra i partecipanti
(non prevista in tutti i tipi di esercizi)
Valutazione dei risultati
Rapporto finale ai partecipanti
Statistica negli Esercizi Interlaboratorio
►Il trattamento statistico dei dati
dipende dal tipo di Esercizio
Interlaboratorio effettuato
►Generalmente l’analisi statistica
è necessaria in:
• Preparazione dei campioni
• Valutazione dei risultati
6
Aspetti statistici nella
preparazione:
• campionamento
• studio di omogeneità
• studio di stabilità
Aspetti statistici nella valutazione:
• parametri di riferimento
(valore di riferimento e
deviazione standard)
• parametri di prestazione
Valutazione negli Esercizi di Standardizzazione 7
►Obiettivo: studio delle prestazioni
di un “test method”, ovvero
determinazione di ripetibilità e
riproducibilità (sr e sR)
►Valutazione mediante ANOVA
(Analisi della Varianza)
►“Outliers” allo 0.3% e/o al 5% di
probalità statistica vengono
investigati mediante:
• “Cochran test” per gli “outliers”
della varianza
• “Grubbs test” per gli “outliers”
della media
►La consistenza dei risultati viene
verificata utilizzando diagrammi
statistici di Mandel h&k
Valutazione negli Esercizi di Certificazione 8
►Obiettivo: certificare una o più
caratteristiche (es. analita) di un
Materiale di Riferimento e
l’incertezza associata a tali
caratteristiche
►Valutazione utilizzando:
• “Normality test”:
Kolmogorov-Smirnov-Lilliefors
• “Outliers”:
Grubbs test
►Stima dell’incertezza:
• ISO GUM
►Incontro per la Discussione
Tecnica
Valutazione nei “Proficiency Tests” (PTs)
►Obiettivo: valutazione delle
prestazioni analitiche dei
laboratori partecipanti
►Parametri di Riferimento:
• Valore di Riferimento o Assegnato
• Unità di Deviazione
►Valutazione di una prestazione
singola
►Valutazione di prestazioni
combinate utilizzando punteggi
compositi
9
Parametri di Riferimento per PTs
►Valore di Riferimento o
Assegnato: convenzionalmente
accettato come valore vero.
Metodo di formulazione:
• Il valore di riferimento viene stabilito dalle
modalità di preparazione del campione
(“sample formulation”) mediante aggiunta o
diluizione dell’analita.
Metodi di Riferimento (metodo
tracciabile, secondo definizione ISO):
• Il valore assegnato viene stabilito mediante
analisi tracciabile alle unità di misura SI o a
standard internazionali;
• Se il campione distribuito è un CRM, allora
il Valore Certificato può essere usato come
valore di riferimento.
10
Metodi di Consenso:
• Il valore di riferimento viene
stabilito mediante l’appropriato
calcolo della media dei risultati dei
partecipanti.
• Metodo Classico:
Tests per gli “Outlier”;
• Metodo Robusto:
“Windsorisation”.
• Tutti i partecipanti;
• Gruppo selezionato di
laboratori esperti
Parametri di consenso per PTs
Metodo Classico per la determinazione del
valore di riferimento e della deviazione
standard (Xm&S):
• Applicazione di Test per l’individuazione di
“Outlier” e loro eventuale rigetto;
• Media dei risultati rimanenti.
11
Bibliografia: ASTM E178
ISO 5725-2
ISO/DIS 13528
Individuazione “Outlier” e
loro eliminazione
Media dei risultati rimanenti
Parametri di Consenso per PTs
12
Metodo Classico per la
determinazione di Xm&S:
• Applicazione di Test per l’individuazione
• di “Outlier” e loro eventuale rigetto;
• Media dei risultati rimanenti.
Grubbs (Singolo): 1 “outlier” ad un estremo
Test per “outlier”
• La scelta del test dipende dalla
distribuzione dei dati in quanto ogni test per
“outlier” è adatto ad una particolare distribuzione
dei dati.
Test per “outlier” multipli
Correzione di Bonferroni: quando sono
effettuati n test per “outlier”, per ottenere una
probabilità complessiva PT, ciascun test
dovrebbe essere effettuato ad un livello di
probabilità Pi tale da rispettare la seguente
relazione: Pi = 1 – (1 - PT)(1/n)
Grubbs (Doppio): 2 “outlier” ad un estremo
s/w : 2 “outlier”, 1 ad ogni estremo
Tietjen-Moore : n “outlier”, ad ogni estremo
Hampel : n “outlier”, ad ogni estremo
Parametri di Consenso per PTs
Metodo Robusto – “Windsorisation”
• Calcolo di media “robusta” (Xm) e deviazione
standard (S) prendendo in considerazione
tutti i risultati; i valori che cadono all’esterno
delle deviazioni massime accettabili vengono
riallocati mediante utilizzo di algoritmi iterativi.
13
Bibliografia: ISO 5725-5
• 1a stima di Xm e S, usando tecniche
robuste: mediana, SMAD
• 1a iterazione: usando 1a stima si
calcolano le deviazioni massime
accettabili e si riallocano i risultati che si
trovavano al di fuori di quei valori
massimi (“outlier”)
• 2a stima: Xm and S si ricalcolano
considerando anche i valori riallocati
• Ultima iterazione: usando la stima
precedente si calcolano le nuove
massime deviazioni accettabili e si
riallocano gli “outlier”
• Ultima stima: nuovi Xm e S non
differiscono dai precedenti più dei limiti
concessi
Parametri di deviazione per PTs
►Unità di Deviazione dal Valore
Assegnato o di Riferimento:
• Una misura di deviazione accettabile
per: XLAB - XRIF
• Deviazione Standard
• Deviazione Assoluta o Relativa (ad es.
Il 10% del valore di riferimento)
Valore di Consenso:
• S viene stabilita prendendo in
considerazione i risultati dei partecipanti
• Nell’approccio Classico viene presa in
considerazione la media di tutti i risultati,
esclusi gli “outlier”.
• Nell’approccio Robusto viene considerata la
media di tutti i risultati, compresi gli “outlier”
dopo che sono stati riallocati mediante
“Windsorisation”.
14
Valore Prescritto:
• S è stabilita basandosi su criteri
regolatori o di adeguatezza allo scopo
prefissato
Valore Empirico:
• S è scelta secondo criteri di
desiderabilità, come un valore da
raggiungere per i partecipanti
Valore basato su Modello
Empirico:
• S è calcolato seguendo una relazione
empirica che correla l’intervallo di
accettabilità della riproducibilità con il
livello di concentrazione dell’analita da
determinare (e.g. Horwitz model):
SR = 0.02  c 0.8495
SR = 0.02  c 0.8495
Statistica per Prestazione Singola
►Statistica per Prestazione
Singola:
•
•
•
•
16
Errore Percentuale:
• %E = XLAB – XRIF
XRIF
essendo XLAB = Risultato Lab
XRIF = Valore Assegn./ di Rif.
• Facilmente compreso dai partecipanti
Errore percentuale;
“Z-scores”;
Valore En;
etc.
Valutazione della prestazione:
%E
+x%
XREF
0
-x%
• Generalmente dipende dal livello di
concentrazione
• |%E|  x: Soddisfacente
|%E| > x: Insoddisfacente
Statistica per Prestazione Singola
►Statistica per Prestazione
Singola:
•
•
•
•
“Z-scores” (punteggi Z):
Errore percentuale;
“Z-scores”;
Valore En;
etc.
Z
XREF
17
+3
+2
0
-2
-3
• Z = XLAB – XRIF
S
Dove XLAB = Risultato del Lab.
XRIF = Valore Assegnato/di Rif.
S = Unità di Deviazione
• Si tratta della formula di valutazione più
comunemente utilizzata;
• Quando XRIF è la media e S è la
Deviazione Standard, la distribuzione dei
“z-score” è rappresentata da una
distribuzione normale.
Valutazione delle prestazioni:
• |Z|  3: Soddisfacente
|Z| > 3: Insoddisfacente
Z
-3 -2
0
+2 +3
Statistica per Prestazione Singola
►Statistica per Prestazione
Singola:
•
•
•
•
Errore percentuale;
“Z-scores”;
Valore En;
etc.
Incertezza di XRIF, UXRif :
• Determinazione / Assegnazione di XRIF
• Omogeneità del campione
• Stabilità del campione
“Z-score” modificato:
• Z = XLAB – XRIF
S'
dove XLAB = risultato del Lab
XRIF = Valore Assegnato/di Rif.
S' = SQR(S2 + UXRif2)
• Idealmente, S viene scelto in modo
che includa l’incertezza di XRIF
Valutazione delle Prestazioni:
• Come per il “z-score” classico
• |Z|  3: Soddisfacente
|Z| > 3: Insoddisfacente
18
Statistica per Prestazione Singola
►Statistica per Prestazione
Singola:
•
•
•
•
Valore En:
• En =
(XLAB – XRIF) .
SQR(UXlab2 + UXrif2)
dove XLAB = risultato del Lab
XRIF = Valore Assegnato/di Rif.
SQR(...) = radice quadrata
UXlab = incertezza di XLAB
UXref = incertezza di XRIF
• Usata soprattutto per la valutazione
di Studi Interlaboratorio tra Laboratori
di taratura.
Errore percentuale;
“Z-scores”;
Valore En;
etc.
XRIF
UXRif
non
OK OK?? OK
OK
non
OK
19
Valutazione della Prestazione:
• |En|  1: Soddisfacente
|En| > 1: Insoddisfacente
En
-1
0
+1
Statistica per Prestazioni Combinate
► Punteggio Composito:
• Numero o percentuale di risultati
soddisfacenti;
• Combinazione di “Z-score” (punteggi Z).
► Punteggio Composito di prove diverse
► Punteggio Composito di prove uguali
svolte diverse volte nell’arco di un certo
tempo; in questo caso sono
raccomandati diagrammi grafici (ad es.
Carte di Shewhart)
20
Bibliografia:
Analytical Methods Committee,
Analyst, 117 (1992): 97-104.
Combinazione di “z-scores” (punteggi
z):
• AAZ, “Average of absolute z-scores”:
Z =  |Zi| / m
dove m = numero di “z-scores” combinati
• RSZ, “Rescaled Sum of z-scores”:
RSZ =  Zi / m
Segue la distribuzione normale standard
• SSZ, “Sum of Squared z-scores”:
SSZ =  Zi2
Segue la distribuzione 2 (con m d.f.)
• RSSZ, “Rescaled SSZ”:
RSSZ =  Zi2 / m
Bibliografia
►ISO Guide 43 “Proficiency Testing
by Interlaboratory comparisons”
►ISO 5725 Parts 1-6 “Accuracy
(trueness and precision) of
measurement methods and results”
►ISO/DIS 13528 “Statistical
methods for use in proficiency testing
by interlaboratory comparisons”
►ILAC Guide 13 “Requirements for
the Accreditation of Providers of
Proficiency Testing Schemes”
►Doc BCR 1/97
21
► The International Harmonised Protocol
for the Proficiency Testing of (Chemical)
Analytical Laboratories. J. AOAC Int.
76: 926-940.
► Massart et al., 1997.
Handbook of Chemometrics and
Qualimetrics. Elsevier, Amsterdam
(ISBN 0-444-82854-0).
► Miller, J. & J. Miller, 1992.
Statistics for Analytical Chemistry.
Ellis & Horwood, Chichester
(ISBN 0-13-845421-3)
INTERLABORATORY STUDIES
General aspects
TYPES OF STUDIES
• Method
performance study
• Proficiency testing (several methods)
• Certification of reference materials (attribution of values to materials)
CONDITIONS
• Co-ordination
• Motivation (and competence) of participating laboratories
• Availability of test materials
•Statistical evaluation
• Technical evaluation of results
INTERLABORATORY STUDIES
DETECTION
DERIVATISATION
CLEAN-UP
SEPARATION
EXTRACTION
MINERALISATION
OVERALL
METHOD
S1
Simple solutions
(pure substances
or mixtures of substances)
Improvement schemes
S2
Solutions simulating the matrix
or extracts (spiked or not)
The principle followed is similar to a method
validation, i.e.analyses of increasingly complex
matrices to detect possible errors at
the different analytical steps.
M1
M2
« Matrix » reference material
similar to the sample,
spiked with a known
amount of the analyte
« Matrix » reference material
with a composition close
to the sample composition
(method performance studies)
These schemes have a pedagogic goal and
involve technical meetings in the frame of
which participants may exchange their
experience and discuss weak points of
their method(s) as well as source(s) of error(s).
AQUACON - MEDBAS
ANALYTICAL QUALITY CONTROL
AND ASSESSMENT PROJECT IN MEDITERRANEAN BASIN
MIGLIORAMENTO DELLE PRESTAZIONI COMPLESSIVE DEI
LABORATORI MEDIANTE PARTECIPAZIONE AD ESERCIZI
INTERLABORATORIALI
ESEMPIO: “MERCURIO IN PESCE”
ANNO
n° di LABORATORI
C.V.
1988
1991
1993
1996
1998
35
29
22
48
68
41%
36.50%
33.50%
29.15%
24%
CIRCUITO INTERLABORATORIO
I° CORSO ENEA su PRODUZIONE ED USO DI RMs
CV sperimentale e CV calcolato secondo l’equazione di Horwitz
Dati selezionati statisticamente
CV% calcolato
MSOLg L-1)
As
Cd
Cr
Cu
Ni
Pb
MS (mg Kg-1)
As
Cd
Cr
Cu
Ni
Pb
Zn
MT (mg Kg-1)
As
Cr
Cu
Hg
Pb
Zn
CV% secondo
Horwitz
7,6
5,8
6,9
5,4
4,8
9,9
21
28
24
15
21
27
7
7
32
5
13
7
8
8,8
9,3
9,3
5,6
9,2
5,4
4,9
14
52
13
13
21
6
8,4
16,3
11,5
11,5
16,5
9,7
CV% calcolato
CV% secondo
Horwitz
IPAS (g Kg-1)
Antracene
benzo[a]antrac
benzo[b+,j+k]flu
benzo[ghi]perile
benzo[a]pirene
crisene
fenantrene
fluorantene
indeno[1,2,3-cd]pi
pirene
60
73
75
19
74
75
81
38
50
41
47
39
34
24
32
33
29
26
34
35
PCBT (g Kg-1)
CB 101
CB 105
CB 118
CB138+CB163
CB 153
CB 180
CB 187
21
38
22
15
17
11
27
32
38
32
27
26
29
31
MS: Cd deviazione Horwitz
4.0
3.0
2.0
Z score
1.0
0.0
-1.0
-2.0
-3.0
-4.0
21
04
02
08
11
07
03
15
26
23
17
06
ENEA
09
16
05
22
Z-score -7.4
-3.5
-1.0
-0.6
-0.6
-0.4
-0.4
-0.2
-0.1
0.2
0.3
0.7
0.7
0.8
1.1
1.7
8.7
Laboratori
MS:Cr deviazione Horwitz
4.0
3.0
2.0
Z score
1.0
0.0
-1.0
-2.0
-3.0
-4.0
04
Z-score -11.2
05
02
03
07
26
16
15
22
17
ENEA
11
09
23
08
21
-9.5
-6.3
-5.1
-4.8
-4.7
-3.8
-3.7
-2.4
-0.7
-0.7
-0.5
0.5
1.2
3.6
3.8
Laboratori
MOLTI LABORATORI NON PARTECIPANO A
STUDI INTERLABORATORIO IN QUANTO LI
RITENGONO UTILI SOLO PER:
ANALISI PARTICOLARMENTE COMPLICATE
AQUACON - MEDBAS
ANALYTICAL QUALITY CONTROL
AND ASSESSMENT PROJECT IN MEDITERRANEAN BASIN
MOLTI LABORATORI NON PARTECIPANO A
STUDI INTERLABORATORIO IN QUANTO LI
RITENGONO UTILI SOLO PER:
ANALISI PARTICOLARMENTE COMPLICATE
ANALISTI NON ESPERTI
IMEP
INTERNATIONAL MEASUREMENT EVALUATION
PROGRAMME
MOLTI LABORATORI NON PARTECIPANO A
STUDI INTERLABORATORIO IN QUANTO LI
RITENGONO UTILI SOLO PER:
ANALISI PARTICOLARMENTE COMPLICATE
ANALISTI NON ESPERTI
LABORATORI CON STRUMENTAZIONE DI BASSO COSTO
CONCLUSIONI
IL CONTROLLO DI QUALITA’ DEI DATI ANALITICI
NON PUO’ ESSERE PIU’ CONSIDERATO COME
OPZIONALE ED “ UNA TANTUM”
IL CONTROLLO DI QUALITA’ DEI DATI ANALITICI E’
E DEVE ESSERE CONSIDERATO UN PROCESSO
CONTINUO
CONCLUSIONI
LE MISURE CORRETTE COSTANO MOLTO
LE MISURE SBAGLIATE COSTANO MOLTO DI PIU’
HARRIS, Quantitative Chemical Analysis (Box 9.1)