Valutazione in educazione
sanitaria
Pio Russo Krauss
Responsabile Educazione Sanitaria
ASL Napoli 1 Centro
Finalità della valutazione
•
verificare se l’intervento si è svolto o si sta
svolgendo come programmato
•
sapere se l'intervento ha raggiunto i suoi
obiettivi, se è stato utile, inutile o nocivo
•
conoscere se i risultati conseguiti sono
commisurati alle risorse impiegate
•
verificare l’accoglienza e il gradimento da parte
degli operatori, dei soggetti coinvolti, dei
destinatari, della “committenza” o di altri soggetti
•
individuare gli eventuali elementi utili, superflui e
nocivi dell'intervento
•
valutare se un intervento da svolgere è
presumibilmente pertinente, coerente, fattibile,
efficace, opportuno, efficiente
Parole diverse significati differenti
• PRODOTTO: avere realizzato ciò che pensavamo servisse per
ottenere il risultato e l’esito desiderato (es. dare a tutti i pediatri
formazione e materiale educativo per i pazienti; dare a tutte le
scuole formazione per gli insegnanti, programmazioni educative,
materiali didattici, interventi da parte di esperti e consulenza)
• RISULTATO: effetto realizzatosi grazie alla collaborazione del
target intermedio e/o finale (es. i pediatri svolgono in maniera
migliore la loro funzione di educatori sanitari; gli studenti hanno
migliori conoscenze su come alimentarsi correttamente e su
quanta attività fisica fare).
• ESITO: benefici per il target finale e/o per la comunità (es. i
bambini fanno un’alimentazione più corretta; gli studenti fanno
più attività fisica e mangiano meno snack; il Comune aumenta le
zone pedonali e le aeree per lo sport).
• IMPATTO: beneficio di salute nella popolazione (es. diminuisce la
percentuale di soggetti obesi; diminuisce l’incidenza dell’infarto).
Dipende dal progetto ma anche da molti altri fattori
•
•
•
•
•
valutazione di processo
valutazione d’efficacia (risultato/esito/impatto)
valutazione economica:
- valutazione costo/efficacia
- costo/utilità
- costo/benefici
valutazione di gradimento
valutazione a priori (ex ante)
oggettiva, soggettiva, semioggettiva
Valutazione di processo
Ha il fine di conoscere come effettivamente si è
svolto o si sta svolgendo l'intervento (valutazione
interna)
Solitamente è in itinere per potere attuare il controllo
di gestione (“Come si sta svolgendo il progetto?”)
Sono state svolte le riunioni programmate? Quante
persone vi hanno partecipato? Cosa hanno prodotto?
E’ stato preparato il materiale didattico nei tempi e
modi previsti? Se no per quali motivi? Le unità
didattiche sono state svolte nei modi e tempi previsti
dai soggetti individuati? Se no per quali motivi? Ecc.
Valutazione d’efficacia
Verifica dei risultati conseguiti
(valutazione esterna), dell’efficacia:
Obiettivi di salute
Obiettivi di comportamento
Obiettivi di atteggiamento
Obiettivi cognitivi (conoscenze, competenze
ecc.)
Valutazione economica
Nella valutazione economica si rapportano gli
output agli input (valutazione dell’efficienza)
•
valutazione costi/efficacia: output espressi in
unità fisiche (riduzione della mortalità, della
morbilità, anni di vita guadagnati, giorni di
malattia evitati ecc.)
•
valutazione costi/utilità: output espressi in
unità di misura di salute come “giorni di salute”,
“anni di vita aggiustati per la qualità” (QALYs)
•
valutazione costi/benefici: output espressi in
unità monetarie
Valutazione di gradimento
Serve a verificare come un’iniziativa è stata
accolta, se i soggetti coinvolti, gli operatori,
la “committenza”, hanno gradito o meno
l’intervento
Il gradimento di un intervento è solitamente
una condizione necessaria, anche se non
sufficiente, per l’efficacia educativa
Valutazione analitica
• struttura organizzativa
• strategia educativa
• materiale didattico
• personale (gli educatori, gli organizzatori ecc.)
• destinatari dell'intervento
• il contesto dell'intervento
Valutazione a priori (ex ante)
Nella valutazione a priori si analizza
l’ipotesi di intervento alla luce del
contesto nel quale deve essere
realizzato, delle acquisizioni della
ricerca scientifica e di un sistema di
riferimento teorico
Griglia per la valutazione a priori
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
coerenza agli obiettivi strategici (aziendali, regionali)
coerenza tra motivazione del progetto e obiettivi;
coerenza tra obiettivi, contenuti e azioni;
coerenza tra obiettivi educativi e metodologie e tecniche
educative
coerenza tra attori e attività
disponibilità delle risorse occorrenti (costi)
realizzabilità e accettabilità delle azioni previste
risultati attesi
presunzione di efficacia (diretta, indiretta)
efficienza in rapporto ad altri possibili interventi
definizione di strumenti e procedure per la valutazione di
processo
flessibilità in caso di imprevisti
definizione di strumenti e procedure per la valutazione d’esito e
di gradimento
sostenibilità
equità
Cronogramma di un intervento
1
Preparazione
materiale didattico
Stampa materiale
Formazione
operatori 1° liv
Formazione
insegnanti
Test ingresso
Itinerario didattico
Incontri con
insegnanti
Digitazione dati
Incontri con
genitori
Test uscita
Elaborazione dati
2
3 4
5
6
7 8 9
10
11
12
13
14
15
16
Metodologia valutativa
•
determinazione dell’oggetto del controllo
•
misurazione:
(decidere cosa si vuole valutare e perché)
a) scelta di strumenti di misurazione
b) utilizzazione degli strumenti mediante
procedure
c) registrazione dei risultati
d) lettura dei risultati;
•
valutazione propriamente detta:
e) confronto del risultato ottenuto con criteri
f) espressione di un giudizio.
Controllo della
temperatura
Interrogazione
funzioni delle
operazioni
Si decide di
controllare la
temperatura
Si stabilisce su quali
determinazione
parti del programma
dell’oggetto del
interrogare gli studenti, controllo
Si utilizzano
termometri adatti
Si formulano le
domande
scelta di uno
strumento
Si seguono procedure
codificate
Si interroga usando
un dato tono di voce,
un dato tempo ecc.
utilizzazione dello
strumento mediante
procedure
Si annota la
temperatura
Si ricordano le
risposte date
registrazione dei
risultati
Si leggono i risultati
Si considerano i
risultati
lettura dei risultati
Si giudicano i risultati Si giudica se gli
(cosa dice la
studenti hanno
letteratura scientifica) risposto in modo
soddisfacente
confronto del
risultato ottenuto
con criteri
codificati
Si esprime un
giudizio sullo stato di
salute del paziente
espressione di un
giudizio tramite un
codice
Si esprime un
giudizio sulla
preparazione
FASI DELLA
VALUTAZIONE
DETERMINAZIONE
DELL’OGGETTO
DEL CONTROLLO
MISURAZIONE
VALUTAZONE
La misurazione deve essere
valida, riproducibile, precisa, accurata,
omogenea, non ambigua, fedele
• Validità: accordo tra ciò che si misura o osserva
(l’indicatore) e ciò che è in realtà
• Riproducibilità è l’affidabilità nel tempo e nello
spazio della misura. E’ direttamente
proporzionale a precisione e accuratezza
• Precisione scostamento dalla media dei diversi
valori misurati.
• Accuratezza scostamento della media dei valori
misurati dal valore vero.
Questa misurazione come è?
Curva dei risultati delle misurazioni
Curva dei risultati delle misurazioni
Valore vero
Valore vero
Questa misurazione come è?
Curva dei risultati delle misurazioni
Curva dei risultati delle misurazioni
Valore vero
Valore vero
• omogeneità gli strumenti e le procedure
devono essere gli stessi oppure devono
essere il più possibile standardizzati
• non ambiguità si deve misurare un solo
elemento in maniera tale che l’interpretazione
della misurazione sia chiara e univoca
• fedeltà in fase di registrazione e lettura
riportare esattamente ciò che si è misurato,
senza errori
Tipologie di strumenti per
misurare il comportamento
1) il comportamento è riferito dal soggetto:
interviste, questionari, test
2) il comportamento è rilevato da un
osservatore: osservazione conosciuta dal soggetto
(“osservatore visibile”), osservazione ignorata dal
soggetto (“osservatore nascosto”); con o senza
registrazione (video); libera o strutturata (con una
griglia stabilita che guida l’osservazione).
3) il comportamento è rilevato tramite tracce
(indicatori).
ESEMPIO
Igiene orale
- oggetto del controllo: 1) lavarsi i denti dopo
i pasti, 2) lavarsi i denti in modo corretto
Questionario: ti lavi i denti dopo i pasti? Quante
volte ti sei lavato i denti ieri? Quando ti sei
lavato i denti ieri?
Osservatore che osserva se e come si lava i
denti: la maestra a scuola (ob. 1), ass. sanitario
che osserva come si lava i denti (ob.2)
Traccia: quanti bambini si sono portati lo
spazzolino in una gita; quantità di placca
batterica presente sulla superficie dei denti
Coefficiente di Spearman della correlazione tra le risposte
ad alcune domande del questionario e l’estensione della
placca sia in ingresso che in uscita (*)
DOMANDA
QUANTE VOLTE AL GIORNO TI
LAVI I DENTI?
QUANDO CAMBI LO SPAZZOLINO?
I TUOI GENITORI TI DICONO DI
LAVARE I DENTI?
MANGI CARAMELLE TRA UN
PASTO E L’ALTRO?
INGRESSO
USCITA
0.01
0.08
- 0.20
- 0.03
+ 0.09
+ 0.02
- 0.215
- 0.06
L’estensione della placca è espressa come media delle osservazioni di due
osservatori nelle due sedute di osservazione prima e dopo l’intervento.
Conclusione: in questo caso il questionario non è uno
strumento valido (il soggetto tende a mentire)
Indice k rilevato dal confronto delle osservazioni del lavaggio dei
denti e dell’estensione della placca nel tempo e tra osservatori
LAVAGGIO COMPLETO
SUPERFICE ESTERNA *
INDICE DI CONCORDANZA
Nel tempo
Tra gli osservatori
0.32
0.68
- 0.01
0.27
SUPERFICE INTERNA
0.29
0.61
SUPERFICIE MASTICATORIA
0.70
0.87
MOVIMENTO VERTICALE
0.48
0.78
MOVIMENTO ORIZZONTALE
0.37
0.60
MOVIMENTO ROTATORIO
0.45
0.62
MOVIMENTO CORRETTO
0.71
0.77
PUNTEGGIO PLACCA
0.22
0.67
* Per
la variabile superficie esterna, il valore osservato non dipende da discordanze tra osservatori ma dalla
mancanza di variabilità nelle osservazioni (assenza di casi di non lavaggio della superficie esterna)
Conclusione: l’osservatore è uno strumento affidabile
Risultati prima e dopo l’intervento
gruppo
assistenti sanit
0
+
Gruppo
controllo
0
+
Gruppo
maestre
0
+
15
12
6
5
95
10
Lav parz/compl
14
9
9
Superf interna
73
29
122
Superf masticat
34
22
46
22
58
21
Movim corretto
64
45
126
1
96
12
Indice lavaggio
37
35
30
15
80
21
Indice placca
88
16
30
15
14
14
Odds e intervalli di confidenza dei risultati avuti
Lavaggio parziale
Gruppo assist san
Odds
IC 95%
0,4
0,1-1,2
Gruppo maestre
Odds
IC 95%
0,30
0,08-1,1
Superf interna
9,7
3,6-26,2
2,57
0,85-7,77
Superf masticatoria
1,4
0,6-2,8
0,8
0,37-1,54
Movimento corretto
88,6
Indice lavaggio
Indice placca
1,9
0,6
12-657
0,9-4,1
0,3-1,3
15,7
2-123
2
0,7-5,2
0,4
0,2-0,9
Conclusione: l’intervento svolto dalle maestre riesce a migliorare
l’igiene orale
Definizioni di atteggiamento
Disposizione affettiva verso un oggetto
Costrutto che guida il comportamento
umano, risultante da una dimensione
cognitiva (le credenze), da una affettiva
(la disposizione) e da una conativa (la
tendenza all’azione).
Metodi diretti
- Domanda singola:
“E’ favorevole alle misure che limitano l’uso dell’auto privata?”
- 3-4 domande (direzione, forza, centralità, impegno
comportamentale):
a)“Bisogna ridurre l’uso dell’auto in città? Si No
b) “Com’è la sua convinzione su questo tema? Molto forte, forte ecc.
c) “Quanto è importante questo tema nella scelta del partito da
votare alle elezioni comunali? Molto importante, importante ecc.
d) ha mai firmato una petizione per limitare l’uso dell’auto?
- Questionari di Likert
pool di affermazioni riguardanti l’oggetto seguite da una scala di
accordo/disaccordo.
Valutazione degli obiettivi
cognitivi
Gli obiettivi cognitivi hanno un contenuto e una
forma.
Vi sono forme di “basso livello” (es. “sapere a
memoria”) e di alto livello (es. “mettere in
relazione”, “applicare”).
Le tassonomie delle categorie formali
dell’apprendimento cognitivo cercano di
classificare le varie forme degli obiettivi
cognitivi ordinandoli gerarchicamente.
Tassonomia di Bloom
categorie
operazioni
oggetti
conoscenza di contenuti
(termini, fatti, ecc.)
definire, distinguere, ricordare,
riconoscere
termine, significato, definizione,
fatti,
conoscenza dei modi e dei mezzi
di trattare contenuti
(convenzioni, rapporti,
categorie, criteri, metodi)
ricordare, riconoscere,
identificare, acquisire
convenzioni, regole, mezzi,
simboli, processi, cause,
influenze, caratteristiche,
criteri, metodi, utilizzazioni
conoscenza di generalizzazioni e
astrazioni (leggi, principi, ecc.)
ricordare, identificare,
riconoscere
principi, leggi, generalizzazioni,
interrelazioni, formulazione
comprensione (traduzione,
interpretazione, estrapolazione)
illustrare, riassumere,
interpretare, spiegare,
dimostrare, inferire, prevedere,
significati, definizioni,
rappresentazioni, conclusioni,
metodi, conseguenze, corollari
applicazione
applicare, collegare, trasferire,
utilizzare, classificare
principi, leggi, conclusioni,
metodi, teorie, fenomeni,
analisi (elementi, relazioni,
principi organizzativi)
scoprire, identificare,
classificare, discriminare,
dedurre
elementi, ipotesi, conclusioni,
argomenti, relazioni, modelli,
tecniche,
sintesi (produzione di un lavoro, scrivere, raccontare, produrre,
di generalizzazioni)
creare, pianificare, progettare,
sintetizzare, formulare
composizioni, strutture,
modelli, lavoro, progetti,
soluzioni, schemi, teorie, ipotesi
valutazione (su criteri interni o
esterni)
esattezza, pertinenza, errori,
verità, coerenza, fini, mezzi,
teorie
giudicare, argomentare,
validare, contrastare
Prove strutturate
• Questionari, test: tabella della probabilità
numero di
domande
vero-falso
3 risposte
4 risposte
1
2
3
4
2
4
9
16
3
8
27
64
4
16
81
256
5
32
243
1.025
6
64
729
4.096
7
128
2.187
16.384
8
256
6.561
65.536
9
512
19.638
262.144
10
1.024
59.049
1.048.576
Prove non strutturate
• Interrogazioni
• Produzione di un elaborato
(relazione, cartellone ecc.)
Esempio
• Obiettivi cognitivi: conoscere cosa significa rifiuto, biodegradabile,
riciclaggio, compost, CDR, smaltimento, discarica, inquinamento, sistema,
feed-back; conoscere le caratteristiche e la tipologia dei rifiuti solidi
(frazione umida, cellulosica, secca, ecc.); conoscere i danni derivanti da una
cattiva gestione dei RSU e vantaggi e svantaggi delle varie forme di
smaltimento, conosce i fattori causali del problema RS; sa affrontare il
problema con un approccio sistemico
• Oggetto del controllo: tipologia dei RSU, danni, fattori causali, approccio
sistemico
• Si definiscono gli obiettivi in termini operativi secondo la tassonomia di
Bloom: es. conosce il significato di frazione umida; riesce a dare definizioni
corrette di frazione umida; discrimina le sostanze che fanno parte dalla
frazione umida da quelle cellulosiche e da quelle secche. Conosce la
definizione di sistema; conosce la definizione di feed-back; ricorda le
caratteristiche dei sistemi complessi; sa fare esempi di feed-back; sa
costruire una rete di un problema complesso.
• Si definiscono gli strumenti di misura: es. questionario con domande a scelte
multiple per gli obiettivi ……. e a risposte aperte per gli obiettivi …..., test
di stadio cognitivo per le questioni ambientali
• Si definiscono le procedure (luogo, tempo, modi, chi ecc.)
• Si valuta confrontando con criteri
Test di sviluppo cognitivo
Metti in relazione le cose che sono numerate nel disegno e
spiega la relazione esistente
Centro di Educazione Ambientale di Bilbao
Disegno della valutazione
•
•
•
La valutazione è effettuata solo alla fine
dell’intervento nei soggetti sottoposti allo
stesso. Utilizzato quando si conosce già la
situazione di partenza.
La valutazione è effettuata prima e dopo
l’intervento nei soggetti sottoposti allo
stesso. Quando non è nota la situazione di
partenza.
La valutazione è effettuata prima e dopo
l’intervento nei soggetti sottoposti allo
stesso e in un gruppo di soggetti non
sottoposto all’intervento.
Possibili fattori di errore
effetto cavia: il semplice essere “osservati” inficia la
misura (assenza di spontaneità)
scelta di un ruolo: accondiscendente, oppositivo
cambiamento del soggetto per effetto della misura: in
test ripetuti nel tempo
stile di risposta: alcuni soggetti tendono a dare
risposte sulla base di criteri formali del test (es.
risponde sempre con la risposta mediana)
distorsione dell’osservatore: per preconcetti,
stanchezza, ecc.
cambiamento delle “qualità” dell’osservatore: per
misure ripetute nel tempo lo stesso osservatore può
cambiare le sue caratteristiche (diventa più
indulgente, più severo ecc.)
Alcuni consigli
• Consultare sempre la letteratura
sull’argomento e persone esperte
• Definire bene cosa si vuole valutare e perché
• Individuare le possibili difficoltà, prospettare i
possibili fattori confondenti e cercare di
neutralizzarli
• Prima di utilizzare un qualsiasi strumento di
misura provarlo e validarlo. Ogni volta che è
possibile utilizzare test già validati
• Motivare e formare chi rileva e trascrive i dati
• Utilizzare correttamente le procedure
statistiche
Alcuni consigli su questionari e test
• Mettere in premessa il più brevemente e chiaro possibile le finalità
e le istruzioni
• Curare la grafica: spazio sufficiente per le risposte, leggibilità, non
ambiguità ecc.
• I questionari sulle conoscenze non devono contenere domande
trabocchetto e devono contenere domande di differente difficoltà
• Evitare le doppie negazioni
• Considerare il livello culturale dei destinatari e cercare di essere il
più chiari e univoci possibile
• Nelle misurazioni eseguite in gruppo evitare che i soggetti
comunichino tra loro, possano copiare o influenzarsi a vicenda
• Dare un tempo prefissato che sia adeguato (se troppo lungo
aumenta il rischio che i soggetti comunichino tra loro)
• Chi somministra il test dovrebbe essere un soggetto terzo (non
facente parte dell’equipe del progetto)
• I test vanno somministrati in un luogo silenzioso e tranquillo
Piccola considerazione
e ultimi importanti consigli
Valutare un intervento non è semplice, ma è
importante. Chiedersi
perché,
per chi
cosa
si vuole valutare.
Coinvolgere tutta l’equipe e i portatori di
interesse.
Piccola considerazione
e ultimi importanti consigli 2
Valutare un intervento occupa tempo e risorse che
vanno sprecate se non si progetta bene la
valutazione e se non sono tutti precisi e puntuali.
Quindi
progettare bene (chiedere consigli, studiare ecc.),
non fare il passo più lungo della gamba,
coinvolgere chi rileverà i dati, chi li trascriverà,
chi li elaborerà e far comprendere l’importanza del
rigore metodologico e della precisione.
Prima di iniziare fare una o più prove.
Poco dopo iniziato fare una verifica per evidenziare
e correggere gli errori
GRAZIE DELL’ATTENZIONE
Pio Russo Krauss
[email protected]