Modelli di valutazione per stimare
gli effetti dei progetti nazionali
sugli apprendimenti degli studenti
Vidoni Daniele, INVALSI, [email protected]
Project funded by: Programmazione dei Fondi Strutturali Europei 2007-2013 – Programma Operativo
Nazionale “Competenze per lo sviluppo” – FSE -2007-IT 05 1 PO 007
La domanda a cui rispondere:
Qual è l’efficacia degli interventi implementati?
Ovvero…
Gli interventi sono in grado di produrre gli effetti
desiderati ex ante?
Rispondere a questa domanda richiede una accurata
misurazione degli effetti dell’intervento ex post (cioè
dopo la messa in atto) e implica la volontà di associare
l’implementazione di un intervento pubblico alla
valutazione dei suoi effetti.
Il problema sotteso:
L’ATTRIBUZIONE CAUSALE
definizione controfattuale di effetto: l’effetto di un
intervento è la differenza tra quanto si osserva in presenza
dell’intervento e quanto si sarebbe osservato in sua
assenza.
Trappole concettuali:
Attribuire alla politica il merito del cambiamento osservato nel
fenomeno tra prima e dopo la sua implementazione.
Attenzione!
Non tutto ciò che accade dopo qualcosa accade a causa di quel
qualcosa, poiché il fenomeno di interesse può avere una sua
dinamica spontanea.
Attribuire alla politica differenze osservate nel fenomeno di
interesse tra esposti e non esposti.
Attenzione!
Questo ci espone al problema di possibili differenze nella
composizione dei due gruppi, che avrebbero potuto causare
differenze nei risultati anche in assenza della politica.
Possibili strade da seguire:
Esperimenti
randomizzati
Garantisce l’equivalenza tra i due gruppi
ma difficile da applicare per:
problemi etici o resistenze culturali;
• concreta gestione degli esclusi (che
devono rimanere tali: serve
collaborazione da parte di chi eroga il
trattamento);
• vincoli legali;
• prassi amministrative consolidate.
•
Soluzioni non
sperimentali
Permettono di ricostruire ex post
l’equivalenza tra i due gruppi.
Problemi:
• Effettiva disponibilità delle
necessarie informazioni per
matching in termini di
apprendimenti, caratteristiche
demografiche, altre
caratteristiche.
Cosa fa INVALSI in questo senso:
Esperimenti
randomizzati
• [email protected]+
Soluzioni non
sperimentali
• Valutazione PQM
• Valutazione effetto
fondi PON
[email protected]
7
[email protected]: Matematica. Apprendimenti di Base con e-learning
Formazione nazionale potenziata e rivolta in questa
versione agli insegnanti delle Regioni PON (Calabria,
Campania, Puglia, Sicilia).
UNIONE EUROPEA
MINISTERO DELL’ISTRUZIONE,
DELL’UNIVERSITA’ E DELLA
RICERCA
INVALSI
PON
Il caso di PON [email protected]+: la logica dell’intervento
8
Scarso
rendimento in
matematica
degli studenti
(PISA)
Problema risolvibile
con nuove modalità
di insegnamento
centrate
sull’applicazione
delle nozioni a casi
concreti
Formazione
degli
insegnanti
Nuova didattica
in classe da
parte degli
insegnanti
Miglior
atteggiamento e
rendimento degli
studenti in
matematica
La logica dell’esperimento: in cosa consiste
Vogliamo vedere se una data politica è pubblica è in grado di
modificare una grandezza di interesse: confrontiamo due
gruppi identici, uno che ha ricevuto la politica e uno che non
l’ha ricevuta.
Potenziali
beneficiari
R
A
N
D
O
M
I
Z
Z
A
Z
I
O
N
E
Mandati al
trattamento
Gruppo
di
controllo
I
N
T
E
R
V
E
N
T
O
Confrontiamo
quindi sulla
grandezza di
interesse i
trattati e i non
trattati: la
differenza è
l’effetto della
politica
Il caso di PON [email protected]+: l’intervento
10
La formazione è blended e strutturata in quattro fasi:
1. incontri introduttivi in presenza con il tutor;
2. incontri on line sulla piattaforma e scelta delle unità didattiche;
3. sperimentazione in classe con assistenza on line del tutor;
4. incontro finale e consegna del diario di bordo da parte degli insegnanti.
C’è una piattaforma con 28 unità didattiche rivolte alla scuola secondaria
di primo grado (una sorta di “sceneggiatura” con forte enfasi sugli aspetti
applicativi della matematica e materiali di supporto).
Gli insegnanti devono testare in classe 4 unità didattiche, redigendo un
diario di bordo e discutendo on line della sperimentazione con il tutor e
con gli altri insegnanti della stasse classe virtuale di formazione.
Il caso di PON [email protected]+:
il disegno di valutazione dell’intervento
Randomizzazione delle scuole iscritte con dilazione del
trattamento per il gruppo di controllo.
Potenziali
beneficiari
RANDOMIZZAZIONE
Esposizione immediata a [email protected]+
1° coorte
2° coorte
3° coorte
Esposizione dilazionata a [email protected]+
2009/10
2009/10
3° media
2° media
1° media
3° media
2° media
1° media
Legenda
Esposto a [email protected]+
Non esposto a [email protected]+
Y: abilità in
matematica degli
studenti
(test modello SNV).
Effetto medio sulle conoscenze matematiche – ciascun livello
6th grade
Variable
Treatment
PUGLIA_Ba
PUGLIA_Br
PUGLIA_Fg
PUGLIA_Le
PUGLIA_Ta
CALABRIA_Cs
CALABRIA_Cz
CALABRIA_Rc
SICILIA_Ct
SICILIA_Me
SICILIA_Pa
SICILIA_Sr
CAMPANIA_Ce
CAMPANIA_Sa
city location
peer participation at school level
female
male
father holds at least high-school degree
father's education lower than high-school
mother is a housewife
mother is not a housewife
average grade in math at first term
average grade in math at first term n.a.
constant
7th grade
8th grade
Coef
s.e
Coef
s.e
Coef
s.e
-0.49
-0.19
-19.56
-1.92
-12.21
-13.67
-39.22
59.88
35.88
-31.17
-32.87
-42.00
-26.48
-23.33
-30.39
-14.50
-2.82
4.23
19.10
24.08
11.36
-6.12
0.46
43.24
280.42
185.04
7.78
12.51
13.54
12.34
14.84
10.69
17.27
36.85
27.74
12.79
14.70
12.48
25.33
17.71
15.12
16.25
1.73
9.37
9.29
7.36
6.70
9.92
9.88
1.66
16.20
19.78
-3.47
-6.21
-10.72
-22.11
11.86
-28.69
-15.07
-12.64
-7.48
-26.99
29.11
-30.88
-6.83
2.34
21.25
0.52
2.32
29.82
54.04
3.97
-12.08
12.22
20.47
35.46
222.87
232.84
-6.21
-10.72
-22.11
11.86
-28.69
-15.07
-12.64
-7.48
-26.99
29.11
-30.88
-6.83
2.34
21.25
0.52
2.32
29.82
54.04
-12.08
12.22
3.97
20.47
35.46
222.87
232.84
0.00
1.18
18.13
13.16
-14.68
-17.91
37.28
-4.29
15.44
-36.28
-29.81
-22.69
-26.33
-69.82
3.04
-23.19
-40.58
3.36
26.48
40.85
5.54
-0.69
-9.79
-0.56
23.37
126.00
356.15
7.35
16.57
15.71
11.47
11.68
29.11
17.51
29.33
17.15
14.91
14.30
12.26
16.84
16.06
13.44
11.18
1.61
17.22
17.28
6.95
6.81
13.72
13.82
1.60
17.45
12
27.67
**
**
**
***
**
**
***
*
***
***
***
*
*
**
**
**
*
***
***
***
**
**
**
***
*
***
**
**
***
***
***
Differenze tra atteggiamenti e approccio didattico
degli insegnanti (gruppo trattato e gruppo di controllo)
means
fully compliant
partially
compliant
control
27.6
19.6
15.5
differences means fully
com - C
(s.e.)
differences means
partially com - C
(s.e.)
12,08 ***
4.1
(4,53)
(4,00)
5.1 * (a)
6.6 **
(3,50)
(3,10)
17.2 ***
7.0 * (a)
(5.45)
(5.20)
0,3
0,24
(0,25)
(0,27)
-0,37 * (a)
-0,39 *
(0,25)
(0,22)
-0,44 **
-0,56 ***
(0,20)
(0,18)
Teacher practice
I make students do exercise in groups in every
lesson (%)
I always correct homework on students' exercise
book (%)
I exchange views with my collegues at least once
a week on how to explain math contents
How often do you use materials or didactics units
produced by yourself or together with your
collegues? (scale 1-10)
91.4
64.4
5.4
93.0
54.2
5.3
86.3
47.2
5.1
Teacher beliefs on students
The study of math requires to learn several
formulas and rules by heart
Several students find abstract reasoning difficult
3.9
6.6
3.9
6.5
4.3
7.0
Note: (a) the null hypothesis is difference in means negative; in all other cases the null hypothesis is difference is equal to zero. The
symbols ***, **, * indicate that differences in means are statistically significant at the 1, 5, and 10 percent level.
13
Risposte preliminari…
• I risultati preliminari suggeriscono che, nell’anno in
cui la formazione viene seguita, il programma
[email protected] non sortisce effetti statisticamente
significativi.
Si tratta di un risultato coerente con la letteratura in quanto
un cambiamento dell’approccio didattico del docente richiede
tempo;
Per questo, al fine di testare effetti di medio periodo, il
progetto ha durata triennale.
• Vi sono alcune differenze nell’approccio didattico
degli insegnanti e queste differenze potrebbero
condurre a differenze negli apprendimenti negli anni
successivi.
14
…e nuove domande da esplorare…
• Qual’è l’effetto di [email protected] sull’attitudine degli studenti verso
la matematica?
• C’è un problema di self-selection nelle scuole che non hanno
collaborato del tutto alla raccolta dati?
• Se così fosse, gli effetti di [email protected] sono stati diluiti e quindi
potrebbe essere utile modificare l’intevento per migliorare la
partecipazione di coloro che si iscriveranno in futuro?
• Chi dovrebbero essere i beneficiari dell’intervento?
 Visto che l’età è un fattore rilevante per la partecipazione, il fatto che il
programma si rivolga a docenti di ruolo – quindi di norma più anziani –
potrebbe essere messo in discussione. Allo stesso modo, se l’uso del
computer è abbastanza collegato all’età, potrebbe esser utile assicurarsi che
i partecipanti abbiano sufficienti conoscenze informatiche prima di
iscriverli a questi programmi.
15
Soluzioni non
sperimentali
• Valutazione PQM
• Valutazione effetto fondi PON
Disegno di valutazione PQM
La policy: Formazione disciplinare in matematica e promozione dell’utilizzo di
informazioni standardizzate a fini diagnostici.
Proposta valutativa:
Per tutte le classi (PQM e non) di tutte le scuole esiste una misura d’ingresso (Test SNV
2009-10)
In ogni scuola identificherà come classi di controllo le classi che hanno il profilo più simile
alle classi PQM in termini di:
• Tempo medio delle lezioni;
• Regolarità;
• Livello medio degli apprendimenti degli studenti come rilevato dal SNV 2009-10;
• Livello medio di status socioculturale familiare (SCS) degli studenti per classe;
• Sesso (% femmine);
• Origine (% nati in Italia).
Ognuna delle classi individuate sosterrà la prova INVALSI PQM 2010-11… oggi!
Con i necessari caveat, il confronto del livello medio dei risultati degli studenti delle
classi PQM rispetto ai risultati degli studenti delle classi di controllo potrà fornire una
prima approssimazione relativamente all’effetto del progetto PQM
17
Disegni di valutazione per la stima dell’effetto dei fondi PON - 1
Scuole simili (per
contesto e tipo di
popolazione
studentesca)
NO
Fondi
PON
Fondi PON
Quasi esperimenti:
Stime locali
18
Disegni di valutazione per la stima dell’effetto
dei fondi PON - 2
Trend 2003-2009 Matematica - Italia
520
511
510
505
507
487
483
483
500
480
472
460
466
Nord Ovest
467
462
465
420
Nord Est
Centro
451
440
Risultati in
crescita nelle
regioni PON
Sud
Sud Isole
Italia
440
428
423
417
400
PISA 2003
PISA 2006
PISA 2009
19
Fonte: INVALSI (2009), Rapporto Nazionale Pisa 2009 - http://www.invalsi.it/invalsi/ri/pisa2009.php?page=pisa2009_it_09
Disegni di valutazione per la stima dell’effetto dei fondi PON - 2
Analisi secondarie con metodologie di matching
•Quante delle scuole del campione PISA fruiscono di fondi strutturali?
•Coeteris paribus, ci sono differenze tra scuole PISA PON e NON PON?
•Come si comportano a 2 anni di distanza in base a prove SNV – II SSSG a.s.
2010-11?
20
Fonte: INVALSI (2009), Rapporto Nazionale Pisa 2009 - http://www.invalsi.it/invalsi/ri/pisa2009.php?page=pisa2009_it_09
GRAZIE
21