L’uso delle misure standardizzate
degli apprendimenti nella
valutazione dell’insegnamento
scolastico.
Paolo Sestito
Commissario straordinario INVALSI
Giornate nfa Torino 1 luglio 2012
Outline della presentazione
• Le prove INVALSI in concreto
• Perché valutare (in generale):
certificazioni, feedback e graduatorie
• Prove INVALSI e certificazione degli
studenti
• Prove INVALSI e valutazione delle scuole
• Oltre le scuole: i singoli docenti?
Le prove INVALSI in concreto
• Due ambiti (a valenza trasversale)
• 5 gradi scolastici: [Riepilogo prove]
– Prove universali, restituibili a tutti
– Un campione più controllato (-cheating+info) per meglio
conoscere il sistema nel suo complesso
– In un caso parte (con peso pari a 1/6) dell’esame di Stato
– La prospettiva longitudinale (da quest’anno)
• Cenni ad aggiustamenti on going:
– Gradi da eliminare/inserire
– Altri ambiti e gradi, su base campionaria, per meglio conoscere il
sistema
– Verso le prove adattive e il pc (come semplificazione e
velocizzazione ma anche al fine di avere prove + custom
tailored)
Perché si valuta
• Certificare (a vantaggio di terzi) il possesso di
determinate conoscenze/competenze
• Fornire un feedback (innanzitutto al valutato)
• Definire una graduatoria:
– Per stimolare meccanismi di quasi-mercato o
comunque emulativi (serve incentivo ad essere i “più
bravi”)
– Per premiare/punire (o selezionare) nel continuo
– Idem ma con riferimento a una data soglia (assoluta o
relativa)
• Caso particolare di queste graduatorie: identificare i casi
critici (chi non raggiunge una certa soglia minima) per
consentire di intervenire a supporto, imporre cambiamenti ..
Prove INVALSI e
certificazione studenti
•
•
•
Le prove INVALSI sono troppo dipendenti da un singolo momento (il giorno
della prova) e con un focus troppo circoscritto (italiano e matematica, che
pure sono considerati non solo in quanto discipline quanto per la loro
valenza e natura trasversale) per farne la base unica della certificazione
degli studenti
Il rischio di prove troppo high stakes (coaching ed eccesso uniformità)
Ma attenzione che cheating/coaching etc. sono fenomeni insiti in qualsiasi
tipologia di prova (standardizzata o diversificata, tradizionale o meno).
Attribuire un (sia pur limitato e parziale) valore alle prove INVALSI può anzi
aiutare:
– Il focus sulle competenze delle prove INVALSI contrasta la “prevedibilità delle
prove” (e le distorsioni che ne discendono) meglio di tante prove tradizionali
– Le prove INVALSI hanno una funzione d’indirizzo culturale (coerente con gli
“orientamenti” ed una impostazione che valorizza le competenze a superamento
dei vecchi “programmi scolastici” come assieme di nozioni da trasmettere e
acquisire): una leva da valorizzare
– La prospettiva delle prove adattive potrà migliorare questo quadro
La valutazione delle scuole
• A livello di gruppo (la classe, la scuola) molte delle criticità esistenti
a livello di singolo studente vengono superate. Nell’aggregato di più
studenti è più ragionevole usarle come “segnale” di fenomeni latenti,
da decrittare sia per dare un feedback che per definire graduatorie.
• Attenzione però:
– Il gruppo deve essere grande a sufficienza: piccoli gruppi rischiano di
esser dominati da measurement bias [Grafico italiano, Grafico
matematica]
– Identificare gli estremi è un po’ meno difficile [Tavole punteggi]
• Comunque gli utilizzi (feedback/premi/competizione ..) dipendono
dalle regole generali del sistema e non possono essere visti in
astratto
 in particolare, va tenuto conto che oggi non esiste un quasi mercato dei
servizi scolastici; ove ci si muovesse in tal senso andrebbero definite
varie regole a contorno (sostegno alle famiglie nelle scelte, impedimenti
alle scuole nel selezionarsi gli studenti migliori, strumenti per le scuole
nel “competere” per gli insegnanti migliori …). Forzare la
pubblicizzazione dei risultati delle prove non è la soluzione di tutto (ed
avrebbe anzi varie controindicazioni); la “pubblicità ingannevole” va
contrastata.
La valutazione delle scuole:
livello degli apprendimenti o VA?
• Focus su livello per identificare chi non raggiunge un target minimo,
chi sia in condizioni di criticità estreme
– Focus su “poveri di conoscenza” più che sul dato medio complessivo, le
due cose non sempre concidendo [Tavola cfr.]
• Focus su VA per valutare la scuola e giudicarne i responsabili. Ma
con vari problemi aperti:
– La prospettiva longitudinale: VSQ e l’uso (anonimo) delle anagrafi
– Ma continuerà a servire anche un approccio “sezionale” (eventualmente
pseudo-longitudinale) [Tavola regressione]
– Nel valutare la scuola (il d.s.) come trattare le covariate non appieno
ctrlate dalla scuola (dal d.s.): esempio turnover e in generale qualità
docenti
– Idem: come trattare variabili che dipendono dal contesto ma anche dalla
capacità di attivazione delle scuole: esempio risorse aggiuntive (da
famiglie ed ee.ll.)
La valutazione delle scuole:
autovalutazione e valutazione esterna
• Feedback alla scuola (alle sue singole componenti interne) per
ragionare su se stessi:
– Benchmarking complessivo (livello e VA, dato medio ma anche
eccellenze e “poveri di conoscenze”
– Ma soprattutto dettaglio: quali competenze? Quali situazioni di disagio
(su aspetti che le scuole altrimenti neppure conoscerebbero: ad es.
circa la composizione sociale dei propri studenti)
• NB1 anche in un “meccanismo di mercato” – in cui l’incentivo a
rinnovarsi e migliorarsi venga dalla pressione di mercato – serve poi
che la scuola (il d.s.) sappia leggere le proprie criticità
• NB2 le prove INVALSI comunque non esauriscono le cose su cui
focalizzare la propria autovalutazione: servono altri strumenti di
feedback (sondaggi alunni e famiglie, sondaggi e commenti tra pari)
ed un’attitudine/disponibilità a ragionare su stessi e superare
l’autoreferenzialità (e la solitudine) del singolo docente
• NB3 la scuola ha varie componenti: il feedback può/deve innescare
una sana dialettica interna
La valutazione delle scuole: le prove
INVALSI e la valutazione esterna
• In tutti i sistemi in cui si procede a periodici esercizi di valutazione
esterna delle singole scuole non ci si limita a leggere, centralmente
e passivamente, i risultati delle prove standardizzate:
– Le prove (in livello, soprattutto il dato sui “poveri di conoscenze”) come
indicatore per identificare le situazioni più critiche ove concentrare il
supporto e da “visitare” con maggior frequenza
– Le prove (in livello ma anche e soprattutto come VA) come primo dato
da analizzare a cura di un team valutativo esterno, che però guardi
anche altri aspetti soft e di processo del funzionamento della scuola
• Le visite valutative esterne:
– Peer review (le cui indicazioni possano essere accettate o meno dalla
scuola) o anche trigger di una possibile azione di riorganizzazione?
Una questione di gradi
– Quale il focus dei giudizi espressi e dei “consigli” per migliorare? la
scuola o il suo d.s. (eventualmente da cambiare) visto come motore del
cambiamento?
Oltre le scuole: i singoli docenti?
•
Premessa:
1.
2.
Singoli docenti e risultati delle classi agli stessi affidate non
sono ricollegabili, né da INVALSI né a livello centrale
(l’allocazione dei docenti alle classi è processo decentrato,
che avviene a livello di singola scuola)
Nel sistema italiano: vi è un più forte legame classe/docente (il
docente insegna a tutti gli alunni di una certa classe, non a
una sommatoria di persone provenienti da classi diverse) e,
nel contempo, un elevato turnover di queste relazioni
biunivoche. Stimare un VA di docente (differenziando gli
studenti ”trattati” da quel docente rispetto a quelli che, nello
stesso contesto, sono “trattati” da altri) sarebbe
particolarmente arduo, e quindi meno affidabile,
econometricamente.
Oltre le scuole: i singoli docenti?
•
Considerazioni di merito:
– Conta il singolo docente o il team? Il rischio di sistemi premiali individuali che
ostacolino il funzionamento del team di docenti
– Cosa premiare: Performance assoluta o relativa? Dibattito (US) su pay for
percentile e uso prove “poco prevedibili”
– Quanto sono affidabili le misure di VA a livello di singolo docente? Sapere che vi
sono in media grandi differenze tra docenti (anche negli effetti a lunghissimo
andare: cfr. Chetty et al, 2011) non significa poter dire con certezza, oggi, che
tizio è più bravo di caio dell’x%
– Qual è la priorità? differenziare le paghe di tutti (di anno in anno) o intervenire
sugli estremi (evitando che arrivi in cattedra anche chi non supera una soglia
minima di decenza e premiando (quasi) a fine carriera le eccellenze)?
– Nel raccordo col singolo docente non esistono solo i sistema premiali: come per
le scuole, vi è spazio per una funzione di feedback al singolo docente: per
segnalargli che sta trascurando elementi rilevanti, il disagio di (alcuni) dei suoi
allievi etc. un feedback necessariamente locale (dalla comunità professionale
di pari, dal d.s. ..), ma azionabile sulla base di strumenti e metodologie comuni
MATEMATICA I SECONDARIA
Risultati medi di scuola e indicatore “poveri di conoscenza”
Quintile indicatore
poveri di
conoscenza
Totale
Quintile risultati medi di scuola
bottom
2,00
3,00
4,00
5,00
Totale
1,00
936
179
23
10
0
1148
2,00
193
605
273
69
9
1149
3,00
21
280
492
290
66
1149
4,00
11
70
288
479
301
1149
5,00
3
25
86
309
725
1148
1164
1159
1162
1157
1101
5743
POPOLAZIONE
LIVELLO
CAMPIONE
TOTALE STUDENTI
anno di introduzione
STUDENTI
CAMPIONATI
anno di
introduzione
II PRIMARIA
553.291
(2009-2010)
34.416
(2008-2009)
V PRIMARIA
531.559
(2009-2010)
33.177
(2008-2009)
I SECONDARIA DI I
GRADO
582.154
(2009-2010)
43.473
(2009-2010)
III SECONDARIA DI I
GRADO
553.296
(2007-2008)
26.777
(2007-2008)
II SECONDARIA DI II
GRADO
516.088
(2010-2011)
50.431
(2010-2011)
Mutamenti nel ranking delle scuole (tra 2010 e 2011)
livello
Valore aggiunto
ITA
MAT
ITA
MAT
75,9
75,5
84,8
82,4
87,7
87,3
90,0
88,7
80,7
82,7
84,8
84,5
ITA
MAT
ITA
MAT
Scuole che escono dal primo quintile
58,1
57,5
70,8
67,1
Scuole che escono dal top quintile
64,3
65,1
74,1
71,4
Scuole quintile inferiore che si
spostano di ± 5 percentilii
Scuole quintili centrali che si spostano
di ± 5 percentili
Scuole top quintile che si spostano di
± 5 posizioni
Modello di regressione
ITALIANO V PRIMARIA a.s. 0910
Modello
(Costante)
Punteggio medio di scuola di italiano al livello 2
Punteggio medio di scuola di matematica al livello 2
B
43,433
,215
,180
Sig.
,000
,000
,000
FEMMINA
ANTICIPATARIO
POSTICIPATARIO
Straniero di I generazione
Straniero di II generazione
Parla DIALETTO in casa
VOTO ITALIANO I QUADR
VOTO MATEMATICA I QUADR
ESCS a livello individuale
ESCS medio di classe
Perc. Femmine nella classe
Perc. Anticipatari nella classe
Perc. Posticipatari nella classe
Perc. Straniero di I generazione nella classe
Perc. Straniero di II generazione nella classe
Perc studenti che parlano DIALETTO nella classe
ESCS medio di scuola
Perc. Femmine nella scuola
Perc. Anticipatari nella scuola
Perc. Posticipatari nella scuola
Perc. Straniero di I generazione nella scuola
Perc. Straniero di II generazione nella scuola
Perc. studenti che parlano DIALETTO nella classe
1,023
-,338
-6,208
-8,334
-6,162
-1,297
,022
,036
3,802
,134
-,012
-,035
,004
-,025
-,035
-,001
3,327
-,006
-,260
-,057
,245
,207
-,077
,000
,229
,000
,000
,000
,000
,000
,000
,000
,253
,000
,001
,634
,000
,000
,654
,000
,247
,000
,000
,000
,000
,000