MIUR
RETE QUALITA’ E ISTRUZIONE TECNICA
La valutazione dei risultati di apprendimento nel
secondo ciclo
Piero Cipollone
INVALSI
ISCHIA 27.9.2010
Il mandato
• Art. 1, c.5, Legge 25 ottobre 2007, n. 176:
dall’anno scolastico 2007/08 il Ministro della
Pubblica Istruzione fissa con direttiva annuale gli
obiettivi della valutazione esterna […..] per effettuare
verifiche periodiche e sistematiche sulle conoscenze
e abilità degli studenti, di norma, alla classe
seconda e quinta della scuola primaria, alla
prima e terza classe della scuola secondaria di
I grado e alla seconda e alla quinta classe del
secondo ciclo (…).
La scansione temporale dell’entrata a
regime del Sistema di rilevazione
SNV
Secondaria I
grado
secodaria II grado
V
IV
III
SNV
II
SNV
I
III
P.N.
P.N.
SNV , PN
SNV , PN
SNV, PN
SNV
SNV
SNV
SNV
SNV
SNV
SNV
SNV
SNV
SNV
SNV
2008-09
2009-2010
II
I
V
Primaria
IV
III
II
I
2007-08
2010-2011 2011-2012
PERCHE’ MISURAMO GLI APPRENDIMENTI?
OCCORRE RIMETTERE LA SINGOLA
SCUOLA
AL CENTRO DELL’ATTENZIONE
Centralità della prospettiva di
scuola
• Cosa sappiamo: le competenze dei nostri
quindicenni sono inferiori a quelle dei paesi
con i quali tendiamo normalmente a
confrontarci.
• L’informazione aggregata non è sufficiente ad
individuare strategie di uscita. Perché?
• Esempio 1
• Esempio 2
Prevale l’esempio 2:
grandissima variabilità dei risultati tra
scuole
L’Italia:grande varianza tra
scuole
700
600
slettura
500
400
300
200
100
1112131415
2122232425
3132333435
gruppo
4142434445
5152535455
anche al netto del contesto
700
600
slresidui
500
400
300
200
100
1112131415
2122232425
3132333435
gruppo
4142434445
5152535455
anche nella scuola dell’obbligo
I voti in matematica dei quindicenni
30,00
28,00
26,00
24,00
Quota percentuale degli studenti
22,00
20,00
18,00
16,00
14,00
12,00
10,00
8,00
6,00
4,00
2,00
0,00
1
2
3
4
5
6
7
8
9
Voto in matematica in pagella
Nord
Centro
Sud
10
Votazioni in uscita dalla scuola superiore
(punti percentuali, a.s. 2006-07)
35,0
30,0
25,0
20,0
15,0
10,0
5,0
0,0
60
61 - 70
Nord
Fonte : Miur
71 - 80
81 - 90
Centro
91 - 99
100
Lode
Sud
Incoerenza tra le misure
Fonte: Invalsi
Quali implicazioni?
• Grandi riforme sono essenziali per innalzare il
Potenziale delle scuole.
• Le nostre scuole sono in grado di sfruttare
questo potenziale ?
• Nel passato non sembra sia successo
• Possibili effetti di frustrazione (niente funziona)
Agire sulla singola scuola:
premesse e promesse della school
choice
• Idea di fondo: disegnare meccanismi automatici per
indurre ogni scuola a migliorare la qualità dei
propri servizi educativi. Due meccanismi
• Effetto composizione (esempio).
• Effetto emulazione (esempio).
Ragioni teoriche di cautela
• mobilità scarsa e selettiva (esempio).
• qualità della scuola non è invariante rispetto alla
dimensione (esempio);
• cosa comprano davvero i genitori : qualità degli
apprendimenti? Sicurezza? Peer Effects? Social
networks?;
• cosa è scuola di bassa qualità? (cioè come si fa a
dire alle famiglie quale è una buona scuola verso
cui muoversi) (esempi dagli istituti tecnici)
Ragioni empiriche di cautela
• Risultati di studi sperimentali non conclusivi
• Risultati di sperimentazioni per molti anni e su
vasta scala non conclusivi (Cile).
• Risultati di analisi tra paesi non conclusivi sul
piano della performance (esempio da PISA 2006).
• Aumento della segregazione e della varianza.
Quali indicazioni dalla school
choice?
• In generale i meccanismi di emulazione e di
concorrenza basati su automatismi possono
aiutare ma non sembrano da soli produrre effetti
decisivi
• Infatti quasi nessun paese usa i risultati degli
apprendimenti degli studenti per 1) decidere le
risorse finanziare assegnate alle scuole; 2) decidere
altre forme di premio o punizione per le scuole; 3)
premiare gli insegnanti; 4) decidere se chiudere o
meno le scuole (Tavola)
Verso meccanismi di supporto alle
singole scuole
• Non sembra credibile e utile affidarsi a puri
meccanismi automatici
• Rimettere la singola scuola al centro dell’attenzione
• Incentivare i processi di miglioramento delle
singole scuole e supportarle in questo sforzo
Implicazioni per il sistema di
valutazione: un sistema basato su tre
pilastri
• Primo pilastro: Fornire alle scuole elementi
affidabili per conoscere il proprio posizionamento
rispetto alle altre scuole, ad un proprio target, per
monitorare i propri progressi (Invalsi).
• Secondo Pilastro: Favorire e supportare dentro ogni
scuola processi di apprendimento organizzativo
coniugando equità ed efficienza (esempio)
• Terzo pilastro: formazione degli insegnanti e ricerca
educativa
Perché questa strategia?:
Ogni scuola ha margini di miglioramento
• Esempio : la didattica
Alcune implicazioni su cosa
misurare
• variabili di contesto e composizione della
popolazione studentesca (effettiva e potenziale);
• caratteristiche demografiche e motivazionali degli
insegnanti e in generale del personale della scuola;
• risorse finanziarie;
• Processi attivati dalle scuole con particolare
riferimento alla didattica
• assetti organizzativi;
• modelli di rapporto con famiglie e territorio;
• livelli e progressi degli apprendimenti ;
• esiti sul mercato del lavoro o negli ordini superiori
di studio;
Alcune delle questioni aperte
• Chi è il responsabile ultimo della tensione di ogni
singola scuola verso il miglioramento ?
• Quale ruolo del dirigente scolastico ?
• Quale il ruolo degli insegnanti ?
• Chi è chiamato a monitorare e a sollecitare ed
eventualmente ispezionare i percorsi di
miglioramento delle scuole?
Grazie per l’attenzione
Esempio 2
P
u
n
t
e
g
g
i
p
i
s
a
Italia
“Germania”
Esempio 1
P
u
n
t
e
g
g
i
p
i
s
a
Italia
“Germania”
Effetto composizione
P
u
n
t
e
g
g
i
p
i
s
a
A
B
A+B
senza concorrenza
A
B
con la concorrenza
A+B
Effetto emulazione
P
u
n
t
e
g
g
i
p
i
s
a
A
B
A+B
senza concorrenza
A
B
con la concorrenza
A+B
Effetto composizione
P
u
n
t
e
g
g
i
p
i
s
a
A
B
A+B
senza concorrenza
A
B
con la concorrenza
A+B
Effetto composizione
P
u
n
t
e
g
g
i
p
i
s
a
A
B
A+B
senza concorrenza
A
B
con la concorrenza
A+B
Alcuni esempi dall’istruzione tecnica
• Scuole di qualità (valore aggiunto, Martini e Ricci,
Cipollone Montanaro Sestito 2010) ;
• Ottimi placement ratios (Grafico 1 rapporto ISAE);
• Buoni salari e buona occupazione (Tavola 3 e
Grafici 2 e 4 rapporto ISAE);
• Forte domanda delle imprese
• E la domanda delle famiglie cala a favore dei licei
(tranne il sussulto dell’ultimo anno).
DIPLOMATI DEL 2004 PER CONDIZIONE OCCUPAZIONALE NEL 2007 PER TIPO DI SCUOLA
(distribuzione %)
Fonte: Rapporto ISAE: Priorità nazionali. Trasparenza, istruzione, finanza, energia.
Novembre 2009
Fonte: Rapporto ISAE: Priorità nazionali. Trasparenza, istruzione, finanza, energia.
Novembre 2009
Fonte: Rapporto ISAE: Priorità nazionali. Trasparenza, istruzione, finanza, energia. Novembre
2009
Fonte: Rapporto ISAE: Priorità nazionali. Trasparenza, istruzione, finanza, energia.
Novembre 2009
Soddisfazione dei genitori
L’effetto della concorrenza nei dati
PISA 2006
Effetto sul punteggio PISA
senza tenere conto del
background
tenendo conto del
background
Scuole con un alto livello di concorrenza
17,9
1,9
Scuole che percepiscono una forte pressione delle
famiglie
11,2
2,0
Sistemi che favoriscono la concorrenza tra scuole
(+10%)
3,1
6,7
Uso dei dati sugli apprendimenti
Australia
Belgio (p.fiammighe)
Inghilterra
Francia
Ungheria
Irlanda
Italia
Islanda
Corea
Lussemburgo
Norvegia
Portogallo
Scozia
Turchia
Influenza degli esiti delle rilevazioni degli apprendimenti su
altri premi o
decisione di
budget delle
premi per gli
punizioni per le
chiusura delle
scuole
insegnanti
scuole
scuole
Bassa
Nessuna
Nessuna
Nessuna
Nessuna
Nessuna
Nessuna
Nessuna
Nessuna
Nessuna
Nessuna
Alta
Nessuna
Nessuna
Nessuna
Nessuna
nd
nd
Bassa
Nessuna
na
na
na
na
Nessuna
Nessuna
Nessuna
Nessuna
na
na
na
na
Nessuna
Nessuna
Nessuna
Nessuna
Nessuna
Nessuna
Nessuna
Nessuna
na
na
na
na
na
na
na
na
Nessuna
Nessuna
Nessuna
Nessuna
Nessuna
Nessuna
Nessuna
Nessuna
Fonte OECD education at a glance 2008
Influenza degli esiti degli esami nazionali su
altri premi o
decisione di
budget delle
premi per gli
punizioni per le
chiusura delle
scuole
insegnanti
scuole
scuole
na
na
na
na
na
na
na
na
na
na
na
na
Nessuna
Nessuna
Nessuna
Nessuna
na
na
na
na
Nessuna
Nessuna
Nessuna
Moderata
Nessuna
Nessuna
Nessuna
Nessuna
Nessuna
Nessuna
Nessuna
Nessuna
na
na
na
na
na
na
na
na
Nessuna
Nessuna
na
Nessuna
Nessuna
Nessuna
Nessuna
Nessuna
Bassa
Bassa
Nessuna
Nessuna
Nessuna
Nessuna
Nessuna
Nessuna
L’apprendimento organizzativo
P
u
n
t
e
g
g
i
p
i
s
a
Posizione
iniziale
Con l’apprendimento
organizzativo
L’esame critico dei risultati
II primaria
V primaria
Le criticità in italiano ( II classe)
Le criticità in matematica (II classe)
Le criticità in italiano (V classe)
Le criticità in matematica (V classe)
9
8
7
6
voto_mat
10
11
Confronto tra valutazioni (Math V classe)
30
40
50
pu_ma_no
60
70
8
7
6
voto_ita
9
10
Confronto tra valutazioni (Ita V classe)
40
50
70
60
pu_it_no
80
90
Esempio 1: Martini e Ricci (2008)
Esempio 1: Martini e Ricci (continua)