Maria Teresa Siniscalco
Le valutazioni internazionali
INVALSI, 29 aprile 2009
Siniscalco, INVALSI 29-4-2009
Perché confrontarsi con altri Paesi
Diversi approcci alla valutazione dei risultati
Risultati
Siniscalco, INVALSI 29-4-2009
Perché confrontarsi con altri Paesi
Diversi approcci alla valutazione dei risultati
Risultati
Siniscalco, INVALSI 29-4-2009
Pubblicazione dei risultati di PISA 2003
- 750 pp di rassegna stampa
- 51.000 visite sito OCSE in un giorno
- 23.000 rapporti scaricati in una settimana
Siniscalco, INVALSI 29-4-2009
Paesi partecipanti a PISA 2006
Come si è arrivati qui?
Siniscalco, INVALSI 29-4-2009
Le indagini internazionali sui risultati scolastici
- tappe
- Contesto: dubbi su indicatori di efficacia dei sistemi scolastici
- Anni ’50: gruppo di esperti di valutazione ad Amburgo
- IEA: 1958 studio pilota (1959-1962), dal ’60 a oggi 27 indagini + 5
- Seconda metà anni ’80: più interesse
- Anni ’90: OCSE: Education at a Glance (1992), UE: Key data on education (1994),
TIMSS (1995, 45 paesi), 1997: Paesi dell’OCSE approvano la proposta di PISA
Siniscalco, INVALSI 29-4-2009
Perché confrontarsi?
Siniscalco, INVALSI 29-4-2009
Obiettivi delle indagini internazionali
- ottenere dati comparabili sulle prestazioni degli studenti
- ottenere quadro di riferimento per individuare punti di
forza e di debolezza del proprio sistema scolastico
- Individuare fattori antecedenti e correlati del profitto
scolastico…
- … e vedere in che misura essi operino nello stesso modo
in diversi contesti…
tradizioni e leggi … cosa è consentito,
i sistemi di istruzione al di fuori dei confini
nazionali … cosa è possibile
(Foshay 1962)
- … per rendere più informato il lavoro dei decisori pubblici
- confronto di curricoli (IEA) o obiettivi educativi (PISA)
- (PISA) monitorare i risultati dei sistemi scolastici nel tempo
- progresso metodologia
Siniscalco, INVALSI 29-4-2009
Perché confrontarsi con altri Paesi
Diversi approcci alla valutazione dei risultati
Risultati
Siniscalco, INVALSI 29-4-2009
IEA: padronanza del curricolo
Siniscalco, INVALSI 29-4-2009
In PISA la valutazione…
... non è incentrata sulla padronanza di parti del curricolo...
...ma sulla “preparazione per la vita” in una prospettiva di
lifelong learning e di esercizio attivo della cittadinanza
Perché?
- Crescita esponenziale informazione
- Percorsi lavorativi meno lineari
- Evoluzione del mercato del lavoro
PISA verifica la capacità di utilizzare conoscenze e
abilità per affrontare problemi simili a quelli della vita
reale
Siniscalco, INVALSI 29-4-2009
Perché confrontarsi con altri Paesi
Diversi approcci alla valutazione dei risultati
Risultati
risultati in termini di qualità e equità
fattori in relazione con i risultati
approfondimenti a partire dai dati
Siniscalco, INVALSI 29-4-2009
TIMSS 2003
Siniscalco, INVALSI 29-4-2009
PISA 2006 - Scienze
300
350
400
450
500
Finlandia
Hong Kong
Canada
Giappone
Nuova Zelanda
Australia
Paesi Bassi
Corea
NORD EST
Germania
Regno Unito
Rep. Ceca
Svizzera
Austria
Belgio
Irlanda
Ungheria
Svezia
NORD OVEST
Polonia
Danimarca
Francia
Islanda
Stati Uniti
Rep. Slovacca
Spagna
Norvegia
CENTRO
ITALIA
Portogallo
Grecia
SUD
SUD ISOLE
Turchia
Messico
Siniscalco, INVALSI 29-4-2009
550
600
Rapporto per le scuole PISA 2003
Dati OCSE- PISA 2003
Scala Matematica
Err Std
(Media)
Dev std
Media
Err Std
(Dev std)
Liceo “XXX”
560,32
6,55
55,59
3,18
Licei Nord Ovest
555,7
8,1
79,1
2,9
Licei
502,6
5,9
89,0
3,9
Nord Ovest
510,3
5,1
91,5
2,7
Italia
465,7
3,2
95,7
1,9
500
0,6
100
0,4
Dev std
Media
Err Std
(media)
Err Std
(Dev std)
Liceo “XXX”
558,81
10,8
67,8
8,1
Licei Nord Ovest
563,2
3,8
69,8
2,2
Licei
525,44
4,27
82,0
2,6
Nord Ovest
510,93
4,37
93,3
3,6
Italia
475,66
3,04
100,7
2,2
494
0,6
100
0,4
Media Paesi OCSE
Scala Lettura
Media Paesi OCSE
Siniscalco, INVALSI 29-4-2009
Rapporto per le scuole PISA 2003
Dati OCSE- PISA 2003
Scala Scienze
Err Std
(Media)
Dev std
Media
Err Std
(Dev std)
Liceo “XXX”
568,9
11,8
81,3
13,3
Licei Nord Ovest
581,2
6,4
81,9
2,6
Licei
530,7
5,4
95,1
3,4
Nord Ovest
533,1
5,2
101,0
3,4
Italia
486,4
3,1
107,8
2,0
500
0,6
105
0,4
Dev std
Media
Err Std
(media)
Err Std
(Dev std)
Liceo “XXX”
0,37
0
1,07
0,00
Licei Nord Ovest
0,53
0,05
0,9
0,02
Licei
0,42
0,04
0,97
0,02
Nord Ovest
0,06
0,04
0,95
0,02
Italia
-0,11
0,02
1,02
0,01
0
0,01
1
0
Media Paesi OCSE
Indice di Status Socio-economico e culturale
Media Paesi OCSE
Siniscalco, INVALSI 29-4-2009
“Scale” e frameworks
Con le prove sono inoltre costruite le cosiddette “scale” sulle quali sono
rappresentati diversi livelli di difficoltà dei quesiti che corrispondono ad altrettanti
livelli di capacità da parte degli studenti
Per approfondire questi aspetti sono
disponibili i quadri di riferimento
della valutazione e gli esempi di prove
pubblicati in ciascun indagine
Siniscalco, INVALSI 29-4-2009
Studi a partire dai frameworks di PISA
A livello internazionale
IRLANDA: analisi del rapporto tra il curricolo di matematica
della scuola secondaria inferiore e il framework di PISA.
In Italia, ad esempio
PIEMONTE: MAP - Miglioramento degli Apprendimenti di base
e valutazione internazionale Ocse-Pisa.
Dalla valutazione al miglioramento passando per l’analisi dei
curricoli e delle metodologie
o attività di studio e ricerca-azione
o prove come situazioni didattiche
o confronto tra programmazione curric. e competenze (framework)
o analisi dei fattori di efficacia
o 4 gruppi (lettura, matematica, scienze e fattori di sfondo)
Siniscalco, INVALSI 29-4-2009
L’impatto del background
In PISA il funzionamento del sistema non è valutato solo in
relazione al livello dei risultati, ma anche alla capacità del
sistema di moderare l’impatto del background sui risultati,
cioè alla sua equità
Siniscalco, INVALSI 29-4-2009
Perché confrontarsi con altri Paesi
Diversi approcci alla valutazione dei risultati
Risultati
risultati in termini di qualità e equità
fattori in relazione con i risultati
approfondimenti a partire dai dati
Siniscalco, INVALSI 29-4-2009
Fattori a livello di studenti associati con una risultati
elevati di lettura
Interesse per la lettura
• Gamma ampia di interessi di lettura (IEA-71)
• Tempo dedicato alla lettura volontaria (IEA-RLS 90)
• Coinvolgimento nella lettura (PISA 2000)
Siniscalco, INVALSI 29-4-2009
Fattori a livello di classe e scuola associati con una
competenza elevata – analisi internazionale
IEA-RLS
Scuole efficaci (a livello di istruzione primaria)
•
•
•
•
•
•
•
•
•
•
Studenti leggono molto in classe...
... ricevono molti compiti di lettura ...
... e molte domande in classe sui compiti svolti
Insegnanti danno molta importanza a comprensione della
lettura...
... verificano spesso il lavoro degli studenti...
... hanno maggiore esperienza di insegnamento...
... leggono molto essi stessi
Dirigenti si preoccupano per le risorse...
... e realizzano nella scuola programmi di “supporto” per la
lettura
Importanza della continuità dell’insegnante nella classe
Siniscalco, INVALSI 29-4-2009
Fattori a livello di classe e scuola associati con una
competenza elevata – analisi internazionale
PISA
Alcuni dati che emergono dall’analisi multilivello
(+)
• Clima disciplinare (lettura e matematica)
• Fattori legati all’insegnante che condizionano il clima
scolastico (lettura e matematica)
• Attività extra-curricolari legate a lettura, matematica e
scienze
• Un’ora supplementare di insegnamento (scienze)
• Autonomia delle scuole nella gestione del budget
(scienze)
(-)
• Scuole che raggruppano
studenti per abilità (scienze)
Siniscalco, INVALSI 29-4-2009
Perché confrontarsi con altri Paesi
Diversi approcci alla valutazione dei risultati
Risultati
risultati in termini di qualità e equità
fattori in relazione con i risultati
approfondimenti a partire dai dati
Siniscalco, INVALSI 29-4-2009
Studi di caso
PIRLS 2001
PIRLS 2006
Siniscalco, INVALSI 29-4-2009
Approfondimenti a livello internazionale
Fattori strutturali?
Nonostante aumenti della spesa e riforme strutturali in
molti Paesi i risultati non sono migliorati...
Il miglioramento passa per quello che
succede in classe e a scuola
Sistemi migliori sono accomunati da attenzione a
processi di insegnamento/apprendimento
- Investire su insegnanti e dirigenti
- Mettere al centro dell’attenzione i risultati
- Creare condizioni per offrire a tutti un’istruzione di qualità
Siniscalco, INVALSI 29-4-2009
Concludendo...
... le indagini internazionali portano un contributo
specifico e essenziale...
e
... sono una miniera di dati, che interessano in
primo luogo i decisori pubblici, ma anche i
dirigenti, gli insegnanti, i genitori e gli studenti
Siniscalco, INVALSI 29-4-2009
GRAZIE
[email protected]
Siniscalco, INVALSI 29-4-2009