DALLA MISURAZIONE DEGLI
APPRENDIMENTI ALLA
VALUTAZIONE DI SISTEMA
Dino Cristanini
Direttore Generale INVALSI
Genova – 19 novembre 2010
GLI OGGETTI DELLA VALUTAZIONE SCOLASTICA
ALUNNO
(apprendimenti, comportamento, competenze)
PERSONALE
(prestazioni professionali)
ISTITUZIONE SCOLASTICA
(risorse utilizzate, funzionamento, risultati)
SISTEMA
(risorse utilizzate, funzionamento, risultati)
LA VALUTAZIONE DI SISTEMA
UN PO’ DI STORIA
1990 – Conferenza Nazionale sulla scuola
CENSIS - Per un servizio nazionale di valutazione
Approccio di sistema: pluralità di indicatori e di fonti informative
Aree di analisi: contesto, risorse immesse, processi, prodotti finali
Funzioni del servizio. Valutazione di:
- efficienza ed efficacia del sistema scolastico nel suo complesso e
nelle sue articolazioni territoriali
- effetti delle politiche legislative che coinvolgono la scuola
- valutazione di programmi, iniziative, sperimentazioni significative
Ricadute:
- Sviluppo della cultura della valutazione
- Supporto all’autovalutazione delle scuole
LA VALUTAZIONE DI SISTEMA
UN PO’ DI STORIA
1993 – Decreto Legislativo n.35
art. 8 – Parametri di valutazione della produttività del
sistema scolastico
Il Ministro provvede alla:
- determinazione
di
parametri
di
valutazione
dell’efficacia della spesa in rapporto all’attuazione del
diritto allo studio e ai livelli qualitativi dell’istruzione
- Individuazione di adeguati metodi di rilevamento dei
processi e dei risultati in termini di preparazione
generale e specifica del servizio scolastico
LA VALUTAZIONE DI SISTEMA
UN PO’ DI STORIA
1993 – Proposta organica sulla scuola
Punto 6 – La valutazione del sistema formativo
- assicura analisi sistematiche della congruenza dell’offerta
formativa con gli obiettivi e con i programmi fissati per lo sviluppo
del sistema scolastico
- introduce nel sistema procedure e strumenti per la gestione
amministrativa e strategica dei punti di criticità dell’offerta
formativa anche ai fini del recupero della dispersione scolastica
- produce e sviluppa criteri di efficienza e di efficacia degli standard
e dei risultati formativi utilizzabili dagli operatori per la
valutazione e per l’autovalutazione dei processi
- raccoglie, elabora e standardizza modelli di valutazione e di
autovalutazione e promuove la diffusione di una cultura di
responsabilità sui risultati tra gli utenti del servizio
LA VALUTAZIONE DI SISTEMA
UN PO’ DI STORIA
1997 – Direttiva n.307
Istituzione presso il CEDE del Servizio Nazionale per la
qualità dell’istruzione – Compiti:
- studiare e scegliere i necessari indicatori di risorse,
processo, prodotto e contestuali e le metodologie di
rilevazione più affidabili
- sviluppare direttamente, validare, tarare e diffondere
ulteriori strumenti di accertamento del profitto,
nonché strumenti atti a rilevare lo stato e le
condizioni di funzionamento del sistema scolastico
per cui l’informazione non sia già disponibile
LA VALUTAZIONE DI SISTEMA
IL PRIMO INVALSI
1999 – Decreto Legislativo n.258
Trasformazione del CEDE in INVALSI –
I COMPITI DELL’ISTITUTO
• valuta l’efficienza e l'efficacia del sistema di istruzione nel suo complesso e analiticamente,
ove opportuno anche per singola istituzione scolastica, inquadrando la valutazione
nazionale nel contesto internazionale;
• studia le cause dell'insuccesso e della dispersione scolastica con riferimento al contesto
sociale ed alle tipologie dell'offerta formativa;
• conduce attività di valutazione sulla soddisfazione dell'utenza;
• fornisce supporto e assistenza tecnica all'amministrazione per la realizzazione di autonome
iniziative di valutazione e supporto alle singole istituzioni scolastiche anche mediante la
predisposizione di archivi informatici liberamente consultabili;
• valuta gli effetti degli esiti applicativi delle iniziative legislative che riguardano la scuola;
• valuta gli esiti dei progetti e delle iniziative di innovazione promossi in ambito nazionale;
• assicura la partecipazione italiana a progetti di ricerca internazionale in campo valutativo e
nei settori connessi dell’innovazione organizzativa e didattica.
LA VALUTAZIONE DI SISTEMA
IL SECONDO INVALSI
Art. 3 c.1 lett. b Legge 28 marzo 2003, n.53
Ai fini del progressivo miglioramento e
dell’armonizzazione della qualità del sistema di
istruzione e di formazione, l’Istituto nazionale
per la valutazione del sistema di istruzione
effettua verifiche periodiche e sistematiche sulle
conoscenze e abilità degli studenti e sulla qualità
complessiva dell’offerta formativa delle
istituzioni scolastiche e formative
I COMPITI DELL’INVALSI NEL D.LGS. 286/2004
•
•
•
•
•
•
•
effettua verifiche periodiche e sistematiche sulle conoscenze e abilità degli studenti e
sulla qualità complessiva dell'offerta formativa delle istituzioni di istruzione e di
istruzione e formazione professionale, anche nel contesto dell'apprendimento
permanente. Per la formazione professionale le verifiche concernono esclusivamente i
livelli essenziali di prestazione e sono effettuate tenuto conto degli altri soggetti
istituzionali che già operano a livello nazionale nel settore della valutazione delle
politiche nazionali finalizzate allo sviluppo delle risorse umane;
predispone, nell'ambito delle prove previste per l'esame di Stato conclusivo dei cicli di
istruzione, per la loro scelta da parte del Ministro, le prove a carattere nazionale, sulla
base degli obiettivi specifici di apprendimento del corso ed in relazione alle discipline di
insegnamento dell'ultimo anno di ciascun ciclo, e provvede alla gestione delle prove
stesse, secondo le disposizioni emanate in attuazione dell'articolo 3, comma 1, lettera
c), della legge 28 marzo 2003, n. 53;
svolge attività di ricerca, nell'ambito delle sue finalità istituzionali;
studia le cause dell'insuccesso e della dispersione scolastica con riferimento al contesto
sociale ed alle tipologie dell'offerta formativa;
assume iniziative rivolte ad assicurare la partecipazione italiana a progetti di ricerca
europea e internazionale in campo valutativo;
svolge attività di supporto e assistenza tecnica all'amministrazione scolastica, alle
regioni, agli enti territoriali, e alle singole istituzioni scolastiche e formative per la
realizzazione di autonome iniziative di monitoraggio, valutazione e autovalutazione;
svolge attività di formazione del personale docente e dirigente della scuola, connessa ai
processi di valutazione e di autovalutazione delle istituzioni scolastiche.
LA LEGGE 176/2007
LA VALUTAZIONE DEL VALORE AGGIUNTO
A decorrere dall'anno scolastico 2007-2008 il Ministro
della pubblica istruzione fissa, con direttiva
annuale, gli obiettivi della valutazione esterna
condotta dal Servizio nazionale di valutazione in
relazione al sistema scolastico e ai livelli di
apprendimento degli studenti, per effettuare
verifiche periodiche e sistematiche sulle conoscenze
e abilita' degli studenti, di norma, alla classe
seconda e quinta della scuola primaria, alla prima e
terza classe della scuola secondaria di I grado e alla
seconda e quinta classe del secondo ciclo, nonche'
altre rilevazioni necessarie per la valutazione del
valore aggiunto realizzato dalle scuole.
IL PROGETTO VALSIS
PER VALUTARE UN SISTEMA E’ NECESSARIO UN
COMPLESSO INTEGRATO DI INDICATORI
VALSIS: COMPLESSO DI INDICATORI CHE INTEGRA
LA PROSPETTIVA DI SISTEMA CON QUELLA
DELL’ISTITUZIONE SCOLASTICA
IL COMPLESSO DEGLI INDICATORI E’ SATO
DEFINITO SULLA BASE DEL MODELLO
CONTEXT-INPUT-PROCESS-PRODUCT
COME E’ STATO COSTRUITO IL
MODELLO
• STUDIO DELLA LETTERATURA SCIENTIFICA
ESISTENTE E ANALISI DELLE ESPERIENZE
STRANIERE
• DEFINIZIONE DI UN QUADRO DI RIFERIMENTO
TEORICO
• CLASSIFICAZIONE DEGLI INDICATORI
INTERNAAZIONALI E COSTRUZIONE DI UN
ARCHIVIO DEGLI STESSI
• DEFINIZIONE DEI POSSIBILI INDICATORI PER
L’ITALIA
LE AREE DEL MODELLO
CONTESTO
ASPETTI DEMOGRAFICI ED ECONOMICI
DELLA POPOLAZIONE
LIVELLO DI SCOLARIZZAZIONE
AMPIEZZA E DIFFFUSIONE DEL SERVIZIO
SCOLASTICO
CARATTERISTICHE SOCIO-ECONOMICHE
E CULTURALI DELLE FAMIGLIE
PARTECIPAZIOINE DELLA COMUNITA’
ALLA SCUOLA
RISORSE
RISORSE DELLE SCUOLE
RISORSE ECONOMICO-FINANZIARIE
RISORSE MATERIALI
STUDENTI
RISORSE UMANE
PROCESSI
PROCESSI A LIVELLO DI SCUOLA E DEL
TERRITORIO
PROCESSI A LIVELLO DI SCUOLA
PROCESSI A LIVELLO DI CLASSE
RISULTATI
RISULTATI DIRETTI DELL’ISTRUZIONE
LIVELLO DI ISTRUZIONE CONSEGUITO E
SUCCESSO SCOLASTICO
RISULTATI SOCIALI
QUALITA’ PERCEPITA DELL’OFFERTA
CONTESTO
Ampiezza e diffusione del servizio scolastico
ValSiS  Macroaree - Aree
– Offerta di istruzione
Caratteristiche socio-economiche-culturali delle famiglie
– Background socio-economico-culturale familiare
– Composizione del nucleo familiare
– Spese delle famiglie per l'istruzione
Partecipazione della comunità alla scuola
–
–
–
–
Integrazione / coesione sociale / collaborazione
Partecipazione
Servizi aggiuntivi
Sovvenzioni allo studio
Scolarizzazione
– Scolarizzazione in ciascuna tappa educativa
– Titolo di studio della popolazione adulta
Aspetti demografici / economici della popolazione
INPUT
– Popolazione in età scolare
– Stato occupazionale della popolazione
– Sviluppo demografico
Elaborazione
ValSiS – INVALSI
2010
Risorse delle scuole
–Caratteristiche delle scuole
Risorse economiche / finanziarie
–Disponibilità di risorse per le scuole
–Spesa pubblica
Risorse materiali
–Biblioteca
–Dotazioni informatiche
–Spazi
Risorse umane
–Assenteismo
–Caratteristiche del dirigente
–Caratteristiche del personale
–Stabilità del personale docente e dirigente
Studenti
–Attitudine e comportamento degli studenti
–Caratteristiche degli studenti
–Percorso di studi
PROCESSI
Processi a livello di classe
–Flessibilità organizzativa e didattica
–Strategie didattiche
– Sostegno, guida e supporto
– Uso del tempo
Processi a livello di scuola
–Capacità di investire
–Clima di scuola
–Collaborazione fra insegnanti
–Continuità lavorativa
–Diversificazione delle fonti di finanziamento
–Equilibrio della gestione finanziaria
–Formazione e aggiornamento del personale docente
–Forme di valutazione interna / autovalutazione
–Modi di affrontare situazioni di tipo problematico
–Offerta formativa
–Pari opportunità
–Progettazione del curricolo e dell’azione didattica
–Progettazione POF
–Progettualità strategica
–Stato / manutenzione delle strutture scolastiche
–Stili di direzione / coordinamento
–Uso dello spazio e delle infrastrutture
–Utilizzo della valutazione
Processi a livello di scuola e del territorio
–Partecipazione e coinvolgimento del territorio
RISULTATI
Esiti più generali o outcome
–Successo / insuccesso scolastico
Qualità percepita dell’offerta
–Soddisfazione degli utenti della scuola
Risultati diretti dell’istruzione o output
–Competenze cross-curricolari
–Livello degli apprendimenti relativi alle materie scolastiche
–Livello delle competenze chiave possedute
–Opportunità di apprendere
Risultati sociali o indicatori di impatto
–Esiti delle politiche delle pari opportunità
–Esiti sociali
L’INDIVIDUAZIONE DELLE FONTI E
L’ACQUISIZIONE DELLE INFORMAZIONI
IL MODELLO RENDE POSSIBILE L’ANALISI DI VARIE
CORRELAZIONI TRA LE AREE
OCCORRE PERO’ UNA BASE DATI COMPLETA E
ATTENDIBILE
L’INVALSI NEGLI ULTIMI DUE ANNI HA LAVORATO
ALLA COSTRUZIONE DEGLI STRUMENTI PER LA
MISURAZIONE STANDARDIZZATA DEGLI
APPRENDIMENTI
I RISULTATI DELLE MISURAZIONI
ALCUNE INDICAZIONI A LIVELLO DI SISTEMA
I RISULTATI MEDI A LIVELLO NAZIONALE
I RISULTATI DISTINTI PER GENERE,
PROVENIENZA, REGOLARITA’ DEL PERCORSO
GLI ELEMENTI DI CRITICITA’ NEGLI
APPRENDIMENTI DI ITALIANO E MATEMATICA
I CONFRONTI PER MACRO-AREE E PER REGIONI
LA VARIANZA TRA LE ISTITUZIONI SCOLASTICHE
NELLA STESSA AREA
Roberto Ricci – 27 ottobre 2010
I numeri del SNV e della Prova nazionale
(2009/2010)
Livello
Numero
scuole
Numero classi
Numero studenti
II primaria
7.770
30.175
555.347
V primaria
7.770
30.476
565.064
I secondaria di I
grado
5.895
27.210
595.732
III secondaria di I
grado
5.896
27.286
574.652
Totale
9.669
87.861
171.6143
I risultati medi a livello nazionale (2009/2010)
CLASSE
ITALIANO
MATEMATICA
61,0
56,7
(0,25)
(0,35)
66,6
61,3
(0,25)
(0,29)
60,8
50,9
(0,11)
(0,19)
60,4
51,1
(0,24)
(0,18)
II primaria
Roberto Ricci – 27 ottobre 2010
V primaria
I sec. di
secondo
grado
III sec. di
secondo
grado
I risultati delle prove
(italiano 2009/2010- dati medi per area)
6
5
4
3
2
1
0
-1
-2
-3
Roberto Ricci – 27 ottobre 2010
-4
-5
-6
-7
-8
II
V
I
Nord-Ovest
III
II
V
I
III
Nord-Est
Limite superiore dell'intervallo di confidenza
II
V
I
Centro
III
II
I
V
Sud
Percentualele di risposte corrette
III
II
V
I
Sud e isole
III
II
V
I
III
Italia
Limite inferiore dell'intervallo di confidenza
I risultati delle prove INVALSI
(matematica 2009/2010- dati medi per area)
6
5
4
3
2
1
0
-1
-2
-3
-4
Roberto Ricci – 27 ottobre 2010
-5
-6
-7
-8
II
V
I
Nord-Ovest
III
II
V
I
III
Nord-Est
Limite superiore dell'intervallo di confidenza
II
V
I
Centro
III
II
V
I
Sud
Percentuale di risposte corrette
III
II
V
I
Sud e isole
III
II
V
I
Italia
Limite inferiore dell'intervallo di confidenza
III
La distribuzione nei livelli di risultato
(classe 2^ primaria - dati 2008/2009)
ITALIANO
MATEMATICA
L1
L2
L3
L4
L5
L6
L1
L2
L3
L4
L5
L6
Nord
7,4
13,1
23,9
22,5
20,7
12,4
8,8
18,5
25,0
24,1
16,1
7,5
Centro
8,3
12,8
26,2
22,1
19,2
11,5
9,8
19,6
25,0
23,3
15,3
7,0
Sud
11,2
17,3
28,0
20,1
14,7
8,7
11,6
18,9
24,0
21,0
13,9
10,6
Italia
9,0
14,6
25,9
21,5
18,2
10,8
10,0
18,8
24,7
22,8
15,1
8,6
I risultati della prova di ITALIANO
(classe 5^ primaria- dati 2008/2009)
Punteggio medio della prova di Italiano
V PRIMARIA
66
65
64
63
NORD
62
61
ITALIA
60
COMPRENSIONE DI UN TESTO
NARRATIVO
VOCABOLARIO (SINONIMI E
ANTINOMICI)
RICOSTRUZIONE DI FRASI IN
ORDINE
Le distanze si cumulano?
(dati 2008/2009)
Studenti Italiani e non
(dati 2008/2009)
Matematica, II primaria
Matematica, V primaria
Altre differenze (dati 2008/2009)
II
Italiano
Nord
V
Matematica
Riferimento
Italiano
II
Matematica
Riferimento
Italiano
V
Matematica
Riferimento
Italiano
Matematica
Riferimento
Centro
-1,07
(**)
-0,92
(**)
0,09
-1,23
(**)
-0,71
(**)
-0,84
(**)
0,01
-1,26
(**)
Sud
-5,71
(**)
-0,45
(**)
-1,77
(**)
-3,58
(**)
-5,74
(**)
-0,51
(**)
-2,15
(**)
-3,81
(**)
Maschi
Femmine
Regolari
Riferimento
0,93
(**)
-2,24
(**)
Riferimento
Riferimento
0,14
(**)
-1,79
(**)
Riferimento
Anticipatari
-0,75
-3,56
(**)
2,51
(**)
2,16
(**)
Posticipatari
-3,33
(**)
-0,72
(**)
-4,18
(**)
-2,76
(**)
Italiani
Stranieri
Riferimento
-10,59
(**)
-5,68
(**)
Riferimento
-6,61
(**)
-4,88
(**)
La varianza tra scuole e tra classi
(dati 2008/2009)
Totale
Tra scuole
totale
Nelle scuole
tra classi
nelle classi
Italia
matematica
Italiano
100
100
16.1
15.8
83.9
84.2
17.2
17.3
66.7
67.0
Matematica
Italiano
100.5
95.3
8.7
12.4
91.3
87.5
10.2
12.1
81.1
75.5
Matematica
Italiano
97.2
98.8
10.4
13.9
89.6
86.1
14.7
15.9
74.9
70.2
Matematica
Italiano
100.6
104.9
25.4
19.2
74.6
80.8
25.3
22.0
49.3
58.8
Nord
Centro
Sud
L’incidenza della variabilità TRA le scuole su quella TOTALE
I RISULTATI DELLE MISURAZIONI COME RISORSA PER
L’AUTOVALUTAZIONE DELLE ISTITUZIONI SCOLASTICHE
I RISULTATI MEDI DI SCUOLA
IL POSIZIONAMENTO RISPETTO ALLA REGIONE,
ALLA MACRO-AREA GEOGRAFICA, AL PAESE
L’ANALISI DELLE DOMANDE
L’ANALISI DELLE RISPOSTE DOMANDA PER
DOMANDA
I RISULTATI DISTINTI PER GENERE, PROVENIENZA,
REGOLARITA’ DEL PERCORSO
GLI ELEMENTI DI CRITICITA’ NEGLI
APPRENDIMENTI DI ITALIANO E MATEMATICA
INVALSI– 6 ottobre 2010
I “nuovi” grafici: esempio 1
INVALSI– 6 ottobre 2010
I “nuovi” grafici: esempio 2
INVALSI– 6 ottobre 2010
I “nuovi” grafici: esempio 4
INVALSI– 6 ottobre 2010
I “nuovi” grafici: esempio 3
INVALSI– 6 ottobre 2010
I “nuovi” grafici: esempio 5
PER L’IMPLEMENTAZIONE DELLA VALUTAZIONE
DI SISTEMA
 COSTRUIRE IL SISTEMA DI VALUTAZIONE
 DEFINIRE UN SISTEMA DI INDICATORI
 INDIVIDUARE FONTI, PROCEDURE E STRUMENTI
PER LA RACCOLTA DEI DATI E DELLE
INFORMAZIONI
 PUBBLICAZIONE PERIODICA DI RAPPORTI
Flussi di informazione per la definizione degli indicatori per la valutazione di sistema e delle scuole
SNV
(Servizio Nazionale di Valutazione)
Ragioneria
di Stato
Esame di stato I ciclo
MIUR
ISTAT
Indagini internazionali
Autovalutazione
Contesto
Input
Output
Processi
Scuola
Classe
Valutazione esterna
Bilancio sociale
Certificazioni
di qualità
…………………
DALLA VALUTAZIONE AL
MIGLIORAMENTO
PROMUOVERE UNA RESPONSABILITA’ DIFFUSA
A TUTTI I LIVELLI IN ORDINE
ALL’UTILIZZAZIONE DEI RISULTATI DELLA
VALUTAZIONE PER RICERCARE IL
MIGLIORAMENTO
L’APPRENDIMENTO E’ UN DIRITTO SIA DELLA
SINGOLA PERSONA SIA DELLA SOCIETA’, E IL
DIRITTO DELL’UNA RAPPRESENTA UN
DOVERE PER L’ALTRA