LE FUNZIONI E I COMPITI
DELL’INVALSI PER LA VALUTAZIONE
DEGLI APPRENDIMENTI.
DALLA COSTRUZIONE DELLE PROVE
ALLA RESTITUZIONE DEI RISULTATI
Dino Cristanini
Direttore Generale INVALSI
LA NATURA DELL’INVALSI
L’ISTITUTO E’ ENTE DI RICERCA CON
PERSONALITA’ GIURIDICA DI DIRITTO
PUBBLICO ED AUTONOMIA
AMMINISTRATIVA, CONTABILE,
PATRIMONIALE, REGOLAMENTARE E
FINANZIARIA
(Decreto legislativo 19 novembre 2004, n. 286)
VALUTARE PER MIGLIORARE
Art. 3 c.1 lett. b Legge 28 marzo 2003, n.53
Ai fini del progressivo miglioramento e
dell’armonizzazione della qualità del sistema
di istruzione e di formazione, l’Istituto
nazionale per la valutazione del sistema di
istruzione effettua verifiche periodiche e
sistematiche sulle conoscenze e abilità degli
studenti e sulla qualità complessiva
dell’offerta formativa delle istituzioni
scolastiche e formative
I COMPITI DELL’INVALSI NEL D.LGS.
286/2004
•
•
•
•
•
•
•
effettua verifiche periodiche e sistematiche sulle conoscenze e abilità degli studenti e
sulla qualità complessiva dell'offerta formativa delle istituzioni di istruzione e di
istruzione e formazione professionale, anche nel contesto dell'apprendimento
permanente. Per la formazione professionale le verifiche concernono esclusivamente i
livelli essenziali di prestazione e sono effettuate tenuto conto degli altri soggetti
istituzionali che già operano a livello nazionale nel settore della valutazione delle
politiche nazionali finalizzate allo sviluppo delle risorse umane;
predispone, nell'ambito delle prove previste per l'esame di Stato conclusivo dei cicli di
istruzione, per la loro scelta da parte del Ministro, le prove a carattere nazionale, sulla
base degli obiettivi specifici di apprendimento del corso ed in relazione alle discipline di
insegnamento dell'ultimo anno di ciascun ciclo, e provvede alla gestione delle prove
stesse, secondo le disposizioni emanate in attuazione dell'articolo 3, comma 1, lettera
c), della legge 28 marzo 2003, n. 53;
svolge attività di ricerca, nell'ambito delle sue finalità istituzionali;
studia le cause dell'insuccesso e della dispersione scolastica con riferimento al
contesto sociale ed alle tipologie dell'offerta formativa;
assume iniziative rivolte ad assicurare la partecipazione italiana a progetti di ricerca
europea e internazionale in campo valutativo;
svolge attività di supporto e assistenza tecnica all'amministrazione scolastica, alle
regioni, agli enti territoriali, e alle singole istituzioni scolastiche e formative per la
realizzazione di autonome iniziative di monitoraggio, valutazione e autovalutazione;
svolge attività di formazione del personale docente e dirigente della scuola, connessa ai
processi di valutazione e di autovalutazione delle istituzioni scolastiche.
LA LEGGE 1/2007
L’ANALISI DELLE PROVE DELL’ESAME DI STATO
CONCLUSIVO DELLA SCUOLA SECONDARIA
SUPERIORE
L'Istituto nazionale per la valutazione del sistema
educativo di istruzione e di formazione (INVALSI)
provvede, sulla base di apposite direttive impartite
dal Ministro della pubblica istruzione (…), alla
predisposizione di modelli da porre a disposizione
delle autonomie scolastiche ai fini della elaborazione
della terza prova. L'Istituto provvede, altresì, alla
valutazione dei livelli di apprendimento degli
studenti a conclusione dei percorsi dell'istruzione
secondaria superiore, utilizzando le prove scritte
degli esami di Stato secondo criteri e modalità
coerenti con quelli applicati a livello internazionale
per garantirne la comparabilità
LA LEGGE 176/2007
LA PROVA NAZIONALE AL TERMINE
DEL PRIMO CICLO
L’esame di Stato comprende anche una prova scritta, a
carattere nazionale, volta a verificare i livelli generali
e specifici di apprendimento conseguiti dagli
studenti. I testi relativi alla suddetta prova sono
scelti dal Ministro della pubblica istruzione tra quelli
predisposti annualmente dall’Istituto nazionale per la
valutazione del sistema educativo di istruzione e di
formazione (Invalsi), conformemente alla direttiva
periodicamente emanata al Ministro stesso, e inviati
alle istituzioni scolastiche competenti.
LA LEGGE 176/2007
LA VALUTAZIONE DEL VALORE
AGGIUNTO
A decorrere dall'anno scolastico 2007-2008 il Ministro
della pubblica istruzione fissa, con direttiva annuale,
gli obiettivi della valutazione esterna condotta dal
Servizio nazionale di valutazione in relazione al
sistema scolastico e ai livelli di apprendimento degli
studenti, per effettuare verifiche periodiche e
sistematiche sulle conoscenze e abilita' degli
studenti, di norma, alla classe seconda e quinta della
scuola primaria, alla prima e terza classe della
scuola secondaria di I grado e alla seconda e quinta
classe del secondo ciclo, nonche' altre rilevazioni
necessarie per la valutazione del valore aggiunto
realizzato dalle scuole.
IL VALORE AGGIUNTO
L’EFFETTO POSITIVO PRODOTTO DALLA
SCUOLA IN UN DETERMINATO INTERVALLO
DI TEMPO
I RISULTATI DI APPRENDIMENTO DEPURATI
DALLE VARIABILI ESTERNE ALLA SCUOLA
CHE LO CONDIZIONANO
Esempio punteggi grezzi
(Martini e Ricci - 2008)
Esempio punteggi con calcolo valore
aggiunto (Martini e Ricci-2008)
LE DIRETTIVE MINISTERIALI
LA DIRETTIVA TRIENNALE N.74/2008
Rilevare gli apprendimenti degli studenti
nei momenti di ingresso e di uscita dei
diversi livelli di scuola, così da rendere
possibile la valutazione del valore
aggiunto fornito da ogni scuola in
termini di accrescimento dei livelli di
apprendimento degli alunni
LE DIRETTIVE MINISTERIALI
LA DIRETTIVA TRIENNALE N.74/2008
La rilevazione sarà messa a regime nel corso
di tre anni secondo la seguente scansione:
- anno 2008-2009 le scuole primarie
- anno 2009-2010 le scuole secondarie di
primo grado
- anno 2010-2011 le scuole secondarie di
secondo grado
I COMPITI DELL’INVALSI
NEL DECRETO LEGISLATIVO
n. 213 del 31 dicembre 2009
Nell’ambito della costruzione del Sistema nazionale di valutazione l’INVALSI ha le seguenti
competenze:
a. lo studio e la predisposizione di strumenti e modalità oggettive di valutazione degli
apprendimenti e la cura dell’elaborazione e della diffusione dei risultati della valutazione;
b. la promozione di periodiche rilevazioni nazionali sugli apprendimenti che interessano le
istituzioni scolastiche e l’istruzione e formazione professionale, il supporto e l’assistenza
tecnica alle istituzioni scolastiche e formative anche attraverso la messa a disposizione di
prove oggettive per la valutazione degli apprendimenti finalizzate anche alla realizzazione
di autonome iniziative di valutazione e autovalutazione;
c. lo studio di modelli e metodologie per la valutazione delle istituzioni scolastiche e di
istruzione e formazione professionale e dei fattori che influenzano gli apprendimenti
d. la predisposizione di prove a carattere nazionale per gli esami di Stato, nell’ambito della
normativa vigente;
e. lo svolgimento di attività di ricerca e la collaborazione alle attività di valutazione del sistema
scolastico al fine di realizzare iniziative di valorizzazione del merito anche in collaborazione
con il sistema universitario;
f. lo svolgimento di attività di ricerca, nell'ambito delle proprie finalità istituzionali, sia su
propria iniziativa che su mandato di enti pubblici e privati, assicurando inoltre la
partecipazione italiana a progetti internazionali in campo valutativo;
g. lo svolgimento di attività di supporto e assistenza tecnica alle regioni e agli enti territoriali
per la realizzazione di autonome iniziative di monitoraggio, valutazione e autovalutazione;
h. lo svolgimento di attività di formazione del personale docente e dirigente della scuola sui
temi della valutazione in collaborazione con l’ ANSAS.
LA QUALITA’ DELLE
RILEVAZIONI
QUALITA’ DELLE PROVE
QUALITA’ DELLA SOMMINISTRAZIONE
QUALITA’ DELLA ELABORAZIONE DEI
DATI
LA PREDISPOSIZIONE DELLE
PROVE
L’ELABORAZIONE DEI QUADRI DI RIFERIMENTO
LA PRODUZIONE DEGLI ITEM
LA PRIMA REVISIONE QUALITATIVA
LA PROVA SUL CAMPO
LA PRODUZIONE DEFINITIVA
IL QUADRO DI RIFERIMENTO DI
ITALIANO
Oggetto precipuo delle prove Invalsi sono le
sottocompetenze dell’ambito della lettura
TESTUALE
comprensione locale e globale del testo
organizzazione logica entro e oltre la frase
aspetti formali e retorici
GRAMMATICALE
ortografia e punteggiatura
morfologia e sintassi
LESSICALE
IL QUADRO DI RIFERIMENTO DI
MATEMATICA
I NUCLEI TEMATICI
NUMERI
SPAZIO E FIGURE
RELAZIONI E FUNZIONI
(solo a partire dalla V primaria)
MISURE, DATI E PREVISIONI
LA VALIDAZIONE DELLE PROVE
Indice di Cronbach: coerenza e unitarietà
della prova
Rasch analysis: stima della difficoltà
delle domande
Placement: difficoltà delle domande e
livelli di apprendimento raggiunti dai
rispondenti
LA RESTITUZIONE DEI DATI
I RAPPORTI NAZIONALI
I DATI AGGREGATI A LIVELLO REGIONALE
I DATI AGGREGATI A LIVELLO DI SINGOLA SCUOLA
I DATI AGGREGATI A LIVELLO DI SINGOLE CLASSI
I DATI DISAGGREGATI DOMANDA PER DOMANDA
LA RESTITUZIONE DEI DATI
ALLE SCUOLE
UNA RISORSA PER L’AUTOVALUTAZIONE E IL
MIGLIORAMENTO
art.4 comma 4 D.P.R. 275/1999
Nell'esercizio dell'autonomia didattica le
istituzioni scolastiche (…) Individuano inoltre
le modalità e i criteri (…) per la valutazione
periodica dei risultati conseguiti dalle
istituzioni scolastiche rispetto agli obiettivi
prefissati
LA RESTITUZIONE DEI DATI
ALLE SCUOLE
SCOPI
FORNIRE ALLE SCUOLE ELEMENTI DI CONOSCENZA
AFFIDABILI PER CONOSCERE IL PROPRIO
POSIZIONAMENTO RISPETTO ALLE ALTRE
SCUOLE O AD UN PROPRIO TARGET
STIMOLARE PROCESSI DI MIGLIORAMENTO
Le criticità in italiano ( II classe)
Le criticità in italiano (V classe)
Le criticità in matematica (II classe)
Le criticità in matematica (V classe)
CONFRONTARSI RISPETTO AGLI STANDARD ESTERNI
Domande che una scuola dovrebbe porsi
1) Rispetto alle medie, nazionale e locale (regione, macro-area), come si
colloca il risultato medio della mia scuola?
2) Rispetto a scuole simili sotto il profilo della composizione della
popolazione scolastica, come si colloca la mia scuola?
Bologna, 23 Novembre 2009
Angela Martini
3) Qual è la distribuzione degli alunni della mia scuola nei livelli di
prestazione?
4) Le eventuali differenze che riscontro sono significative (in termini
statistici e di entità della differenza)?
5) Da cosa possono dipendere le differenze che riscontro?
6) Sono in grado di formulare un’ipotesi per rispondere a questa domanda,
oppure ho bisogno di raccogliere ulteriori informazioni prima di arrivare
ad avanzarne una?
CONFRONTARSI AL PROPRIO INTERNO
Domande che una scuola dovrebbe porsi
Bologna, 23 Novembre 2009
Angela Martini
1) Le classi della mia scuola, dello stesso livello (es.: II) o di livello diverso
(es: II e V), hanno risultati simili fra loro e rispetto agli standard? Se no,
sono in grado di ipotizzare quale ne sia la ragione? (differenze originarie
nel livello di abilità degli alunni delle varie classi, differenze nel curricolo
“insegnato”, differenze tra gli insegnanti …)
2) Quale relazione c’è tra il punteggio medio ottenuto dalle classi nelle prove
INVALSI e le valutazioni medie degli insegnanti di classe, in particolare in
Italiano e in Matematica? L’ordinamento fra classi stabilito in base alle
prime corrisponde grosso all’ordinamento in base alle seconde?
3) Qual è l’entità della differenza di risultati – se c’è – fra i principali
sottogruppi della popolazione della mia scuola (ad es. fra maschi e
femmine, fra alunni italiani e non, ecc.)
4) Vi sono differenze rilevanti di risultati fra la prova di Italiano e la prova di
Matematica, e, all’interno di ciascuna, tra le loro principali articolazioni (ad
es. tra testo narrativo ed espositivo, nel caso dell’Italiano, o tra l’ambito
“Numeri” e l’ambito “Spazio e figure” nel caso della Matematica?
LA COLLABORAZIONE ALLE
INDAGINI INTERNAZIONALI
OCSE PISA
IEA TIMSS
IEA TIMSS ADVANCED
IEA ICCS
IEA PIRLS
IEA SITES
L’INDAGINE OCSE PISA
PISA = Programme for International Student
Assessment
E’ una indagine promossa dall’OCSE per accertare le
competenze dei quindicenni scolarizzati
Viene effettuata ogni tre anni e riguarda tre aree:
lettura, matematica e scienze, ma ogni ciclo
approfondisce in particolare un’area
Nel 2010:
• Sviluppo progetto indagine 2009
• Avvio progetto indagine 2012
L’INDAGINE IEA TIMSS
IEA=International Association for the
Evaluation of Educational Assessment
TIMSS=Trends in International Mathematics
and Science Study
I risultati degli studenti in Matematica e Scienze in
oltre 60 sistemi d’istruzione
Classi coinvolte:
IV primaria
III secondaria primo grado
L’INDAGINE IEA PIRLS
IEA=International Association for the
Evaluation of Educational Assessment
PIRLS=Progress in International Reading
Literacy Study
La competenza nella lettura
Classe coinvolta:
IV primaria
L’INDAGINE TIMSS ADVANCED
Rileva le prestazioni degli studenti
nell’ultimo anno della scuola
secondaria superiore per gli indirizzi di
studio con matematica e fisica
avanzata (liceo scientifico e istituto
tecnico industriale)
L’Italia nel confronto internazionale
Fonte : Cipollone Sestito 2010
LO STUDIO DI MODELLI PER
LA VALUTAZIONE DELLE SCUOLE
ANALISI DEI SISTEMI DI VALUTAZIONE
UTILIZZATI IN CIRCA 20 PAESI
COSTRUZIONE DI UN SISTEMA NAZIONALE DI
INDICATORI ORGANIZZATI IN BASE AL
MODELLO CIPP:
CONTEXT-INPUT-PROCESS-PRODUCT
LO STUDIO DI MODELLI PER
LA VALUTAZIONE DELLE SCUOLE
ANALISI DEI SISTEMI DI VALUTAZIONE
UTILIZZATI IN CIRCA 20 PAESI
COSTRUZIONE DI UN SISTEMA NAZIONALE DI
INDICATORI ORGANIZZATI IN BASE AL
MODELLO CIPP:
CONTEXT-INPUT-PROCESS-PRODUCT
CONTESTO
PROCESSI
RISULTATI
ORGANIZZATIVI
(OUTPUT
DIDATTICI
OUTCOME)
RISORSE
(INPUT)
CONTESTO
Ampiezza e diffusione del servizio scolastico
ValSiS  Macroaree - Aree
– Offerta di istruzione
Caratteristiche socio-economiche-culturali delle famiglie
– Background socio-economico-culturale familiare
– Composizione del nucleo familiare
– Spese delle famiglie per l'istruzione
Partecipazione della comunità alla scuola
–
–
–
–
Integrazione / coesione sociale / collaborazione
Partecipazione
Servizi aggiuntivi
Sovvenzioni allo studio
Scolarizzazione
– Scolarizzazione in ciascuna tappa educativa
– Titolo di studio della popolazione adulta
Aspetti demografici / economici della popolazione
INPUT
– Popolazione in età scolare
– Stato occupazionale della popolazione
– Sviluppo demografico
Elaborazione
ValSiS – INVALSI
2010
Risorse delle scuole
–Caratteristiche delle scuole
Risorse economiche / finanziarie
–Disponibilità di risorse per le scuole
–Spesa pubblica
Risorse materiali
–Biblioteca
–Dotazioni informatiche
–Spazi
Risorse umane
–Assenteismo
–Caratteristiche del dirigente
–Caratteristiche del personale
–Stabilità del personale docente e dirigente
Studenti
–Attitudine e comportamento degli studenti
–Caratteristiche degli studenti
–Percorso di studi
PROCESSI
Processi a livello di classe
–Flessibilità organizzativa e didattica
–Strategie didattiche
– Sostegno, guida e supporto
– Uso del tempo
Processi a livello di scuola
–Capacità di investire
–Clima di scuola
–Collaborazione fra insegnanti
–Continuità lavorativa
–Diversificazione delle fonti di finanziamento
–Equilibrio della gestione finanziaria
–Formazione e aggiornamento del personale docente
–Forme di valutazione interna / autovalutazione
–Modi di affrontare situazioni di tipo problematico
–Offerta formativa
–Pari opportunità
–Progettazione del curricolo e dell’azione didattica
–Progettazione POF
–Progettualità strategica
–Stato / manutenzione delle strutture scolastiche
–Stili di direzione / coordinamento
–Uso dello spazio e delle infrastrutture
–Utilizzo della valutazione
Processi a livello di scuola e del territorio
–Partecipazione e coinvolgimento del territorio
RISULTATI
Esiti più generali o outcome
–Successo / insuccesso scolastico
Qualità percepita dell’offerta
–Soddisfazione degli utenti della scuola
Risultati diretti dell’istruzione o output
–Competenze cross-curricolari
–Livello degli apprendimenti relativi alle materie
scolastiche
–Livello delle competenze chiave possedute
–Opportunità di apprendere
Risultati sociali o indicatori di impatto
–Esiti delle politiche delle pari opportunità
–Esiti sociali