Il contributo delle
rilevazioni internazionali e
nazionali al miglioramento
educativo
Stefania Pozio – SNV INVALSI
W. Edward Deming (1900-1993)
" Without data, you’re just another person with an opinion".
(A. Schleicher)
Division Head and coordinator of
the OECD Programme for International
Student Assessment (PISA)
Indagini internazionali e nazionali: diversi obiettivi
Indagini internazionali: di sistema
 offrono dati sulle prestazioni degli studenti comparabili a livello
internazionale
 permettono di individuare punti di forza e di debolezza del proprio
sistema scolastico
 ricercano fattori antecedenti e correlati del profitto scolastico (e in che
misura operano nello stesso modo in diversi contesti) …
Indagini nazionali: dal sistema alle singole scuole
 accertano i livelli di apprendimento degli studenti italiani in italiano e in
matematica
 offrono dati comparabili a livello nazionale, regionale e a livello di singola
scuola e classe
Le novità del 2015 nella restituzione
dei risultati INVALSI alle scuole
PLANNING
1. Tempi restituzione dati INVALSI alle scuole
2. Le principali novità



Trend 2013-2015
Microdati per alunno
Questionario studente

Le dimensioni di Matematica
3. IL QdR di Matematica e le Indicazioni nazionali 2012
4. Strumenti INVALSI
1. Tempi di restituzione
Risultati alle scuole
 PRIMARIA
2 settembre 2015
 SECONDARIA DI I GRADO
 SECONDARIA DI II GRADO
15 settembre 2015
15 ottobre 2015
STRUMENTI
 RAPPORTI 2015
9 luglio 2015
 GUIDE 2015 senza i risultati
15 luglio 2015
 GUIDE 2015 con Dimensioni
7 ottobre 2015
https://invalsi-areaprove.cineca.it/index.php?form=precedenti_strumenti
 Risultati per TIPOLOGIA di scuola
dicembre 2015
2. NOVITÁ 2015: generali
Tutte le tavole dei
risultati in formato
EXCEL
2. NOVITÁ 2015: generali
In un unico file excel sono presenti tutte le tavole dei dati
restituiti
2. NOVITÁ 2015: generali
2. NOVITÁ 2015: generali
Punteggi generali
Dettagli provaDettagli
ITA
prova MAT Livelli
Correlazioni
Dettagli
item ITA
Dettagli
item MAT
Il cheating
2. NOVITÁ 2015
DETTAGLI
QUESTIONARIO
MICRODATI
TREND
2. NOVITÁ 2015
2.1 TREND 2013-2015
2. NOVITÁ 2015
2.1 TREND 2013-2015
Nel 2013 il dato
osservato non è
stato rilasciato. E’
stato rilasciato
solo quello
corretto dal
cheating
2.1 TREND 2013-2015
http://www.invalsi.it/invalsi/statapp.php?page=progetto
2.2 MICRODATI
• Microdati_5_cnt
contesto
• Microdati_5_ita
risposte
• Microdat_5_mat
risposte
• Microdati_5_pnt
punteggi
• Microdati_5_qst
• Microdati_5_tracciato
questionario
legenda
2.2 MICRODATI
Punteggio
grezzo
Punteggio %
Codice
studente
Punteggio
normalizzato
(200)
2.2 MICRODATI
A che cosa mi possono servire i microdati?
 Seguire nel tempo i risultati di ogni studente (Liv.02-05-08)
 Matematica: individuare gli studenti in difficoltà e correlare con
alcuni item «pivot» (item sulla linea dei numeri)
 Contesto: individuare per alcune categorie di allievi le parti di
Matematica dove ci sono difficoltà o eccellenze
 Questionario studente: collegarlo al Contesto
 ………..
2.3 QUESTIONARIO studente (liv.05-10)
Si potrebbero selezionare una serie di domande utili per la scuola o per
la classe da analizzare (si scarica naturalmente il formato ecxel)
2.5 DETTAGLI MATEMATICA
2.5 DETTAGLI MATEMATICA: DIMENSIONI
Dimensioni
Classi
SCUOLA
SCUOLA
SCUOLA
2.5 DETTAGLI MATEMATICA: DIMENSIONI
 Come nascono?
 QDR: contenuti e processi
 Guide: scopo della domanda (question intent) e
traguardi per lo sviluppo delle competenze
 MACRO-PROCESSI
 1. Processi accorpati (Conoscenze e procedure,
Fino al
2012
2013-2014
Modellizzare, Argomentare, Rappresentazioni)
 2. PISA 2012 (Formulare, Utilizzare, Interpretare)
 3. Traguardi per lo sviluppo delle competenze
(Indicazioni 2012) (Conoscere, Risolvere
problemi, Argomentare)
Dal 2015
2.5 DETTAGLI MATEMATICA: DIMENSIONI
2. (2014)
Formulare,
Interpretare,
Utilizzare (PISA
2012)
3. (2015)
Conoscere,
Risolvere
problemi,
Argomentare
1 (2012).
Concetti e
procedure,
Rappresentazio
ni, Modellizzare,
Argomentare
Tabella scuola primaria
https://invalsi-areaprove.cineca.it/docs/attach/2015_guida_L05_SETTEMBRE.pdf
Tabella scuola secondaria di I grado
https://invalsi-areaprove.cineca.it/docs/attach/2015_guida_L08_SETTEMBRE.pdf
Tabella scuola secondaria di II grado
https://invalsi-areaprove.cineca.it/docs/attach/2015_GUIDA_L10_SETTEMBRE.pdf
gestinv: uno strumento per la didattica
http://www.gestinv.it/
Tutte le domande che fanno riferimento alla dimensione 3 ARG
per il livello 08
% corrette
%%errate
mancanti
Per ogni domanda: testo, risultati e curve caratteristiche
Come accedere alla piattaforma?
Mail a [email protected]
Uso dei dati INVALSI
DATI INVALSI
Percorso di
autovalutazione
Potenziamento e
miglioramento
dell’azione
didattica
istituto e singola
classe
18/12/2015
32
Utilizzare i risultati delle prove per
migliorare la didattica
18/12/2015
33
Analisi delle risposte degli
studenti alle domande a scelta
multipla - matematica
% risposte
corrette
%scelta
distrattori
% risposte
corrette
%scelta
distrattori
% risposte
corrette
% scelta
distrattori
% risposte
corrette
% scelta
distrattori
% risposte
corrette
% scelta
distrattori
% risposte
corrette
% scelta
distrattori
Difficoltà: 1,46
Punti critici della didattica
Analisi delle risposte aperte
degli studenti
Potenzialità prove Invalsi
• E’ dall’errore che buona parte
dell'apprendimento ha origine, in particolar
modo per quel che riguarda la matematica.
• E’ importante riconoscere sempre nell'errore
un'occasione di apprendimento per tutti (chi
l'ha compiuto, chi non l'ha compiuto e
l'insegnante) per cercare il misconcetto o la
lacuna che l'ha generato e quindi realizzare un
recupero autentico.
45
Tanti esercizi sui polinomi e poi
alle prove INVALSI ……..
Procedimenti inizialmente corretti
Pi greco sparisce
Tutto corretto fino a qua
Analisi delle risposte aperte
degli studenti
80% risposte errate
14%risposte corrette
Alcune risposte degli studenti
• Giulio ha ragione perché già si capisce dalla parola, ma anche
perché l’unità di misura è di 1 cm
• Giulio ha ragione perché se un lato dell’ottagono è di 1 cm,
l’ottagono ha 8 lati, quindi è di 8 cm
• Giulio ha ragione perché i lati sono 8 e sono tutti uguali
• Giulio ha ragione perché il lato di ogni quadrato è di 1 cm e dato che
le diagonali misurano come il lato il perimetro di 8 cm
• Giulio ha ragione perché ha 8 lati e ogni lato misura 1 cm (anche i
lati che tagliano il quadratino come una diagonale, perché essendo
un quadrato misura uguale)
• Giulio ha ragione perché visto che il quadrato è uguale di diagonale
basta vedere i suoi bordi quanti quadretti sono
• Giulio ha ragione perché anche i pezzetti tagliati a metà sono 1 cm
La cosa interessante di questo item è come gli studenti interpretano la
regolarità. Cioè pochi si accorgono che da un giorno all’altro il numero di
batteri aumenta del 10%.
1452 1573 1694
Lo studente aumenta la 2°
cifra di 1, la 3° cifra di 2 e
la 4° di 1
Più di uno studente
aumenta sempre di 1 le
due cifre centrali e l’ultima
cifra (partendo da 1331)
1442 1553 1664
792 - 531= 261
261/100 = 2,61%
2,61%
Licei
Tecnici
Profess
792% (2001)
531% (2003)
792% - 531% = 261%
261%
D18
Risposte errate:
- 63 giorni
- 81 giorni
- 168 giorni (il doppio)
- 42 giorni (la metà)
Indice di difficoltà 1,04
Correlazione punto biseriale 0,56
Licei
Tecnici
Profess
Il calcolo del m.c.m.:
sempre per tentativi,
nessuno studente che
abbia usato la
scomposizione in
fattori primi
Lo scopo della domanda e la %
di risposte corrette
48% risposte errate
43%risposte corrette
14,8%
16,7%
44,1%
19,6%
La risposta è corretta: siamo soddisfatti?
La risposta è corretta: siamo soddisfatti?
Computer-based
Assessment
•Kim & Huynh (2007) hanno svolto un’indagine
comparativa raffinata, tenendo conto di diversi strumenti
statistici quali: curve caratteristiche, funzioni di
informazione dei test, stime di Rasch, … concludendo
che non esistono differenze significative da un punto
di vista statistico tra un test somministrato su carta e
uno informatizzato.
Computer-based
Assessment
•abbassare i costi di somministrazione
•restituire immediatamente la misura dei punteggi e l’analisi
dei dati: feedback istantanei
•efficienza della misurazione
–limitare possibili errori in fase di codifica e raccolta dati
–arricchire tale raccolta
–personalizzazione del test per ogni singolo utente (CAT)
Problemi
•
•
•
•
•
Ampia finestra di somministrazione
Elevato numero di item
Prove differenti
Equivalenze tra le diverse prove
Influenza della familiarità con il mezzo
informatico
Il ruolo del questionario
studente
IL COSTRUTTO DELLA
COMPETENZA
L’iceberg della
competenza*
Prestazioni osservabili
del soggetto
Componente latente
che richiede
un’esplorazione di
dimensioni interiori
connesse ai processi
motivazionali, volitivi,
socioemotivi
*Castoldi,2009
Componente latente: i questionari
• Raramente le difficoltà di uno studente
sono dovute solo a carenze di conoscenze.
• Possono dipendere:
– Atteggiamenti negativi quali mancanza di
interesse, di determinazione, di
motivazione.
– Insicurezza, fatalismo (con conseguente
delega all’insegnante della responsabilità
dell’apprendimento).
– Emozioni negative quali noia, ansia, paura.
67
II secondaria
II grado
Indice dello status socioeconomico e
culturale (ESCS)
ESCS
HISEI
HOMEPOSS
(Highest Parental
Occupation Status)
(Home Possession)
ISCED
(International Standard
Classification of Education)
Qual è il lavoro
Qual è il titolo di studio
principale di tua
più alto conseguito da tua
69
madre/padre?
madre/padre?
Stefania Pozio _ Centro Nazionale PISA
HOME POSSESSION (1)
70
HOME POSSESSION (2)
71
PISA 2012- L’autoefficacia e il rendimento in
matematica
•Definizione di autoefficacia:
•“Convinzione nelle proprie capacità di organizzare e
realizzare il corso di azioni necessario a gestire
adeguatamente le situazioni che si incontreranno in modo da
raggiungere i risultati prefissati” (Bandura,1986).
 L’autoefficacia gioca un ruolo importante nel
determinare il comportamento, cioè il sentirsi sicuri
rispetto a uno specifico problema è cruciale per la
capacità dell’individuo di risolvere quel problema.
 Per l’Italia il senso di autoefficacia determina una
differenza fino a circa 50 punti.
Stefania Pozio _ Centro Nazionale PISA
PISA 2012
29% Molto capace
26% Molto capace
55% Molto capace
16% Molto capace
14% Molto capace
PISA 2003 – Autoefficacia e risultati in
matematica degli studenti italiani
Autoefficacia in matematica e prestazioni in matematica
550
510
525
470
407430
390
Primo quartile
Secondo quartile
Terzo quartile
Sopra il terzo quartile
Stefania Pozio _ Centro Nazionale PISA
Cosa è PISA
PRESENTAZIONE DELL’INDAGINE
Cosa è PISA?
• OCSE - Organizzazione per la Cooperazione e lo
Sviluppo Economico
• PISA - Programme for International Student
Assessment
• Indagine internazionale promossa per rilevare le
competenze dei quindicenni scolarizzati.
• Si svolge con periodicità triennale (prima indagine
2000).
• PISA ha l’obiettivo generale di verificare se, e in che
misura, i giovani che escono dalla scuola dell’obbligo
abbiano acquisito alcune competenze giudicate
essenziali per svolgere un ruolo consapevole e attivo
nella società e per continuare ad apprendere per tutta
la vita.
Che cosa rileva PISA
• Obiettivi principali di PISA:
 mettere a punto indicatori relativi al rendimento
scolastico degli studenti quindicenni, in funzione della
comparazione dei sistemi scolastici dei paesi membri
dell’organizzazione;
 individuare le caratteristiche dei sistemi scolastici dei
paesi che hanno ottenuto i risultati migliori, in termini di
livello medio delle prestazioni e di dispersione dei
punteggi, in modo da trarre indicazioni relative
all'efficacia delle politiche scolastiche nazionali;
 fornire con regolarità dati sui risultati dei sistemi di
istruzione, in modo da consentire il loro monitoraggio e la
costruzione di serie storiche di dati utilizzabili per
orientare le politiche educative e scolastiche.
Quadro di riferimento del PISA: dal 2003 al 2012
Calcolatrice (PP) oppure per CBT
“La Mathematical Literacy la capacità di un individuo di individuare e
software statistici, applicazioni per la
comprendere il ruolo che la matematica gioca nel mondo reale, di
visualizzazione e costruzione geometrica
operare valutazioni fondate e di utilizzare la matematica e
e strumenti di misurazione virtuali
confrontarsi con essa in modi che rispondono alle esigenze della
vita di quell’individuo in quanto cittadino impegnato, che riflette e
che esercita un ruolo costruttivo .”
La literacy matematica è « la capacità di una persona di
formulare, utilizzare e interpretare la matematica in svariati
contesti. Tale competenza comprende la capacità di ragionare
in modo matematico e di utilizzare concetti, procedure, dati e
strumenti di carattere matematico per descrivere, spiegare e
prevedere fenomeni. Aiuta gli individui a riconoscere il ruolo
che la matematica gioca nel mondo, a operare valutazioni e a
prendere decisioni fondate che consentano loro di essere
cittadini impegnati, riflessivi e con un ruolo costruttivo.» .
Le novità del PISA 2012
• Cambia il quadro di riferimento
• La rilevazione computerizzata della
matematica è un elemento di assoluta
novità in PISA 2012 ed è proposta come
opzione ai paesi partecipanti
• Introduzione della Financial Literacy
• Ritorna il Problem Solving
QdR PISA 2012 Matematica
Il ciclo della matematizzazione
Processi matematici (ciò che fanno gli studenti per
collegare il contesto del problema alla matematica e
quindi risolvere il problema)
Un consiglio comunale vuole posizionare un palo della luce in un parco pubblico
di forma triangolare in modo che il parco sia illuminato in modo omogeneo. In
quale punto è meglio che posizioni il palo della luce?
Dare una rappresentazione di una situazione
utilizzando la Matematica (formulate)
Capacità di un individuo di riconoscere e identificare opportunità per utilizzare
la matematica e così fornire una struttura matematica a un problema
presentato in un contesto reale.
CONTESTO: Personale
CONTESTO: Sociale
Impiegare concetti, fatti, procedure e ragionamenti
matematici (employ)
Capacità di un individuo di applicare concetti, fatti,procedure e ragionamenti
per risolvere problemi matematici al fine di ottenere conclusioni matematiche.
CONTESTO: Occupazionale
d v
D
60  n
86
Interpretare, applicare e valutare risultati
matematici (interpret)
Capacità di un individuo di riflettere su soluzioni, risultati e conclusioni
matematiche e interpretarle alla luce del contesto dei problemi di vita reale.
Questo comprende anche il saper tradurre le soluzioni o i ragionamenti
ritornando al contesto del problema e determinare se i risultati hanno senso in
quel determinato contesto.
RIFIUTI
CONTESTO: Scientifico
Nell’ambito
di
una
ricerca
sull’ambiente, gli studenti hanno
raccolto informazioni sui tempi di
decomposizione di diversi tipi di
rifiuti che la gente butta via:
Uno studente prevede di presentare
i risultati con un diagramma a
colonne.
Scrivi un motivo per cui un
diagramma a colonne non è adatto
per rappresentare questi dati.
Tipo di rifiuto
Tempo di
decomposizione
Buccia di banana
1–3 anni
Buccia d’arancia
1–3 anni
Scatole di cartone
0,5 anni
Gomma da masticare
20–25 anni
Giornali
Pochi giorni
Bicchieri di plastica
Oltre 100 anni
SUFFICIENTE
Livello
Livello
3 4
Livello 1
La domanda più
difficile di PISA
2012
Livello 6
Livello 3
Financial Literacy
Un insieme di conoscenze e capacità di comprensione di
concetti di carattere finanziario, unito alle abilità, alla
motivazione e alla fiducia nei propri mezzi che consentono
di utilizzare quelle stesse conoscenze e capacità per
prendere decisioni efficaci di carattere finanziario in
molteplici e diversi contesti, per migliorare il benessere
degli individui e della società e per consentire una
partecipazione consapevole alla vita economica.
Prove su supporto
cartaceo
93
situazioni nelle quali sono
applicate conoscenze, abilità e
cognizioni relative all’ambito
considerato
strategie cognitive o approcci
richiesti per affrontare i materiali
proposti
porzione di conoscenze e
cognizioni indispensabili
nell’ambito della literacy
Contenuti
Processi
• Denaro e transazioni • Identificare informazioni
finanziarie
• Pianificazione e
gestione delle finanze • Analizzare informazioni in
un contesto finanziario
• Rischio e rendimento
• Ambiente finanziario • Valutare questioni
finanziarie
• Applicare conoscenze e
Contesti
cognizioni in ambito
•Scolastico e lavorativo
finanziario
•Domestico e familiare
•Individuale e Sociale
Processi
Identificare informazioni finanziarie
BUSTA PAGA Domanda 1
Analizzare informazioni in un
contesto finanziario
NUOVA OFFERTA D 1 – punteggio parziale
NUOVA OFFERTA D 1 – punteggio pieno
Valutare questioni finanziarie
NUOVA OFFERTA Domanda 2
Applicare conoscenze e cognizioni
in ambito finanziario
Categoria di contenuto
Denaro e transazioni
BUSTA PAGA Domanda 1
Pianificazione e gestione delle
finanze
NUOVA OFFERTA D 1 – punteggio parziale
NUOVA OFFERTA Domanda 2
NUOVA OFFERTA D 1 – punteggio pieno
Livello 4
Ha del denaro in più da spendere
Livello 3 - 5
Il tasso di interesse è più basso
13% di 10.000 è superiore al 15% di 8.000.
Aumenterà il suo debito.
Livello 4
Si possono acquistare pomodori a peso o in cassetta.
22 zed per una cassetta di
10 kg
Domanda 1 AL MERCATO
La cassetta conviene rispetto ai pomodori a
peso.
Livello 2
Giustifica questa affermazione.
Pianificazione e gestione delle finanze
2,75 zed al kg
I risultati di PISA
2012
I sistemi scolastici migliori sono quelli che
• 1) hanno riportato un punteggio sulla
scala delle competenze matematiche
superiore al punteggio medio dell’OCSE
(494)
• 2) l’impatto dello ESCS degli studenti sulle
performance in matematica è minore della
media OCSE
Media
OCSE
494
% della
variazione
dei
punteggi in
matematica
spiegata
dall’ESCS
14,6%
media
OCSE
Risultati in Lettura PISA 2009 e benessere nazionale
La spesa per l’istruzione spiega
Risultati in Matematica PISA 2012 e spesa
studente
meno delper
20 per
cento delle
diversità di rendimento tra
studenti nei paesi industrializzati:
la differenza sta nel come le
risorse vengono investite
In migliaia di dollari USA
convertiti usando la parità di
potere d’acquisto
Italia e Singapore più o meno la
stessa spesa (85000 $) ma
punteggi molto differenti (485
versus 573
Risultati in Matematica PISA 2012 e spesa per studente
In migliaia di dollari USA
convertiti usando la parità di
potere d’acquisto
Risultati in Matematica PISA 2012 e stipendio dei docenti
Relazione tra voti scolastici in Matematica e
risultati in matematica PISA 2003
Fonte: Elaborazione sul dataset PISA 2003 dell’Italia
Voti scolastici e risultati nel test PISA 2009 di
comprensione della lettura per macro-area
http://cbasq.acer.edu.au/index.php?cmd=toProblemSolving
PISA 2015
Competenza scientifica
Prove solo computerizzate
Max 42 studenti per scuola
Ci sarà ancora la Financial literacy
IL TIMSS
Trends in International Mathematics and
Science Study.
Fornisce informazioni che permettono di
migliorare l’insegnamento e l’apprendimento
della matematica e delle scienze.
Riguarda studenti di IV elementare e III
media.
Viene effettuato ogni 4 anni.
Il primo ciclo è stato nel 1995 (41 paesi) e
l’ultimo nel 2011 (circa 60 paesi).
Cosa intende misurare il TIMSS
Punto di partenza è l’analisi dei curricoli
delle nazioni partecipanti
Su questa base, vengono definite le
conoscenze e le competenze che verranno
valutate
Attraverso l’analisi dei risultati vengono
definiti 4 livelli di competenza: avanzato,
alto, intermedio, basso.
Il test è rivolto agli studenti della stessa
classe, e il questionario insegnante permette
di interpretare i risultati degli studenti anche
in relazione agli stili di insegnamento.
Livello basso
Livello intermedio
Livello alto
Livello avanzato
121