Giampaolo Grechi
ICS “Guido Monaco”, Rassina (Ar)
Gruppo autori di quesiti Invalsi L08
[email protected]
Arezzo 29 aprile 2015
INVALSI e Indagini Internazionali
IEA – TIMSS
(PIRLS per Italiano)
INDAGINE
CAMPIONARIA
ogni 4 anni
TIMSS 2011:
310 scuole
OCSE – PISA
INDAGINE
CAMPIONARIA
ogni 3 anni
PISA 2012:
1194 scuole
INVALSI
INDAGINE
CENSUARIA
annuale
dal 2014 solo L02,
L05, L08, L10
Oggetto
Trends in
International
Mathematics and
Science Study.
Conoscenza
matematica e
scientifica.
Program for
International
Student
Assessment.
Lettura,
matematica e
scienze.
Italiano
(comprensione del
testo e
grammatica) e
matematica.
Livello scolare /
età
Aree di contenuto
Matematica
4° anno
•Numero
•Forme geometriche
e misure
•Rappresentazione
dei dati
2011:
circa 4000
studenti
8° anno
2011:
circa 4000
studenti
15 anni di
età
2012:
31073 studenti
•Numero
•Algebra
•Geometria
•Dati e probabilità
•Quantità
•Spazio e forma
•Cambiamento e
relazioni
•Incertezza
2° anno
•Numeri
•Spazio e figure
•Dati e previsioni
5° - 8° - 10°
anno
•Numeri
•Spazio e figure
•Relaz. e funzioni
•Dati e previsioni
Livello
II primaria
L02
V primaria
L05
III Secondaria
primo grado (PN)
L08
II secondaria
secondo grado
L10
Totale classi coinvolte
29 719
Totale studenti
568 251
(classi campione 1468. 4,9%)
29 685
561 183
(classi campione 1468. 4,9%)
29 462
597 639
(classi campione 1418. 4,8%)
26 540
560 672
(classi campione 2256. 8,5%)
Fonte: Rapporto Rilevazioni Nazionali degli
apprendimenti 2013-2014. INVALSI.
Obiettivo e/o
Traguardo delle
Indicazioni Nazionali
(indicizzazione Invalsi)
Ogni quesito è
esplicitamente
riferito a:
Question Intent
Ambito di contenuti del quadro
di riferimento INVALSI:
•
•
•
•
Numeri
Spazio e Figure
Dati e previsioni
Relazioni e funzioni
(Gli stessi ambiti delle IN)
Processo prevalente attivato
nella risoluzione: dal quadro di
riferimento INVALSI:
8 processi
Una delle tre fasi del ciclo della
Matematizzazione:
Formulare: il passaggio dalla
situazione di problema reale al modello
matematico
Utilizzare: il lavoro sul modello
matematico
Interpretare: l’interpretazione dei
risultati rispetto alla situazione di
partenza
L08 2014 – Prova Nazionale
L08 2014 – Prova Nazionale
Progettazione
della prova
Pretest
Per le prove del 2014 field-trial
campionario su circa 11.000
studenti complessivi.
Aggiustamenti
circa il 30% dei quesiti
viene confermato nella sua forma originale, 30%40% viene modificato, 30%-40% viene scartato.
Nuovo Pretest
Somministrazione:
6-7-12 MAGGIO 2015 SNV
19 GIUGNO 2015 PN
Restituzione dei dati alle scuole
Il cheating
I punteggi considerati sono corretti dal fenomeno
cosiddetto di “cheating”
tramite una procedura statistica i punteggi di ogni
studente vengono corretti in base alla probabilità che la
classe (nella quale si trova lo studente stesso) ha di aver
attuato comportamenti opportunistici in fase di
rilevazione.
Il cheating
Invalsi identifica il cheating secondo la procedura Quintano
C., Castellano R., Longobardi S., (2009).
La procedura utilizza i seguenti “ingredienti”:
•
•
•
•
percentuale di risposte corrette;
variabilità all’interno dell’unità minima di aggregazione;
omogeneità nelle modalità di risposta a ciascun item;
tasso di mancate risposte.
Il cheating
Elevata
percentuale di
risposte
corrette
Sospetto
comportamento
anomalo:
CHEATING
Basso tasso di
mancate
risposte
Bassa variabilità
della percentuale di
risposte corrette
all’interno dell’unità
minima di
aggregazione
Bassa
variabilità
nelle modalità
di risposta a
ciascun item
Il cheating
Invalsi individua l’indice di propensione al cheating per
l’unità minima di aggregazione che è la classe.
Calcola il complemento a uno di tale indice e lo utilizza
come fattore moltiplicativo per correggere il punteggio di
ogni singolo studente all’interno della classe stessa.
Il cheating
1
Punteggio
osservato
Indice di
propensione al
cheating
Fattore di
correzione
Fattore di
correzione
Punteggio
corretto
Il cheating
Sull’intera popolazione Invalsi calcola, per ogni Area
geografica, la mediana dell’indice di propensione al cheating.
Definisce una soglia, scegliendo la mediana dell’indice di
propensione al cheating dell’Area più “virtuosa”.
Al di sotto di tale soglia non corregge i punteggi.
Questo procedimento viene effettuato per ciascuna materia
di ciascun livello.
Il cheating
•
Invalsi corregge i punteggi dei singoli studenti.
•
Restituisce alle scuole i dati al netto del cheating.
•
Non restituisce i dati delle classi con un indice di
propensione al cheating superiore a 0,50. Tali classi
non entrano nel computo del punteggio medio di
scuola.
•
Laddove vengano eliminate più del 50% delle classi
dell’istituto, non viene restituita nemmeno la media di
scuola che non sarebbe più rappresentativa poiché
individuata con il punteggio di poche classi.
L’indice di background socio economico culturale (ESCS)
Che cos’è
ESCS?
Denominazione internazionale dell’indicatore dello
status socio-economico-culturale dello studente
L’indice di background socio economico culturale (ESCS)
Perché calcolarlo?
Le caratteristiche socio-culturali ed economiche
degli studenti giocano un ruolo molto importante sui
livelli di apprendimento conseguiti fin dai primi anni
di scuola
L’indice di background socio economico culturale (ESCS)
Approccio metodologico
L’ESCS è basato su 3 indicatori dei quali ne è una sintesi:
STATUS
OCCUPAZIONALE
DEI GENITORI
Indicatore
denominato HISEI
LIVELLO DI
ISTRUZIONE DEI
GENITORI
Indicatore
denominato PARED
POSSESSO DI ALCUNI
SPECIFICI BENI
MATERIALI
intesi come variabili di
prossimità di un
contesto economico e
culturale favorevole
all’apprendimento
Indicatore denominato
HOMEPOS
Titolo di studio
HISEI
PADRE
MADRE
5
Disoccupato
Casalinga
0
Diploma di
maturità
17
Professionista. dip.
Sottouff. militare
Libero prof.
Lavoratore
in proprio
4
Diploma di
maturità
13
Lavoratore
in proprio
3
PADRE
MADRE
ESCS
basso
Licenza
elementare
Licenza
elementare
ESCS
alto
Laurea
o titolo sup.
Licenza
media
ESCS
medio
Occupazione
PARED
Lavoratore
proprio
in
ITEM di Possesso
posto
tranquillo
per studiare
computer
scrivania
enciclopedie
Internet a
casa
una camera
personale
ESCS
basso
No
No
No
No
No
No
-3,9
ESCS
alto
Si
Si
Si
Si
Si
Si
2,3
ESCS
medio
No
Si
No
Si
Si
No
-1,7
Esempi di calcolo dell’indice su 3 profili
studente (basso, medio e alto background socio
economico culturale)
HOMEPOS
ESCS basso
ESCS alto
ESCS medio
-3,08
2,24
0,08
Livelli di apprendimento
Sulla base della distribuzione dei punteggi su scala nazionale,
l’INVALSI ha costruito 5 livelli di apprendimento:
Livello 1: punteggio minore o uguale al 75% della media nazionale.
Livello 2: punteggio compreso tra il 75% e il 95% della media nazionale.
Livello 3: punteggio compreso tra il 95% e il 110% della media nazionale.
Livello 4: punteggio compreso tra il 110% e il 125% della media nazionale.
Livello 5: punteggio maggiore del 125% della media nazionale.
Livelli di apprendimento
I livelli di apprendimento vengono ridotti a 3 e
viene creata una tavola che incrocia Italiano
con Matematica:
Livello 1-2: punteggio minore o uguale al 95%
della media nazionale
Livello 3: punteggio maggiore del 95% e minore
o uguale al 110% della media nazionale
Livello 4-5: punteggio maggiore del 110% della
media nazionale
Le guide alla lettura
Testo della domanda
Classificazione
Risposta corretta
Collegamento con le Indicazioni nazionali
Commenti
Risultati del campione

Analisi quantitativa per la ricerca delle aree di
criticità (o di eccellenza);
Criticità assolute non sono
come criticità relative;

Analisi qualitativa: analisi dell’errore nelle
domande a risposta aperta.
(1) Analisi quantitativa per la ricerca
delle aree di criticità (o di eccellenza);
L05 – SNV 2014
Classe V primaria : SNV 2014
Media
nazionale
SF
Differenza
media della
classe – media
nazionale
N
DP
Quesito D19:
NUMERI
25,0-36,6=-11,6
RF
(3) Analisi qualitativa: analisi dell’errore
nelle domande a risposta aperta.
Nella mia classe 85,7 % di
risposte errate!
L06 2013

Nella trattazione dei poligoni con numero di lati maggiore di 4
generalmente non vengono presi in considerazione pentagoni,
esagoni, ottagoni ecc. che non siano regolari. “Gli ottagoni sono
tutti regolari…”

Il quadrato “ha le diagonali che misurano come i lati…”
Dalla tipologia di errori commessi in un
quesito posso pertanto ricavare
ulteriori indicazioni per calibrare
l’azione didattica.
Giampaolo Grechi
[email protected]
ICS “Guido Monaco” – Castel Focognano (Arezzo)
www.icscastelfocognano.gov.it
Pagina “Spazio Invalsi”
Sezione “documenti vari” per le Guide alla lettura
Google “Grechi invalsi”: primo link