LA SCUOLA-AUTORI INVALSI:
ESPERIENZA DI CONFRONTO E
CONDIVISIONE
Ida Spagnuolo – Liceo Scientifico
Morgagni - Roma
UNA DOMANDA
Nel maggio 2011 la prova SNV è diventata
obbligatoria per il Livello 10 e i miei studenti e
anche alcuni colleghi, mi hanno rivolto diverse
domande.
In particolare mi hanno chiesto
 “Chi prepara la prova?”
Chi prepara le prove?
“Le domande delle prove, i cui contenuti rispettano un
preciso quadro di riferimento sia per l’italiano sia per
la matematica, sono predisposte da insegnanti dei
diversi livelli scolastici opportunamente formati.
Queste domande sono prima testate su un campione
ristretto di studenti per verificarne l’affidabilità e la
validità e, successivamente, solo quelle valide vengono
scelte collegialmente da un team di esperti”
http://www.invalsi.it/snvpn2013/index.php?action=mater
ialistudenti
LA SCUOLA _ AUTORI
 La
scuola autori dell’INVALSI è costituita
da docenti di ogni ordine e grado e nel
corso degli anni ha modificato alcune
modalità di lavoro al fine di favorire
sempre più la condivisione
 Il lavoro prevede diverse fasi ed è
preceduto da una preparazione specifica
individuale (analisi QdR, documenti
normativi, Rapporti tecnici, …)
I QUADRI DI RIFERIMENTO – I E II CICLO
Sono strumenti che contengono, tra le altre informazioni ,
le due dimensioni della valutazione: contenuti e processi
e sono realizzati - in un’ottica di continuità

per essere utilizzati nella fase preparatoria dei
questionari

per supportare gli insegnanti* a interpretare i risultati
ottenuti dalle singole classi nelle prove del SNV

per essere usati dai responsabili dei diversi livelli come
strumento per interpretare i risultati del sistema nel suo
complesso, per poter adottare opportune strategie di
intervento o per riflessioni sul curricolo programmato.
Documenti normativi per i QdR


le Indicazioni per il curricolo della scuola primaria e
secondaria di primo grado(2007) vengono rimodulate e sono
contenute in un documento del MIUR , pubblicato nel
settembre 2012 e successivamente divenuto oggetto di
decreto ministeriale (D.M. 254 del 16/11/2012)
documenti relativi all'Obbligo di istruzione (cfr. legge 26
dicembre 2006, n.296, elevazione dell’obbligo di istruzione a
10 anni; le Raccomandazione del Parlamento Europeo e del
Consiglio del 18 dicembre 2006 - competenze chiave di
cittadinanza e gli assi culturali)

Indicazioni Nazionali (e OSA) per i licei

Linee guida per l’istruzione tecnica e professionale
LA PRIMA FASE
Autore
Un esempio: luglio 2013
Ciascun autore porta del materiale predisposto secondo
specifiche richieste
I docenti partecipanti - in gruppi da tre - lavorano per
livelli (o gruppi di livelli) sotto la guida costante di un
coordinatore
Il numero di gruppi è stato variabile: da 3 (L10)
a 11 (L02 + L05)
IL “CUORE” DEL LAVORO DI AUTORE
Costruire una prova che fornisca informazioni
sugli apprendimenti in matematica degli
studenti delle scuole italiane
“Question intent” : partiamo da quello che
vogliamo sapere, e costruiamo di conseguenza
la domanda
L’ETICHETTATURA
Ogni item deve essere etichettato dall’autore
L’etichettatura è un aspetto fondamentale
perché serve:
 agli autori - come primo momento di riflessione
 ai revisori – per l’analisi, l’eventuale scelta e
modifiche prima e dopo il pretest
 a tutti coloro che ne dovranno poi utilizzare i
risultati
Classe
Indicare la classe per cui si intende proporre il
quesito
Ambito
Fare riferimento agli ambiti indicati nei QdR:
Numeri - Spazio e figure - Relazioni e funzioni
Dati e previsioni
Tipologia
MC (scelta multipla),
MCC (scelta multipla complessa), fa
riferimento a tabelle dicotomiche (V-F, …) o
tricotomiche (SI, NO, Non si può ricavare, ….)
RU (risposta univoca)
RC (richiesta di indicazione di calcoli ,
procedimenti,…)
RG (richiesta di giustificazione),
CL (cloze, sono quesiti in cui si richiede il
completamento di frasi, calcoli o espressioni
mediante l'utilizzo di elementi forniti nel
testo).
Risposta corretta
Per le domande aperte occorre indicate le
risposte ritenute accettabili per la correzione.
Ad esempio va specificato il margine di errore
tollerato nel caso di un calcolo approssimato
Distrattori
Processo prevalente
Deve essere indicato uno degli 8 processi
indicati nei QdR
Scopo della domanda Va indicato, in modo molto sintetico, lo
(Question Intent)
scopo della domanda - “question intent“. In
pratica va indicata la risposta alla domanda
Cosa si vuole misurare con questo quesito? In
questo campo vanno inseriti eventuali
osservazioni/commenti sul quesito e sui
distrattori.
Riferimenti
Indicazioni
Vanno riportate diciture tratte dalle
Indicazioni nazionali. Per le superiori fare
riferimento alle Indicazioni e Linee guida.
ANALISI DELL’ESPERIENZA
A posteriori ecco le domande alle quali ho cercato di dare
risposta insieme ai miei “due compagni di cordata” .




La partecipazione alla scuola autori: quali
aspettative?
La scelta e preparazione del materiale da
presentare al gruppo:quale logica?
Aspetti positivi e negativi del lavoro “a tre”
Cosa modificare nell’organizzazione del
lavoro?
LE ASPETTATIVE
 Crescere
dal punto di vista della produzione
dei quesiti ma anche, più in generale, dal
punto di vista professionale.
 Confrontarsi
con colleghi con diversi approcci
concettuali o applicativi, per poter aggiungere
contributo alla visione personale dell’insegnare
e imparare la matematica.
Le nostre esperienze precedenti sono state di
lavoro “solitario” (non per tutti è stato così)
LA PREPARAZIONE DEL MATERIALE
 Stimoli
dalla quotidianità - lettura di
giornali, notizie su internet, esperienze
personali…
 Stimoli da parte di studenti – domande
poste, applicazioni didattiche, …
 Scambi d’idee, di opinioni e di materiali
con colleghi, non necessariamente di
matematica.
IL LAVORO “A TRE” …
lessicale: doveva essere chiaro, possibilmente breve,
non ripetitivo, non ambiguo, completo
 contestuale: la situazione doveva essere
accattivante/stimolante, ma anche plausibile o
realistica.
 grafico: gli elementi grafici dovevano essere chiari,
univoci e di effetto, purtroppo in bianco e nero
 concettuale: si doveva chiarire in maniera netta lo
scopo, capire tutte le possibili strategie di pensiero e
scegliere come sviluppare la situazione in più
sottodomande, con singoli sottoscopi univoci
 metacognitivo: si doveva riesaminare tutto il lavoro
fatto cercando di catalogarlo in base ai processi messi
in atto o alle conoscenze specifiche da testare.

… E LA CONTAMINAZIONE DI IDEE
A
B
C
propone una situazione
comincia a fare domande, mettendo in luce anche
nuovi aspetti a cui A non aveva pensato e anche
dice le sue impressioni e propone alcune variazioni
che poi vengono rimaneggiate e continuamente
discusse, con un ritmo incalzante, da tutti i
componenti.
Il prodotto finale, ormai orfano di padre/madre o meglio
avente tre nuovi genitori A-B-C, è molto più valido del
prodotto di partenza che comunque era indispensabile
per l’innesco del lavoro.
EVENTUALI MODIFICHE
Avere qualche informazione in più sul
lavoro svolto dai gruppi degli altri livelli
(era previsto un confronto quotidiano con i
gruppi del medesimo livello) per un
confronto trasversale sia in termini di
contenuti che di processi.
In poche parole: cosa implementare nel
corso degli anni?
QUESTION INTENT
Perché è così importante?
 Perché
nell’ottica di una prova che
fornisca informazioni sugli apprendimenti
sia al sistema che ai docenti che operano
nella realtà quotidiana, deve essere
chiaramente descritto lo scopo dell’item
ma deve risultare altresì evidentemente
deducibile – attraverso la risposta attesa
e senza ambiguità - il processo da testare
UN PRIMO ESEMPIO (L10 – 2012/13)
Se lo scopo è la determinazione dell’area di una
figura piana in posizione non standard, i due
processi possibili che portano alla risposta
corretta in base
 al riconoscimento del parallelogramma e delle
relative grandezze caratteristiche (b ed h)
Oppure
 alla strategia “per sottrazione” a partire dal
quadrato e dai due triangoli rettangoli
forniscono, in ogni caso, l’acquisizione della
competenza richiesta
UN ALTRO ESEMPIO (L10 – 2010/11)
Tralascio, per ovvi motivi, l’item D13_a
Appare evidente che lo scopo dell’ item D13_b è costruire un
modello :
p = 4n-2(25-n) = 6n – 50
e quello dell’item D13_c di utilizzare tale modello per
“tradurre” la richiesta nella disequazione
6n – 50 ≥ 60
Per quest’ultimo item tuttavia bastava procedere per tentativi
e scoprire così che, per avere la sufficienza, il numero di
quesiti esatti deve essere almeno 19
Ma in questo modo la risposta corretta non fornisce certezza
sull’acquisizione della competenza richiesta
E ANCORA
… (L10 - 2012/13)
D24. Al centro della figura c'è un quadrato nero Q. Il quadrato
è circondato da una prima cornice bianca formata da 8
quadrati tutti uguali a Q e da una seconda cornice grigia.
Immagina che la figura si estenda con successive cornici
(terza, quarta, ecc.) sempre formate da quadrati tutti uguali
a Q.
a. Quanti sono i quadrati della quarta cornice?
Risposta: ..................
b. Se si continua a estendere la figura nello
stesso modo, è possibile ottenere una cornice
formata da 70 quadrati tutti uguali a Q?
Scegli una delle due risposte e completa la
frase.
□
È possibile ottenere una cornice di 70 quadrati
perché ……………………………..
□
Non è possibile ottenere una cornice di 70
quadrati perché ……………………….
Tralascio, per ovvi motivi, l’item 24_a
Lo scopo dell’item 24_b è individuare una
regolarità nella successione del numero di
quadrati
E’ vero che continuando il disegno delle cornici e
contando direttamente il numero di quadrati si
può giungere alla risposta corretta ma tale
strategia diventa “impraticabile” in termini di
tempo impiegato
Ci si attende quindi che chi risponde
correttamente all’item b dimostri di possedere
competenze nell’osservare e scoprire regolarità.
LE FASI SUCCESSIVE
Autore
Revisioni del gruppo
di livello
Preparazione pretest
Somministrazione
pretest
Analisi prestest
Preparazione test
TEST
II FASE
Revisioni del gruppo di livello -Preparazione pretest
I quesiti formulati dagli autori passano ai “gruppi di
livello” che lavorano secondo il seguente protocollo:
 inizialmente a distanza, ciascun componente del
gruppo di livello esamina alcuni quesiti, inizia a
proporne modifiche, evidenzia punti di forza e di
debolezza e raccoglie le proprie osservazioni in un file
che viene messo a disposizione di tutti i componenti del
gruppo su una piattaforma dell’INVALSI, ad accesso
riservato
 successivamente in una prima riunione (Skype) si
condividono perplessità, si avanzano richieste di
modifica, di sostituzione e cambiamento dei quesiti.



Il coordinatore si occupa di raccogliere tutte le
osservazioni e prepara due proposte di fascicoli che
vanno a costituire la prima bozza dei due pretest.
Segue quindi una prima riunione in presenza (un
giorno e mezzo di lavori del gruppo al completo) in cui
si esaminano approfonditamente i due fascicoli
proposti dal coordinatore e si perviene a una seconda
bozza dei due fascicoli.
Adesso ciascun componente del gruppo ha circa un
mese di tempo per riesaminare la seconda bozza dei
fascicoli e può inserire sulla piattaforma dell’INVALSI
i commenti sulla seconda bozza.



Il coordinatore raccoglie i commenti e compone una
terza bozza - con griglia di risoluzione - e consegna
questo lavoro a un docente esperto esterno che NON
ha mai partecipato alle precedenti fasi.
I commenti dell’esperto esterno sono raccolti dal
coordinatore e oggetto di ulteriore discussione da parte
del gruppo di lavoro. Su questa base viene costruita la
quarta bozza del pretest (2 fascicoli)
I due pretest, vengono quindi esaminati e discussi da
un altro gruppo di lavoro dell’INVALSI, e apportate
eventuali modifiche, soprattutto tese a migliorare il
testo (del gruppo fa parte anche una linguista)
III FASE
Somministrazione pretest e analisi pretest
I due fascicoli vengono finalmente pretestati. Una
ricercatrice, seguita dal coordinatore del gruppo di
livello, analizza le risposte degli studenti e
evidenzia i quesiti che hanno comportato maggiori
problemi nella correzione o risoluzione. La
correzione è condivisa dalla ricercatrice e dal
coordinatore e solo dopo tale condivisione i
risultati vengono analizzati automaticamente per
l’elaborazione statistica.
IV FASE


Preparazione test
Nell’anno successivo, verso i primi di ottobre, il gruppo di
lavoro dell’INVALSI, con i coordinatori del gruppo di livello,
esamina i risultati del pretest e, con le domande che sono
risultate migliori dal punto di vista misurativo,
tenendo presenti gli equilibri tra i vari processi,
gli ambiti di contenuto e le tipologie dei quesiti, definisce il
test finale.
Il gruppo di lavoro esamina il test così prodotto; riesegue
tutti le domande e controlla la griglia di correzione ed infine
un esperto esterno, che non ha partecipato ad alcuna delle
fasi precedenti, controlla alla sola ricerca di errori dal punto
di vista matematico.
LA GENESI DI UN ITEM
Alcuni esempi
DAL TESTO DELL’AUTORE …
ETICHETTATURA DEL’AUTORE
… ALLA REVISIONE …
La discussione porta a modificare:
 la grafica
 la tipologia: da MC a RG
La seconda modifica aggiunge quindi la richiesta
di argomentazione e “cambia” in parte lo scopo
dell’item
… PER IL PRETEST
I RISULTATI DEL PRETEST
Alcuni dati del pretest (condotto su 879 studenti):



Risposta errata: 58.25%
Risposta corretta : 8.87 %
Risposta non data : 32,88%
La ricercatrice e il gruppo di lavoro decidono di
modificare nuovamente l’item tornando alla
tipologia MC che, in questo caso, prevede la
scelta di un’argomentazione corretta
SNV 2012/13 – L10
ETICHETTATURA E RISULTATI
AMBITO PREVALENTE
 Spazio e figure
SCOPO DELLA DOMANDA
 Riconoscere, tra diverse
argomentazioni, quella corretta.
RISPOSTA CORRETTA: A
PROCESSO PREVALENTE
 Utilizzare forme tipiche del
ragionamento matematico.
Indicazioni Nazionali e Linee
Guida
 Fondamenti della geometria
euclidea del piano.
 Conoscere e usare misure di
grandezze geometriche: perimetro,
area e volume delle principali figure
geometriche del piano e dello spazio.
RISULTATI DEL CAMPIONE
Non
risp.
A
B
C
D
G
4,0 22,7 18,8 46,4
8,1
L
4,0 29,2 16,3 44,8
5,7
T
3,7 18,3 20,7 49,3
8,0
P
4,6 17,1 20,7 45,0 12,6
Interessante il distrattore C
STORIA DELLE CORNICI QUADRATE
TITOLO dell’autore: Anelli quadrati
La figura mostra un quadrato Q,
circondato da un primo anello
formato da 8 quadrati uguali.
Vediamo anche un secondo anello
formato da 16 quadrati ed un
terzo anello più esterno.
Immaginiamo che la figura si
estenda con anelli successivi,
concentrici, formati da
quadrati tutti uguali a Q.
Quanti sono i quadrati del 100°
anello concentrico?
ETICHETTATURA DELL’AUTORE
Classe
Ambito
Tipologia
Risposta corretta
Osservazioni
Difficoltà
Oggetto di valutazione
Processo cognitivo
2 superiore
Numeri
Risposta unica
800
Compito
Determinare la formula esplicita che
genera una successione
**
Successioni numeriche e funzioni lineari
Acquisire progressivamente forme tipiche
del pensiero matematico (congetturare,
verificare, …)
LA REVISIONE …
La discussione porta a suddividere il quesito
proposto in due item e a modificare il testo
C’è, in parte, un cambio di consegne ma non
cambia sostanzialmente lo scopo dell’item (b)
… IL PRETEST
Al centro della figura c'è
un quadrato nero Q
circondato da una prima
cornice formata da 8
quadrati tutti uguali a
Q. Nella figura vediamo
anche la seconda cornice
evidenziata in grigio.
Immaginiamo che la figura
si estenda con successive
cornici (terza, quarta,
ecc.) sempre formate da
quadrati tutti uguali a
Q.
a. Quanti sono i quadrati
della quinta cornice?
Risposta: ..................
b. Quale tra le seguenti
formule non fornisce il
numero di quadrati
dell'ennesima cornice?
A □ 2n(n+1)+4
B □ 4(2n+1) – 4
C □ (2n + 1)2 – (2n – 1)2
D □ 8n
I RISULTATI DEL PRETEST
Alcuni dati del pretest (condotto su 879 studenti):
Item_a
 Risposta errata: 55.06%
 Risposta corretta : 30.72 %
 Risposta non data : 14.22%
Item_b
 Risposta corretta : 20.25 %
I distrattori non sono “convincenti” e la formalizzazione
difficile
La ricercatrice e il gruppo di lavoro decidono di
modificare nuovamente l’item tornando ad una
consegna simile a quella iniziale, ma con
argomentazione
… IL TEST (SNV - L10 - 2012/13)
D24. Al centro della figura c'è un quadrato nero Q. Il quadrato
è circondato da una prima cornice bianca formata da 8
quadrati tutti uguali a Q e da una seconda cornice grigia.
Immagina che la figura si estenda con successive cornici
(terza, quarta, ecc.) sempre formate da quadrati tutti uguali
a Q.
a. Quanti sono i quadrati della quarta cornice?
Risposta: ..................
b. Se si continua a estendere la figura nello
stesso modo, è possibile ottenere una cornice
formata da 70 quadrati tutti uguali a Q?
Scegli una delle due risposte e completa la
frase.
□
È possibile ottenere una cornice di 70 quadrati
perché ……………………………..
□
Non è possibile ottenere una cornice di 70
quadrati perché ……………………….
ETICHETTATURA …
AMBITO PREVALENTE
Numeri
SCOPO DELLA DOMANDA
a. Individuare una strategia di conteggio.
b. Individuare una regolarità nella
successione del numero di quadrati.
PROCESSO PREVALENTE
a. Conoscere e utilizzare algoritmi e
procedure.
b. Utilizzare forme tipiche del pensiero
matematico.
Indicazioni nazionali e Linee Guida
Conoscenza della struttura dei numeri
interi.
Le operazioni con i numeri interi e le loro
proprietà.
RISPOSTA CORRETTA:
a. 32
b. Non è possibile ottenere una
cornice di 70 quadrati, perché
70 non è un multiplo di 8.
Accettabili risposte che
equivalgano ad affermare che
il numero di quadrati è
uguale a 8n dove n è il
numero d’ordine della cornice.
Accettabili anche risposte che
facciano uso di formule
algebriche equivalenti a 8n.
Accettabili anche risposte che
calcolino i quadrati della
ottava (64) e nona cornice (72)
e che quindi concludano che
non è possibile.
…E RISULTATI
Item
Mancata
risposta
Errata
Corretta
G
D24_a
6,3
54,4
39,4
G
D24_b
19,5
29,7
50,9
L
D24_a
3,9
51,5
44,6
L
D24_b
14,8
26,9
58,3
T
D24_a
5,3
55,0
39,7
T
D24_b
18,2
29,5
52,4
P
D24_a
11,9
58,8
29,3
P
D24_b
29,8
35,0
35,1
PER APPROFONDIRE

I quadri di riferimento

I rapporti tecnici

I quaderni del SNV
RINGRAZIAMENTI

Lorenza e Benedetto, miei compagni di
“cordata”: senza di loro non avrei potuto
apportare alcun contributo alla discussione
odierna

Domingo per i preziosi suggerimenti

Aurelia e Stefania per il materiale fornito

… e a tutti voi che avete avuto la pazienza di
ascoltarmi! Grazie!
LA
FASE PREPARATORIA: LE RICHIESTE
1. una domanda per ambito. È importante proporre
domande non banali e non artificiose, possibilmente
significative dal punto di vista didattico …
Nella costruzione delle domande è necessario
a. coprire più tipologie (scelta multipla, risposta
univoca,…)
 b. costruire almeno una domanda con più di un item

2. una situazione ricca - con dati, grafici, immagini - che
possa costituire uno “stimolo” su cui il gruppo possa
lavorare e costruire più item
I materiali predisposti da ogni autore costituiscono la
base iniziale per il lavoro nei gruppi.
Le informazioni di base da cui si parte per l’analisi del
funzionamento di un item sono sostanzialmente tre:
 quanti alunni hanno risposto correttamente;
 quanti hanno scelto ciascuno dei possibili distrattori;
 quanti hanno omesso la risposta.
A partire da queste informazioni è possibile rispondere a
tre domande:
quanto è difficile l’item?
 l’item è in grado di discriminare fra gli alunni più abili
e quelli meno abili?
 gli alunni hanno scelto tutte le opzioni? O ci sono
alcune opzioni che non sono state scelte da nessuno?
