Il nuovo strumento: indicazioni
metodologiche
Patrizia Falzetti Ricercatore, Responsabile Servizio statistico – INVALSI
Antonella Mastrogiovanni Ricercatore - INVALSI
Roma, 7 luglio 2010
La costruzione degli strumenti
Gli strumenti costruiti hanno lo scopo di far emergere
abilità e lacune, punti di forza e punti di debolezza per
orientare i rispondenti nella costruzione del proprio
percorso di istruzione/formazione.
Le tappe per la realizzazione degli strumenti
-Costruzione del questionario
-Costruzione del fascicolo di prove cognitive
-Costruzione dei materiali di supporto all’utilizzo
-Costruzione dello strumento per la condivisione
dell’azione valutativa e l’orientamento
Costruzione del questionario
Sulla base delle indicazioni raccolte durante i seminari di
diffusione sono state apportate modifiche al questionario di
raccolta dati di tipo socio demografico.
Quali indicazioni?
-miglioramento dell’editing per facilitare la
lettura da parte del docente/tutor alla persona
intervistata
-riformulazione di alcune domande che dalle
indicazioni sembravano poter generare
ambiguità nell’interpretazione
-approfondimenti relativi alla sezione tempo
libero sull’utilizzo della televisione
Costruzione del fascicolo di prove cognitive
Individuazione di un gruppo di esperti (uno per ogni ambito) per la
produzione di nuove prove (stimolo più domande a esso riferite) di
competenza funzionale.
Le prove costruite dovevano essere accompagnate dalla descrizione dei
box di approfondimento: tipologia di prova, abilità rilevate,
descrizione dello stimolo e delle modalità per rispondere alle domande.
Prose e document literacy
Numeracy
Problem solving
10 prove
10 prove
4 prove
Quadro di riferimento
l’indagine
internazionale di ALL
Costruzione del fascicolo di prove cognitive
Indicazioni fornite:
-Quantità di prove da realizzare
-Struttura delle prove (numero di item per stimolo, per uno
stesso stimolo produzione di item che rilevino competenze
differenti)
-Progettazione degli item secondo diversi livelli di difficoltà
Correzione dei materiali prodotti
FASE 1
FASE 2
Correzione a distanza dei primi
materiali prodotti al fine di
“aggiustare il tiro”.
Correzione in presenza con
tutto il gruppo di lavoro
Costruzione del fascicolo di prove cognitive
Fascicoli simili nella struttura:
Composizione di
due fascicoli
Somministrazione
pilota
-stesso numero di prove
-stessa articolazione delle prove
relativamente agli ambiti di competenza
-Somministrazioni nei CTP e corsi serali (4
CTP e 3 scuole serali)
-210 rispondenti in totale
Predisposizione di 2 dataset elaborati con la tecnica di Rasch
La Rasch Analysis (RA)
La principale caratteristica della RA è quella di ottenere sulla stessa
scala la stima della difficoltà di ciascuna domanda e la misura del
livello di prestazione del rispondente (abilità del rispondente).
Gli strumenti sono:
valutazione del potere informativo della prova;
stima della difficoltà delle domande;
placement relativo delle domande rispetto al punteggio di
Rasch assegnato a ciascun rispondente.
Alpha di Cronbach
E’ un indice che assume come valore minimo 0 e tanto più si avvicina ad 1
tanto maggiore è la coerenza complessiva della prova oggetto di interesse.
La letteratura psicometrica fornisce alcuni valori di riferimento per la lettura
dell’alpha sulla coerenza generale di una prova.
Valori di alpha
Attendibilità della prova
0,80 o superiore
Molto buona
Da 0,70 a 0,80
Buona
Da 0,50 a 0,70
Modesta
Inferiore a 0,50
Inadeguata
L’affidabilità che lo
strumento sia in
grado di produrre gli
stessi risultati in
misurazioni
differenti
Fascicolo 1
Coefficient Alpha 0,88
Fascicolo 2
Coefficient Alpha 0,91
Test information function
E’ la funzione di informazione del test che consente di comprendere se,
nel loro insieme, i quesiti proposti sono in grado di fornire una buona
valutazione del livello di competenza e abilità conseguito dai
rispondenti.
L’asse orizzontale rappresenta il livello della variabile latente oggetto
di studio (il livello di abilità dei rispondenti) mentre l’asse verticale
(informazione) indica il contributo informativo che la prova nel suo
complesso è in grado di fornire in corrispondenza di un determinato
livello di abilità.
I valori del tratto orizzontale
tra i quali tale funzione
assume valori elevati si
concentrano tra -2,5 e 4
Fascicolo 1
-2,5
Livello di abilità dei rispondenti
4,0
La prova, nel
suo complesso è
in grado di
stimare con
maggiore
accuratezza i
livelli di
competenze dei
rispondenti
all’interno di
questo
intervallo,
ovvero tra -2,5 e
4. Quindi
rispondenti con
abilità alte.
I valori del tratto orizzontale
tra i quali tale funzione
assume valori elevati si
concentrano tra -3,5 e 3
-3,5
Fascicolo 2
La prova è più
equilibrata della
precedente
anche se
lievemente a
favore di
rispondenti con
basse abilità.
3,0
Livello di abilità dei rispondenti
Stime della difficoltà delle domande
La tavola seguente riporta le stime del parametro di difficoltà degli item,
del relativo errore di stima, oltre ad un indice che indica l’adattamento al
modello teorico (Fit).
Indici di difficoltà inferiori allo zero indicano in generale item non
particolarmente difficili, al contrario indici di difficoltà superiori allo zero
indicano item più difficili.
Item
Indice di
difficoltà
ERROR^
MNSQ
2
F1ps2_a_acq.
2,916
0,355
1,03
1
F1ps1_seque.
2,577
0,32
1,06
20
F1d16_bolle.
2,383
0,304
0,9
5
F1d1_check-.
2,123
0,285
1,04
14
F1d10_parco.
1,549
0,254
1,08
26
F1d22_ridsu.
1,549
0,254
0,93
15
F1d11_parco.
1,125
0,239
1,22
3
F1ps2_b_acc.
1,068
0,238
1,21
6
F1d2_check-.
0,956
0,235
1,09
N.
Fascicolo 1
In questo
fascicolo
solo pochi
(6) item sono
facili.
Item più difficili
(Sono indicati con
i valori positivi)
------27
F1d23_gita_.
0,956
0,235
0,93
21
F1d17_bolle.
0,901
0,234
0,89
4
F1ps3_spedi.
0,219
0,227
1,21
16
F1d12_marem.
0,219
0,227
0,91
8
F1d4_tappet.
0,116
0,227
1,2
18
F1d14_parac.
-0,351
0,23
0,82
9
F1d5_tappet.
-0,404
0,231
0,95
12
F1d8_cinema.
-0,404
0,231
1,19
7
F1d3_check-.
-0,458
0,232
1,02
13
F1d9_parco_.
-0,791
0,239
1,09
10
F1d6_tappet.
-1,78
0,281
0,71
Item più facili
(Sono indicati con
i valori negativi)
N.
Sono pochi (3)
gli item
particolarmente
difficili
Fascicolo 2
Item
Indice di
difficoltà
ERROR^
MNSQ
2
F2ps2_a_sce.
2,875
0,356
1,08
1
F2ps1_seque.
2,147
0,296
1,19
10
F2d6_frutti.
1,601
0,266
1,02
3
F2ps2_b_ora.
0,897
0,243
0,83
25
F2d21_memor.
0,665
0,239
0,86
23
F2d19_gelat.
0,551
0,237
0,93
20
F2d16_cup_3
0,384
0,236
1,07
15
F2d11_popol.
0,273
0,235
1
14
F2d10_popol.
0,053
0,235
1,24
Item più difficili
(Sono indicati con
i valori positivi)
------22
F2d18_gelat.
-0,795
0,244
0,78
9
F2d5_frutti.
-0,995
0,25
0,88
5
F2d1_compra.
-1,037
0,249
1,09
18
F2d14_cup_1
-1,037
0,249
0,68
17
F2d13_energ.
-1,427
0,261
0,97
24
F2d20_memor.
-1,427
0,261
0,84
12
F2d8_gara_n.
-1,638
0,269
1,16
4
F2ps3_perco.
-1,712
0,272
1,02
7
F2d3_compra.
-1,863
0,279
1,05
21
F2d17_gelat.
-1,942
0,283
0,76
16
F2d12_popol.
-2,373
0,306
0,96
Item più facili
(Sono indicati con
i valori negativi)
Item map
L’analisi delle stima della difficoltà degli item rimanda, a
completamento dell’analisi, alla stima delle abilità dei rispondenti.
Interessante a tal fine è la valutazione del placement relativo tra le
domande e i punteggi complessivi assegnati a ciascuno studente in
base al modello teorico.
L’item map è la rappresentazione sulla medesima scala sia dei
rispondenti distribuiti secondo la stima della loro abilità sia della
distribuzione degli item secondo la stima della loro difficoltà.
Distribuzio
ne delle
stime delle
abilità dei
rispondenti
Gli item
difficili
coprono le
abilità dei
rispondenti
Fascicolo 1
Non ci
sono
item
facili
Distribuzio
ne degli
item in
funzione
della loro
difficoltà
Gli item con
un livello di
difficoltà
basso si
posizionano
all’estremo
inferiore della
scala, mentre
quelli più
difficili
all’estremo
superiore.
Ci sono
zone non
coperte da
item
Fascicolo 2
Gli item sono
ben distribuiti
anche se molti
rispondenti agli
estremi non
hanno item
adatti a rilevare
la loro abilità
Analisi degli item
L’analisi si è infine soffermata su ciascun item singolarmente al fine di
scegliere quelli migliori per la composizione dello strumento finale.
In particolare per ciascun item si è osservata una tabella come quella di
seguito indicata ottenendo le informazioni salienti ai fini della scelta.
Indice di discriminazione
Item 4
-----item:4 (F1ps3_spedizione_bici)
Cases for this item
105
Discrimination 0.41
Item Threshold(s):
0.22
Weighted MNSQ
1.21
Fit
Item Delta(s):
0.22
-----------------------------------------------------------------------------Label
Score
Count
% of tot Pt Bis
t (p)
PV1Avg:1 PV1 SD:1
-----------------------------------------------------------------------------0
0.00
17
16.19
-0.32
-3.45(.001) -0.82
1.05
1
1.00
50
47.62
0.41
4.53(.000) 0.47
1.11
2
0.00
38
36.19
-0.18
-1.83(.070) -0.15
1.30
==============================================================================
Risposta
corretta
Statistica T
Percentuale di
risposte corrette o
indice di difficoltà
Correlazione
punto biseriale
Indice di discriminazione/correlazione punto biseriale: indica quanto
l’item riesce a discriminare tra rispondenti con alte abilità rispetto a
quelli con basse abilità. Nello specifico rappresenta la correlazione tra la
probabilità di scegliere una data opzione e l’abilità complessiva del
rispondente.
Tale legame deve essere negativo per le opzioni di risposta non corrette e
positivo solo per quella esatta. Una domanda è ben formulata se, in
media, coloro che rispondono correttamente a quella domanda lo fanno
anche a buona parte delle altre.
Si considerano funzionanti gli item con un valore > 0,35.
N.B. Valori negativi di tale indice denotano che l’item non funziona in
quanto paradossalmente i meno bravi rispondono bene ed i più bravi
rispondono male.
La percentuale di risposte corrette o indice di difficoltà, deve essere
compresa tra 25% e 75%.
Un item con un indice di difficoltà >75% è da considerarsi molto facile, con
un indice di difficoltà<25% è da considerarsi molto difficile.
Il Fit deve essere approssimativamente 1 (va verificato che l’eventuale
differenza da 1 sia statisticamente significativa e lo si fa controllando la
statistica T).
Il nuovo fascicolo di prove cognitive
Scelta operata:
Partire dal fascicolo 2 per la ricomposizione del fascicolo unico definitivo
Eliminare nel fascicolo 2 gli item che non funzionavano bene
Sostituire gli item eliminati con quelli della stessa tipologia più
efficaci presenti fascicolo 1