3 aprile 2009
METODI E TECNICHE PER LA VALUTAZIONE
DELLE PROVE OGGETTIVE
Roberto Ricci
INVALSI
[email protected]
Statisticamente tutto si spiega,
personalmente tutto si complica.
(Daniel Pennac, Diario di scuola, 2008)
Il contesto teorico di
riferimento
Misurazione delle conoscenze
Scelta e validazione dello strumento di valutazione
questionario
Trasformazione della misurazione
punteggio su scala arbitraria
Caratteristiche dello strumento di
misurazione

Tutte le domande (o loro sottogruppi) devono
misurare lo stesso costrutto latente
dimensione dello spazio latente

Delle domande occorre verificare le proprietà
psicometriche
calibrazione

Ogni tipologia di domanda implica un modello
statistico ad hoc per la sua valutazione
La valutazione statistica
dei risultati

Item Response Theory:





La performance di un soggetto è espressa in funzione
di una (o più) abilità latente
Definizione e specificazione di un modello matematico
che esprime la performance in funzione dell’abilità
latente
Espressione numerica dell’abilità e delle caratteristiche
delle domande
Comparabilità dei risultati in termini di abilità
Indipendenza dal campione
Le curve di risposta nel modello
multiple choice
(Thissen e Steinberg, 1984)
Validazione di una domanda
corretta e dei distrattori
analisi della risposta
La valutazione statistica
dei risultati

Item Analysis classica:





La performance di un soggetto è espressa in funzione
del numero delle risposte corrette
Difficoltà di una domanda
Potere discriminante di una domanda
Attendibilità (coerenza) della prova
Il ruolo dei distrattori
La costruzione di una
misura in campo cognitivo
I quattro passi nella costruzione di una
prova oggettiva
1.La mappa concettuale
2.La formulazione delle domande
3.Lo “spazio” degli esiti
4.Il modello di misura
La mappa concettuale

Aspetto solitamente sottovalutato (!)

Definizione del comportamento “teorico” del
rispondente

Le risposte possibili
La formulazione delle domande

Il formato

Standardizzate:



A risposta chiusa
A risposta aperta
Corrispondenza tra ciascuna domanda e
l’oggetto di misurazione
Lo spazio degli esiti

Risposte dicotomiche
Risposte politomiche
Risposte “ordinali”

Lo schema di attribuzione del punteggio

Il punteggio e la valutazione per livelli


Il modello di misura
Strumenti statistici:


Media aritmetica
Deviazione standard
La misurazione



Difficoltà
Potere discriminante
Attendibilità
Caratteristiche
della media aritmetica

E’ applicabile solo a caratteri quantitativi

Si ipotizza l’equidistribuzione del carattere oggetto
d’interesse

Ogni valore della variabile deve essere pesato con
la sua frequenza (assoluta o relativa)
La media aritmetica “risente” di tutti i valori del
carattere considerato.

Gli scostamenti semplici
Gli scostamenti semplici sono dati
dalla differenza di ciascun valore
assunto dal carattere oggetto
d’interesse e di un valor medio
Alcune proprietà degli
scostamenti semplici

Il segno di ciascun scarto indica se un’unità
statistica è plusvariante o minusvariante
rispetto al valor medio considerato

La media degli scostamenti semplici dalla
media aritmetica è uguale a zero (!!)
Esempio
  41,91
Punteggio
25
30
42
52
60
Totale
Frequenza
15
18
32
21
14
100
Scostamenti semplici
-16,91
-11,91
0,09
10,09
18,09
Gli scostamenti quadratici

L’elevamento al quadrato permette di
eliminare il “problema dei segni”, ma pone un
problema di metrica

La media degli scostamenti quadratici
(varianza) è un indicatore di variabilità
Esempio
  41,91
Punteggio
Frequenza
25
30
42
52
60
Totale
15
18
32
21
14
100
Scostamenti
quadratici
4289,22
2553,27
0,26
2137,97
4581,47
Gli scostamenti quadratici

Varianza
2 

4289 ,22  15  2553,27  18  0,26  32  2137 ,97  21  4581,47  14
 135.62
100
Deviazione standard
 2  135,62  11,65
La ricerca
OCSE-PISA
(slide tratte da sito USR-Lombardia)
PER RICEVERE LE
COMUNICAZIONI DEL
Le scale di scienze
•
Scala principale di scienze (literacy scientifica)
•
Tre sottoscale della literacy scientifica:
•
individuare questioni di carattere scientifico (ISI)
•
dare una spiegazione scientifica dei fenomeni (EPS)
•
usare prove basate su dati scientifici (USE)
PER RICEVERE LE
COMUNICAZIONI DEL
La scala principale di scienze in Lombardia ed in altre aree
LOMBARDIA
ITALIA
NORD OVEST
NORD EST
OCSE
Scala principale di
scienze
499
475
501
520
500
Individuare
questioni di
carattere
scientifico
495
474
498
518
499
Dare una
spiegazione
scientifica dei
fenomeni
504
480
506
524
500
Usare prove
basate su dati
scientifici
496
467
497
518
499
PER RICEVERE LE
COMUNICAZIONI DEL
Il confronto statistico per le differenze tra la Lombardia ed altre aree
Italia
Nord Ovest
Nord Est
OCSE
Scienze




ISI




EPS




USE




PER RICEVERE LE
COMUNICAZIONI DEL
La distribuzione percentuale degli studenti per livelli di competenza
PER RICEVERE LE
COMUNICAZIONI DEL
La distribuzione percentuale cumulata degli studenti per livelli di competenza
100
90
80
70
60
Lombardia.
Nord Ovest
50
Italia
Nord Est
40
30
20
10
0
Liv. 6
Fino al liv. 5
Fino al liv. 4
Fino al liv. 3
Fino al liv. 2
Fino al liv. 1
Sotto al liv. 1
PER RICEVERE LE
COMUNICAZIONI DEL
La distribuzione percentuale cumulata degli studenti per livelli di competenza
- Sottoscala ISI ISI
100
90
80
70
60
Lombardia
Nord Est
50
Italia
Nord Ovest
40
30
20
10
0
Liv. 6
Fino al liv. 5
Fino al liv. 4
Fino al liv. 3
Fino al liv. 2
Fino al liv. 1
Sotto al liv. 1
PER RICEVERE LE
COMUNICAZIONI DEL
La distribuzione percentuale cumulata degli studenti per livelli di competenza
- Sottoscala EPS -
EPS
100
90
80
70
60
Lombardia
Nord Est
50
Italia
Nord Ovest
40
30
20
10
0
Liv. 6
Fino al liv. 5
Fino al liv. 4
Fino al liv. 3
Fino al liv. 2
Fino al liv. 1
Sotto al liv. 1
PER RICEVERE LE
COMUNICAZIONI DEL
La distribuzione percentuale cumulata degli studenti per livelli di competenza
- Sottoscala USE USE
100
90
80
70
60
Lombardia
Nord Est
50
Italia
Nord Ovest
40
30
20
10
0
Liv. 6
Fino al liv. 5
Fino al liv. 4
Fino al liv. 3
Fino al liv. 2
Fino al liv. 1
Sotto al liv. 1
PER RICEVERE LE
COMUNICAZIONI DEL
I risultati in scienze per aree di contenuto
Lombardia
Italia
OCSE
Sistemi della Terra e
dell’Universo
506
474
500
Sistemi viventi
509
488
502
Sistemi chimici e
fisici
493
472
500
PER RICEVERE LE
COMUNICAZIONI DEL
I risultati in matematica nel 2006
Punteggio
medio
Deviazione standard
Lombardia
487
96
Italia
462
96
Nord Ovest
487
90
Nord Est
505
92
OCSE
498
92
PER RICEVERE LE
COMUNICAZIONI DEL
La distribuzione percentuale degli studenti per livelli di competenza
- Matematica -
PER RICEVERE LE
COMUNICAZIONI DEL
I risultati in lettura nel 2006
Punteggio
medio
Deviazione standard
Lombardia
491
106
Italia
469
109
Nord Ovest
494
103
Nord Est
506
97
OCSE
492
99
PER RICEVERE LE
COMUNICAZIONI DEL
La distribuzione percentuale degli studenti per livelli di competenza
- Lettura -
PER RICEVERE LE
COMUNICAZIONI DEL
Gli alunni di origine immigrata
PER RICEVERE LE
COMUNICAZIONI DEL
I punteggi medi degli studenti di origine immigrata
PER RICEVERE LE
COMUNICAZIONI DEL
Gradiente socio-economico-culturale in scienze
PER RICEVERE LE
COMUNICAZIONI DEL
Gradiente socio-economico-culturale in matematica
PER RICEVERE LE
COMUNICAZIONI DEL
Gradiente socio-economico-culturale in lettura
Grazie per l’attenzione
[email protected]
http://www.irreer.it/~ricci/