Criteri e tecniche
per la misurazione
delle prove “oggettive”
Maurizio Tiriticco
maurizio tiriticco
misurazione 2007
1
Valutazione degli apprendimenti
iniziale - livelli di partenza o prerequisiti
formativa
conclusiva
Oggetti della valutazione:
una o più prove
qualità degli apprendimenti
Ieri - Valutazione con 10 voti decimali di merito
Oggi – a) misurazione con punteggi non di merito e
b) valutazione da attribuire al punteggio conseguito
secondo criteri dati
c) accertamento e certificazione delle competenze
alla conclusione di un ciclo
maurizio tiriticco
misurazione 2007
2
Tipologia delle prove
* non strutturate tradizionali
* strutturate
anni 70 e 80
* semistrutturate anni 90
maurizio tiriticco
misurazione 2007
3
Probabilità di rispondere esattamente ad un test
probabilità di
risposta esatta
punti
Test v/f
50%
Test s/m a 2 scelte
50%
Test s/m a 3 scelte
33,33%
Test s/m a 4 scelte
25%
Test s/m a 5 scelte
20%
Test s/m a n scelte
…
1
1
2
3
4
n–1
maurizio tiriticco
misurazione 2007
4
Attribuzione di punteggi grezzi ad un test S/M
con item a 4 scelte: la prova più frequente
Alcune ipotesi di 10 item senza pesi
Ipotesi
1
2
3
4
5
risposta esatta
1
3
3
4
4
ecc.
astensione
0
0
0
1
0
–
risposta errata
0
0
–1
0
1
–
punt. max.
10
30
30
40
40
–
punt. min.
0
0
– 10
0
0
–
La soglia di accettabilità è da stabilire
maurizio tiriticco
misurazione 2007
5
Test S/M di 10 item con 4 scelte ciascuno, somministrato a 10 alunni
Item
1
2
3
4
5
6
7
8
9
10
alunni
1
4
4
4
0
0
4
4
4
4
4
2
4
4
1
1
0
1
4
1
4
1
3
1
1
1
0
0
1
4
1
1
1
4
4
4
4
4
0
0
4
1
1
4
5
0
0
0
0
0
4
4
0
0
4
6
4
1
0
4
0
1
4
4
4
0
7
4
4
1
1
0
1
4
1
4
4
8
4
4
4
4
0
4
4
1
0
0
9
4
4
4
4
0
4
4
1
1
4
10
1
1
1
0
0
4
4
4
1
1
30
27
20
18
0
24
40
18
20
23
32 21 11 26 12 22 24 25 30 17
220
Punteggi attribuiti:
4 risposta esatta
1 astensione
0 risposta errata
Massimo teorico
40 x ciascun alunno
400 x il gruppo
Limite di
accettabilità???
24 = norma = voto 6
30 = test facile
20 = test difficile
Se il Test S/M è di 30 item con 4 scelte ciascuno, il punt. max = 120
maurizio tiriticco
misurazione 2007
6
La misurazione – Punteggi relativi a due prove oggettive
attribuzione di punteggi grezzi alle prove
punteggio da 1 a…. n
esempio
da 1 a 100 – costituiscono il minimo e massimo teorico raggiungibile
distribuzione dei punteggi di due prove, A e B, somministrate a 16 alunni
A ….45, 48, 58, 60, 65, 65, 65, 68, 68, 76, 77, 78, 80, 83, 89, 93…………...
B…………….58, 58, 58, 60, 68, 69, 70, 73, 73, 80, 89, 91, 99, 100, 100, 100
limite di accettabilità, a discrezione del testista: 70
qui ci si potrebbe fermare, ma…
…consideriamo altri valori
Media: sommatoria dei punteggi diviso il loro numero
A 1120 : 16 = 70 B 1246 : 16 = 77,87
Mediana: il punteggio che occupa la posizione centrale
A = 68
B = 73
Moda: il punteggio più frequente A = 65
B = 58 e 100
Gamma: punt. max – min + 1
A 93 – 45 + 1 = 49 B 100 – 58 + 1 = 43
sono valori utili per elaborare i punteggi
maurizio tiriticco
misurazione 2007
7
Per l’elaborazione dei punteggi grezzi
servono altri valori
Sigma: radice quadrata della somma di ogni punteggio meno la media
elevato al quadrato diviso il numero delle prove
Punto Z di una prova: singolo punteggio meno la media diviso il sigma
Punto T di una prova: punto Z moltiplicato 10 + 50
Comparare dei punteggi tra loro
in valori assoluti non è corretto
La comparazione va fatta solo se prima
si è compiuta l’elaborazione
Risulterà che un 8 non è eguale ad un altro 8!!!
maurizio tiriticco
misurazione 2007
8
Attenzione!
UN NUMERO NON INDICA SEMPRE
UNA REALTA’ OGGETTIVA!
Il medesimo punteggio raggiunto da 2 candidati a 2
concorsi non è “eguale” se un candidato vince e l’altro no perché
i posti del suo concorso sono pochi!!!
Il posto n. 55 su un vagone di seconda classe è proprio il
cinquantacinquesimo? No! In effetti è il ventinovesimo!
La camera 320 dell’hotel x non è la trecentoventesima!
Sappiamo solo che è al terzo piano!
3 litri non sono eguali a 3 galloni!
maurizio tiriticco
misurazione 2007
9
Esempio di elaborazione
Ada e Bice, in due gruppi di 10 alunni prendono 8 in una prova, ma…
…vediamo i voti di Ada e di Bice nei 2 gruppi di 10 alunni
…gruppo di Ada 4 5 5 5 6 6 6 6 6 8
…gruppo di Bice 8 9 9 9 9 9 9 9 10 10
media della distribuzione di Ada
media della distribuzione di Bice
57 : 10 = 5,7
91 : 10 = 9,1
sigma della distribuzione di Ada 1, 00
sigma della distribuzione di Bice 0,53
Punto Z di Ada
Punto Z di Bice
8 – 5,7 : 1 = 2,30
8 – 9,1 : 0,53 = 2,07
Punto T di Ada 2,30 + 10 x 50 = 73
Punto T di Bice 2,07 + 10 x 50 = 29
Ergo!
L’8 di Ada non è eguale all’8 di Bice! Vale di piùùùù!
maurizio tiriticco
misurazione 2007
10
Analisi degli item
indice di difficoltà, DF, di un item
numero delle risposte errate diviso il numero totale delle risposte
difficoltà massima – DF = 1 tutte le risposte sono errate
difficoltà medio/max – DF = 0,75
difficoltà media – DF = 0,50
difficoltà medio-min – DF = 0,25
difficoltà inesistente – DF = 0
indice di discriminatività, DS, di un item
serve a valutare se un item è in grado di distinguere gli alunni
migliori dai peggiori
Numero delle risposte esatte dei migliori (1/3 del gruppo) meno
il numero delle risposte esatte dei peggiori (1/3 del gruppo) diviso
1/3 del gruppo. Gli esiti vanno da un +1 (DS positiva) a un –1 (DS
negativa)
maurizio tiriticco
misurazione 2007
11
LE PROVE SEMISTRUTTURATE
Le prove semistrutturate sono un mix di prove strutturate e di prove aperte.
Concretamente, l’insegnante elabora un testo di 2, 3 o 4 cartelle su un dato
tema studiato dagli alunni.
Il testo, nel suo sviluppo, contiene a finestra dei quesiti chiusi e aperti (ad
esempio 4 quesiti chiusi e 6 aperti).
Per ciascun quesito aperto, si indica quale lunghezza minima-massima
debbano avere le singole risposte (in genere da 80 a 100 parole).
Per la misurazione si procede così:
a) per i quesiti a risposta chiusa vale ciò che si è detto per i test;
b) per i quesiti a risposta aperta, si stabilisce un punteggio min/max in
relazione alla conformità o meno della risposta ad una risposta criterio
formulata ed attesa dall’insegnante. Ad esempio: 0 = risposta omessa, 1 =
basso, 2 = medio, 3 = alto. Ovviamente si può scegliere anche una scala
diversa, ma non oltre i 5 punti.
In ordine al massimo teorico raggiungibile complessivamente, si stabilisce
anche la soglia di accettabilità.
maurizio tiriticco
misurazione 2007
12
Esempio di misurazione di una prova
semistrutturata
5 quesiti test (ipotesi 1, vedi slide n. 5):
min. 0, max 5
7 quesiti a risposta aperta (ipotesi 0,1,2,3)
min. 0, max 21
totali: min. 0, max 26
soglia di accettabiltà: 16
oppure 20, prova difficile o 12, prova facile
maurizio tiriticco
misurazione 2007
13
La misurazione negli esami di Stato
maurizio tiriticco
misurazione 2007
14
Griglia di misurazione di una prova scritta di italiano
INDICATORI
1. Punteggiatura
2. Ortografia
3. Morfosintassi
4. Proprietà lessicale
5. Aderenza allo stimolo
6. Coerenza Organicità
7. Chiarezza espositiva Fluenza
8. Competenza nell’analisi
9. Competenza nella elaborazione personale
10. Flessibilità Fluidità Creatività
LIVELLI
B M A
1 2 3
1 2 3
1 2 3
1 2 3
1 2 3
1 2 3
1 2 3
1 2 3
1 2 3
1 2 3
Livello di accettabilità: 20 - Massimo teorico: 30
I singoli risultati si rapportano ai quindicesimi richiesti dalla norma
maurizio tiriticco
misurazione 2007
15
Prima prova scritta – Tipologia A – Analisi del testo
2 indicatori
B
M
A
lettura/decodifica del testo
1
2
3
analisi del testo
1
2
3
elaborazione critica, riflessioni, approfondimenti
1
2
3
aspetti
morfosintassi e lessico
1
2
3
formali
sviluppo argomentativo
1
2
3
B
M
A
conformità e congruenza dello stile e del registro linguistico del
“pezzo” con la tipologia del destinatario
1
2
3
modalità della trattazione dei dati e dei documenti di supporto e loro
corretta e pertinente utilizzazione ai fini della informazione
1
2
3
correttezza morfosintattica e capacità comunicativa
1
2
3
originalità della elaborazione
1
2
3
caratterizzazione del registro e dello stile ed eventuali capacità
divergenti e creative
1
2
3
aspetti
contenutistici
5 descrittori
Prima prova scritta – Tipologia B1 – Articolo di giornale
5 indicatori
maurizio tiriticco
misurazione 2007
16
Prima prova scritta – Tipologia B2 – Saggio breve
5 indicatori
B
M
A
conformità e congruenza dello stile e del registro linguistico del
“saggio” con la tipologia della pubblicazione e del destinatario
1
2
3
qualità della analisi dei dati forniti e loro corretta utilizzazione
1
2
3
corretta e pertinente utilizzazione delle citazioni, dei documenti, dei
riferimenti, delle testimonianze che accompagnano le indicazioni di
lavoro
1
2
3
correttezza morfosintattica e proprietà lessicale
1
2
3
originalità delle argomentazioni e della elaborazione
1
2
3
B
M
A
Prima prova scritta – Tipologie C e D – Tema tradizionale
3 indicatori
5 descrittori
COMPETENZE
punteggiatura ortografia morfosintassi
1
2
3
linguistiche
proprietà lessicale
1
2
3
CONOSCENZE mono e
pluridisciplinari
correttezza e pertinenza dei contenuti
1
2
3
CAPACITA’ elaborative
sviluppo delle argomentazioni
1
2
3
logico-critiche e
creative
originalità della elaborazione
1
2
3
maurizio tiriticco
misurazione 2007
17
TERZA PROVA SCRITTA
Tipologia E – Casi pratici e professionali, non più di 2
5 Indicatori
B
M
A
Identificazione della situazione problematica e degli ambiti di
riferimento; analisi dei diversi aspetti della situazione proposta
1
2
3
ipotesi per soluzioni diverse in ordine ai vincoli e alle opportunità
esistenti, ai costi necessari e alle risorse disponibili
1
2
3
elaborazione di uno o più piani di azione e loro fattibilità in ordine
agli obiettivi da perseguire e previsione delle conseguenze
1
2
3
avvio, conduzione e realizzazione dell’intervento per la soluzione – o
per le soluzioni – del caso
1
2
3
criteri e strumenti adottati per il monitoraggio e le eventuali
correzioni in itinere e valutazione dell’efficacia delle soluzioni
adottate e dei risultati raggiunti anche, eventualmente, in termini di
un possibile trasferibilità e/o generalizzazione
1
2
3
maurizio tiriticco
misurazione 2007
18
TERZA PROVA SCRITTA
Tipologia F – Un progetto
Il candidato sa:
B
M
A
individuare e definire le variabili, gli elementi, i fattori che concorrono alla
realizzazione del progetto in termini di finalità ed obiettivi
1
2
3
individuare, definire e utilizzare le risorse, i mezzi, la strumentazione, le
tecniche, le tecnologie, i costi, le procedure per la realizzazione del progetto
1
2
3
analizzare le diverse componenti della attività progettuale, programmazione,
pianificazione, esecuzione, controllo in ordine ai processi da realizzare,
anche in ordine ai vincoli da considerare
1
2
3
realizzare e produrre, ovviamente in via simulata, l’“oggetto” perseguito dal
progetto
1
2
3
valutare l’efficienza e l’efficacia del processo e del prodotto in termini tecnici,
di costi/benefici, degli eventuali impatti e dei suoi effetti nel tempo
1
2
3
maurizio tiriticco
misurazione 2007
19
COLLOQUIO PLURIDISCIPLINARE – edizione attuale
1 ÷ 4 = Basso;
5 = Medio;
6 = Medio/Alto;
7 = Alto
3 indicatori
5 descrittori
B
M
MA
A
competenze
morfosintassi e lessico
1÷4
5
6
7
linguistiche
sviluppo delle argomentazioni
1÷4
5
6
7
conoscenze generali
padronanza dei contenuti
1÷4
5
6
7
e specifiche
raccordi pluridisciplinari
1÷4
5
6
7
capacità elaborative, logiche,
critiche e creative
correttezza, pertinenza, originalità
nelle interazioni dialogiche
1÷4
5
6
7
maurizio tiriticco
misurazione 2007
20
COLLOQUIO PLURIDISCIPLINARE – edizione a. s. 2008-2009
1 ÷ 4 = Basso;
5 = Medio;
6 = Medio/Alto;
7 = Alto
3 indicatori
5 descrittori
B
M
MA
A
competenze
morfosintassi e lessico
1÷3
4
5
6
linguistiche
sviluppo delle argomentazioni
1÷3
4
5
6
conoscenze generali
padronanza dei contenuti
1÷3
4
5
6
e specifiche
raccordi pluridisciplinari
1÷3
4
5
6
capacità elaborative, logiche,
critiche e creative
correttezza, pertinenza, originalità nelle
interazioni dialogiche
1÷3
4
5
6
maurizio tiriticco
misurazione 2007
21
maurizio tiriticco
misurazione 2007
22