Istituto Comprensivo “Pacinotti”
San Cesario s/P (MO)
Metodologia della
valutazione decimale:
strumenti, tecniche e strategie
dott. Barbara Turella
San Cesario s/P (MO) – 8-9 settembre 2009
Obiettivi dell’intervento formativo:
incrementare la competenza nel costruire prove di verifica degli
apprendimenti con particolare riguardo agli aspetti valutativi
favorire la costruzione di una metodologia valutativa che consenta di
passare dalla valutazione della singola prova alla valutazione
complessiva
facilitare l’individuazione di obiettivi formativi preventivamente
connessi con la necessaria valutazione degli apprendimenti
Competenza e compiti
Raccolta di un insieme di evidenze osservabili e misurabili che attestino la
padronanza del soggetto rispetto alla competenza attesa.
Valutazione della competenza
Valutazione delle conoscenze
Valutazione delle abilità
• Prove di verifica (più o meno strutturate)
• Compiti autentici
• Realizzazione di manufatti o prodotti
• Selezione di lavori significativi per testimoniare il percorso di apprendimento e i
risultati raggiunti
La validità
Consiste nel grado di corrispondenza tra la misura (rilevazione quantitativa
o qualitativa) e ciò che si vuole misurare (fenomeno, processo, dato).
La validità di una misurazione richiede:
•
un costrutto teorico che definisce e traduce la competenza nelle
singole componenti, chiarendo le loro relazioni e la loro
ampiezza.
•
la selezione delle componenti che intendiamo valutare
•
la definizione dei compiti, delle domande e delle prove che
attivano le componenti selezionate
•
la costruzione di criteri di assegnazione del punteggio e di una
scala di misura adatta alla misurazione
La validità
Validità di contenuto
- Riscontro della significatività degli elementi da sottoporre a verifica; dovrebbero
essere centrali e utili per la valutazione
- Selezione degli elementi da sottoporre a verifica come rappresentativi della
competenza da valutare
Validità rispetto ad un criterio
- Concorrente: misure simultanee degli stessi elementi
- Predittiva: se disponiamo di un criterio con cui confrontare la valutazione a
distanza di tempo
Validità apparente
- Controllo degli aspetti qualitativi ed emotivi in relazione all’adeguatezza degli
stimoli rispetto ai destinatari
L’affidabilità
Consiste nel grado di precisione con cui si può effettuare la misurazione
(reliable = che dà affidamento)
Una misura affidabile presenta alti livelli di:
- concordanza tra valutatori [r >.80] (basso livello di interpretabilità)
- concordanza tra misurazioni ripetute (forme parallele, test-retest, split-half,
ecc.)
- precisione (dello strumento e del valutatore)
- costanza del valutato (negli allievi si può incrementare aumentando le
misurazioni)
L’affidabilità
Check-list per la valutazione della precisione nella misurazione
Precisione dello strumento
a) Lo stimolo che propone (consegne, formato, ecc.) è uguale per tutti?
b) Gli stimoli offrono diversi livelli di risposta/soluzione?
c) La scala di misura permette la registrazione “oggettiva” delle risposte?
Precisione del valutatore
a) Usa uno strumento strutturato per la verifica/misurazione?
b) Nel caso di strumenti non strutturati, la registrazione è sistematica?
c) Ci sono livelli interpretativi nella somministrazione o presentazione dello stimolo?
d) Ci sono livelli interpretativi nell’attribuzione del punteggio?
Costanza del valutato
a) Il tipo di stimolo può essere condizionante
b) Le modalità di somministrazione possono condizionare la verifica?
c) Circostanze casuali che inficiano la rilevazione
d) Ci sono dimensioni ambientali o personali che possono condizione la prestazione?
L’affidabilità
Check-list per la valutazione dei compiti
Il compito:
 richiede l’applicazione di concetti, principi e abilità fondamentali appresi a nuovi concetti?
 incoraggia un progresso dell’apprendimento?
 implica processi di livello più elevato della semplice ripetizione della conoscenza appresa?
 è aperto a più soluzioni possibili?
 è sfidante?
 è inserito in un contesto reale?
 ha un valore significativo in sé?
 esige lo sviluppo e la ricostruzione della conoscenza appresa?
 è parte del processo di apprendimento?
 integra conoscenze e abilità?
 sviluppa una maggior comprensione di concetti e di principi?
 fornisce chiare indicazioni riguardo a ciò che deve essere eseguito?
 è appropriato agli studenti a cui è proposto, è realizzabile in rapporto alle fonti richieste, è chiaro?
 mantiene un buon equilibrio tra la precisione delle richieste e le diverse possibili alternative?
 è in linea con gli standard e gli obiettivi del curricolo scolastico?
 dispone di criteri che rendono possibile e chiara la sua valutazioni?
L’oggettività della valutazione
Lichtner (2002): l’equivoco risiede nell’equazione “quantitativo=oggettivo”.
“Bisogna chiedersi come sono stati generati quei dati che poi elaboriamo. Tutto
dipende dalla formulazione dei quesiti, dal tipo di alternative poste, che condizionano
il comportamento che rileviamo. E la messa a punto di queste condizioni è satura di
elementi soggettivi, frutto di scelte che a volte sono addirittura idiosincratiche. Se
l’elaborazione quantitativa dei dati raccolti è “oggettiva”, certamente non è tale la
procedura che ha “generato” i dati”.
(Lichtner, 2002, pp. 97-98)
Misurabili
Significativi
Non significativi
Non misurabili
I compiti: prove strutturate (test)
 Forniscono uno stimolo e modalità di risposte di tipo chiuso
 Sono oggettive quando è possibile predefinire le risposte corrette per i singoli quesiti
 Possono essere prove di classe o prove standardizzate
Operativamente:
1.
Definire la forma del quesito o item: domande a scelta multipla, vero/falso, ecc. o
problema, analisi di caso ecc.
2.
Strutturare lo stimolo: circoscrivere il campo delle possibili risposte (per es.
numero di alternative o serie di punti da seguire nell’esecuzione del compito)
3.
Individuare “a priori” la risposta corretta ovvero formulare i criteri di attribuzione
del punteggio
•
•
•
•
•
•
Tipi di quesiti
Soluzione di problemi
Analisi di casi
Vero/falso
Scelta multipla
Corrispondenza
Completamento
I compiti: prove strutturate (test)
Esercitazione per disciplina (stabilito il livello)
1)
2)
3)
4)
5)
6)
Scegliere la competenza da valutare
Individuare prestazioni rappresentative della competenza
prescelta
Strutturare un test con item che discriminino la
presenza/assenza della competenza
Assegnare un peso agli item e stabilire i criteri di
attribuzione del punteggio
Calcolare il punteggio
Stabilire il criterio con cui valutare i punteggi ottenuti
I compiti: prove non strutturate
Come si individuano gli indicatori?
Gli indicatori sono validi rispetto a ciò che vogliamo valutare?
Gli indicatori consentono un adeguato accordo tra valutatori?
Le misurazioni sono affidabili?
1)
2)
3)
4)
5)
Definire l’ampiezza/costrutto dell’oggetto della valutazione
Selezionare gli indicatori possibili
Stabilire l’ampiezza e la ripartizione della scala di punteggi o voti da considerare
Prevedere l’uso di aggettivi o espressioni per marcare le singole fasce dei valori di scala
Concordare ed usare collegialmente gli insiemi di indicatori per addestrarsi nel loro uso
Indici di accordo
I = 100 x accordi/ accordi + disaccordi
r = 2p – 100 (nei casi di 2 valutatori p = percentuale di accodo)
I compiti: prove non strutturate
L’elaborazione degli indicatori
a)
b)
c)
Metodo intuitivo: i singoli esperti del settore o della competenza possono predisporre
una lista di descrittori che può sia essere discussa e condivisa collegialmente sia essere
sottoposta a verifica empirica
Metodi qualitativi: si procede alla raccolta sistematica di dati per definire ciò che si
intende valutare; successivamente si “campionano” i descrittori rispetto alle prestazioni
Metodi quantitativi: l’osservazione e l’interpretazione degli indicatori avvengono
attraverso l’analisi statistica (molto sofisticata come l’analisi discriminante, lo
scaglionamento multidimensionale, ecc.)
Esercitazione per disciplina (stabilito il livello)
1)
2)
3)
4)
5)
6)
7)
Scegliere la competenza da valutare
Individuare prestazioni rappresentative della competenza prescelta
Classificare le prestazioni in una scala a 4 punti (pieno, adeguato, parziale, scarso)
Riconoscere gli indicatori sottesi
Assegnare un peso agli indicatori e stabilire i criteri di attribuzione del punteggio
Calcolare il punteggio
Stabilire il criterio con cui valutare i punteggi ottenuti
I compiti: prove non strutturate
Griglia di valutazione del colloquio
Indicatori
0-12 pt.
13-21 pt.
22 pt.
23-28 pt.
29-34 pt.
35 pt.
Padronanza
della lingua
Scarsa
Incerta
Accettabile
Sicura
Specifica
Ricercata
Capacità di
utilizzare le
conoscenze
Scarsa
Limitata
Accettabile
Adeguata
Significativa
Documentata
Capacità di
collegare le
conoscenze
Scarsa
Approssimativa
Accettabile
Appropriata
Ampia
dettagliata
Capacità di
discutere gli
argomenti
Scarsa
Ripetitiva o
meccanica
Accettabile
Appropriata
Ampia
Arguta
Capacità di
approfondire
gli argomenti
Scarsa
Limitata
Accettabile
Articolata
Ampia
Originale
I compiti: prove non strutturate
Griglia di valutazione di quesiti a risposta singola su scala unitaria
Indicatori
0-5 pt.
6-9 pt.
10 pt.
11-14 pt.
15 pt.
Padronanza della
lingua
Scarsa
Incerta
Accettabile
Sicura
Specifica
Esaustività degli
argomenti
Scarsa
Limitata
Accettabile
Adeguata
Ampia
Collegamento
delle conoscenze
Scarsa
Approssimativa
Accettabile
Appropriata
Ampia
Capacità
argomentativa
Scarsa
Ripetitiva o
meccanica
Accettabile
Appropriata
Ampia
Griglia di valutazione di quesiti a risposta singola con indicatori ponderati
Indicatori
Banda di oscillazione
Padronanza della lingua
0–2
Esaustività degli argomenti
0–6
Collegamento delle conoscenze
0–4
Capacità argomentativa
0-4
I compiti: prove non strutturate
Griglia di valutazione per elaborati scritti
Indicatori
generali
Sottoindicatori
Livello 1
Pt.
Livello 2
Pt.
Competenze
linguistiche
Morfosintassi
Sintassi
errata
0
Sintassi
elementare
2,0
Lessico
Improprio
0
Generico
Ortografia
Errori
diffusi
0
Punteggiatura
Scorretta
Competenze
comunicative
Costruzione
discorso
Competenze
testuali
Livello 3
Pt.
Livello 4
Pt.
Sintassi
corretta
3,0
Padronanza
4,0
1,0
Appropriato
1,5
Accurato
2,0
Alcuni errori
2,0
Corretta
1,5
Corretta
4,0
0
Incerta
1,0
Corretta
1,5
Appropriata
2,0
Disorganico
e sconnesso
0
Coerente con
incertezze
1,0
Coerente
1,5
Ben
strutturato
2,0
Comprensione
significato
Nulla
0
Sostanziale
1,0
Generale
1,5
Completa e
approfondita
2,0
Sintesi
Inefficace
0
Frammentaria
2,0
Efficace
3,0
Efficace e
organica
4,0
I compiti autentici
 Le forme più tradizionali di valutazione, sia con prove strutturate che non strutturate, tendono a
essere basate retroattive, basate cioè sull’accertamento di quanto appreso, piuttosto che proattive
orientando l’allievo verso il miglioramento dell’apprendimento
 Le forme tradizioni di valutazione si basano quasi esclusivamente su fattori estrinseci di
motivazione (voto, successo, competizione, ecc.) piuttosto che su fattori intrinseci (interesse,
curiosità, piacere, ecc.)
 L’apprendimento accertato con prove tradizionali tende a basarsi su una conoscenza scolastica
scarsamente trasferibile e applicabile a contesti di vita reale
Si definisce compito autentico un problema complesso e aperto posto agli studenti
come mezzo per dimostrare la padronanza di qualcosa
Con i compiti autentici possono essere valutate tre dimensioni:
 le conoscenze dichiarative e procedurali
 i processi cognitivi (analisi, riflessione, creatività, collaborazione, decisione, ecc.)
 i processi metacognitivi, motivazionali e attribuzioni
I compiti autentici
CARATTERISTICHE DEI COMPITI AUTENTICI
- Prevedono un contesto di realtà, diretto o simulato
- Utilizzano stimoli che sollecitano l’impiego di processi cognitivi complessi e l’integrazione degli
apprendimenti
- Risultano in grado di favorire l’interesse e di motivare gli studenti ad un impiego efficace del proprio
sapere, delle proprie risorse cognitive, sociali ed emotive in relazione al compito
Operativamente:




I compiti devono essere autentici e significativi
L’insieme dei compiti deve rappresentare un campione rappresentativo per
effettuare generalizzazioni
I criteri di valutazione devono essere centrati sulla natura dei compiti stessi e
sull’insieme di conoscenze, abilità e disposizioni che intendono evidenziare per
consentire una valutazione autentica
Il contesto in cui si inseriscono le prove deve essere realistico e piacevole
riducendo le limitazioni di tempo e di accesso alle risorse
I compiti autentici
Esercitazione per disciplina (stabilito il livello)
1)
2)
3)
4)
5)
6)
7)
Scegliere la competenza da valutare
Individuare prestazioni rappresentative della competenza prescelta
Classificare le prestazioni in una scala a 4 punti (pieno, adeguato, parziale,
scarso)
Riconoscere gli indicatori sottesi
Assegnare un peso agli indicatori e stabilire i criteri di attribuzione del
punteggio
Calcolare il punteggio
Stabilire il criterio con cui valutare i punteggi ottenuti
I punteggi e la valutazione
1) Analisi dei quesiti
Indice di facilità/difficoltà (buono 0.30< i <0.70)
Pc = Nc/N (Pc = proporzione di risposte corrette; Nc = n. risposte corrette; N = n. di risposte totali)
Discriminabilità (buono 0.20< d <0.40)
d = Esup –Einf /N (Esup = punteggio max; Einf = punteggio min; N = numero di soggetti)
2) Pesi nella correzione
a.
Calcolo delle risposte giuste senza omissioni
b.
Calcolo delle risposte considerando la probabilità del caso (penalizzazione dell’errore)
P = (E – S/n-1) K (E = n. risposte esatte; S = n. risposte errate; n = n. alternative; K = peso dell’item)
3) Ranghi percentili
Rango percentile = (n. stud. con punteggio più basso + ½ stud. stesso punteggio/N stud.) x 100
Suddivisione in quartili (fasce di punteggio)
4) La mediana
Collocare i punteggi in ordine decrescente e quantificare le frequenze per punteggio
Mediana = (n. soggetti + 1)/2 in corrispondenza di quel soggetto individuare il punteggio
I punteggi e la valutazione
5) Calcolo della media e deviazione standard
Un test offre prestazioni omogenee quando la deviazione standard è contenuta entro il 20% della media
Media della distribuzione
x 
Scarto quadratico medio/dev. standard
x
i
s
N
 x
i
x
N

2
d .s. 
 x
i
x

2
N 1
6) Standardizzazione dei punteggi
Consente di confrontare e valutare le prestazioni dello stesso soggetto in più compiti e tra soggetti
z 
xx
s
z 
xx
d .s.
z = punto standard
x = punteggio grezzo
x = media della distribuzione
S = scarto quadratico medio
d.s. = dev. standard
Si può utilizzare la standardizzazione in punti T (aggiunge una costante – spesso 50 – per eliminare i
valori negativi ( T = 50 + 10 z)
I punteggi e i voti
Dopo aver calcolato media e deviazione:
 Distribuire i punteggi in fasce in funzione della distanza (dev. standard) dalla media (es. fasce
pentenarie) e poi convertire i giudizi (scala di aggettivi) in voti
Es. distribuzione pentenaria
A superiori a xm + 1,5 d.s.
Ottimo
8
B compresi tra xm + 1,5 d.s. e xm + 0,5 d.s.
Buono
7
C compresi tra xm - 0,5 d.s. e xm + 0,5 d.s.
Sufficiente
6
D compresi tra xm - 0,5 d.s. e xm - 1,5 d.s.
Quasi sufficiente
5
E inferiori a xm – 1,5 d.s.
Non sufficiente
4
 Trasformare i punteggi grezzi in voti attraverso proporzioni (riferimento a criteri assoluti)
xg : xm = voto : media scala dei voti
oppure
xg : xmax = voto : votomax
N.B. La media della scala dei voti è:
6 se si usano i voti dal 4 all’8
5,5 se si usano i voti da 1 a 10
5 se si usano i voti da 0 a 10
 Trasformare i punteggi standardizzati in voti (riferimento a norma)
(Pgrezzo – xgrezzo)/dev.st. = (voto – media scala voti)/1
Voto = media scala voti + punteggio standardizzato
Le scale di misura
Scale
Ordinale
B
C
Complessivo raggiungimento degli obiettivi;
padronanza raggiunta con consapevolezza.
Raggiungimento degli obiettivi essenziali; la
padronanza è adeguata per lo svolgimento del
programma
Raggiungimento di obiettivi essenziali in
situazioni semplici.
D
8
7
6
Parziale raggiungimento degli obiettivi minimi
programmati
Mancato raggiungimento degli obiettivi minimi
programmati
Percentili
100
95
90
85
80
75
70
65
60
55
5
Bocciati
E
9
INSUFFICIENTE
Promossi
10
SUFFICIENTE
A
Pieno e completo raggiungimento degli
obiettivi; padronanza dei contenuti; abilità a
trasferirli in altra situazione.
Voti in
decimi
Giudizi
Descrizioni verbali
BUONO
Fasce
pentenarie
DISTINTO
Dicotomica
Intervalli
OTTIMO
Nominale
4
3
2
1
50
45
40
35
30
25
20
15
10
5
I criteri della valutazione
- Criteri assoluti (Confronto tra prestazione e obiettivi attesi)
In questo caso la valutazione di ciascuna prova è effettuata in modo indipendente dall’andamento
generale delle prove svolte dagli allievi.
Per esempio si può dare il voto massimo solo se mancano del tutto gli errori o se ve ne sono soltanto in una certa
misura; o si dà un giudizio di insufficienza solo per la constatazione di un certo tipo di risposta, o per il fatto che
a una certa domanda non è stata data risposta; o ancora si sottrae punteggio per ogni errore accertato.
- Criteri relativi (Confronto tra prestazioni di un soggetto e quelle di altri soggetti)
In questo caso la valutazione di ciascuna prova è effettuata in modo dipendente dall’andamento
generale delle prove svolte dal gruppo di allievi cui si fa riferimento.
Per esempio si può attribuire il punteggio ad una prestazione utilizzando una “prestazione criterio” (riferimento
approssimativo). Altrimenti si può calcolare la media o la distribuzione dei punteggi attraverso cui
“riaggiustare” la misurazione delle singole prove.
- Criteri delle possibilità e del cambiamento (Confronto tra prestazioni dello steso soggetto)
In questo caso la valutazione di ciascuna prova è effettuata riferendosi alle possibilità del soggetto e
alle variazioni del suo rendimento
Per esempio si può considerare che in una prova il soggetto non ha reso quanto avrebbe potuto , o che ha fatto
quanto nelle sue possibilità. Si possono anche considerare le variazioni (progressi o regressi) rispetto alle
prestazioni dello stesso soggetto nel tempo, senza considerare una misura assoluta.
La valutazione analitica
Si tratta di giudizi per discipline che possono essere costruiti:
a)
considerando i diversi elementi di misura utilizzati: tipi di verifiche, osservazioni
di comportamenti cognitivi, analisi del trend delle prestazioni, ecc.;
b)
“pesando” i singoli elementi che concorrono alla valutazione rispettandone la
specificità;
c)
definire i livelli della scala prevista per il giudizio
Gli elementi considerati per la valutazione possono essere:
-
risultati centesimali delle verifiche; insieme dei dati, media, moda;
-
progresso rispetto al livello di partenza;
-
standard delle prestazioni stabilite in base alle caratteristiche della disciplina;
-
osservazione dei comportamenti cognitivi.
La valutazione globale per disciplina
La valutazione globale delle prestazioni risulta più attendibile se:
- si aumenta la numerosità delle verifiche
- si incrementa la differenziazione delle verifiche
- si attribuiscono pesi diversi alle verifiche
Operativamente:
• Media aritmetica dei punteggi delle verifiche
• Media pesata dei punteggi delle verifiche
• Riferimento alle prestazioni complessive del gruppo
• Riferimento all’andamento delle prestazioni del soggetto
La valutazione sintetica
Si tratta di un giudizio globale che dovrebbe descrivere il grado di raggiungimenti rispetto
a specifici obiettivi e descrittori e che dovrebbe, almeno in parte, poggiare sui singoli
giudizi analitici per disciplina.
-
a)
b)
c)
In genere il giudizio sintetico fa riferimento a:
comportamento disciplinare
livello di sviluppo emotivo e sociale
partecipazione alle attività
metodo di studio
impegno
profitto o livello di apprendimento
Per far ciò i docenti dovrebbero collegialmente:
individuare e concordare una serie di indicatori comuni;
esplicitare la misurabilità degli indicatori individuati in ciascuna delle diverse
discipline e fornire il dato analitico al gruppo di colleghi coinvolti;
sintetizzare i vari giudizi in una formulazione globale, chiara e comprensibile ai
diversi destinatari, capace di esprimere anche le eventuali divergenze di giudizio.
Grazie
Dott. Barbara Turella
Dottore Magistrale in Psicologia dello Sviluppo e dell’Educazione – Psicoterapeuta
Dottore di Ricerca in Psicologia Cognitiva – Perfezionata in Psicologia Scolastica
Via del Campo, 27 – 00172 Roma Tel. 3393322719
e-mail [email protected]