Criteri e strumenti per la
creazione di prove di verifica
1) Testing: tra tecnica e arte
Gianfranco Porcelli
26 febbraio 2010
Città del Messico
Istituto Italiano di Cultura
Premessa
• Le condizioni in cui si inquadrano le
operazioni di testing negli IIC e in altre
sedi non sono ottimali, se comparate con
le condizioni nelle quali lavorano gli Enti
Certificatori e alcuni Centri Linguistici
Universitari
• Malgrado ciò, la presa di coscienza
rispetto alle strategie e tecniche migliori
può essere di valido aiuto.
Oggetto dell’esame
• Idealmente: tutto
• Realisticamente: un campione
• Restrizioni a causa di:
– limiti di tempo
– affaticamento dell’esaminato
– (in)disponibilità di strumentazione
• P.A.C.E.
Campionatura
• Il più possibile estesa
• il più possibile
rappresentativa
• Problemi:
– le percentuali
significative
– ciò che non
esaminiamo perché
non sappiamo come
fare
Oggettività: un mito?
• Prove oggettive
– univocità della risposta esatta
– predeterminazione del punteggio
• Oggettive nella tecnica di risposta,
soggettive nella scelta del campione, del
livello, dei materiali, della
strumentazione…
• Obiettivo realistico: riduzione della
soggettività
Pre- e post-testing
•
•
•
•
•
Il test “una tantum”
La banca di quesiti e le analisi post-test
- indice di facilità
- indice di discriminazione
- analisi dei distrattori
Facilità e discriminazione
• Indice di facilità (IF): percentuale delle
risposte corrette sul totale delle risposte
attese (G * 100 / N)
• Indice di discriminazione: rappresenta la
tendenza di un quesito ad ottenere
risposte esatte dagli studenti migliori
Facilità e discriminazione
Riduzione della soggettività
• Produzione scritta:
• Contenuto
– appropriato / fuori tema
– originale / banale
– consapevole delle differenze interculturali / non…
• Forma
– lessico
• vocaboli
• espressioni idiomatiche
–
–
–
–
sintassi
morfologia
ortografia
…
Processi di riduzione
• a) attribuzione di un giudizio su ciascuno
dei fattori individuati
– presuppone l’attribuzione di “pesi” a seconda
del rilievo dei fattori
• b) attribuzione di un giudizio complessivo
tenendo conto della gerarchia dei fattori
• Fonti di ponderazione o gerarchizzazione:
– il QCER
– gli obiettivi locali e/o la politica degli IIC
Le risposte a caso
• Il Totocalcio
• La correzione del “tirare a indovinare”
(guessing)
Pc = E – S / (A – 1)
• superamento della scelta binaria “secca”
(V/F) – meglio V/F/ND (non dichiarato, non
disponibile, non documentato nel testo)
• controllo del funzionamento dei distrattori
Ansia da test
La bella notizia
Clever…
Verare e falsare
Bleah!
Non solo Linus / 1
Non solo Linus / 2
La forza e il movimento
Oggettività e realismo
• Ciò che si guadagna
in oggettività si perde
in realismo
• Le capacità di
interagire nelle reali
situazioni di
comunicazione si
possono osservare
solo nelle reali
situazioni di
comunicazione
padronanza / livello
Padronanza e livello
• “Padronanza” (achievement / attainment)
commisurata all’apprendimento di quanto
previsto in un determinato programma di
studi e/o insieme di materiali didattici;
• “livello” (proficiency) commisurato a quadri
di riferimento esterni e alla competenza
comunicativa in situazione.
• Problema: l’altalena a mezz’aria –
nessuno dei due bimbi ha i piedi per terra.
La verifica del profitto come
comunicazione
• Tre termini cruciali:
– Verifica
– Profitto
– Comunicazione
La verifica del profitto come
comunicazione
• Verifica e valutazione
• La ‘misurazione’
Verifica Valutazione
Verifica
Valutazione

Performance

Persona

Insegnante

Consiglio di classe
La verifica… (1: di che cosa?)
• Oggetto della verifica è la performance,
ciò che lo studente “esterna”, come indice
e campione della competence:
a) indice, perché può condurre a intuire
processi mentali e abilità complesse;
b) campione, perché ogni prova di controllo
non può che selezionare alcune abilità,
competenze, aree lessicali...
Input, Intake, Output
INPUT

INTAKE
 OUTPUT
La verifica… (2: quali parametri?)
• La accuracy, in termini di correttezza a
livello fonetico, grammaticale e lessicale
• La fluency, intesa come capacità di
comunicare non necessariamente in modo
totalmente accurato
• La comprensione interculturale, grande
obiettivo di fondo da non dimenticare
Coerenza delle verifiche
•  con il metodo adottato: un testing di
matrice strutturalista non è compatibile
con approcci comunicativi e/o umanisticoaffettivi;
•  con gli obiettivi della verifica.
• Senza tale coerenza il test è privo di
VALIDITA’.
Validità dei test
• Definizione: capacità di un test di verificare
ciò che intende verificare e nient’altro.
– Test “di intelligenza” o “di lingua” ?
Parametri della validità:
– Pertinenza;
– Accettabilità;
– Comparabilità;
– Economia.
...del profitto...
CALIBAN:
You taught me language, and my profit on’t
Is, I know how to curse; the red plague rid
you,
For learning me your language!
W. Shakespeare, The Tempest, I, ii, 363
[Italiano lingua seconda per i colf, 1611]
…come comunicazione.
a) coerente con un approccio comunicativo;
b) come comunicazione operativa di
obiettivi.
Misurare: si può?
• Unità di misura
• Lo zero
• Gauss e “distanze relative”
• Misurare, in senso stretto, non si può.
La distribuzione normale delle
frequenze
• Ovvero, anche il caso
ha le sue regole
Poligono frequenze 1 dado
1,2
1
0,8
0,6
1 dado
0,4
0,2
0
0
1
2
3
4
5
6
Poligono frequenze 2 dadi
7
6
5
4
2 dadi
3
2
1
0
2
3
4
5
6
7
8
9
10
11
12
Poligono frequenze 3 dadi
30
25
20
15
3 dadi
10
5
0
3
4
5
6
7
8
9 10 11 12 13 14 15 16 17 18
Poligono frequenze 3 dadi
30
25
20
15
3 dadi
10
5
0
3
4
5
6
7
8
9 10 11 12 13 14 15 16 17 18
Poligono frequenze 4 dadi
160
140
120
100
4 dadi
80
60
40
20
24
22
20
18
16
14
12
10
8
6
4
0
Poligono frequenze 5 dadi
900
800
700
600
500
400
300
200
5 dadi
28
30
26
22
24
18
20
14
16
10
12
8
6
100
0
Poligono frequenze 6 dadi
36
33
30
27
24
21
18
15
12
6 dadi
9
6
5000
4500
4000
3500
3000
2500
2000
1500
1000
500
0
Statica o dinamica?
•
•
•
•
giovedì: 40°
venerdì: 39°
sabato: 37°
domenica: 36°
• lunedì… ?
Verifiche statiche e dinamiche
• Controllo del prodotto (“fotografia”)
• Controllo dei processi (“cinepresa”)
– alta definizione, 3D, ecc.: quali speranze per il
testing?
Norma e Criterio
• “Norma”: riferimenti interni.
– Il richiamo alla “norma” è un raffronto con i
livelli medi di profitto riscontrabili in una
classe (è un raffronto possibile, in qualche misura, per lo
scolaro).
• “Criterio”: riferimenti esterni
– Il richiamo al “criterio” è un raffronto con
parametri esterni — ad esempio, quelli
offerti da Quadro Europeo di Riferimento
un raffronto di norma impossibile per lo scolaro).
(è
La “sufficienza”
• Sufficienza “assoluta” o “criteriale” (p. es.
con riferimento alle esigenze di
un’azienda);
– “dieci euro sono sufficienti?”
– criterio: il bene o servizio da acquistare
• Sufficienza “relativa” o “normale”, ossia
scolastica
– “mio figlio è sufficiente?”
– criterio: le attese dell’insegnante.
Conoscenza delle lingue...
•
•
•
•
 Ottima
 Sufficiente
 Scolastica
Da questo punto di vista
l’insegnamento dell’italiano a
stranieri in Italia è molto più
realistico e attento all’extra-scuola
Descrittori Produzione Scritta A
• A1 - So scrivere una breve e semplice
cartolina, per es. per mandare i saluti dalle
vacanze. So riempire moduli con dati
personali ad es. il mio nome, la nazionalità e
l'indirizzo sulla scheda di registrazione di un
albergo.
• A2 - So scrivere semplici appunti e brevi
messaggi su argomenti riguardanti bisogni
immediati. Riesco a scrivere una lettera
personale molto semplice, per es. per
ringraziare qualcuno.
Descrittori Produzione Scritta B
• B1 - So scrivere semplici testi coerenti su
argomenti noti o di mio interesse. So
scrivere lettere personali esponendo
esperienze e impressioni.
• B2 - Sono in grado di scrivere testi chiari e
articolati su un'ampia gamma di argomenti
che mi interessano. Sono capace di scrivere
saggi e relazioni, fornendo informazioni e
ragioni a favore o contro una determinata
opinione. So scrivere lettere mettendo in
evidenza il significato che attribuisco
personalmente agli avvenimenti e alle
esperienze.
Descrittori Produzione Scritta C
• Sono in grado di esprimermi sviluppando
analiticamente il mio punto di vista in testi chiari e
ben strutturati. Scrivo lettere, saggi e relazioni
esponendo argomenti complessi, evidenziando i
punti che ritengo salienti. Sono in grado di scegliere
lo stile adatto ai lettori ai quali intendo rivolgermi.
• Sono in grado di scrivere testi chiari, scorrevoli e
stilisticamente adeguati. Scrivo lettere, relazioni e
articoli complessi e supporto il contenuto con una
struttura logica efficace che aiuti il destinatario a
identificare i punti salienti da rammentare. Sono
capace di scriver riassunti e recensioni di opere
letterarie e saggi professionali
Errore e Sbaglio
• I termini NON sono sinonimi nemmeno
nella lingua italiana corrente: si può fare
qualcosa per errore o per sbaglio, tuttavia
si può solo indurre in errore ma non
*indurre in sbaglio.
• Le co-occorrenze
• In Glottodidattica...
L’errore
• a) Si riferisce alla competence e quindi è
sistematico;
• b) Ha bisogno di interventi esterni e
espliciti per essere corretto;
• c) L’insieme degli errori rivela il livello di
interlanguage raggiunto e, potenzialmente,
il grado di fossilizzazione.
Lo sbaglio
• a) Si riferisce alla performance e quindi è
occasionale;
• b) Per definizione, può essere corretto da
chi l’ha commesso, purché se ne accorga;
• c) La frequenza degli sbagli può essere
indice di uno stato ansioso in chi parla o
scrive.
Corollario fondamentale
• Qualora un dato elemento venisse
esaminato una sola volta in un test:
• se la risposta è errata, non sapremo mai
se si tratta di un errore o di uno sbaglio;
• ma anche una risposta corretta potrebbe
nascondere problemi di competence, con
una performance “giusta per sbaglio”;
– [errore palese e errore nascosto]
È accaduto in una Scuola Media
• Alcuni studenti hanno meritato un giudizio
nettamente positivo sulla base delle
risposte date a un questionario ma hanno
rivelato gravi lacune nella comprensione
del testo quando è stato chiesta la
retroversione del brano su cui era basato il
questionario.
– (segue)
C’è poca scelta …
• Se si segue l’ordine
del brano
• la sequenza facilita il
ritrovamento delle
risposte giuste, “a
intuito”
• Se non si segue
l’ordine del brano
• si procede in modo
innaturale e si
inseriscono difficoltà
artificiose
La legge del non-reciproco
(variante della “legge di Murphy”)
• Se un test o una prova strutturata
palesano errori, ci sono problemi di
apprendimento.
• Se invece non palesano errori, i problemi
potrebbero esserci ugualmente.
Genesi degli errori / 1
• a) transfer interlinguistico
errori di “interferenza”:
*the goods boys
*le chaleur, le méthode
*die Fräulein
*largo (per “lungo”), *salita (per “uscita”),
*aceto (per “olio”), *equipaggio (per
“bagaglio”) ecc. ecc.
Genesi degli errori / 2
b) transfer di apprendimento
errori di ipergeneralizzazione:
*who did arrive?
*speak you English?
•
•
•
•
Chi risponde dà una risposta
Chi propone fa una proposta
…ma chi dispone non dà una *disposta
…e soprattutto chi suppone non… osta
Genesi degli errori / 3
c) strategie didattiche, strategie di
apprendimento della L2, strategie di
comunicazione
uso eccessivo o scorretto di:
– forme rare
– un solo genere
– forme elementari
• Esito generale: FOSSILIZZAZIONE
Esempi (inglese LS)
• What (happen) ________ there after I had
left?
• My friend Tom can ski vey well; he’s a
small champion
• A friend of mine / Un amico dei miei
• What was Pepys doing when they woke
him up?
• You’ve written a romance
Osservazione e
Consapevolezza
• Sono due parole-chiave, sempre più
diffuse in Glottodidattica:
• Imparare significa sviluppare
consapevolezza, e per questo occorre
anzitutto accorgersi delle strutture lessicali
e grammaticali operanti nella lingua da
imparare.
Consapevolezza per
l’autovalutazione
• Perché chi impara una lingua possa
autovalutarsi occorrono:
• 1) coscienza precisa degli obiettivi e dei
livelli desiderati (“criteri”);
• 2) strumenti di verifica della correttezza
della propria performance (non solo in
termini di accuracy).
Verifiche comode e verifiche valide
• È anche colpa mia?
• “Gli studenti sanno mettere le crocette ma
non capiscono quello che fanno”
• “mettere le crocette” può essere sostituito
da:
– Riempire i buchi
– Abbinare tra due colonne
– Riordinare
– … altro ancora [che cosa?]
Avevo scritto …
… ma avevo anche scritto …
• “non abbiamo mai affermato che i test
debbano soppiantare in toto le prove
tradizionali: essi servono invece ad
assicurare che tali prove vengano
affrontate dagli allievi in condizioni
ottimali.”
… concludendo così:
• “Fare eseguire un riassunto o una
composizione dopo aver accertato la
padronanza delle strutture linguistiche è
assai più produttivo che servirsi delle
stesse prove anche per verificare tale
padronanza.”
– Il Language testing: problemi e tecniche,
Bergamo, Minerva Italica, 1975, p. 124.
Solo apparenze
• 5 risposte esatte a 20 quesiti a scelta
quadrupla
• da 1 a 10, quanto valgono?
• valgono ZERO!
– Una scimmia addestrata che lavora a caso ha
la stessa probabilità di raggiungere quel
risultato, e se è fortunata fa anche meglio!
Errori palesi e nascosti
• “Maurice? Who's Maurice? What does he
do?”
• “He's a friend of mine. He's a waiter.”
• Due studenti hanno tradotto a friend of
mine come:
– * un amico di famiglia.
– * un amico dei miei genitori.
• Sarà ‘giusto’ “un amico dei miei ” ?
Una metafora del Language
Testing
• è quella dei ciechi che si accostano a un elefante: a
seconda della parte con cui entrano in contatto (la
proboscide, le zanne, le orecchie, la coda, ecc.) ognuno
di loro ne avrà una percezione del tutto particolare; ne
risulterà una serie di descrizioni che pur essendo in sé
veritiere riflettono solo parzialmente un'entità che è
qualcosa di più e di diverso della somma delle singole
osservazioni.
• Non è una metafora nuova ma serve comunque a
metterci in guardia contro l'illusione di avere colto nel
loro insieme realtà complesse quando invece se ne
possiedono solo visioni unilaterali.
Un elefante senza la coda
L’assioma di Titone sul testing
• Non possiamo prendere due piccioni con
una fava:
• siamo costretti a usare molte fave per
prendere un solo piccione
Problemi vecchi …
• Se si usa una sola delle tante tecniche di
testing si privilegiano gli allievi che si
trovano bene con esse e si sfavoriscono
indebitamente gli altri
• Ossia, la pluralità delle tecniche come
strumento di equità
• Globalisti / serialisti
… e problemi attuali
• Se ci limitiamo alle verifiche mediante test
potremmo non avere il quadro esatto delle
(in)competenze degli studenti
• Le prove che implicano la redazione di
testi richiedono tempi lunghi di esecuzione
e di correzione
• ma sono indispensabili
Grammatica e lessico
• Per capire un testo e comunicare la
grammatica serve a poco …
• … il lessico molto di più!
– Il Lexical Approach (1993)
• Chi viaggia all’estero si porta una
grammatica o un dizionario?
• E allora, perché tendiamo a ragionare
come se imparare una lingua fosse
impararne la grammatica?
Grammatica dell’aspettativa e
testing pragmatico
• Le prove pragmatiche mettono in gioco le
competenze testuali
– - in particolare la capacità di capire un testo
facendo anticipazioni corrette
• Oller (1979) cita anzitutto il dettato per
l’orale e il cloze test per lo scritto, ma
anche la traduzione e altre forme di
parafrasi sono incluse tra le prove
pragmatiche
In linea generale, quindi …
• Dettare per verificare la comprensione
orale e far tradurre per verificare quella
scritta
– Sono prove complesse e quindi con un certo
grado di difficoltà
– Richiedono più tempo e impegno rispetto alle
crocette e al tappabuchi
• L’alternativa è illudersi di avere insegnato
e illudere gli studenti su un profitto che
non c’è
Il dettato
• Non “ortografico”, come prova del saper
scrivere
– Sistemi alfabetici (o addirittura ideografici)
molto diversi da quello latino
• ma come prova del saper ascoltare
– alternative: dettato di disegni, di azioni …
(ascolta e fai) [TPR]
La procedura “cloze”
I quattro famosi cantanti __1__ attesi da un
momento all’altro __2__ una gran folla di
giovani fan __3__ era radunata all’aeroporto
__4__ accoglierli.
Per la polizia fu molto difficile __5__ la folla
sotto controllo dopo __6__ i cantanti erano
apparsi sula scaletta. __7__ con una maglia
rosa a strisce e __8__ azzurri, i capelli tagliati
corti e __9__ strumenti musicali a tracolla, i
__10__ givanotti si assomigliavano molto.
Requisito generale
• Lavorare su t e s t i
• significativi
– > di senso compiuto
– > e possibilmente “incisivi”
• La dimensione affettiva
– Da insegnanti a “giudici”
E quindi, per non vanificare il tutto:
• Estrema attenzione alle differenze culturali
– > la tragedia di perdere la faccia
– > i tanti modi di
• offendere
• creare ansia
• o anche “soltanto” disamorare e far perdere
l’entusiasmo
• Può bastare un giudizio formulato male e
certi studenti non li vediamo più!
Bibliografia
– G. Porcelli, Il Language testing: problemi e
tecniche, Bergamo, Minerva Italica, 1975, [p.
124].
– G. Porcelli, Educazione linguistica e
valutazione, Torino, UTET-Libreria, 1998
– “Scuola e Lingue Moderne”, ANILS
Associazione Nazionale Insegnanti Lingue
Straniere, Campobasso [c.c.p. 10441863]
Contatti
• [email protected]
• www.gporcelli.it
• www.anils.it
SALIDA
“Siamo ancora confusi, ma a un livello
più elevato.”
Scale di valutazione
• La “scala di valutazione generale”
secondo B.J. CARROLL, Testing
Communicative Performance, Oxford,
Pergamon, 1980.
• Il two-tier system e le certificazioni.
1/0. Non utente.
• Può non riconoscere con sicurezza quale
lingua si stia usando.
2. Utente intermittente.
• Esecuzione ben al di sotto del livello di
conoscenza operativa della lingua dell'uso
quotidiano. La comunicazione si instaura
solo sporadicamente.
3. Utente estremamente
limitato.
• Non possiede una conoscenza operativa
della lingua dell'uso quotidiano, ma è
migliore di un principiante assoluto. Né le
abilità produttive né quelle ricettive
permettono una comunicazione
continuativa.
4. Utente marginale.
• Manca di stile, scorrevolezza e
accuratezza; non è facile comunicare con
lui, l'accento straniero e la scarsa
padronanza del codice provocano
fraintendimenti. In genere se la cava
senza gravi intoppi.
5. Utente modesto.
• Sebbene in genere riesca a comunicare,
spesso usa un linguaggio non accurato o
improprio.
6. Utente competente.
• Malgrado sappia far fronte alla maggior
parte delle situazioni che probabilmente
dovrà affrontare, è un po' carente nella
scorrevolezza (fluency) e nell'accuratezza
e occasionalmente incorrerà in
fraintendimenti o errori significativi.
7. Utente buono.
• Sa affrontare la maggior parte delle
situazioni in un ambiente anglofono.
Lapsus occasionali e limitazioni nel
linguaggio non impediscono la
comunicazione.
8. Utente ottimo.
• La presentazione dell'argomento è chiara
e logica con buono stile e una chiara
percezione degli indicatori di
atteggiamento. Si avvicina spesso alla
competenza bilingue.
9. Utente esperto.
• Comunica con autorevolezza, accuratezza
e stile. Completamente a proprio agio
nell'inglese idiomatico e specialistico.