Problemi e tecniche del
testing online
(parte I)
Gianfranco Porcelli
Pavia, 4 febbraio 2010
Archimede e il Testing
(ciò che si guadagna in forza si perde
in movimento)
Oggettività e realismo
• Ciò che si guadagna
in oggettività si perde
in realismo
• Le capacità di
interagire nelle reali
situazioni di
comunicazione si
possono osservare
solo nelle reali
situazioni di
comunicazione
Ansia da test
La bella notizia
Clever…
Verare e falsare
Bleah!
Non solo Linus / 1
Non solo Linus / 2
La verifica del profitto come
comunicazione
• Tre termini cruciali:
– Verifica
– Profitto
– Comunicazione
La verifica del profitto come
comunicazione
• Verifica e valutazione
• La ‘misurazione’
Verifica Valutazione
Verifica
Valutazione

Performance

Persona

Insegnante

Consiglio di classe
La verifica… (1: di che cosa?)
• Oggetto della verifica è la performance,
ciò che lo studente “esterna”, come indice
e campione della competence:
a) indice, perché può condurre a intuire
processi mentali e abilità complesse;
b) campione, perché ogni prova di controllo
non può che selezionare alcune abilità,
competenze, aree lessicali...
Input, Intake, Output
INPUT

INTAKE
 OUTPUT
Grammatica e lessico
• Se si parte da un’ottica comunicativa si
scopre allora che per capire un testo la
grammatica serve a poco …
• … il lessico molto di più!
– Il Lexical Approach (1993)
• Chi viaggia all’estero si porta una
grammatica o un dizionario?
• E allora, perché tendiamo a ragionare
come se imparare una lingua fosse
impararne la grammatica?
Grammatica dell’aspettativa e
testing pragmatico
• Le prove pragmatiche mettono in gioco le
competenze testuali
– - in particolare la capacità di capire un testo
facendo anticipazioni corrette
• Oller (1979) cita anzitutto il dettato per
l’orale e il cloze test per lo scritto, ma
anche la traduzione e altre forme di
parafrasi sono incluse tra le prove
pragmatiche
La verifica… (2: quali parametri?)
• La accuracy, in termini di correttezza a
livello fonetico, grammaticale e lessicale
• La fluency, intesa come capacità di
comunicare non necessariamente in modo
totalmente accurato
• La comprensione interculturale, grande
obiettivo di fondo da non dimenticare
– però nei test tende a sparire
– il backwash o washback
Coerenza delle verifiche
•  con il metodo adottato: un testing di
matrice strutturalista non è compatibile
con approcci comunicativi e/o umanisticoaffettivi;
•  con gli obiettivi della verifica.
• Senza tale coerenza il test è privo di
VALIDITA’.
Validità dei test
• Definizione: capacità di un test di verificare
ciò che intende verificare e nient’altro.
– Test “di intelligenza” o “di lingua” ?
Parametri della validità:
– Pertinenza;
– Accettabilità;
– Comparabilità;
– Economia.
...del profitto...
CALIBAN:
You taught me language, and my profit on’t
Is, I know how to curse; the red plague rid
you,
For learning me your language!
W. Shakespeare, The Tempest, I, ii, 363
[Italiano lingua seconda per i colf, 1611]
…come comunicazione.
a) coerente con un approccio comunicativo;
b) come comunicazione operativa di
obiettivi.
Misurare: si può?
• Unità di misura
• Lo zero
• Gauss e “distanze relative”
– la statura
– il reddito
• Misurare, in senso stretto, non si può.
Il voto come comunicazione
• I numeri (e le medie)
• Gli aggettivi
• Le lettere
– ma oggi...
• ...e ancor più, sperabilmente. domani:
• il PORTFOLIO (e dintorni: passaporto,
ecc.) come documentazione di ciò che si
sa fare
• “I have no Italian” – essere padroni di una
lingua (sapere non è possedere)
Statica o dinamica?
•
•
•
•
quattro giorni fa: 40°
tre giorni fa: 39°
l’altro ieri: 37°
Ieri: 36°
• oggi… ?
La distribuzione normale delle
frequenze
• Ovvero, anche il caso
ha le sue regole
Poligono frequenze 1 dado
1,2
1
0,8
0,6
1 dado
0,4
0,2
0
0
1
2
3
4
5
6
Poligono frequenze 2 dadi
7
6
5
4
2 dadi
3
2
1
0
2
3
4
5
6
7
8
9
10
11
12
Poligono frequenze 3 dadi
30
25
20
15
3 dadi
10
5
0
3
4
5
6
7
8
9 10 11 12 13 14 15 16 17 18
Poligono frequenze 3 dadi
30
25
20
15
3 dadi
10
5
0
3
4
5
6
7
8
9 10 11 12 13 14 15 16 17 18
Poligono frequenze 4 dadi
160
140
120
100
4 dadi
80
60
40
20
24
22
20
18
16
14
12
10
8
6
4
0
Poligono frequenze 5 dadi
900
800
700
600
500
400
300
200
5 dadi
28
30
26
22
24
18
20
14
16
10
12
8
6
100
0
Poligono frequenze 6 dadi
36
33
30
27
24
21
18
15
12
6 dadi
9
6
5000
4500
4000
3500
3000
2500
2000
1500
1000
500
0
Corollario 1
• Di sicuro il voto in decimi non è un’unità di
misura: la distanza tra il voto 2 e il voto 3 è
pressoché inesistente (in molti casi, sono
entrambi sinonimi di “insufficienza
gravissima non dovuta solo a difficoltà di
apprendimento”); la distanza tra 5 e 6 è
enorme, come attesta l’abbondanza di
valori intermedi come 5+, 5½, 5/6, 6=, 6eccetera.
Corollario 2
• L’analisi di questi voti, così come sono comunemente
usati, ci indica che ne bastano cinque (dal quattro
all’otto) per coprire la gamma di giudizi da “prestazione
pessima” a “prestazione ottima”, mentre agli altri viene
aggiunta una connotazione aggiuntiva non limitata al
profitto: da una parte una punizione o una sanzione
morale per negligenza, scarso interesse o altro; dall’altra
un elogio o un premio.
• In questo i voti si differenziano nettamente dai punteggi
dei test, che fanno riferimento esclusivamente
all’esecuzione della prova e al risultato conseguito in
termini di risposte esatte.
Corollario 3
• Sempre più diffuso ma altamente
deprecabile è l’uso delle percentuali con
un numero esiguo di soggetti: avviene di
leggere, ad esempio, che gli studenti che
hanno raggiunto un dato livello sono
aumentati dal 57,14% al 64,28% e poi si
scopre che il miglioramento riguarda uno
studente in un gruppo di 14 soggetti.
• L’apparente scientificità è un
mascheramento del vero.
Norma e Criterio
• “Norma”: riferimenti interni.
– Il richiamo alla “norma” è un raffronto con i
livelli medi di profitto riscontrabili in una
classe (è un raffronto possibile, in qualche misura, per lo
scolaro).
• “Criterio”: riferimenti esterni
– Il richiamo al “criterio” è un raffronto con
parametri esterni — ad esempio, quelli
offerti dal Quadro Comune Europeo di
Riferimento (è un raffronto di norma impossibile per lo
scolaro).
La “sufficienza”
• Sufficienza “assoluta” o “criteriale” (p. es.
con riferimento alle esigenze di
un’azienda);
– “dieci euro sono sufficienti?”
– criterio: il bene o servizio da acquistare
• Sufficienza “relativa” o “normale”, ossia
scolastica
– “mio figlio è sufficiente?”
– criterio: le attese dell’insegnante.
Conoscenza delle lingue...
• Ottima...
• Sufficiente...
• Scolastica...



Scale di valutazione
• La “scala di valutazione generale”
secondo B.J. CARROLL, Testing
Communicative Performance, Oxford,
Pergamon, 1980.
• Il two-tier system e le certificazioni.
9. Utente esperto.
• Comunica con autorevolezza, accuratezza
e stile. Completamente a proprio agio
nell'inglese idiomatico e specialistico.
8. Utente ottimo.
• La presentazione dell'argomento è chiara
e logica con buono stile e una chiara
percezione degli indicatori di
atteggiamento. Si avvicina spesso alla
competenza bilingue.
7. Utente buono.
• Sa affrontare la maggior parte delle
situazioni in un ambiente anglofono.
Lapsus occasionali e limitazioni nel
linguaggio non impediscono la
comunicazione.
6. Utente competente.
• Malgrado sappia far fronte alla maggior
parte delle situazioni che probabilmente
dovrà affrontare, è un po' carente nella
scorrevolezza (fluency) e nell'accuratezza
e occasionalmente incorrerà in
fraintendimenti o errori significativi.
5. Utente modesto.
• Sebbene in genere riesca a comunicare,
spesso usa un linguaggio non accurato o
improprio.
4. Utente marginale.
• Manca di stile, scorrevolezza e
accuratezza; non è facile comunicare con
lui, l'accento straniero e la scarsa
padronanza del codice provocano
fraintendimenti. In genere se la cava
senza gravi intoppi.
3. Utente estremamente
limitato.
• Non possiede una conoscenza operativa
della lingua dell'uso quotidiano, ma è
migliore di un principiante assoluto. Né le
abilità produttive né quelle ricettive
permettono una comunicazione
continuativa.
2. Utente intermittente.
• Esecuzione ben al di sotto del livello di
conoscenza operativa della lingua dell'uso
quotidiano. La comunicazione si instaura
solo sporadicamente.
1/0. Non utente.
• Può non riconoscere con sicurezza quale
lingua si stia usando.
Descrittori Produzione Scritta A
• A1 - So scrivere una breve e semplice
cartolina, per es. per mandare i saluti dalle
vacanze. So riempire moduli con dati
personali ad es. il mio nome, la nazionalità e
l'indirizzo sulla scheda di registrazione di un
albergo.
• A2 - So scrivere semplici appunti e brevi
messaggi su argomenti riguardanti bisogni
immediati. Riesco a scrivere una lettera
personale molto semplice, per es. per
ringraziare qualcuno.
Descrittori Produzione Scritta B
• B1 - So scrivere semplici testi coerenti su
argomenti noti o di mio interesse. So
scrivere lettere personali esponendo
esperienze e impressioni.
• B2 - Sono in grado di scrivere testi chiari e
articolati su un'ampia gamma di argomenti
che mi interessano. Sono capace di scrivere
saggi e relazioni, fornendo informazioni e
ragioni a favore o contro una determinata
opinione. So scrivere lettere mettendo in
evidenza il significato che attribuisco
personalmente agli avvenimenti e alle
esperienze.
Descrittori Produzione Scritta C
• Sono in grado di esprimermi sviluppando
analiticamente il mio punto di vista in testi chiari e
ben strutturati. Scrivo lettere, saggi e relazioni
esponendo argomenti complessi, evidenziando i
punti che ritengo salienti. Sono in grado di scegliere
lo stile adatto ai lettori ai quali intendo rivolgermi.
• Sono in grado di scrivere testi chiari, scorrevoli e
stilisticamente adeguati. Scrivo lettere, relazioni e
articoli complessi e supporto il contenuto con una
struttura logica efficace che aiuti il destinatario a
identificare i punti salienti da rammentare. Sono
capace di scriver riassunti e recensioni di opere
letterarie e saggi professionali.
Errore e Sbaglio
• I termini NON sono sinonimi nemmeno
nella lingua italiana corrente: si può fare
qualcosa per errore o per sbaglio, tuttavia
si può solo indurre in errore ma non
*indurre in sbaglio.
• Le co-occorrenze e la prosodia semantica
– compiere vs commettere / in caso di vs nel
caso di
• In Glottodidattica...
L’errore
• a) Si riferisce alla competence e quindi è
sistematico;
• b) Ha bisogno di interventi esterni e
espliciti per essere corretto;
• c) L’insieme degli errori rivela il livello di
interlanguage raggiunto e, potenzialmente,
il grado di fossilizzazione.
Lo sbaglio
• a) Si riferisce alla performance e quindi è
occasionale;
• b) Per definizione, può essere corretto da
chi l’ha commesso, purché se ne accorga;
• c) La frequenza degli sbagli può essere
indice di uno stato ansioso in chi parla o
scrive.
Corollario fondamentale
• Qualora un dato elemento venisse
esaminato una sola volta in un test:
• se la risposta è errata, non sapremo mai se si
tratta di un errore o di uno sbaglio;
• ma anche una risposta corretta potrebbe
nascondere problemi di competence, con una
performance “giusta per sbaglio”;
– [errore palese e errore nascosto]
È accaduto in una Scuola Media
• Alcuni studenti hanno meritato un giudizio
nettamente positivo sulla base delle
risposte date a un questionario ma hanno
rivelato gravi lacune nella comprensione
del testo quando è stato chiesta la
retroversione del brano su cui era basato il
questionario.
– (segue)
C’è poca scelta …
• Se si segue l’ordine
del brano
• la sequenza facilita il
ritrovamento delle
risposte giuste, “a
intuito”
• Se non si segue
l’ordine del brano
• si procede in modo
innaturale e si
inseriscono difficoltà
artificiose
La legge del non-reciproco
(variante della “legge di Murphy”)
• Se un test o una prova strutturata
palesano errori, ci sono problemi di
apprendimento.
• Se invece non palesano errori, i problemi
potrebbero esserci ugualmente.
Genesi degli errori / 1
• a) transfer interlinguistico
errori di “interferenza”:
*the goods boys
*le chaleur, le méthode
*die Fräulein
Genesi degli errori / 2
b) transfer di apprendimento
errori di ipergeneralizzazione:
*who did arrive?
*speak you English?
•
•
•
•
Chi risponde dà una risposta
Chi propone fa una proposta
…ma chi dispone non dà una *disposta
…e soprattutto chi suppone non… osta
Genesi degli errori / 3
c) strategie didattiche, strategie di
apprendimento della L2, strategie di
comunicazione
uso eccessivo o scorretto di:
– forme rare
– un solo genere
– forme elementari
• Esito generale: FOSSILIZZAZIONE
Esempi (inglese LS)
• What (happen) ________ there after I had
left?
• My friend Tom can ski vey well; he’s a
small champion
• A friend of mine / Un amico dei miei
• What was Pepys doing when they woke
him up?
• You’ve written a romance