Problemi e tecniche del testing
online
(parte III)
Gianfranco Porcelli
Pavia, 10 febbraio 2010
1
Quali sono i criteri per un’interfaccia
efficace e intuitiva dei test online?
• Analogia con i test carta-matita;
• adozione di procedure del tutto consuete
per chi usa il computer;
• evidenza e chiarezza delle istruzioni (di
norma, in L1).
• [risponde anche alla domanda su Quali
problemi rispetto al cartaceo?]
2
Un progetto di testing online deve essere
gestito per singola lingua oppure ci sono tanti
aspetti comuni che possono essere condivisi?
• Dobbiamo partire da un modello
dell’apprendente, degli stili di
apprendimento e dei suoi bisogni
comunicativi. Da ciò deriva un’ottica
comune rispetto a:
– dosaggio delle diverse abilità, competenze e
aspetti della lingua (dal fonologico al
pragmatico);
– varietà dei tipi di quesiti impiegati;
– ecc. (cfr. ALTE)
3
Che cosa pensa dei criteri di
valutazione “can do” di ALTE?
• Sono un interessante sforzo di definire
meglio, in termini operativi, i descrittori del
QCER
4
Si possono rendere oggettivi i
quesiti con risposte aperte?
• Non è impossibile ma ci sono notevoli
difficoltà:
• Per un computer, due risposte che noi
accetteremmo come entrambe corrette,
“mi amigo” e “Mi amigo.”, sono diverse
in tre punti – maiuscola, spazi e
punteggiatura.
– è difficile prevedere e programmare tutto
– è complicato e distraente costringere
l’esaminato a badare anche a quegli aspetti.
5
10/10 non è una scala [di valutazione]
valida. E 100/100? e 30/30?
• Distinguiamo i voti scolastici dai punteggi
dei test.
• I voti derivano da consuetudini varie e
spesso mischiano profitto e condotta (ora
anche esperienze extrascolatiche). I 10 in
pagella sono più rari dei 30 e, a volte, dei
110 (e lode).
• I punteggi dei test possono essere in
qualsiasi scala – a volte li si riporta a 100
ma solo per comodità di “lettura” e/o
6
comparazione.
Confronto tra le varie certificazioni
(TOEFL, Cambridge, ecc.)
• Preferisco rinviare ai libri scritti in materia
(il tema riguarda il solo inglese).
• Un solo punto importante: la scadenza del
TOEFL
• In genere, si riscontra una tendenza
all’omologazione (tutti tendono a includere
i tipi di prove che la ricerca ha mostrato
essere più efficaci).
7
Come “calibrare” correttamente la
formulazione e i contenuti dei quesiti?
• Problemi di
– conoscenza del mondo
– modelli culturali (p.es. nella lettura delle
immagini)
– rapporti tra intelligenza, “enciclopedia” e
lingua
• Quali sono gli utenti dei Centri Linguistici?
• Le intelligenze multiple
8
Quante intelligenze?
9
Quanto tempo ci vuole per creare
una banca di test online?
• Anzitutto occorrono:
• - un gruppo di coordinamento con esperti di
lingue e di informatica;
• - un numero adeguato di redattori di quesiti per
ognuna delle lingue interessate
• I tempi minimi sono dell’ordine dei mesi; una
banca con test di diverso tipo (ingresso,
attestazione di livello, ecc.) e argomento (p. es.
“lingue speciali” per diverse Facoltà) può
richiedere qualche anno, a meno di disporre di
10
operatori a tempo pieno. [item analysis]
Per quali tipi di test è più utile il
testing online?
• Molti CLI / CLU / CLA se ne servono per
un efficace smistamento iniziale nelle varie
fasce di livello, senza altre prove.
• Per le attestazioni con rilascio di crediti,
spesso sono preliminari a un colloquio
orale.
• Possono essere di padronanza
(attainment) o di livello (achievement); di
lingua comune o di linguaggi
specialistici…
11
Tipi di prove oggettive
• Scelta multipla (singola o plurima)
• Completamento
• Abbinamento o “incastro” (orizzontale o
verticale)
• Riordino di frasi nel testo o di battute di un
dialogo
• Raggruppamento o “Wordpool”
• Concordanze KWIC (?)
12
Tipi di prove oggettive / 2
•
•
•
•
Per tutti i tipi:
non solo grammatica ma anche
- lessico
- usi pragmatici
13
Contatti
• www.gporcelli.it
• [email protected]
14