Text Mapping per sviluppare
test linguistici
Sarah Guth
CEL Università degli studi di Padova
Candidata di dottorato di ricerca Ruhr-Universitaet Bochum
[email protected]
Agenda
 13.00 - 13.30: Descrzione della tecnica del text mapping
 13.30 – 13.45: Come sviluppare test di lettura
 13.45 – 14.15: Prova pratica in gruppi piccoli
 14.15 – 14.30: Come sviulppare test di ascolto
 14.30 – 14.50: Prova pratica in gruppi piccoli
 14.50 – 15.00: Conclusioni
 Ad intervalli - discussioni
2
Sarah Guth - Giornata di Studio Testing -Verona
29/09/2009
Iniziamo da voi…
 Come fate di solito per sviluppare task e item dei vostri test?
 Dove cercate i testi? Sono autentici?
 Come fate a scegliere i ‘punti’ da ‘testare’ nel testo, cioè quali
criteri usate?
 Lavorate da soli o in gruppo?
 Fate controllare i vostri item da altri colleghi? Studenti?
Nessuno?
 Quanto tempo ci mettete?
3
Sarah Guth - Giornata di Studio Testing -Verona
29/09/2009
Cosa dicono gli esperti?
Troppo spesso nella costruzione di un test la decisione
riguarda a cosa testare resta all’individuo che scrive il test.
Questo può essere problematico e, per esempio, può portare
ad una situazione come quella descritta da Urquahart e Weir
(1998):
Troppo spesso chi costruisce un test ci mette molto tempo a leggere e a
ri-leggere i testi e la loro comprensione si approfondisce sempre di più
e si arriva a livelli di significato sempre più profondi. Poi danno ai
candidati 20 minuti, più o meno, per raggiungere lo stesso livello di
comprensione in condizioni di testing (sotto stress). Questo,
ovviamente, non ha nessun senso.
4
Sarah Guth - Giornata di Studio Testing -Verona
29/09/2009
Processo iterativo
1. constructs e specifiche
2. trovare i testi
7. controllo degli items, tasks,
e constructs
6. analisi dati
5
3. text mapping
4. creazione test
5. somministrazione
test
Sarah Guth - Giornata di Studio Testing -Verona
29/09/2009
1. Constructs e specifiche
CEFR ‘can do’ statements
contesto universitario
dominio/sfera
tipo di testo (dove sono repiribili, lunghezza)
tipo di skill / sub-skill
tipo di task (max. 20 items)
modalità su computer e tempi
6
Sarah Guth - Giornata di Studio Testing -Verona
29/09/2009
1. Constructs & specifiche
7
Sarah Guth - Giornata di Studio Testing -Verona
29/09/2009
Processo iterativo
1. constructs e specifiche
2. trovare i testi
7. controllo degli items, tasks,
e constructs
6. analisi dati
8
3. text mapping
4. creazione test
5. somministrazione
test
Sarah Guth - Giornata di Studio Testing -Verona
29/09/2009
2. Selezione dei testi
 E’ individuale
 Bisogna considerare:
Setting authenticity as a criterion raises
Per quale tipologia
di task si vuole usare il testo?
important pragmatic and ethical
Le fonti daquestions
utilizzare, in
Internet?
In-house?
language
testing. Lack of
authenticity
in sfera
the material
method
La natura dei
testi, per es.
pubblicaor
o privata?
used
in a test
the
La lunghezza, si può
tagliare?
Seweakens
sì come? Rimane
‘fedele’ all’originale
generalizability of results. Any language
e autentico?test is by its very nature inauthentic.
 Difficoltà lessicale del testo,
come1985)
si decide? Si possono cambiare
(Spolsky,
parole per semplificare un testo? copyright?




- creative commons
- written requests for ‘educational use’
- in-house recordings?
9
Sarah Guth - Giornata di Studio Testing -Verona
29/09/2009
Processo iterativo
1. constructs e specifiche
2. trovare i testi
7. controllo degli items, tasks,
e constructs
6. analisi dati
10
3. text mapping
4. creazione test
5. somministrazione
test
Sarah Guth - Giornata di Studio Testing -Verona
29/09/2009
Perché fare text-mapping?





11
E’ un testo che si
presta
una
Capire se i testi trovati portano gli studenti a svolgere
il ad
tipo
lettura attenta
Quali contenuti di
di attività (skill) che un dato
task
dovrebbe
testare,
per es.
oppure
ad una
questo testo mi
lettura veloce?
skimming, search reading,aspetterei
ecc. che lo
studente dovesse Quanto vorrei che
Meglio identificare i contenuticapire?
in un datocapissero
testo ilche
passato
Quello che a me
dovrebbero
essere usati per testare un datoremoto!
skill;Ma è
sembrava
davvero
Evitareimportante
i punti dadi vista idiosincratici dei singoli
costruttori
di
importante
in
testare è quello
questo testo?
item;che pensava anche
la mia collega?
Arrivare
ad un consenso
delle idee principali e degli dettagli
Allora…quanto
importanti di un testo;tempo ci vorrebbe
effettivamente per
Fornire un ‘benchmark’
per il tempo richiesto per svolgere il
svolgere questo
task?
task.
Sarah Guth - Giornata di Studio Testing -Verona
29/09/2009
3. text mapping
chi ha scelto il testo indica lo skill per il testo
leggere o ascoltare in gruppi di 3-5
accettare solo i punti della maggioranza (N-1)
assicurarsi che il testo sia adatto al test method
creare gli items e archiviarli in
12
Sarah Guth - Giornata di Studio Testing -Verona
29/09/2009
Diversi tipi di lettura (Rita Green, Padova, 2006)
13
Lettura Globale
Lettura Locale
Lettura
Veloce e
Selettiva
skimming:
leggere velocemente un testo senza
soffermarsi sui dettagli in modo selettivo
per stabilire il tema del discorso
search reading:
leggere velocemente un testo in modo
principalmente selettivo per trovare e
capire informazioni rilevanti ad esigenze
specificate
scanning:
leggere velocemente un testo per
trovare informazioni specifiche,
simboli, cifre, date.
Lettura
Attenta
capire un testo:
leggere attentamente per stabilire una
comprensione accurate delle idée principali
espresso in maniera esplicita e per dedurre
un significato propositivo (“propositional”)
capire il lessico:
cercare di sfruttare il contesto
immediate, e a volte quello più
esteso, per dedurre il
significato di una parola
Sarah Guth - Giornata di Studio Testing -Verona
29/09/2009
Tocca a voi: lettura B1 inglese
5. I can find and understand relevant information in everyday material, such
as standard letters, brochures and short official documents.
7. I can scan longer texts in order to locate desired information, and gather
information from different parts of a text, or from different texts in order to
fulfil a specific task.
Job ads - Vacation brochures - Films/entertainment – Recipes – Restaurants Travel guide – Accommodation
INTERNET
scanning: leggere velocemente un testo per trovare informazioni specifiche,
simboli, cifre, date.
Multiple multiple matching MMM
3-4 texts
10 questions, each one to match to one of the texts, i.e. each text can be used
more than once
(half point each question)
14
Sarah Guth - Giornata di Studio Testing -Verona
29/09/2009
Tocca a voi: text-mapping
Immaginate che volete fare una vacanza. Che tipo di
informazioni cercherete in Internet?
2. Leggete velocemente i 3 testi proposti sottolineando le
informazioni ‘chiavi’ che cercate.
3. In gruppi di 5 persone, confrontate quello che avete sottolineato
e identificate SOLO i punti che N-1 hanno sottolineato.
4. Scrivete 10 frasi/affermazioni che si riferiscono alle
informazioni sottolineate. Ciascun frase deve riferirsi ad UN
SOLO TESTO. (Se avete qualche difficoltà con l’inglese, scrivete
pure le frasi in italiano.)
1.
15
Sarah Guth - Giornata di Studio Testing -Verona
29/09/2009
Il test sviluppato a Padova
SEARCH READING/SCANNING- Lettura veloce per la ricerca di
informazioni specifiche
Legga le affermazioni e abbini ognuna a uno dei testi sottostanti. Ogni
testo verrà abbinato a più affermazioni.
e.g.You can reach the beach on foot. A
1. There is a separate swimming pool for kids. C
2. You can arrive on a Wednesday. C
3. You can grill food outside. C
4. There is only one bathroom. A
5. There is satellite TV. C
6. There is a safe place for a car. B
7. The temperature in the flat is regulated. B
8. No smoking allowed. B
9. An all-female group would not be accepted. A
10. You have to pay in full two months before arriving. A
16
Sarah Guth - Giornata di Studio Testing -Verona
29/09/2009
Linguaggio parlato vs scritto
 Il linguaggio orale presenta maggiori pause/esitazioni/
ripetizioni /false partenze/correzioni/
Bisogna ‘correggere’ o ri-intercalari/
un brano audio
ripensamenti sia a livelloregistrare
grammaticale
che lessicale
autentico?
 Il linguaggio orale contiene espressioni dialettali/
slang/colloquialismi vs il linguaggio scritto,
che‘standard
Cosa vuol dire
dialect’ o addirittura ‘madrecontiene strutture più formali/corrette
lingua’?

17
Ci possono essere argomenti
Il linguaggio
caratterizza per
sensibiliparlato
o voci chesi
‘evocano’
per lo studente?
emotivo edistrazioni
personale
e per una minore
Sarah Guth - Giornata di Studio Testing -Verona
il coinvolgimento
precisione
29/09/2009
Che cosa rende difficile l’ascolto?
 Velocità di produzione
 Vocabolario sconosciuto
 Rumori di sottofondo
 Sintassi complessa
Si parla tanto di autenticità. Ma
cos’è autentico? Cosa facciamo noi
ascoltatori in situazioni
‘autentiche? Quindi cosa
dovremmo aspettarci dagli nostri
studenti? Si torna al construct?
 Numero degli interlocutori
 Timbri molto simili quando ci sono 2+ voci
 Discussione:
 quante volte deveono ascoltare?
 ci devono essere ripetizioni? E pause?
 bisogna controllare i vocaboli?
 autentico o no?
18
Sarah Guth - Giornata di Studio Testing -Verona
29/09/2009
Diversi tipi di ascolto (Rita Green, Padova, 2006)
Ascolto
Selettivo
Ascolto
Attento
19
Ascolto Globale
Ascolto per il senso
generale: ascoltare in maniera
selettiva per identificare
l’argomento generale [globale]
del discorso
Ascolto di ricerca (search
listening): ascoltare in maniera
selettiva per informazioni nello
stesso campo semantico di item
già letti/sentiti
Ascolto Locale
Capire un testo: ascoltare
attentamente per capire le idee
principali e [ove possibile/
necessario] inferire il significato
Capire il lessico:
Elaborare il contesto immediato e, a
volte, quello più largo per dedurre
il significato di una parola
sconosciuta
Sarah Guth - Giornata di Studio Testing -Verona
Ascolto per dettagli (specific
details): ascoltare in maniera
selettiva per trovare cifre, date,
nomi, luoghi, ecc.
29/09/2009
Fattori da considerare nella
progettazione di un test d’ascolto
 Contenuti
 fonte
 argomento
 lunghezza
 Autenticità
 scritto e letto vs. non-scritto




livello di ridondanza
livello di rumori di sottofondo
numero di volte che si può ascoltare
audio vs. video vs. speaker “dal vivo”
 Text Mapping
 dall‘audio o dal transcript?
20
Sarah Guth - Giornata di Studio Testing -Verona
29/09/2009
Tocca a voi: ascolto A2 e B1 italiano
A2
8. I can follow changes of topic in factual TV new items and form an idea of
the main content.
Ascolto per il senso generale
Multiple Response: Ascolterà 4 annunci radiofonici. Scelga un argomento (tra
gli 8 proposti) per ogni annuncio.
B1
5. I can catch the main elements of radio news bulletins and recorded audio
material on familiar topics delivered in clear standard speech.
Ascolto di ricerca (search listening)
Multiple Matching: Ascolterà 5 brevi testi radiofonici e dovrà abbinare una
frase riassuntiva a ciascun testo (una frase non verrà abbinata a nessun testo).
21
Sarah Guth - Giornata di Studio Testing -Verona
29/09/2009
Fonte per l’ascolto
22
http://it.wikinews.org/wiki/File:WNItaliano2407082100.ogg
Sarah Guth - Giornata di Studio Testing -Verona
29/09/2009
Tocca a voi: text-mapping
1.
2.
3.
4.
Ascoltate i brani. Prendete appunti sulle idee principali di ciascun brano.
Confrontate i vostri appunti. Cercate di identificare i punti che avete in
comune (sempre N-1) per ciascun brano.
A2: identificate delle categorie per i 5 brani più altre 3 categorie ‘distrattori’
B1: in base ai punti che avete in comune, in gruppi scrivete delle frasi
riassuntive per ciascun brano e scrivete una frase ‘distrattore’.
audio
23
durata
A2 - categoria B1 – idea principale
it_bi_a2_traccia_1 1’05”
Meteo
Diastro naturale
it_bi_a2_traccia_2 1’05”
Cronaca
Bimba salva
it_bi_a2_traccia_3 0’58”
Cronaca
Edificio abbatuto
it_bi_a2_traccia_4 1’35”
Sport
Incontro sportivo
it_bi_a2_traccia_5 1’05”
Meteo
Bollettino meteo
Sarah Guth - Giornata di Studio Testing -Verona
29/09/2009
Consigli conclusivi
 Lavorate in gruppo
 si può lavorare anche a distanza
 bisogna stabilire e rispettare scadenze per almeno una sessione di
text-mapping alla settimana
 identificate colleghi o studenti che possono dare feedback
 Archiviate tutto
 create uno spazio online (e.g. Google Docs)
 testi, text-mapping, domande, feedback
 memo settimanali
 Codificate tutto
 create dei codici per identificare tutto il materiale
24
Sarah Guth - Giornata di Studio Testing -Verona
29/09/2009