La lettura e la verifica della comprensione
con particolare riferimento alla scuola
secondaria di primo grado
Centro per la Valutazione e la Certificazione Linguistica (CVCL)
Giuliana Grego Bolli
[email protected]
Università per Stranieri, Perugia, 21 aprile 2015
Questa presentazione in 5 punti
•
Verifica, valutazione, test/prova
•
Qualità nella valutazione linguistica
•
Comprensione della Lettura – quadro di riferimento (Khalifa &
Weir 2009)
•
Prove INVALSI – Linee Guida Nazionali - Quadro di riferimento
della prova di italiano - scuola secondaria di primo grado
•
Rapporto/collegamento fra valutazione esterna e insegnamento
- opportunità o meno di garantire una formazione degli
insegnanti in valutazione, soprattutto in prospettiva linguistica
La Valutazione (non solo linguistica) e il
contesto italiano
• Mancanza di una “cultura” della valutazione
all’interno del sistema educativo italiano
(Valutazione come disciplina e non come parte
indefinita e indistinta della competenza ed
esperienza dell’insegnante)
• Mancanza diffusa di preparazione specifica,
sistematica e professionalizzante degli insegnanti
in questo settore
• Discipline pedagogiche (Pedagogia sperimentale)
• INVALSI (Istituto Nazionale per la Valutazione
del Sistema dell’Istruzione) (valutazione esterna)
Perché?
• Ragioni culturali/filosofiche: opposizione fra
empirismo (anglossassone) e neoidealismo (italiano)
Il processo valutativo (valutazione
linguistica) è di tipo
interpretativo/argomentativo
• Partiamo dalla performance (dato) di uno studente in una
prova
• Questa performance genera un risultato (punteggio, giudizio,
grado, ecc)
• L’interpretazione del risultato e l’uso che ne viene poi fatto
(giustificato su basi teoriche e supportato da evidenze
empiriche) va al di là del dato (limitato esempio di
performance) e si estende a situazioni di uso della lingua
nella vita reale
• Si procede quindi per inferenze e deduzioni
Parole chiave
verifica, valutazione, test/prova
Verifica e Valutazione
• Indicano momenti diversi di un processo
complessivo: processo valutativo
• Sono spesso usati in modo interscambiabile
• Non c’è valutazione senza verifica, anche se ci può
essere verifica senza valutazione
Verifica
• L’accertamento sistematico (che segue principi norme/standard - sia teorici che di buona prassi
condivisi sia dalla comunità scientifica che
professionale) ed organizzato delle
conoscenze/competenze d’uso/abilità (il cosa)
presenti in chi si sottopone alla verifica, vale a
dire nei soggetti da valutare (gli
studenti/apprendenti)
• Parlare di accertamento sistematico di abilità e
competenze significa parlare di metodi (il come)
• I metodi/le tecniche/ i formati, di verifica non
sono ‘neutrali’
• Non esistono metodi “buoni” o “cattivi” in assoluto
Valutazione
• Raccolta sistematica di informazioni (in parte si pensi al contesto scolastico - fornite dalla
verifica) per poter esprimere un giudizio o
assegnare un punteggio
• In entrambi i casi vengono prese delle decisioni
• Valutazione è il momento in cui si prendono delle
decisioni – potere della valutazione –impatto
della valutazione
• La valutazione è il più potente strumento di
comunicazione didattica
Terminologia: Test o prova
standardizzata o esame (singolo momento)
• Nel dizionario della OUP troviamo questa
definizione:
• “Un breve esame di conoscenze o abilità,
che consiste nel rispondere a determinate
domande o nel portare avanti determinate
attività”
Secondo un’accezione più tecnica il
termine test/prova/esame
• È espressione di un metodo per raccogliere
informazioni (legato alla verifica)
• utilizza procedure standard per la sua costruzione
• ha come obiettivo accertare conoscenze o abilità
• è sempre relativo a ‘qualcosa’ che a seconda delle
circostanze può essere: la storia, la geografia… la
competenza linguistica
• questo ‘qualcosa’ deve essere definito e descritto
(quanto meno “essere nella mente” di chi costruisce il
test)
• Costruire test/prove ci aiuta a riflettere su cosa
vogliamo verificare e indirettamente sul nostro stesso
insegnamento
Per chi è importante la Valutazione
(linguistica)? Chi è coinvolto nel
processo valutativo?
Una lista dei possibili utenti (stakeholders)
Utenti “tecnici” vale a dire chi contribuisce
alla produzione somministrazione e
valutazione di un test o di un esame
 Chi produce test/prove (item writers-test
producers)
 Chi amministra/somministra test/prove (test
administrators)
 Chi corregge test/prove scritte e orali e/o chi
assegna punteggi o formula giudizi
(examiners)
Utenti
 Insegnanti
 Studenti
 Famiglie
 Società
 Istituzioni scolastiche
 Istituzioni governative nazionali ed
internazionali
 Ricercatori/mondo accademico
Gli utenti (stakeholders)
coinvolti ci invitano a riflettere sulla
responsabilità sociale ed educativa del
processo valutativo e sulla necessità di una
preparazione e formazione professionale di chi
prepara test/prove, di chi li amministra e di chi li
corregge e valuta – garanzia della qualità della
valutazione
L’applicazione di questi concetti alla produzione di
test linguistici costituisce una garanzia di qualità
•
•
•
•
•
•
Validità (validity)
Affidabilità (reliability)
Autenticità (authenticity)
Fattibilità (practicality)
Correttezza (fairness)
Utilità (usefulness)
• Impatto (impact)
• Eticità (ethical test use)
Processo
di
Validazione
di un test
Validità
La Validità riguarda l’interpretazione dei risultati, le
inferenze sui risultati (punteggi, gradi, giudizi) e quindi
l’uso che viene fatto del test e rappresenta,
generalizzando, la vera, più importante qualità di un test
Dalla Validità come concetto teorico e quindi astratto
della prospettiva tradizionale si è passati (fine anni ‘80) a
parlare di Validazione o meglio di processo di
validazione intendendo un’analisi del processo di
produzione di un test che fornisca evidenze a supporto
delle inferenze sui risultati di un test
Affidabilità (Reliability) o validità
dei punteggi (Scoring validity)
La costanza e stabilità dei risultati di un
test/prova/esame (o di sue versioni) attraverso
somministrazione successive.
Concetto tecnico relativo all’assenza di errori di
misurazione, sostanzialmente a come è stato
applicato il metodo di verifica e alle procedure
sia di somministrazione del test sia di correzione
ed attribuzione dei punteggi.
Impatto (Impact)
L’effetto/le conseguenze generato/e da un
test/prova/esame, sia sull’insegnamento (aspetto
educativo-backwash effect), sia sulla società (aspetto
sociale-washback effect). Le conseguenze possono essere
sia positive sia negative.
Il concetto di impatto è considerato parte del processo di
validazione
Comprensione della lettura: possibile
quadro di riferimento
A framework for conceptualising reading test validity
(adapted from Weir 2005)
TEST TAKER CHARACTERISTICS
‐ Physical/physiological
‐ Psychological
‐ Experiential
CONTEXT VALIDITY
SETTING: TASK
‐ Response method
‐ Weighting
‐ Knowledge of criteria
‐ Order of items
‐ Channel of presentation
‐ Text length
‐ Time constraints
SETTING: ADMINISTRATION
‐ Physical conditions
‐ Uniformity of
‐administration
‐ Security
COGNITIVE VALIDITY
COGNITIVE PROCESSES
‐ Goal setting
‐ Word recognition
‐ Lexical access
‐ Syntactic parsing
‐ Inferencing
‐ Establish propositional meaning
‐ Building a mental model
‐ Creating a text level representation
‐ Creating an intertextual representation
‐Monitoring comprehension
LINGUISTIC DEMANDS:
TASK: TASK INPUT AND OUTPUT
‐ Overall text purpose
‐ Writer‐reader relationship
‐ Discourse mode
‐ Functional resources
‐ Grammatical resources
‐ Lexical resources
‐ Nature of information
‐ Content knowledge
RESPONSE
SCORING VALIDITY
‐ Item difficulty
‐ Item discrimination
‐ Internal consistency
‐ Error of measurement
‐ Marker reliability
‐ Grading and awarding
SCORE/GRADE
CONSEQUENTIAL VALIDITY
‐ Washback on individuals in classroom /
workplace
‐ Impact on institutions and society
‐ Avoidance of test bias
CRITERION‐RELATED VALIDITY
‐ Cross test comparability
‐ Equivalence with different versions of the same test
‐ Comparability with external standards
INVALSI: Obiettivi delle Prove
Gli obiettivi delle Prove nazionali sono diversi da quelli delle
altre prove usate nelle rilevazioni condotte annualmente sempre
dall’INVALSI in quanto sono strumento:
• per monitorare il sistema scolastico e l’efficacia didattica nelle singole
scuole
• per valutare gli alunni
Le altre prove servono quindi come monitoraggio del sistema di
istruzione per riportarne i risultati sia a livello nazionale che locale
La comprensione della lettura viene
verificata all’interno della prova di
italiano (al termine della scuola
secondaria I e II grado)
Secondo il Quadro di Riferimento INVALSI ( Linee Guida
Nazionali per il curricolo della scuola secondaria di primo grado) la
prova di italiano è circoscritta a:
• Valutazione della competenza di lettura (intesa come comprensione,
interpretazione, riflessione su e valutazione del testo scritto avente a
oggetto un’ampia gamma di testi, letterari e non letterari)
• Valutazione delle conoscenze e competenze grammaticali (che
svolgono un ruolo importante nei curricoli di italiano della scuola
primaria e secondaria di I e II grado)
Circoscrivendo alla sola comprensione
della lettura…il Quadro di Riferimento
comprende:
• Le competenze sottese: competenza pragmatico testuale, lessicale e
grammaticale
• Il testo come oggetto della lettura, distinto a seconda della situazione
comunicativa , del formato e della tipologia,
• Le modalità di lettura: esplorativa ed orientativa (skimming), selettiva
(scanning), estensiva e intensiva
Gli aspetti di comprensione della lettura che possono
essere oggetto di verifica nella prova (Indicazioni
Nazionali e del Quadro di riferimento )
•
•
•
•
•
saper comprendere il significato, letterale e figurato, di parole ed
espressioni usate nel testo e riconoscere le relazioni (di sinonimia,
antonimia, ecc.) tra parole;
saper individuare informazioni date esplicitamente nel testo;
saper compiere una inferenza diretta, ricavando un’informazione non
presente in modo esplicito nel testo da quanto in esso viene detto o
dall’enciclopedia personale;
saper cogliere le relazioni di coesione testuale (riferimenti anaforici e
cataforici, connettivi, ecc.) e di coerenza testuale (rapporti di gerarchia tra
le informazioni contenute in un testo, legami logico-semantici tra frasi,
ecc.);
saper ricostruire il significato di una parte più o meno estesa del testo,
integrando più informazioni e concetti e/o formulando inferenze
complesse;
Gli aspetti di comprensione della lettura
misurati nella prova
• saper ricostruire il significato del testo nel suo insieme (ad esempio,
individuarne il tema o i concetti principali);
• saper interpretare il testo a partire dal suo contenuto o dalla sua
forma (ad esempio, riconoscere il genere del testo, il suo registro
linguistico, individuarne la funzione o lo scopo, ecc.) andando al di là
di una comprensione letterale;
• saper riflettere sul testo, valutandone il contenuto e/o le
caratteristiche formali e stilistiche.
PROVA NAZIONALE INVALSI di
italiano di III secondaria di primo
grado 2014: struttura e metodi
• Tre parti:
• “la prima costituita da un testo narrativo (56 righe) seguito da 20
quesiti: scelte multiple e domande a risposta aperta;
• la seconda costituita da un testo espositivo (43 righe) seguito da 18
quesiti: scelte multiple e domande a risposta aperta;
• la terza costituita da 10 quesiti di grammatica, sempre scelte multiple
e domande a risposta aperta”.
75 minuti di tempo complessivo
Risultati PROVA INVALSI di III
secondaria di primo grado
• (2010: italiano e matematica) Alunni che hanno ottenuto un
voto insufficiente (4 o 5) sono il 36,6 %
• Alunni che hanno ottenuto un voto molto alto sono il 21,6%.
• I promossi sono stati nel 2010 il 99,5%
Rilevazioni Nazionali 2014: solo comprensione della lettura
• punteggi molto bassi nelle dee macro aree meridionali e
insulari con in aggiunta grande variabilità di risultati (bassimolto bassi)
• punteggi alti nelle due macro aree settentrionali
• punteggi medi al centro
Valutazione - INVALSI insegnamento…
Un passaggio importante …
Scrive Anna Maria Ajello, Presidente INVALSI :
“L’INVALSI ha inoltre l’intenzione di aprire una stagione di
ampia e approfondita consultazione con il mondo della scuola per
rafforzare il ruolo di servizio per le scuole e non di soggetto
chiamato esclusivamente a svolgere un compito di misurazione
sulle scuole.”
Gli insegnanti devono essere
formati/preparati in valutazione?
• E’ innegabile che la valutazione faccia parte del processo di
insegnamento-apprendimento
• Si parla di valutazione come del più importante/efficace
strumento di comunicazione didattica
• E’ stato dimostrato che un insegnante dedica da un terzo alla
metà del suo tempo di lavoro alla valutazione
Vero ma….
• Gran parte degli insegnanti si occupa di valutazione senza
aver appreso in modo sistematico i principi di una valutazione
consapevole, di qualità e teoricamente fondata
• Questo fenomeno è trasversale vale anche nel mondo
anglosassone (Stigging 2007)
Che cosa può significare per un
insegnante avere una preparazione in
valutazione?
• Capire come tenere presenti chiari obbiettivi di
insegnamento/apprendimento
• Capire quali metodi di verifica usare al fine di raccogliere
informazioni affidabili sull’apprendimento degli studenti
• Capire come usarli
• Capire come comunicare risultati significativi e affidabili
indipendentemente dal modo con cui vengono comunicati:
punteggi, gradi, giudizi, ecc
• Capire come usare la valutazione per massimizzare
motivazione e apprendimento, coinvolgendo gli studenti nel
processo valutativo
Ci fermiamo qui….
Grazie!