PIANO DI INFORMAZIONE E FORMAZIONE SULL’INDAGINE OCSEPISA E ALTRE RICERCHE NAZIONALI E INTERNAZIONALI
Seminario provinciale rivolto ai docenti della scuola secondaria di primo e
secondo grado
Valutazioni nazionali e internazionali: finalità ed esperienze a confronto
a cura di Maria Gabriella de Judicibus ( Team 30)
Presidio Lecce – IISS “A. de Pace”- A.S. 2011-2012
Valutazione esterna degli apprendimenti: fattori della
diffusione - 1
 Nel secondo dopoguerra si è verificata l’ espansione dei sistemi
d’istruzione a carico della spesa pubblica
 I risultati negativi hanno messo in discussione la relazione
semplice e diretta fra risorse investite nell’istruzione (input) e
risultati ottenuti (output) e conseguentemente una politica
scolastica basata sul semplice aumento della spesa
 La ricerca di soluzioni ha favorito il passaggio da modelli
burocratici di governo della scuola a modelli “postburocratici”, decentralizzando i poteri e le competenze ( la
scuola dell’autonomia … )
Valutazione esterna degli apprendimenti: fattori della
diffusione - 2
 L’istruzione di massa per essere davvero democratica deve
garantire la confrontabilità dei voti scolastici e dei titoli di
studio all’interno di un paese attraverso la trasparenza sul
valore di titoli e certificazioni,
 Questa esigenza è resa più forte dalla apertura dei confini e
dalla conseguente necessità di favorire la mobilità della forza
lavoro e il riconoscimento delle qualificazioni nel mercato
comune
L’Accountability delle scuole
I sistemi di accountability sono uno strumento per raccogliere
sistematicamente informazioni sull’operato di ciascuna scuola e per
dare alle stesse scuole e ai “portatori d’interesse” (amministratori,
utenti, società in generale) informazioni utili per tenere sotto controllo
queste differenze.
Perché si possa parlare dell’esistenza di un sistema di Accountability
è necessaria la compresenza di due elementi (Hanushek, 2002):
 la pubblicità ( intesa come oggettiva comunicazione) dei risultati
di apprendimento delle singole scuole
 l’assunzione di responsabilità dei risultati degli alunni da parte
delle singole istituzioni scolastiche
le indagini internazionali
negli ultimi anni, il processo di valutazione degli
apprendimenti, si è avvalso sempre di più dei
risultati e dell’utilizzo degli strumenti delle
indagini comparative internazionali in termini di
riflessione ed intervento formativo .
Perché la valutazione nelle indagini
internazionali si basa sulla
misurazione di livelli?
Cosa ci dicono e cosa non ci
possono dire le indagini
internazionali?
perché misurare
La letteratura dimostra che il possesso di alcune
discipline ha un ruolo di primo piano
nell’avanzamento individuale e dell’intera società
 Ciò comporta maggiore attenzione per tali
discipline ritenute fondamentali e trasversali nel
processo cognitivo (lettura, matematica/scienze)
 Obiettivo strategico di Lisbona: diminuzione della
percentuale dei quindicenni con scarsa capacità
di lettura
Literacy
“Literacy” è un termine tecnico, utilizzato da IEA ed
OCSE per identificare la competenza nell’utilizzo
funzionale della lingua e dei linguaggi nel problem
solving che è alla base di ciascun processo
cognitivo e dunque del successo formativo:
scolastico, personale, professionale.
Indagini internazionali e nazionali: diversi obiettivi
Indagini internazionali: di sistema
 offrono dati sulle prestazioni degli studenti comparabili a livello
internazionale
 permettono di individuare punti di forza e di debolezza del proprio
sistema scolastico
 ricercano fattori antecedenti e correlati al profitto scolastico che
possono influenzarlo in varia misura e in base a diversi contesti
Indagini nazionali: dal sistema alle singole scuole
 accertano i livelli di apprendimento degli studenti italiani in Italiano e
in Matematica
 offrono dati comparabili a livello nazionale, regionale e locale, a
livello di singola scuola e classe
Le indagini internazionali
IEA (International Association for the Evaluation of Educational
Achievement)– PIRLS (Progress in International Reading
Literacy Study)
 IEA (International Association for the Evaluation of Educational
Achievement)– – TIMMS (Trends in International Mathematics
and Science Study)
 OCSE
 OCSE( Organiz. per Cooperaz. Sviluppo Economico)– PISA
(Programme for International Student Assessment)
 OCSE ( Organiz. per Cooperaz. Sviluppo Economico)– ALL
(Adult Literacy and Life Skills)
le indagini internazionali –
IEA PIRLS
 è un progetto internazionale promosso dalla IEA (International
Association for the Evaluation of Educational Achievement) per
iniziativa di ricercatori e pedagogisti
 misura i livelli di comprensione della lettura di alunni al
quarto anno di scolarità (quarta classe della scuola primaria)
 effettua rilevazioni periodiche ogni 5 anni (2001, 2006 e …
2011)
 prevede prove con domande a scelta multipla; domande a
risposta aperta breve; domande a risposta aperta estesa
 utilizza test cognitivi e questionari rivolti agli studenti, alla
famiglia, agli insegnanti e alle scuole
 ha coinvolto 40 paesi nel 2006
le indagini internazionali –
IEA TIMSS
 è un progetto internazionale promosso dalla IEA (International
Association for the Evaluation of Educational Achievement) per
iniziativa di ricercatori e pedagogisti
 rileva gli apprendimenti degli studenti in matematica e in
scienze di alunni sia al quarto sia all’ottavo anno di scolarità
(quarta classe della primaria e terza classe della secondaria di
primo grado)
 effettua rilevazioni periodiche degli apprendimenti ogni 4 anni
(1995, 1999, 2003, 2007 e … 2011)
 prevede prove con domande a scelta multipla; domande a
risposta aperta breve; domande a risposta aperta estesa
 utilizza questionari rivolti agli studenti, agli insegnanti e alle
scuole
 ha coinvolto 59 paesi nel 2007
le indagini internazionali –
OCSE PISA
 è un progetto internazionale promosso dall’OCSE (Organizzazione
per la Cooperazione e lo Sviluppo Economico) per iniziativa dei
governi, ed è gestito e coordinato da un consorzio tecnico
internazionale
 Misura l’acquisizione da parte di quindicenni scolarizzati di
alcune competenze giudicate essenziali per svolgere un ruolo
consapevole e attivo nella società, negli ambiti della lettura, della
matematica e delle scienze
 approfondisce, ogni tre anni, uno in particolare dei tre ambiti di
competenza (2000 e 2009: lettura; 2003 e 2011: matematica; 2006:
scienze)
 prevede prove con quesiti a scelta multipla semplice e complessa e
quesiti aperti a risposta univoca e articolata
 utilizza questionari per rilevare informazioni di contesto, rivolti
agli studenti, alle scuole e ai genitori
 ha coinvolto 67 paesi nel 2009
le indagini internazionali –
OCSE ALL

è un progetto promosso dall’OCSE (Organizzazione per la
Cooperazione e lo Sviluppo Economico), sulla scorta delle
precedenti indagini IALS e SIALS (International Adult Literacy
and Life Skills e Second International Adult Literacy and Life
Skills)

ha come focus la rilevazione del possesso e la distribuzione di
competenze fondamentali della popolazione adulta

coinvolge un campione probabilistico rappresentativo della
popolazione residente di 16-65 anni

prevede prove per rilevare la competenza alfabetica funzionale e
prove più complesse, sia per la qualità dei contenuti che per le
modalità di presentazione dei formati ovvero prove di numeracy e
di problem solving

utilizza interviste sul campo e prevede un questionario per
ricostruire il profilo socio-culturale del rispondente

è stata svolta in Italia e in altri 5 paesi tra il 2001 e il 2006
le indagini internazionali
le indagini comparative hanno per obiettivo principale
quello di consentire uno studio dei sistemi di istruzione
in termini di prestazioni degli studenti, misurati secondo
un quadro di riferimento comune a livello internazionale
contenente:
“oggetti” delle rilevazioni
 costrutti e variabili utilizzati per la costruzione dei
questionari
alcuni problemi aperti
 Ogni misurazione ha alla base scelte precise rispetto
alle variabili individuate e ai costrutti utilizzati
 Non si può chiedere alle indagini internazionali
quanto è fuori dai loro obiettivi e dalla loro logica
(comparazione fra diversi sistemi)
 Necessità di confrontare questi risultati con quelli
delle rilevazioni nazionali, di sviluppare
approfondimenti mirati, di affiancare alle indagini su
larga scala altre metodologie di indagine e di ricerca
le indagini internazionali
IEA
confronto tra curricoli (opportunità di
apprendimento )
e caratteristiche dei sistemi scolastici che
influiscono sul livello di prestazione degli
studenti
PISA
confronto fra esiti (lettura, matematica,
scienze) ritenuti essenziali per i sistemi
educativi/le società dei paesi appartenenti
all’OCSE
e indicatori di output (progetto INES sugli
indicatori di qualità - Education at a
Glance)
La valutazione in Inghilterra
1. VALUTAZIONE DEGLI ALUNNI
La valutazione certificativa degli alunni è effettuata mediante esami nazionali
esterni condotti da centri specializzati al termine della scuola secondaria
obbligatoria (esami di GCSE) e dell‘istruzione secondaria, generale o tecnicoprofessionale (esami di GCE-A level/As level e prove di GNVQs). Nel corso del
precedente itinerario scolastico la valutazione è affidata alle singole scuole e il
passaggio da un anno al successivo è automatico.
2. VALUTAZIONE DELLE SCUOLE (Accountability)
 Verifica sistematica, a cura dell'OFSTED, dei livelli di apprendimento degli alunni di
tutte le scuole pubbliche o private sovvenzionate, mediante prove standardizzate di
profitto in Inglese, Matematica e Scienze al termine di ciascuno dei quattro Key
Stages in cui il curricolo nazionale è scandito, a 7, 11 e 14 anni (la fine del quarto Key
Stage coincide col termine dell'istruzione obbligatoria: 16 anni).
 Compilazione annuale di graduatorie pubbliche (league tables) delle scuole basate sui
risultati dei test e degli esami nazionali.
 Ispezione periodica (inizialmente ogni 4 anni, poi ogni 6) di ogni scuola da parte
di una squadra di ispettori dipendenti dall'OFSTED con redazione di un rapporto
finale, anch’esso reso pubblico. L’eventuale conclusione negativa del rapporto
comporta conseguenze per le scuole.
La valutazione in Francia
1.VALUTAZIONE DEGLI ALUNNI:
 Valutazione da parte degli insegnanti su una scala da 1 a 20.
 Orientamento vincolante, dato dal preside, per il passaggio dal Collège al Lycée.
 Esami nazionali di stato al termine del Collège (Brevet) e del Lycée (Baccalaureat).
2.VALUTAZIONE DI SISTEMA:
 Pubblicazione di indicatori dell'istruzione (Etat de l'école; Geographie de l’école)
 Verifica mediante prove oggettive gestite dalla DPD dei livelli di apprendimento in
Francese e Matematica:
– al 2° anno delle elementari e al primo anno del Collège su tutti gli alunni
con finalità pedagogica
– alla fine della scuola elementare e del Collège su campione statistico con
finalità di monitoraggio del sistema ed elaborazione dei dati a livello
nazionale e regionale.
3.AUTOVALUTAZIONE DELLE SCUOLE:
È basata sul sistema di Indicatori IPES (Indicateurs de Pilotage des Etablissements du
Secondaire):
1. Indicatori di popolazione
2. Indicatori di risorse e mezzi
3. Indicatori di risultati
La valutazione negli Stati Uniti
1.VALUTAZIONE DEGLI ALUNNI:
La valutazione è affidata alle singole scuole. Non esistono esami nazionali. Le
università decidono l’ammissione degli studenti che chiedono di frequentarle sulla
base di propri criteri, tra cui i risultati del SAT (o dell’ACT).
2.VALUTAZIONE DI SISTEMA:
È realizzata mediante il NAEP (National Assessment of Educational Progress): è un
programma di valutazione continua, mediante prove standardizzate, di "ciò che gli
studenti americani conoscono e sono in grado di fare" in varie materie. Dal 1969 le
rilevazioni sono svolte sistematicamente in Arte, Educazione civica, Geografia,
Matematica, Lettura, Scrittura, Scienze, Storia degli US su campioni rappresentativi
a livello nazionale di studenti (K-12) di scuole pubbliche e private della 4°, 8° e 12°
classe. Dal 1990 i risultati delle rilevazioni sono forniti anche per i singoli stati
dell'Unione.
3.VALUTAZIONE DELLE SCUOLE (Accountability):
È stata introdotta con il No Child Left Behind Act (2002): gli stati sono tenuti a
verificare i risultati di apprendimento degli studenti in inglese, matematica e scienze,
secondo cadenze stabilite. Ogni anno le scuole devono dimostrare che gli alunni,
complessivamente considerati e per principali gruppi etnici, hanno realizzato un
progresso “adeguato”. Se ciò non accade, vi sono conseguenze.
E l’Italia? Quali informazioni ci danno i risultati ?
Risultati
I risultati conseguiti dagli studenti italiani in termini di
comparazione e rispetto alle medie internazionali
sono:
 buoni a livello di scuola primaria (con alcune
eccezioni)
 meno buoni a livello di scuola secondaria di primo
grado
 decisamente non buoni a livello di scuola secondaria
superiore
Sostanziale “stabilità” nel tempo di questi risultati
E l’Italia? Quali informazioni ci danno i risultati ?
 Ampie differenze tra i livelli di prestazioni degli studenti
(varianza maggiore del 50%) in confronto con gli altri paesi
(OCSE 33,8%)
 Differenze legate alla frequenza di scuole diverse e a tipi di
scuola diversi più che a differenti livelli interni alle scuole ( i
bravi al liceo, i meno bravi al tecnico e i ciucci al professionale?!?!)
 Scarsa incidenza dell’indice ESCS sulla varianza all’interno delle
scuole: nei vari tipi di scuola e nelle singole scuole i livelli socioeconomico-culturali degli studenti tendono ad essere abbastanza
omogenei (i bravi sono anche ricchi, i ciucci sono anche poveri?!?!)
Purtroppo … è così!
I livelli di prestazione degli studenti italiani variano in rapporto:
 alle macroaree geografiche (indipendentemente dal livello
scolastico): il Nord-Est ha risultati nettamente migliori
 nella scuola secondaria superiore, al tipo di indirizzo di
studio seguito: i livelli risultano canalizzati in ingresso
sulla base delle differenze socio-economico-culturali
(occupazioni e ai livelli di scolarizzazione dei genitori
degli studenti)
Considerazioni sui risultati delle indagini
Un problema di equità:
Le differenze tra scuole sono maggiori rispetto alle
differenze all’interno delle scuole
 Influenza del tipo di scuola su varianza tra scuole
Italia 26,4%, OCSE 17,8%
 Tipo di scuola + ESCS (studenti e scuole) su varianza tra
scuole
Italia 31,9% OCSE 24,3%
La frequenza di un certo tipo di scuola diventa predittore
di livello
Le reazioni delle scuole all’Accountability
Le scuole possono rispondere in due modi, uno “corretto”:
a)cercando di migliorare la qualità del proprio insegnamento;
e uno “scorretto”:
b)cercando di selezionare gli alunni all'ingresso o in corso d'anno (creamskimming), oppure di escludere il peso sui risultati degli alunni “deboli”
(assegnandoli a programmi di educazione speciale o consigliando di
rimanere assenti il giorno del test).
Quando solo determinati livelli di classe sono oggetto di valutazione, le
scuole possono reagire assegnando ad esse i migliori insegnanti, oppure, se
la prestazione è valutata in termini di percentuale di alunni che raggiungono
o superano un certo livello, concentrandosi sugli alunni vicini alla soglia e
trascurando gli altri.
Per riflettere…
La scienza è fatta di dati
come una casa di pietre.
Ma un ammasso di dati non è scienza
più di quanto un mucchio di pietre
sia una casa.
Henrì Poincaré, La scienza e l’ipotesi, 1902