Un'ardua ascesa non priva di tornanti
Le vicende delle indagini internazionali su vasta scala.
Relazione presentata al Convegno internazionale di Locarno
organizzato dal CIRSE-SUPSI dall’11 al 13 novembre 2015
sul tema :
Confronto tra Svizzera e Italia sugli usi delle prove
standardizzate in ambito educativo
[email protected]
Locarno, 11 novembre 2015
1
Le indagini comparate su vasta scala: cosa sono?
 Sono analisi di dati che comparano gli apprendimenti scolastici
di molteplici persone o oggetti ( dati sugli apprendimenti)
 Un primo problema: non distorcere la comparazione; evitare
classifiche infedeli
 Un secondo problema: estendere il campo della valutazione al di
là degli apprendimenti scolastici
 Si possono effettuare ovunque, a livello internazionale ( PISA),
nazionale( HARMOS),cantonale, distrettuale. La loro caratteristica
è la comparazione. Il problema è dunque metodologico e
organizzativo
Locarno, 11 novembre 2015
2
Cosa implicano?
 Grande capacità organizzativa per compare tra loro
molte scuole, molte classi, molti discenti
 La comparazione che è la chiave di volta della
valutazione scolastica su vasta scala.
Locarno, 11 novembre 2015
3
Perché si compara?
 Per essere giusti nelle valutazioni ossia per misurare
in modo corretto
 Per conoscere meglio la realtà scolastica: la
questione del metro di misura, ossia del termine di
confronto
 Per sapere quale politica scolastica è migliore, per
identificare il sistema scolastico più efficace, più giusto
 Per non danneggiare chi si valuta ( gli studenti, gli
insegnanti, le scuole, i dirigenti secondo un lessico
italiano) quando le valutazioni implicano conseguenze
gravi, rilevanti
Locarno, 11 novembre 2015
4
L’organizzazione della comparazione
 L'organizzazione della valutazione su vasta scala o in
classe è cruciale.
 Occorre essere certi che le stesse condizioni siano
rispettate ovunque, nel tempo e nello spazio. Identiche
modalità per avere comparazioni giuste.
Locarno, 11 novembre 2015
5
Le domande iniziali di ricerca
 Le valutazioni degli studenti nella stessa classe da
parte di uno stesso docente è giusta?
 Se si moltiplicano i valutatori le ingiustizie
diminuiscono? La valutazione di tanti studenti da parte
di molteplici valutatori. Una nuova disciplina sorge nel
corso degli anni Venti del secolo scorso: la
docimologia.
 Più valutazioni di uno stesso lavoro, di uno stesso
compito, di uno stesso test, sono una garanzia di
oggettività? Danno gli stessi risultati ?
Locarno, 11 novembre 2015
6
Pietre d’inciampo
 La nuova pedagogia che appare all’orizzonte nel corso
degli anni Venti del secolo scorso, l'attivismo pedagogico, la
scuola attiva che scommettono sull’attività degli studenti. Si
attenua la correlazione tra insegnamento e apprendimento
 Cosa si valuta e come si valuta nella scuola attiva, nelle
scuole dove l’apprendimento è una scoperta è una
costruzione?
 Si può valutare tutto? Un conto è valutare gli
apprendimenti scolastici, quel che si impara con
l'insegnamento scolastico e un conto è valutare il carattere,
il temperamento, i comportamenti.
Locarno, 11 novembre 2015
7
Preistoria della valutazione su larga scala
 Una pietra miliare: la Conferenza internazionale della
scuola attiva organizzata a Locarno nel 1927
 I problemi sul tappeto:
 Le valutazioni scolastiche tradizionali sono arbitrarie:
come correggerle e renderle giuste?
 L’eliminazione dei voti
 Ma la valutazione scolastica con alta posta in gioco
(« high stake ») non la si puo` del tutto abolire. Quale è il
ruolo della scuola?
Locarno, 11 novembre 2015
8
Una nuova scienza della valutazione :la docimologia
 La docimologia è inventata in Francia da Piéron
(19881-1964) nel 1922.
 Docimologia: dal greco dokim(àzo) = esaminare
 Il problema: rendere oggettiva la valutazione con un
approccio scientifico: esame sistematico degli esami,
varianza inter-individuale e intra-individuale degli
esaminatori, fattori soggettivi di falsificazione dei
giudizi, ecc.
 La docimologia non è valutazione su larga scala
Locarno, 11 novembre 2015
9
Gli anni Trenta del secolo scorso
 Agli albori della scolarizzazione di massa. Si inizia a generalizzare la
scuola media; gli USA all’avanguardia
 Come selezionare in modo giusto i migliori allievi in entrata e in uscita (
per andare al liceo) dal ginnasio ( denominazione usata nel Ticino) ? (
questa è una posta in gioco perché si tratta di decidere quale futuro
avranno gli studenti)

Non si parla ancora di bagaglio minimo, di zoccolo comune delle
conoscenze. La filosofia politica dell’educazione è imperniata sul
riconoscimento dei meritevoli, l’identificazione dei talenti, la scelta degli
studenti dotati. Il sistema scolastico in molti casi è elitario: non a tutti sono
date le stesse opportunità d’apprendimento, la selezione scolastica è
ingiusta perché privilegia studenti di famiglie con SES (statuto economico
sociale) elevato ( le prove migliori di questo stato di cose sono state
prodotte da Bourdieu e dalla sua scuola)
Locarno, 11 novembre 2015
10
La preistoria delle valutazioni su vasta scala: anni Trenta del XX
secolo
 Due iniziative:
 La prima indagine comparata su vasta scala effettuata in Scozia:
100 000 bambini di 11 anni: lo « Scottish Mental Survey » nel
1932, Indagine nazionale, lo stesso giorno, a scuola. Si delinea la
metodologia delle indagini su vasta scala
 Gli scambi scientifici transoceanici alla ricerca di una metodo
convenevole di valutazione: « The International Examination
Enquiry » dal 1931 al 1938
 La Svizzera rappresentata da Piaget e Bovet si ritira nel 1935; la
Germania si ritira dalle discussioni nello stesso anno su ordine di
Hitler; l’Italia non è tra gli invitati
Locarno, 11 novembre 2015
11
Cambio di paradigma
 Si passa dalla valutazione individuale --la questione alla
base della docimologia – alla valutazione del sistema
scolastico o della politica scolastica
 Le preoccupazioni mutano: al centro si colloca la scuola
media, la posticipazione della selezione scolastica, la
creazione della scuola media unica per tutti. Le indagini
internazionali sono al servizio di questo obiettivo politico
 Si confrontano i risultati dei sistemi scolastici per dimostrare
che si puo’ realizzare la scuola media unica, che questo
obiettivo è anche « economicamente compatibile ».
Locarno, 11 novembre 2015
11/11/15
12
Il dopoguerra: gli anni Cinquanta del XX secolo
 Il polo delle discussioni e delle indagini è Amburgo, sede di un Istituto
dell’UNESCO
 Gli attori principali: l’UNESCO, la Svezia, gli Stati Uniti
 Gli incontri annuali dei direttori dei principali laboratori di ricerca sulla
scolarizzazione: (Bloom, Anderson, Thorndike, Husén, Mialeret, Hotyat, De
Landsheere, Visalberghi, ecc.)
 Tutti d’accordo: si devono comparare i sistemi scolastici per identificare i
migliori. La posta in palio: la scuola media unica per dimostrare che la
selezione precoce a 11 anni è ingiusta, che la scolarizzazione universale fino
a 14-15 anni è benefica alla società, che la selezione scolastica con alta posta
in palio puo’ essere posticipata. Qual è l’impostazione della valutazione
scolastica da privilegiare? La valutazione al servizio della politica?
Dell’economia? Degli studenti?
 La competizione tra economie e tra potenze mondiali
Locarno, 11 novembre 2015
13
Il primo studio di fattibilità
 Il prototipo di indagine su vasta scala è sperimentato
tra il 1959 e il 1961
 12 sistemi scolastici ( non ci sono né l’Italia, né la
Svizzera né la Germania); 1000 studenti per ogni
sistema scolastico;tredicenni;quattro discipline testate :
matematica,scienze, lettura e geografia
 Direttore dell’indagine Benjamin Bloom dell’Università
di Chicago
Locarno, 11 novembre 2015
14
Certezze nel 1961

Le valutazioni comparate su vasta scala si possono realizzare e sono attendibili.
Non falsificano la realtà, forniscono informazioni valide sulle prestazioni dei sistemi
scolastici

Occorre un centro di specialisti per realizzare le indagini

Si deve creare una Associazione scientifica per dirigere le indagini, per dirimere i
conflitti, per discutere le questioni metodologiche, per potenziare la coesione
scientifica dei lavori

Nasce l’IEA ( Acronimo per « International Association for the Evaluation of
Educational Achievement »). Si costituisce una comuniutà scientifica che pilota le
indagini , che ne discute i metodi , che analizza i punti deboli e quelli forti. La
comunità scientifica dirige le valutazioni. Si instaura un regime autoritario con capi
e sotto capi, con figure di primo piano e di secondo ordine, con procedure di
ostracismo e di co-optazione, il tutto per difendere una ortodossia della valutazione

La musica cambia con PISA:le valutazioni sono dirette da politici.
Locarno, 11 novembre 2015
15
La prima indagine IEA
 Si svolge nel 1964. è l’indagine FIMS ( Acronimo per « First International
Mathematics Study »); l’indagine inaugura una tradizione dell’IEA che
prosegue tuttora: quella delle indagini sulle conoscenze di matematica
 Si correggono gli errori del test di fattibilità per esempio la campionatura.
 Si crea un segretariato permanente che raccoglie i dati, li controlla, li
« pulisce », li tratta.
 Molti cadaveri nell’armadio: questioni scoperte, oggetto di polemiche e
abbandonate in seguito ( per esempio OTL o TT che significano
« Opportunity to Learn », « Teaching Time », i curriculi valutati, ecc)
 L’Italia e la Svizzera non partecipano a questa prima indagine
Locarno, 11 novembre 2015
16
L’epoca d’oro dell’IEA: 1961-1991

Durante un trentennio l’IEA svolge una serie di valutazioni internazionali comparate su
vasta scala e esercita un monopolio scientifico sulle indagini internazionali su vasta
scala

Il numero dei sistemi scolastici che aderiscono alle indagini cresce di volta in volta

Ritmo lento, non politico (sei indagini negli anni Settanta, due negli anni Ottanta ); items
non ancorati ( dunque impossibilità di studi sull’evoluzione degli apprendimenti); temi
eteregonei da un’indagine all’altra

La Svizzera non partecipa a nessuna indagine; l’Italia inizia a essere presente nel 1970
quando partecipa parzialmente alla celebre serie dei « Six Subjects Studies », serie mai
ripetuta dall’IEA

Le indagini dell’IEA sono una scuola di formazione dei valutatori. Ancora oggigiorno la
maggioranza dei valutatori proviene dai ranghi dell’IEA. L’IEA diventa una comunità
scientifica. L’assenza elvetica puo’ essere ritenuta una catastrofe.
Locarno, 11 novembre 2015
17
L’indagine PISA : 2000
 La novità istituzionale: PISA è finanziata dai governi. Il modello
PISA è concepito da ex dell’IEA
 Il ritmo triennale è politico e non scientifico: la possibilità di
ancorare gli items e di comparare i risultati nel tempo è una novità
ambiziosa
 Progressi considerevoli della statistica scolastica e dei metodi
analitici
 Cambia l’età di riferimento: i quindicenni indipendentemente dalla
classe che frequentano e non più i tredicenni o meglio tutti gli
studenti che sono in terza media indipendentemente dall’età.
 Curriculum free: porte aperte verso le competenze ritenute
necessarie per riuscire nella vita
Locarno, 11 novembre 2015
18
Le novità recenti proposte da
PISA
 L’uso dei computer nelle valutazioni per simulare la
realtà e seguire le modalità di ragionamento ustilizzate
per rispondere
 Nuovi campi di indagine: per esempio le conoscenze
finanziarie dei quindicenni, la risoluzione dei
problemi ( non si tratta di discipline scolastiche)
 Allargamento dell’indagine ( nuovi questionari) agli
insegnanti, ai genitori o ai responsabili degli studenti
Locarno, 11 novembre 2015
19