Quali sono gli effetti del percorso di
formazione PON M@tabel ?
Valutazione di una innovazione didattica mediante
esperimento controllato
Ottobre 2009
UNIONE EUROPEA
MINISTERO DELL’ISTRUZIONE,
DELL’UNIVERSITA’ E DELLA RICERCA
INVALSI
La struttura della presentazione
Perché valutare le ricadute di PON [email protected] sugli studenti ?
Le caratteristiche di PON M@tabel
La metodologia adottata per la valutazione: uno studio
randomizzato
Cosa si misura
Il processo di randomizzazione e la dimensione del campione
Identificazione degli effetti a 1, 2 e 3 anni
Calendario delle attività
Per ulteriori informazioni:
http://www.invalsi.it/invalsi/ri/matabel/
Perché valutare le ricadute di PON [email protected] sugli studenti ?
I dati più recenti segnalano che sono troppo pochi gli
studenti ricchi di competenze in matematica…
40,0
35,0
OCSE = 32,4%
30,0
25,0
Italia = 19,6%
20,0
15,0
10,0
5,0
0,0
PA
Bolzano
Campania Basilicata
Emilia
Romagna
Friuli
Venezia
Giulia
Sicilia
Liguria
Lombardia Piemonte PA Trento Sardegna
Puglia
Veneto
Percentuale degli studenti di 15 anni con competenze in matematica tali da risolvere
problemi complessi (superiore al terzo livello)
Fonte: OCSE-PISA 2006
Perché valutare le ricadute di PON [email protected] sugli studenti ?
… e troppi quelli poveri di competenze
PA
Bolzano
Emilia
Campania Basilicata Romagna
Friuli
Venezia
Giulia
Sicilia
Liguria
Lombardia Piemonte PA Trento Sardegna
Puglia
Veneto
0,0
-5,0
OCSE=7,7%
-10,0
Italia=13,5%
-15,0
-20,0
-25,0
Percentuale degli studenti di 15 anni con scarse competenze in matematica (inferiori al
primo livello)
Fonte: OCSE-PISA 2006
Perché valutare le ricadute di PON [email protected] sugli studenti ?
Obiettivi di servizio nel Mezzogiorno
per il periodo 2007 – 2013
Il Quadro Strategico Nazionale 2007-2013, nell’ambito del quale viene
finanziato anche il PON Istruzione, prevede una nuova attenzione per
l’istruzione quale fattore essenziali per contribuire allo sviluppo, alla
crescita della produttività, al reddito individuale e collettivo e alla
mobilità sociale.
Gli interventi finanziati nel periodo 2007-2013 si pongono tre obiettivi
principali:
- Ridurre la percentuale dei giovani che abbandonano prematuramente gli
studi: al più il 10%
- Ridurre la percentuale di 15-enni con scarse competenze in lettura secondo
OCSE-PISA: al più il 20%
- Riducendo la percentuale di 15-enni con scarse competenze in matematica:
al più il 21%
… è sempre più importante capire “cosa funziona”
M@tabel: percorso di formazione e innovazione didattica
Le caratteristiche di PON M@tabel
Matematica. Apprendimenti di Base con e-learning
Formazione nazionale rivolta in questa versione agli insegnanti delle Regioni
PON (Calabria, Campania, Puglia, Sicilia).
Scarso rendimento
in matematica
(PISA)
Problema risolvibile
con nuove modalità di
insegnamento centrate
sull’applicazione delle
nozioni a casi concreti
Formazione
degli insegnanti
Nuova didattica in
classe da parte
degli insegnanti
Miglior atteggiamento e
rendimento degli
studenti in matematica
La metodologia adottata
Le domande e il significato del termine
“valutazione”
Cosa ne pensano gli insegnanti? Cambiano le loro
modalità di insegnamento e alcuni atteggiamenti?
In che misura incide sulle competenze in matematica e
sugli atteggiamenti degli studenti?
….. NON si valutano le scuole, NON si valutano gli insegnanti, NON
si valutano i tutor, NON valutano gli studenti.
Si valuta la proposta formativa Mat@bel+ (e con diversi “se”)
Come funziona Mat@bel
Le caratteristiche di PON M@tabel
La formazione è “blended” e strutturata in quattro fasi:
1. incontri introduttivi in presenza con il tutor;
2. incontri on line e scelta delle unità didattiche;
3. sperimentazione in classe di 4 attività didattiche, con assistenza
on-line del tutor e compilazione di un diario di bordo;
4. incontro finale, consegna del diario di bordo e del questionario
finale da parte degli insegnanti.
Le caratteristiche di PON M@tabel
Alcune caratteristiche di M@tabel rafforzate
dal PON Istruzione 2007-2013
Le unità didattiche
28 unità rivolte alla scuola secondaria di primo grado costituite da una
parte introduttiva rivolta al docente, una sorta di “sceneggiatura” che
dettaglia le attività da fare in classe, i relativi documenti di supporto
scaricabili, indicazioni metodologiche e spunti di approfondimento
disciplinare, suggerimenti su attività addizionali, elementi di prova di
verifica per valutare l’effettiva comprensione da parte degli studenti, una
biblio/sitografia.
L’approccio alla base delle unità enfatizza la componente applicativa degli
insegnamenti di matematica (come OCSE-PISA).
Gli insegnanti sono chiamati a “testare” le unità e a redigere un diario di
bordo indicando difficoltà e punti di forza del lavoro svolto.
La collaborazione on line e a scuola
La discussione on line, con la classe virtuale e con il tutor è centrale e
verte proprio su difficoltà incontrate e modi con cui si sono superate.
Misurare quali effetti sugli studenti?
La metodologia adottata
L’ apprendimento/competenza in matematica
Prove INVALSI rilevate su un campione di classi: per la prima
media, prove del SNV, per la seconda e terza media, prove
collegate (sempre mediante scale di Raach)
L’atteggiamento verso la matematica (e la scuola)
Il numero di assenze (rilevate presso le segreterie scolastiche)
Il rendimento scolastico complessivo (rilevate presso le
segreterie scolastiche e/o MIUR)
Il gradimento della matematica (questionari specifici)
Etc….
….. accompagnati da un insieme vasto di informazione sui contesti
scolastici e sui rispettivi territori, e sulle caratteristiche economicosociali degli studenti.
La metodologia adottata
La metodologia adottata: uno studio randomizzato
Gli studi randomizzati vengono utilizzati in campo educativo in
tutto il mondo per capire come funzionano programmi, progetti,
interventi, politiche ….
Il modello analitico di uno studio randomizzato si basa su due pilastri:
1. suddivisione dei candidati al trattamento in due gruppi: trattati e
controlli;
2. assegnazione casuale dei candidati ai due gruppi.
Le differenze post trattamento tra i due gruppi sono considerabili
come effetto del trattamento.
La metodologia adottata
La metodologia adottata: uno studio randomizzato
Le scuole del I ciclo interessate a partecipare al piano formativo PON
[email protected]+ sono state divise mediante sorteggio in due gruppi:
-scuole che partecipano da subito (A.S. 2009/10)
-scuole che partecipano a partire dall’anno prossimo (A.S. 2010/11).
L’estrazione mediante sorteggio è necessaria per creare
due gruppi di scuole e insegnanti statisticamente equivalenti:
non essendovi differenze di partenza tra i due gruppi, l’eventuale
differenza negli apprendimenti osservata dopo un anno può essere
plausibilmente attribuita alla sperimentazione del piano PON
[email protected]+
La metodologia adottata
La metodologia adottata: uno studio randomizzato
Lo studio randomizzato riguarda solo le scuole / i docenti della
secondaria di primo grado (la proposta educativa omogenea, è
un nodo critico nel percorso scolastico …è la prima volta che
facciamo questo tipo di valutazione!)
Tutte le scuole e i docenti verranno coinvolti nello studio, sia
coloro che partecipano a M@tabel 2009/2010, sia quelli che vi
partecipano nel 2010/2011:
- i docenti, per capire se il percorso formativo ha ricadute sui
metodi e le modalità di insegnamento;
- gli studenti, per capire se questi metodi migliorano le loro
competenze
- le scuole, per raccogliere dati sul contesto
….. E anche i tutor, per capire se il percorso formativo è stato
svolto come previsto, per aiutare nella valutazione ….
La metodologia adottata
Come si confrontano i due gruppi per stimare gli effetti di
PON M@tabel?
1° coorte
2° coorte
3° coorte
4° coorte
5° coorte
Esposizione immediata a [email protected]+
Esposizione dilazionata a [email protected]+
2009/10
3° media
2° media
1° media
2009/10
3° media
2° media
1° media
2010/11
3° media
2° media
1° media
2011/12
3° media
2° media
1° media
Legenda
Esposto a [email protected]+
Non ancora esposto a [email protected]+
2010/11
3° media
2° media
1° media
2011/12
3° media
2° media
1° media
Stima degli effetti di un anno di coinvolgimento in M@tabel
La metodologia adottata
Esposizione immediata a [email protected]+
1° coorte
2° coorte
3° coorte
Esposizione dilazionata a [email protected]+
2009/10
2009/10
3° media
2° media
1° media
3° media
2° media
1° media
Legenda
Esposto a [email protected]+
Non esposto a [email protected]+
confrontando i punteggi medi ottenuti ai test di apprendimento dagli
studenti delle scuole sorteggiate per implementare [email protected]+ il primo
anno con i punteggi medi ottenuti dagli studenti delle scuole
sorteggiate per implementare [email protected]+ l’anno successivo
La metodologia adottata
I confronti per ottenere la stima dell’effetto
di due anni: “effetto esperienza”
1° coorte
2° coorte
3° coorte
Esposizione immediata a [email protected]+
Esposizione dilazionata a [email protected]+
2009/10
2010/11
2° media
1° media
3° media
2° media
2009/10
3° media
2° media
2011/12
2010/11
2011/12
Assunto: poter utilizzare una coorte precedente come sostituto del “gruppo di
controllo mancante”. L’eventuale “effetto coorte” può essere corretto osservando il
seguente:
1° coorte
2° coorte
3° coorte
Esposizione immediata a [email protected]+
Esposizione dilazionata a [email protected]+
2009/10
3° media
2° media
2009/10
2010/11
2011/12
2010/11
2011/12
3° media
2° media
…. Può essere eventualmente esteso al terzo anno
La metodologia adottata
Le principali minacce alla solidità dell’esperimento
-
mancata partecipazione ai corsi di un gran numero di insegnanti;
-
abbandono dei corsi da parte di un gran numero di insegnanti;
-
rifiuto a partecipare alle rilevazioni da parte degli insegnanti;
-
mancata applicazione dei principi della formazione (ad esempio la
sperimentazione in classe) da parte degli insegnanti nella classe
indicata come parte del campione o applicazione solo parziale
(occorre almeno sapere cosa è stato fatto, a quel punto).
….. Serve la collaborazione di tutti per ridurre i danni!
Dimensione campionaria e potenza del disegno
Dimensione del campione e potenza del disegno
(minimum detectable effect)
Il moltiplicatore è pari a 2,5 per i parametri standard nei disegni sperimentali multilivello
(livello di confidenza al 95% per potenza 80%).
Nel caso in cui si riescono a seguire 100 scuole (K): 50% trattate e 50% controlli (P) –
tenendo conto di eventuali “cadute” tra gli insegnanti originariamente iscritti;
dato che vi sono tra le scuole iscritte una media di 4 docenti (J), con una classe per
docenti e una media di 19 studenti per classe (stima prudenziale - N)
Proporzione della varianza dell’abilità: scuole=0,090; classi=0,125; studenti=0,785.
(fonte: Prova nazionale INVALSI 2008 sugli studenti di terza media)
Varianza spiegata dai predittori raccolti (R2):
-> stima pessimistica (10%) MDES 0,208 -> stima ottimistica (40%) MDES 0,2
La soglia standard per questo tipo di esperimenti è 0,20. Si tratta di un effetto
grosso dal punto di vista dei processi scolastici: M@tabel può davvero arrivare
a questa soglia? Un effetto positivo e non significativo non vorrebbe dire che
non funziona…
La metodologia adottata
Perché raccogliere tanti dati oltre ai risultati delle prove di
apprendimento sugli studenti?
Raccolta di informazioni su contesto, scuola, insegnanti e studenti
con tre obiettivi:
1. testare la “fortuna” avuta con la randomizzazione;
2. aumentare la precisione delle stime;
3. Ipotizzare e testare (parzialmente) meccanismi esplicativi degli effetti.
Calendario delle attività
Calendario di massima dei prossimi appuntamenti con la
valutazione
Autunno 2009
– breve raccolta di dati presso le scuole sul contesto e per individuare in quali
classi insegnano i docenti PON [email protected] 2009/2010 e 2010/2011
– comunicazione ai tutor delle classi in cui suggerire che venga effettuata la
sperimentazione in classe delle 4 attività (solo per i docenti di PON [email protected]
2009/2010 )
– prima rilevazione sui docenti PON [email protected] 2009/2010 e 2010/2011
(questionario da compilare prima dell’avvio delle sperimentazioni in classe)
Maggio 2010
– rilevazioni sugli studenti delle classi del campione sopraindividuato tramite
prove del SNV / INVALSI (prima, seconda e terza media)
– completamento del percorso PON [email protected] 2009/2010 con diario di bordo e
questionario finale (rivolto a docenti e a tutor)
– seconda rilevazione sui docenti PON [email protected] 2009/2010 e 2010/2011
(questionario da compilare)
– eventuali interviste in profondità a tutor e insegnanti
Un primo “effetto” della valutazione di M@tabel?
Un primo “effetto” della valutazione di M@tabel ….
Siamo nella situazione “ideale”, in cui la valutazione viene pensata ex
ante. Questo si è tradotto in una razionalizzazione della logica
dell’intervento e di orientamento alla raccolta dei dati necessari per la
valutazione.
Le unità didattiche – l’intensità del trattamento
Almeno 18 ore complessive di trattamento in 6 settimane nell’anno scolastico.
Tutor con ruolo attivo di promozione e controllo.
Invito ad usare la piattaforma anche dal secondo anno in poi e comunicazione assidua.
La collaborazione a scuola – l’intensità del trattamento 2
Invito nel bando a far partecipare tutti gli insegnanti di matematica della scuola,
concretamente applicato poi nella decisione di osservare solo scuole in cui i partecipanti
saranno due o più.
Il monitoraggio più mirato
Rafforzamento del monitoraggio: non solo il diario di bordo e i dati di log della
piattaforma, difficilmente utilizzabili, ma anche questionari rivolti agli insegnanti e ai tutor
nei quali si raccolgono informazioni utili su cosa viene fatto davvero.