Come innalzare le competenze in matematica? Le valutazioni in corso su [email protected] e PQM Daniele Vidoni INVALSI La struttura della presentazione Il problema su cui intervenire: competenze degli studenti in matematica Alcuni tra gli interventi promossi: le caratteristiche di PQM e di [email protected] Approfondimento sul disegno di valutazione di [email protected] e alcuni primi dati Riflessioni sulle opportunità e sulle difficoltà che si incontrano nelle attività di valutazione I dati più recenti segnalano che sono troppo pochi gli studenti ricchi di competenze in matematica… 40,0 35,0 Il problema su cui intervenire OCSE = 32,4% 30,0 25,0 Italia = 19,6% 20,0 15,0 10,0 5,0 0,0 PA Bolzano Campania Basilicata Emilia Romagna Friuli Venezia Giulia Sicilia Liguria Lombardia Piemonte PA Trento Sardegna Puglia Veneto Percentuale degli studenti di 15 anni con competenze in matematica tali da risolvere problemi complessi (superiore al terzo livello) Fonte: OCSE-PISA 2006 … e troppi quelli poveri di competenze PA Bolzano Emilia Campania Basilicata Romagna Friuli Venezia Giulia Sicilia Liguria Lombardia Piemonte PA Trento Sardegna Puglia Veneto Il problema su cui intervenire 0,0 -5,0 OCSE=7,7% -10,0 Italia=13,5% -15,0 -20,0 -25,0 Percentuale degli studenti di 15 anni con scarse competenze in matematica (inferiori al primo livello) Fonte: OCSE-PISA 2006 Interventi promossi nelle scuole secondarie di I grado Caratteristiche degli interventi promossi a livello nazionale (e rafforzati in Calabria, Campania, Puglia e Sicilia) Piano Nazionale Qualità e Merito (PQM): • coaching e tutoring on the job per i docenti • assistenza per l’utilizzo di strumenti di valutazione e dei risultati delle rilevazioni Invalsi all’interno delle scuole • attività di potenziamento rivolte agli studenti sulle carenze individuate tramite ore extra-curricolari • coinvolge studenti delle classi prime Percorso di formazione con didattica innovativa [email protected] : • formazione dei docenti “blended” con incontri in presenza e piattaforma virtuale on-line • la sperimentazione in classe di quattro unità didattiche basate su esempi concreti e coinvolgimento della classe • riflessione individuale e collettiva delle esperienze in classe attraverso la stesura di un “diario di bordo” e il confronto con la classe virtuale • coinvolge prime, seconde e terze classi Una innovazione emblematica in ciascun intervento … Innovazione emblematica PQM: cruscotto di diagnosi valutativa della propria classe Posizionamento relativo della classe all’interno della popolazione % studenti che rispondono correttamente http://pqm.indire.it Una innovazione emblematica in ciascun intervento … Innovazione emblematica [email protected]: unità didattiche da sperimentare in classe Le attività proposte sono divise in quattro nuclei tematici: numeri, geometria, relazioni e funzioni, dati e previsioni. Gli elementi che compongono ciascuna attività didattica sono: • una parte introduttiva rivolta al docente, con indicazioni metodologiche e prove di valutazione; • una sorta di “sceneggiatura” che dettaglia le attività da sviluppare in classe e i relativi documenti di supporto scaricabili (anche VIDEO) • indicazioni metodologiche e spunti di approfondimento disciplinare; • suggerimenti su attività addizionali associate all’attività didattica da sviluppare con gli studenti; • per molte attività ma non per tutte, elementi di prova di verifica per valutare l’effettiva comprensione dei contenuti dell’attività da parte degli studenti; • una biblio/sitografia; • indicazioni sui punti di attenzione da considerare nell’ottica della sperimentazione e quindi del confronto con il tutor e con la classe su come funziona la proposta di attività. Cfr. info e video: http://www.indire.it/ponmatematicacorso1/ Quante scuole, insegnanti e classi sono coinvolte? Nel 2009-2010 PQM coinvolge 320 scuole, 700 docenti e le loro classi prime [email protected] coinvolge 175 scuole, oltre 600 insegnanti e almeno una delle loro classi (ma alcuni faranno la formazione nel 2010-2011) Per maggiori informazioni: http://pqm.indire.it http://www.invalsi.it/invalsi/ri/matabel Che disegno valutativo per quale tipo di inferenza? Step 1. Is the intervention backed by "strong" evidence of effectiveness? Quality of studies needed "Strong" Quantity of evidence needed: to establish "strong" Evidence evidence: Trials showing effectiveness in Two or more + = Randomized controlled typical school settings, Including a setting trials that are well-designed similar to that of your schools/classrooms. and implemented Step 2. If the intervention is not backed by "strong" evidence, is it backed by "possible" evidence of effectiveness? Types of studies that can comprise "possible" Types of studies that do not comprise evidence: "possible" evidence: Randomized controlled trials whose quality/quantity are good but fall short of "strong" evidence; and/or Comparison-group studies in which the intervention and comparison groups are very closely matched in academic achievement, demographics, and other characteristics Pre-post studies Comparison-group studies in which the intervention and comparison groups are not closely matched "Meta-analyses" that include the results of such lower-quality studies Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence. IDENTIFYING AND IMPLEMENTING EDUCATIONAL PRACTICES SUPPORTED BY RIGOROUS EVIDENCE: A USER FRIENDLY GUIDE U.S. Department of Education 9 Gli approcci di valutzione dei due interventi Due approcci di valutazione diversi, entrambi basati sull’utilizzo di rilevazioni INVALSI sugli studenti (non solo) Piano Nazionale Qualità e Merito (PQM): Promozione dell’utilizzo di informazioni standardizzate a fini diagnostici Percorso di formazione con didattica innovativa [email protected] : Efficacia dei corsi di formazione Gli approcci di valutzione dei due interventi Due approcci di valutazione diversi, entrambi basati sull’utilizzo di rilevazioni INVALSI sugli studenti (non solo) Piano Nazionale Qualità e Merito (PQM): Ex-ante: • rilevazioni con test INVALSI pre- e post- su tutti gli studenti • prove SNV in matematica della V elementare e questionari di background degli studenti a ottobre 2009 • prove SNV in matematica della I media e questionari di background degli studenti a maggio 2010 • Non tanto valutazione degli effetti, ma diagnosi inizio anno sulle debolezze degli studenti per “tarare” gli interventi Ex post: • Quasi-experiment: efficacia relativa di diverse tipologie di trattamento Gli approcci di valutzione dei due interventi Due approcci di valutazione diversi, entrambi basati sull’utilizzo di rilevazioni INVALSI sugli studenti (non solo) Percorso di formazione con didattica innovativa [email protected] : • • • • esperimento randomizzato controllato: scuole/docenti che partecipano alla formazione nel 2009/2010 (“trattati”) e scuole/docenti che partecipano nel 2010/2011 (“controlli”) prove SNV in matematica della I media e prove simil-SNV per la II e III media e questionari di background degli studenti a maggio 2010 rilevazione pre-/post- sugli atteggiamenti didattici degli insegnanti analisi dei “diari di bordo” degli insegnanti Istituzioni e attori coinvolti Complesso coordinamento tra le istituzioni e gli attori coinvolti Sinergie a livello di sistema… Istituzioni e attori coinvolti Complesso coordinamento tra le istituzioni e gli attori coinvolti Scuole, dirigenti, tutor, docenti, alunni … … e referenti del progetto e/o della valutazione PQM: IL DATO QUANTITATIVO COME PUNTO DI PARTENZA PER UNA RIFLESSIONE AL PROPRIO INTERNO I RISULTATI 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 Da estrazione dati ANSAS del 3-3-10 Quality of studies needed to establish "strong" evidence: Randomized controlled trials that are welldesigned and implemented Guida INVALSI – Bolondi, Orlandoni Approfondimento gruppo PQM Piemonte, Militerno et al. Approfondimento gruppo PQM Piemonte, Militerno et al. Attività in presenza di socializzazione e diffusione dei risultati: -Partecipazione ai seminari regionali ed ai momenti formativi organizzati da ANSAS per gli insegnanti nelle regioni PON per illustrare la lettura delle prove INVALSI -Abstract presentato alla conferenza internazionale CCEAM 2010 (Sidney, 29 settembre – 1 ottobre 2010) su: “Data to inform action: the relative effectiveness of supplementary teaching strategies in Mathematics in the PQM project in Italy” 21 La metodologia adottata Lo studio randomizzato per misurare gli effetti di [email protected] Le scuole coinvolte sono state divise mediante sorteggio in due gruppi , con “dilazione del trattamento” •scuole che partecipano da subito (A.S. 2009/10) – “trattati” •scuole che partecipano a partire dall’anno prossimo (A.S. 2010/11) – “controlli” L’estrazione mediante sorteggio è necessaria per creare due gruppi di scuole e insegnanti statisticamente equivalenti: non essendovi differenze di partenza tra i due gruppi, l’eventuale differenza negli apprendimenti osservata dopo un anno può essere plausibilmente attribuita alla sperimentazione di [email protected]… … analogamente per le eventuali differenze tra gruppi di docenti nelle loro risposte a domande sull’atteggiamento in classe e la didattica La metodologia adottata Come si confrontano i due gruppi per stimare gli effetti di [email protected]? 1° coorte 2° coorte 3° coorte 4° coorte 5° coorte Esposizione immediata a [email protected]+ Esposizione dilazionata a [email protected]+ 2009/10 3° media 2° media 1° media 2009/10 3° media 2° media 1° media 2010/11 3° media 2° media 1° media 2011/12 3° media 2° media 1° media 2010/11 3° media 2° media 1° media 2011/12 3° media 2° media 1° media Legenda Esposto a [email protected]+ Non ancora esposto a [email protected]+ stima degli effetti di un anno di coinvolgimento in M@tabel Confronto tra: punteggi medi nei test degli studenti delle scuole sorteggiate per implementare [email protected]+ il primo anno e punteggi medi ottenuti dagli studenti delle scuole sorteggiate per implementare [email protected]+ l’anno successivo La metodologia adottata I confronti per ottenere la stima dell’effetto di due anni e di coorte 1° coorte 2° coorte 3° coorte Esposizione immediata a [email protected]+ Esposizione dilazionata a [email protected]+ 2009/10 2010/11 2° media 1° media 3° media 2° media 2009/10 3° media 2° media 2011/12 2010/11 2011/12 Assunto: poter utilizzare una coorte precedente come sostituto del “gruppo di controllo mancante”. L’eventuale “effetto coorte” può essere corretto osservando il seguente: 1° coorte 2° coorte 3° coorte Esposizione immediata a [email protected]+ Esposizione dilazionata a [email protected]+ 2009/10 3° media 2° media 2009/10 2010/11 2011/12 2010/11 2011/12 3° media 2° media …. Può essere eventualmente esteso al terzo anno La costruzione del campione [email protected] L’insieme di docenti “osservabili” La costruzione del campione [email protected] Il campione delle 175 scuole Stratificato in base a: - criteri geografici e di dimensione territoriale (per provincia e, in presenza di grandi centri, per città, ovvero per le città di Napoli e Palermo che sono state isolate dalla loro provincia tramite il CAP) - dimensione della scuola di provenienza (ossia in base a due gruppi: scuole con meno di 5 insegnanti iscritti a Mat@bel e scuole con 5 o più iscritti) - Estratte causalmente le 55 scuole per il gruppo di controllo (i cui 193 docenti parteciperanno nel 2010/2011 a Matabel) - Gruppo di trattati e di controllo sono risultati equivalenti per sesso e anno medio di nascita, ma non per numerosità degli iscritti della scuola di appartenenza …. La costruzione del campione [email protected] L’insieme delle classi “osservate” Tramite diverse comunicazioni i docenti sono stati informati della classe estratta casualmente – quella che verrà seguita per la valutazione. Ai docenti trattati si è raccomandato di sperimentare le unità didattiche in quella classe: • Monitoriamo i “non compliers” o diverse intensità del trattamento tramite diversi strumenti (tutor, diario di bordo, questionario pre- e post- insegnanti) Scuole Calabria Trattati Controlli Totale Campania Trattati Controlli Totale Puglia Trattati Controlli Totale Sicilia Trattati Controlli Totale Totale 12 6 18 37 17 54 34 15 49 37 17 54 175 Prime 14 4 18 44 19 63 42 14 56 42 14 56 193 Classi Seconde Terze 13 13 6 6 19 19 46 47 22 22 68 69 34 40 14 17 48 57 38 37 16 18 54 55 189 200 Totale 40 16 56 137 63 200 116 45 161 117 48 165 582 La metodologia adottata Le principali minacce alla solidità dell’esperimento Nel caso in cui si riescono a seguire negli anni 100 scuole 50% trattate e 50% controlli, si riuscirebbe a cogliere un effetto di circa 0,2 (in termini di punteggio studenti). Siamo molto al limite in termini di dimensioni campionarie e l’effetto di 0,2 è comunque piuttosto elevato !!! Altre raccolte di dati sugli studenti (come i voti al primo quadrimestre e panel) ci aiutano a migliorare la precisione delle stime anche per affrontare: - - Eventuale mancata partecipazione ai corsi di un gran numero di insegnanti Eventuale abbandono dei corsi da parte di un gran numero di insegnanti Mancata applicazione dei principi della formazione (ad esempio la sperimentazione in classe) da parte degli insegnanti nella classe indicata come parte del campione o applicazione solo parziale Rifiuto di partecipare alle rilevazioni dei dati (questionari, prove invalsi, etc.) Trasferimenti degli insegnanti tra scuole tra un anno scolastico (caduta del legame tra insegnante e studenti). … a parte 85 insegnanti “trasferiti” o “pensionati” tra luglio e settembre 2009, le reazioni sembrano piuttosto positive (ma il vero banco di prova sono le rilevazioni in corso nelle scuole) Le reazioni finora Le reazioni di tutor, insegnanti e scuole finora - Iniziale confusione sulle scelta randomizzata della classe in cui sperimentare le unità didattiche e concentrare le rilevazioni … ma pochi casi di “rifiuto” - Iniziale confusione sulla necessità delle rilevazioni nel gruppo dei “controlli” e ancora di più nel gruppo dei “trattati” che hanno abbandonato il percorso formativo … ma finora casi molto isolati di “ostruzionismo” alla valutazione - Grande adesione alla rilevazione pre- rivolta agli insegnanti: dei 666 insegnanti analizzati, 582 che insegnavano effettivamente ancora in una delle 175 scuole oggetto della valutazione (ovvero non erano stati trasferiti altrove all’inizio del nuovo anno scolastico), sono stati intervistati telefonicamente tra gennaio e febbraio 2010: circa il 95% degli interpellati ha risposto al questionario (lungo, di circa 30-40 minuti) Chi sono gli insegnanti che parteicpano a [email protected] Chi sono gli insegnanti che partecipano a [email protected]? - prevalgono nettamente le donne, che costituiscono l’84% del campione; - l’età media è di circa 52 anni, con una variabilità elevata (il più giovane ha 23 anni e il più anziano ne ha 67); - la disciplina di laurea più frequente è la biologia (63,3%) seguita da matematica (14,2%) e infine dalle scienze naturali (9,9%); - insegnano in media da 25 anni e insegnano in particolare la matematica nella scuola secondaria di primo grado da 23 anni; - dichiarano generalmente di aver scelto di insegnare la matematica (quasi tre intervistati su quattro esprimono un voto tra 8 e 10 alla domande se hanno fortemente voluto insegnare la matematica nella scuola secondaria di primo grado) e questo vale in particolare se laureati in matematica Fonte: CATI [email protected]; Gennaio 2010 Didattica in classe di matematica La didattica in classe utilizzare regolarmente metodi tradizionali di insegnamento (come la spiegazione frontale e la correzione degli esercizi), ma meno la didattica basata sull’interazione stretta tra insegnanti e studenti e meno ancora quella che vede protagonisti gli studenti in lavori di gruppo (vedi fig. 1). M@tabel opera proprio in questa direzione e dovrebbe quindi mutare il modo di lavorare in classe degli insegnanti sottoposti alla formazione 98 Presentazione e spiegazione dei contenuti Esercizi eseguiti dagli alunni in classe 94 77 Correzione in classe dei compiti dati a casa 67 Didattica attiva Discussione guidata preparata prima 64 33 Lavori di gruppo 0 20 40 Fonte: CATI [email protected]; Gennaio 2010 60 80 100 Atteggaimenti sulle capacità di insegnare la matematica Atteggiamenti sulle capacità di insegnare la matematica Da 1 a 10, quanto è d’accordo con le affermazioni su matematica e studenti che seguono? Si può rendere facile Si possono invogliare i non interessati Molti in difficoltà con logica astratta Serve predisposizione innata Bisogna imparare molto a memoria 0% Disaccordo netto Disaccordo 20% 40% Accordo moderato Fonte: CATI [email protected]; Gennaio 2010 60% 80% Accordo forte 100% Attività in presenza di socializzazione e diffusione dei risultati: -Seminari di formazione Osservatori Esperti nelle regioni PON (7-11 maggio 2010 -Paper accepted for oral presentation conferenza internazionale SIGEE 2010 (Leuven, 25-28 agosto 2010) su: “The design of the random assignment evaluation of a math teacher -professional development program in Italy” 33 Le difficoltà Ampio lavoro di coordinamento e comunicazione … mettere in conto molte lettere, mail e telefonate (recall, recall, recall…) Le molte rilevazioni “dirette” nelle scuole implicano molte risorse umane e molta logistica Interpretazione e utilizzabilità dei risultati Per quanto riguarda l’esperimento controllato, un effetto positivo inferiore alla soglia di riferimento o statisticamente non significativo non vorrebbe dire che l’intervento non funziona….(La soglia standard per questo tipo di esperimenti è 0,20; Si tratta comunque di un effetto grosso dal punto di vista dei processi scolastici: M@tabel può davvero arrivare a questa soglia? ) Le opportunità In entrambi i casi (PQM e [email protected]) siamo nella situazione “ideale”, in cui la valutazione viene pensata ex ante e si può fare leva su una infrastruttura di rilevazione confrontabile e omogenea a livello nazionale (le prove SNV) . Razionalizzazione dell’intervento Dover costruire la valutazione ex-ante non ha solo influito sulla possibilità di avere dati ma si è tradotto in una razionalizzazione della logica dell’intervento, dei suoi obiettivi e della sua intensità, nonché una maggiore condivisione con la comunità scolastica Maggiore accessibilità , comprensione e capacità di utilizzo della ampia disponibilità di dati esistenti (Invalsi, piattaforme monitoraggio gestionale e altro) Utilizzare i dati esistenti contribuisce a renderli sempre più noti e comprensibili, dunque utilizzabili, anche per altri soggetti (nonché all’interno delle scuole) Sollevare il dubbio e cercare di chiarirlo: quali interventi funzionano e perché? Il coinvolgimento delle amministrazioni e delle scuole nelle valutazione crea interrogativi, pone il dubbio, promuove una maggiore attenzione per la scelta degli interventi .. EVENTUALI SLIDES AGGIUNTIVE DA RIPESCARE … Step 1. Is the intervention backed by "strong" evidence of effectiveness? Quality of studies needed to establish "strong" evidence: Randomized controlled trials that are well-designed and implemented "Strong" Quantity of evidence needed: Evidence + Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms. = Step 2. If the intervention is not backed by "strong" evidence, is it backed by "possible" evidence of effectiveness? Types of studies that can comprise "possible" evidence: Types of studies that do not comprise "possible" evidence: Randomized controlled trials whose quality/quantity Pre-post studies are good but fall short of "strong" evidence; and/or Comparison-group studies in which the intervention Comparison-group studies in which the and comparison groups are very closely matched in intervention and comparison groups are not academic achievement, demographics, and other closely matched characteristics (see pages 11-12). "Meta-analyses" that include the results of such lower-quality studies Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence. 37 Step 1. Is the intervention backed by "strong" evidence of effectiveness? Quality of studies needed to establish "strong" evidence: Randomized controlled trials that are well-designed and implemented "Strong" Quantity of evidence needed: Evidence + Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms. = Step 2. If the intervention is not backed by "strong" evidence, is it backed by "possible" evidence of effectiveness? Types of studies that can comprise "possible" evidence: Types of studies that do not comprise "possible" evidence: Randomized controlled trials whose quality/quantity Pre-post studies are good but fall short of "strong" evidence; and/or Comparison-group studies in which the intervention Comparison-group studies in which the and comparison groups are very closely matched in intervention and comparison groups are not academic achievement, demographics, and other closely matched characteristics (see pages 11-12). "Meta-analyses" that include the results of such lower-quality studies Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence. 38 Il disegno della valutazione La raccolta di informazioni aggiuntive Raccolta di informazioni su contesto, scuola, insegnanti e studenti con tre obiettivi: 1. testare la “fortuna” avuta con la randomizzazione; 2. aumentare la precisione delle stime; 3. Ipotizzare e testare (parzialmente) meccanismi esplicativi degli effetti. Le rilevazioni in corso e previste Gennaio 2010 pre- e Novembre 2010 post– rilevazione sui docenti PON [email protected] (questionario CATI prima dell’avvio delle sperimentazioni in classe, ripetuto l’anno successivo<9 Maggio 2010 – rilevazioni sugli studenti tramite prove del SNV / INVALSI (prima, seconda e terza media) Giugno 2010 – Ottobre 2010 – completamento del percorso PON [email protected] 2009/2010 con diario di bordo ed eventuale questionario finale di customer satisfaction (rivolto a docenti e a tutor) – interviste ad alcuni tutor e insegnanti, con analisi dei diari di bordo Il disegno di valutazione La randomizzazione: la potenza del disegno Il moltiplicatore è pari a 2,5 per i parametri standard nei disegni sperimentali multilivello (livello di confidenza al 95% per potenza 80%). Indagheremo 100 scuole (K): 50% trattate e 50% controlli (P). In ogni scuola, analizzeremo 6 classi (J) di 19 studenti (stima prudenziale - N) Proporzione della varianza dell’abilità: scuole=0,090; classi=0,125; studenti=0,785. (fonte: Prova nazionale INVALSI 2008 sugli studenti di terza media) C’è inoltre una possibile correzione (non presentata nella formula semplificata) ottenibile grazie alla spiegazione che riusciamo a dare delle differenze negli esiti tra le scuole mediante gli altri predittori raccolti (R2): -> stima pessimistica (10%) porta a MDES 0,189 -> stima ottimistica (40%) porta a MDES 0,166 La soglia standard per questo tipo di esperimenti è 0,20. Si tratta comunque di un effetto grosso dal punto di vista dei processi scolastici: M@tabel può davvero arrivare a questa soglia? Un effetto positivo e non significativo non vorrebbe dire che non funziona. Formazione blended e accesso alle ICT L’accesso alla rete nei diversi contesti Nei due contesti A casa A scuola 0% 10% 20% 30% A banda larga 40% 50% 60% Modem tradizionale Fonte: CATI [email protected]; Gennaio 2010 70% No 80% 90% 100% Formazione blended e accesso alle ICT La frequenza d’uso complessiva del PC Più raramente 4% Mai 3% Una volta a sett. 6% Quotidiano 59% Più volte a sett. 28% Fonte: CATI [email protected]; Gennaio 2010