Giampaolo Grechi ICS “Guido Monaco”, Rassina (Ar) Gruppo autori di quesiti Invalsi L08 [email protected] Arezzo 29 aprile 2015 INVALSI e Indagini Internazionali IEA – TIMSS (PIRLS per Italiano) INDAGINE CAMPIONARIA ogni 4 anni TIMSS 2011: 310 scuole OCSE – PISA INDAGINE CAMPIONARIA ogni 3 anni PISA 2012: 1194 scuole INVALSI INDAGINE CENSUARIA annuale dal 2014 solo L02, L05, L08, L10 Oggetto Trends in International Mathematics and Science Study. Conoscenza matematica e scientifica. Program for International Student Assessment. Lettura, matematica e scienze. Italiano (comprensione del testo e grammatica) e matematica. Livello scolare / età Aree di contenuto Matematica 4° anno •Numero •Forme geometriche e misure •Rappresentazione dei dati 2011: circa 4000 studenti 8° anno 2011: circa 4000 studenti 15 anni di età 2012: 31073 studenti •Numero •Algebra •Geometria •Dati e probabilità •Quantità •Spazio e forma •Cambiamento e relazioni •Incertezza 2° anno •Numeri •Spazio e figure •Dati e previsioni 5° - 8° - 10° anno •Numeri •Spazio e figure •Relaz. e funzioni •Dati e previsioni Livello II primaria L02 V primaria L05 III Secondaria primo grado (PN) L08 II secondaria secondo grado L10 Totale classi coinvolte 29 719 Totale studenti 568 251 (classi campione 1468. 4,9%) 29 685 561 183 (classi campione 1468. 4,9%) 29 462 597 639 (classi campione 1418. 4,8%) 26 540 560 672 (classi campione 2256. 8,5%) Fonte: Rapporto Rilevazioni Nazionali degli apprendimenti 2013-2014. INVALSI. Obiettivo e/o Traguardo delle Indicazioni Nazionali (indicizzazione Invalsi) Ogni quesito è esplicitamente riferito a: Question Intent Ambito di contenuti del quadro di riferimento INVALSI: • • • • Numeri Spazio e Figure Dati e previsioni Relazioni e funzioni (Gli stessi ambiti delle IN) Processo prevalente attivato nella risoluzione: dal quadro di riferimento INVALSI: 8 processi Una delle tre fasi del ciclo della Matematizzazione: Formulare: il passaggio dalla situazione di problema reale al modello matematico Utilizzare: il lavoro sul modello matematico Interpretare: l’interpretazione dei risultati rispetto alla situazione di partenza L08 2014 – Prova Nazionale L08 2014 – Prova Nazionale Progettazione della prova Pretest Per le prove del 2014 field-trial campionario su circa 11.000 studenti complessivi. Aggiustamenti circa il 30% dei quesiti viene confermato nella sua forma originale, 30%40% viene modificato, 30%-40% viene scartato. Nuovo Pretest Somministrazione: 6-7-12 MAGGIO 2015 SNV 19 GIUGNO 2015 PN Restituzione dei dati alle scuole Il cheating I punteggi considerati sono corretti dal fenomeno cosiddetto di “cheating” tramite una procedura statistica i punteggi di ogni studente vengono corretti in base alla probabilità che la classe (nella quale si trova lo studente stesso) ha di aver attuato comportamenti opportunistici in fase di rilevazione. Il cheating Invalsi identifica il cheating secondo la procedura Quintano C., Castellano R., Longobardi S., (2009). La procedura utilizza i seguenti “ingredienti”: • • • • percentuale di risposte corrette; variabilità all’interno dell’unità minima di aggregazione; omogeneità nelle modalità di risposta a ciascun item; tasso di mancate risposte. Il cheating Elevata percentuale di risposte corrette Sospetto comportamento anomalo: CHEATING Basso tasso di mancate risposte Bassa variabilità della percentuale di risposte corrette all’interno dell’unità minima di aggregazione Bassa variabilità nelle modalità di risposta a ciascun item Il cheating Invalsi individua l’indice di propensione al cheating per l’unità minima di aggregazione che è la classe. Calcola il complemento a uno di tale indice e lo utilizza come fattore moltiplicativo per correggere il punteggio di ogni singolo studente all’interno della classe stessa. Il cheating 1 Punteggio osservato Indice di propensione al cheating Fattore di correzione Fattore di correzione Punteggio corretto Il cheating Sull’intera popolazione Invalsi calcola, per ogni Area geografica, la mediana dell’indice di propensione al cheating. Definisce una soglia, scegliendo la mediana dell’indice di propensione al cheating dell’Area più “virtuosa”. Al di sotto di tale soglia non corregge i punteggi. Questo procedimento viene effettuato per ciascuna materia di ciascun livello. Il cheating • Invalsi corregge i punteggi dei singoli studenti. • Restituisce alle scuole i dati al netto del cheating. • Non restituisce i dati delle classi con un indice di propensione al cheating superiore a 0,50. Tali classi non entrano nel computo del punteggio medio di scuola. • Laddove vengano eliminate più del 50% delle classi dell’istituto, non viene restituita nemmeno la media di scuola che non sarebbe più rappresentativa poiché individuata con il punteggio di poche classi. L’indice di background socio economico culturale (ESCS) Che cos’è ESCS? Denominazione internazionale dell’indicatore dello status socio-economico-culturale dello studente L’indice di background socio economico culturale (ESCS) Perché calcolarlo? Le caratteristiche socio-culturali ed economiche degli studenti giocano un ruolo molto importante sui livelli di apprendimento conseguiti fin dai primi anni di scuola L’indice di background socio economico culturale (ESCS) Approccio metodologico L’ESCS è basato su 3 indicatori dei quali ne è una sintesi: STATUS OCCUPAZIONALE DEI GENITORI Indicatore denominato HISEI LIVELLO DI ISTRUZIONE DEI GENITORI Indicatore denominato PARED POSSESSO DI ALCUNI SPECIFICI BENI MATERIALI intesi come variabili di prossimità di un contesto economico e culturale favorevole all’apprendimento Indicatore denominato HOMEPOS Titolo di studio HISEI PADRE MADRE 5 Disoccupato Casalinga 0 Diploma di maturità 17 Professionista. dip. Sottouff. militare Libero prof. Lavoratore in proprio 4 Diploma di maturità 13 Lavoratore in proprio 3 PADRE MADRE ESCS basso Licenza elementare Licenza elementare ESCS alto Laurea o titolo sup. Licenza media ESCS medio Occupazione PARED Lavoratore proprio in ITEM di Possesso posto tranquillo per studiare computer scrivania enciclopedie Internet a casa una camera personale ESCS basso No No No No No No -3,9 ESCS alto Si Si Si Si Si Si 2,3 ESCS medio No Si No Si Si No -1,7 Esempi di calcolo dell’indice su 3 profili studente (basso, medio e alto background socio economico culturale) HOMEPOS ESCS basso ESCS alto ESCS medio -3,08 2,24 0,08 Livelli di apprendimento Sulla base della distribuzione dei punteggi su scala nazionale, l’INVALSI ha costruito 5 livelli di apprendimento: Livello 1: punteggio minore o uguale al 75% della media nazionale. Livello 2: punteggio compreso tra il 75% e il 95% della media nazionale. Livello 3: punteggio compreso tra il 95% e il 110% della media nazionale. Livello 4: punteggio compreso tra il 110% e il 125% della media nazionale. Livello 5: punteggio maggiore del 125% della media nazionale. Livelli di apprendimento I livelli di apprendimento vengono ridotti a 3 e viene creata una tavola che incrocia Italiano con Matematica: Livello 1-2: punteggio minore o uguale al 95% della media nazionale Livello 3: punteggio maggiore del 95% e minore o uguale al 110% della media nazionale Livello 4-5: punteggio maggiore del 110% della media nazionale Le guide alla lettura Testo della domanda Classificazione Risposta corretta Collegamento con le Indicazioni nazionali Commenti Risultati del campione Analisi quantitativa per la ricerca delle aree di criticità (o di eccellenza); Criticità assolute non sono come criticità relative; Analisi qualitativa: analisi dell’errore nelle domande a risposta aperta. (1) Analisi quantitativa per la ricerca delle aree di criticità (o di eccellenza); L05 – SNV 2014 Classe V primaria : SNV 2014 Media nazionale SF Differenza media della classe – media nazionale N DP Quesito D19: NUMERI 25,0-36,6=-11,6 RF (3) Analisi qualitativa: analisi dell’errore nelle domande a risposta aperta. Nella mia classe 85,7 % di risposte errate! L06 2013 Nella trattazione dei poligoni con numero di lati maggiore di 4 generalmente non vengono presi in considerazione pentagoni, esagoni, ottagoni ecc. che non siano regolari. “Gli ottagoni sono tutti regolari…” Il quadrato “ha le diagonali che misurano come i lati…” Dalla tipologia di errori commessi in un quesito posso pertanto ricavare ulteriori indicazioni per calibrare l’azione didattica. Giampaolo Grechi [email protected] ICS “Guido Monaco” – Castel Focognano (Arezzo) www.icscastelfocognano.gov.it Pagina “Spazio Invalsi” Sezione “documenti vari” per le Guide alla lettura Google “Grechi invalsi”: primo link