Il processo di costruzione e selezione dei quesiti INVALSI e l’analisi dei risultati: un’opportunità per la scuola? Aurelia Orlandoni [email protected] (GdL Matematica INVALSI) 21 dicembre 2015 GENOVA - ALIMA 1 La costruzione Autunno 2008 - lettera alle Associazioni Febbraio 2009 - seminario insegnanti: Quadro di Riferimento Guida operativa Esempi: prove rilasciate PISA e TIMMS 21 dicembre 2015 GENOVA - ALIMA 2 La costruzione ….. E dopo due mesi sono arrivate le prove. Dopo una prima analisi sono state accettate: 2 elementare 5 elementare 3 media N 98 113 86 SF 30 77 143 RF 17 69 MDP 30 64 57 TOT 158 271 355 Totale 784 21 dicembre 2015 GENOVA - ALIMA 3 La costruzione ….. E quest’anno ne sono arrivate 2 elementare 5 elementare 3 media 2 superiore N 60 109 101 202 SF 21 78 155 314 RF 2 22 116 287 MDP 35 47 72 141 TOT 118 256 444 944 Totale 1762 21 dicembre 2015 GENOVA - ALIMA 4 La costruzione Gli autori inviano le prove in un format predefinito Classe Ambito Tipologia Risposta corretta Osservazioni Difficoltà Oggetto di valutazione Processo cognitivo Compito 21 dicembre 2015 GENOVA - ALIMA 5 … il pretest… Il sottogruppo di lavoro per classe individua circa 100 quesiti sulla base del QdR: •Ambiti •Processi Vengono costruiti 3-4 fascicoli anche con quesiti ripetuti (stessa forma o forma diversa) I fascicoli vengono somministrati a studenti di scuole diverse su tutto il territorio 21 dicembre 2015 GENOVA - ALIMA 6 … elaborazione … Il sottogruppo degli statistici analizza i dati Un esempio 21 dicembre 2015 GENOVA - ALIMA 7 ESEMPIO 5 elementare A9. Roberto porta in classe dei cioccolatini da dividere con i suoi compagni. In classe sono in tutto 18 alunni e ne spetta uno a testa. Se fossero 6 bambini a dividersi gli stessi cioccolatini, quanti ne avrebbe ciascuno? □ □ □ □ A. 2 B. 3 C. 4 D. 6 10.61 a9a 75.42 3.07 3.07 Discriminante, facile Item Characteristic Curve: A9A Multiple Response Model 1.0 0.8 Probability 0.6 3 2 0.4 0.2 4 5 0 -3 -2 -1 0 1 2 3 Ability 21 dicembre 2015 GENOVA - ALIMA 8 … elaborazione e analisi … Il gruppo degli statistici e degli insegnanti analizza i dati e prepara la versione definitiva Un esempio 21 dicembre 2015 GENOVA - ALIMA 9 ESEMPIO 5 elementare A23. Se in media il costo di una tavoletta di cioccolata da un etto è 1,50 euro, quali di queste tavolette costano meno della media? a. b. c. d. Item a23a a23b a23c a23d Una tavoletta da 500 g che costa 3,50 euro Una tavoletta da 200 g che costa 3,40 euro Una tavoletta da 75 g che costa 0,90 euro Una tavoletta da 125 g che costa 3 euro Sì □ □ □ □ No □ □ □ □ Non Non sì no valido risposto 37.71 42.46 0.00 19.83 Discriminante, difficile 9.50 68.99 0.00 21.51 Discriminante, facile Poco discriminante, molto 69.55 13.41 0.00 17.04 facile, corr. Biseriale bassa 17.04 60.06 0.00 22.91 Poco discriminante, facile N. risposte corrette 21 dicembre 2015 Freq. Assoluta 0 54 1 43 2 51 GENOVA 3 - ALIMA 139 4 71 Freq. % 15.08 12.01 14.25 38.83 19.83 10 … il fascicolo definitivo… Aspetti significativi del QdR Aspetti misuratori Revisione del testo … ad esempio le domande sull’argomentazione 21 dicembre 2015 GENOVA - ALIMA 11 … e infine… La griglia: risposte, criteri di correzione, classificazione (ambiti,…) Riflessioni “a priori”: le note di commento In autunno dal rapporto nazionale il commento ai risultati 21 dicembre 2015 GENOVA - ALIMA 12 ESEMPIO AMBITO: Relazioni e Funzioni COMPITO: Applicare il ragionamento proporzionale OGGETTO DI VALUTAZIONE: Grandezze direttamente proporzionali PROCESSO COGNITIVO: Sapere risolvere problemi utilizzando gli strumenti della matematica (individuare e collegare le informazioni utili, confrontare strategie di soluzione, individuare schemi risolutivi di problemi come ad esempio sequenza di operazioni, esporre il procedimento risolutivo,…) 21 dicembre 2015 GENOVA - ALIMA 13 COMMENTO Si tratta di un quesito riguardante il ragionamento proporzionale e l’approssimazione. Lo studente deve valutare e confrontare ogni tavoletta di cioccolato tenendo conto del peso e del costo con il peso e il costo medio indicato. Item a Risposta corretta: più della media In questo caso il peso della tavoletta è il doppio di quella col costo medio Item b Risposta corretta: più della media In questo caso è il costo ad essere il doppio di quello medio Item c Risposta corretta : meno della media La relazione fra tavoletta di cioccolato da valutare rispetto a quella media è un po’ più complessa delle altre. 21 dicembre 2015 GENOVA - ALIMA 14 I dati delle rilevazioni Sono disponibili a tutti in forma aggregata a livello nazionale, per macroaree e regionale: • rapporto Nazionale SNV http://www.invalsi.it/snv0809/ • Rapporto sulla prova nazionale al termine del primo ciclo http://www.invalsi.it/esamidistato0809/ SOLO le scuole hanno accesso ai dati disaggregati 21 dicembre 2015 GENOVA - ALIMA 15 La rilevazione 2010 Quindi da quest’anno nelle scuole si potranno fare: • analisi e confronti dei dati generali • analisi didattica delle “opzioni” nelle domande a risposta chiusa (griglia risposte) • analisi didattica delle modalità di risposta e dei processi nelle domande a risposta aperta (fascicoli) 21 dicembre 2015 GENOVA - ALIMA 16 La rilevazione 2009 Qualche esempio di lettura 21 dicembre 2015 GENOVA - ALIMA 17 I dati del 2009. Un esempio: classe II primaria ITALIANO MATEMATICA Limite inferiore Media Limite superiore Limite inferiore Media Limite superiore NORD 66,7 67,3 68,0 54,6 55,2 55,8 CENTRO 65,2 66,3 67,3 53,5 54,3 55,0 SUD 60,5 61,6 62,7 53,4 54,8 56,1 ITALIA 64,5 65,0 65,5 54,3 54,9 55,4 21 dicembre 2015 GENOVA - ALIMA Fonte: Rapporto SNV scaricabile da sito INVALSI 18 I dati del 2009. Un esempio: classe II primaria I dati elaborati si riferiscono al campione, quindi la media indicata (campionaria) fornisce una stima del valore della media della popolazione e ad essa va associato la variabilità (intervallo). Quindi sarebbe scorretto fare un confronto fra i valori medi, è necessario confrontare gli intervalli. Solo nel caso in cui gli intervalli risultino completamente separati si può affermare che esiste una differenza statisticamente significativa fra le medie dei gruppi esaminati. (Nelle pagine seguenti sono presentate le rappresentazioni grafiche dei dati delle tabelle di II e V primaria e di III secondaria di primo grado) 21 dicembre 2015 GENOVA - ALIMA 19 I dati del 2009. Un esempio: classe II primaria MATEMATICA ITALIANO 60 50 IT Nord Centro 40 IT Sud ITALIA 30 M Nord M Centro 20 M Sud ITALIA 10 0 50 55 60 65 70 In Italiano ci sono differenze significative fra l’andamento del sud e quello del resto del paese perché l’intervallo del sud è separato dagli altri, mentre questo non si verifica per la matematica 21 dicembre 2015 GENOVA - ALIMA 20 I dati del 2009. Un esempio: classe V primaria MATEMATICA ITALIANO 60 50 IT Nord Centro 40 IT Sud ITALIA 30 M Nord M Centro 20 M Sud ITALIA 10 0 50 55 60 65 70 In quinta la situazione è cambiata e non vi sono differenze statisticamente significative fra le aree geografiche perché gli intervalli si toccano; anche se si può osservare matematica 21 dicembre 2015 che i dati relativi alla GENOVA - ALIMA sono “più dispersi” che in 21 seconda. I dati del 2009. Un esempio: classe III secondaria MATEMATICA ITALIANO 60 50 IT Nord Centro 40 IT Sud ITALIA 30 M Nord M Centro 20 M Sud ITALIA 10 0 10 15 20 25 30 35 40 In questo caso la differenza fra il sud ed il resto del paese è netta e mette in evidenza una differenza statisticamente significativa nelle prestazioni degli studenti sia2015 in Italiano che in Matematica 21 dicembre GENOVA - ALIMA 22 La rilevazione 2009 Il rapporto nazionale fornisce anche la distribuzione degli studenti nei livelli di apprendimento (da 1 a 6) Anche questo è un dato molto importante che mette in luce aspetti interessanti. Prima di tutto è importante chiarire cosa sono i livelli e come si determinano. 21 dicembre 2015 GENOVA - ALIMA 23 La determinazione dei livelli I livelli (L1, L2,…) sono stati definiti, domanda per domanda, sulla base dei risultati nazionali nel modo seguente: una volta ordinate le medie ottenute da ogni scuola dal valore più pccolo al più grande, L1 rappresenta il valore medio corrispondente al primo 10% di scuole (10° percentile), L2 quello del primo 25% (25° percentile), …. ESEMPIO Supponiamo di avere un campione di 100 scuole e di avere ordinato i punteggi medi relativi ad una certa domanda e di averli rappresentati in un grafico dove: • Le ascisse rappresentano l’ordinale della scuola (il numero d’ordine che la caratterizza nell’ordinamento fatto) • Le ordinate il punteggio medio (%) ottenuto da quella scuola 21 dicembre 2015 GENOVA - ALIMA 24 Il grafico rappresenta la determinazione dei livelli nell’esempio precedente Determinazione dei livelli 100 media punteggi scuola (%) 88 78 64 49 30 0 0 10° 25° 50° 75° 90° 100 scuole Nel nostro esempio, i livelli sono i valori medi (coordinata y) corrispondenti alla 10° scuola (decimo percentile), alla 25° (venticinquesimo percentile), …. 21 dicembre 2015 GENOVA - ALIMA 25 D7 molto alto 68, 5 60 47 alto medio alto medio basso 36 basso 26 La divisione in livelli permette: - di descrivere quello che sanno fare gli studenti che si collocano a ciascun livello relativamente a una certa domanda - di sapere quali quesiti hanno creato maggiori difficoltà nella classe molto basso 21 dicembre 2015 GENOVA - ALIMA 26 I dati del 2009: la distribuzione nei livelli in Matematica MATEMATICA 100% 90% 80% 70% matematica L6 60% matematica L5 50% matematica L4 matematica L3 40% matematica L2 30% matematica L1 20% 10% 0% II V Nord II V Centro II V Sud II V ITALIA Si può osservare che mentre nel nord e nel centro la percentuale di studenti nel livello L6 cresce nel passaggio dalla II alla V, e quella nel livello L1 si mantiene costante, nel sud si verifica esattamente l’opposto, cioè crescono gli alunni in difficoltà e si mantiene 21 dicembre 2015 GENOVA -di ALIMA 27 costante (o cala leggermente) la percentuale eccellenze. Mancano i dati relativi alla terza media. I dati del 2009 Nei rapporti nazionali sia quello SNV (II e V) sia quello della prova Nazionale al termine del I ciclo, sono presenti i dati nazionali e regionali disaggregati per: • maschi e femmine • italiani e immigrati • con percorso scolastico regolare e non Inoltre sono riportate le tabelle con le analisi delle opzioni alle risposte e i dati per sezione di contenuto (Numero, …) I rapporti sono scaricabili agli indirizzi: http://www.invalsi.it/snv0809/ e http://www.invalsi.it/esamidistato0809/ 21 dicembre 2015 GENOVA - ALIMA 28 Qualche suggerimento per l’utilizzo dei dati 21 dicembre 2015 GENOVA - ALIMA 29 Confronto con standard esterni ► confrontare il risultato medio della propria scuola con le medie nazionale e locale (regione, macro-area) ► collocare la propria scuola rispetto a scuole simili sotto il profilo della composizione della popolazione scolastica ► determinare la distribuzione degli alunni della propria scuola nei livelli di prestazione per valutarne la corrispondenza o meno con quella registrata a livello nazionale ► evidenziare le differenze significative, in termini statistici e di entità della differenza, eventualmente riscontrate ► individuare le possibili cause delle differenze riscontrate ► interrogarsi sulla possibilità di formulare un’ipotesi sulle cause e sulla necessità di raccogliere ulteriori informazioni 21 dicembre 2015 GENOVA - ALIMA 30 Confronto con standard esterni: un esempio Percentuale media risposte corrette in II Primaria ITALIANO MATEMATICA Lim. Inf. Media Lim. Sup. Lim. Inf Media Lim. Sup Scuola “X” 72,0 76,0 80,0 64,0 68,0 72,0 Emilia-R. 64,8 66,6 68,3 53,7 55,2 56,7 Nord 66,7 67,3 68,0 54,6 55,2 55,8 Italia 64,5 65,0 65,5 54,3 54,9 55,4 La scuola “X” ha un punteggio significativamente più alto sia in Italiano che in Matematica rispetto alla media regionale, dell’area geografica di appartenenza e nazionale. Infatti, anche nell’ipotesi che il punteggio scenda fino al limite inferiore dell’intervallo di fiducia (72 per Italiano e 64 per Matematica), il relativo valore rimane più elevato di quello corrispondente al limite superiore 21 dicembre 2015 - ALIMA 31 dell’intervallo di fiducia delle GENOVA tre medie. Confronto con standard esterni: un esempio Percentuale media risposte corrette in V Primaria ITALIANO MATEMATICA Lim. Inf. Media Lim. Sup. Lim. Inf Media Lim. Sup Scuola “Y” 42,0 46,0 50,0 38,0 40,0 42,0 Sicilia 55,6 57,9 60,2 47,8 50,4 52,9 Sud 60,1 61,1 62,1 53,9 55,1 56,3 Italia 61,8 62,3 62,7 56,6 57,1 57,7 La scuola “X” ha un punteggio significativamente più basso sia in Italiano che in Matematica rispetto alla media regionale, dell’area geografica di appartenenza e nazionale. Infatti, anche nell’ipotesi che il punteggio salga fino al limite superiore dell’intervallo di fiducia (50 per Italiano e 42 per Matematica), il relativo valore rimane più basso di quello al limite GENOVA inferiore dell’intervallo di fiducia 21corrispondente dicembre 2015 - ALIMA delle tre medie. 32 Confronto con standard esterni: un esempio Punteggi in Italiano e in Matematica in III Media ITALIANO MATEMATICA Lim. Inf. Media Lim. Sup. Lim. Inf Media Lim. Sup - 29,0 - - 17,8 - Emilia-R. 26,7 27,5 28,3 17,7 18,1 18,4 Nord 29,2 29,4 29,7 18,2 18,5 18,7 Italia 26,5 26,8 27,0 16,9 17,2 17,5 Scuola “X” Nel caso della prova nazionale, il punteggio medio di scuola – diversamente dai punteggi medi regionale, di area geografica e nazionale - non è una stima, in quanto è calcolato sull’intera popolazione (perciò non vi è intervallo di fiducia). La scuola “X” ha, in Italiano, un punteggio significativamente più alto rispetto alla media regionale e nazionale ma più basso rispetto alla media del Nord. In Matematica, il punteggio della scuola non si discosta significativamente dalla media regionale, mentre è più basso rispetto alla media del Nord e più alto rispetto alla2015 media nazionale. GENOVA - ALIMA 21 dicembre 33 Il punto di vista dei docenti di Matematica ► individuare gli ambito tematici (nuclei) in cui gli studenti hanno conseguito i risultati migliori ► individuare gli ambito tematici (nuclei) in cui si rileva il numero più elevato di risposte errate e/o omesse: riflessioni sugli errori e le omissioni ► definire proprietà e obiettivi valutativi degli ambiti individuati ► formulare ipotesi sulle possibili cause ► leggere quesiti e risultati di uno stesso ambito in verticale ( II e V primaria, I e III secondaria di primo grado) 21 dicembre 2015 ► … GENOVA - ALIMA 34 L’andamento negli ambiti di contenuto L’area nella quale si registra la percentuale più alta di risposte corrette è “Misura, dati e previsioni”;. Per le sezioni relative a “Numeri” e “Spazio e figure” le domande con risposte corrette sono meno della metà. L’andamento dei dati disaggregati NORD riproduce sostanzialmente l’esito ITALIA complessivo della prova e segnala NUMERI SPAZIO E FIGURE MISURE, DATI E PREVISIONI una generale difficoltà di tutti i nostri studenti nell’area dei Numeri e dello Spazio e figure. L’unica differenza significativa che emerge riguarda il punteggio nell’ambito “Spazio e figure” delle scuole del Centro, che è al di sotto di quello delle scuole del Nord, ma anche di quello delle scuole del Sud Punteggio medio della prova di Matematica II PRIMARIA 70,0 65,0 60,0 55,0 50,0 45,0 21 dicembre 2015 GENOVA - ALIMA 35 L’andamento negli ambiti di contenuto Punteggio medio della prova di Matematica V PRIMARIA 85 80 75 70 ITALIA 65 60 55 SUD 50 45 40 35 NUMERI SPAZIO E FIGURE MISURE, DATI E PREVISIONI RELAZIONI E FUNZIONI “Spazio e figure” è l’area di contenuto dove gli alunni incontrano le maggiori difficoltà, seguita da “Relazioni e funzioni” e, infine, da “Numeri” e da “Misura, dati e previsioni”, che, con una percentuale media di risposte corrette del 64% (per l’Italia nel suo insieme), risulta l’area in assoluto più facile. La graduatoria in termini di difficoltà relativa fra le tre aree comuni alla prova di Matematica di seconda e quinta primaria è la stessa per entrambi i casi. In generale le differenze fra le tre macro-aree sono statisticamente significative, con la sola eccezione dell’ambito “Relazioni e funzioni” in cui non c’è differenza tra le tre aree 21 dicembre 2015 geografiche e del risultato del Sud inGENOVA “Spazio-eALIMA figure”, non significativamente diverso36dal risultato del centro. L’andamento negli ambiti di contenuto Prova nazionale 2009 76 75 74 73 72 71 70 69 68 67 66 65 MDP In PISA 2006 le aree di sofferenza degli studenti italiano erano: INCERTEZZA e CAMBIAMENTI N SF RF MDP N SF RF Possiamo concludere che non ci sono più problemi in quegli ambiti o potrebbe dipendere da domande di difficoltà diversa per ambito? 21 dicembre 2015 GENOVA - ALIMA 37 L’analisi delle opzioni: esempio di confronto MATEMATICA V PRIMARIA ITALIA Ambito di valutazione Numeri Numeri Numeri Numeri Spazio e figure Spazio e figure Relazioni e funzioni Misura dati e previsioni Numeri Numeri Spazio e figure Spazio e figure Relazioni e funzioni Relazioni e funzioni Spazio e figure Numeri Numeri Numeri Numeri Spazio e figure Spazio e figure Relazioni e funzioni Relazioni e funzioni Misura dati e previsioni Misura dati e previsioni 21 dicembre 2015 Domanda No ris. ER No ris. IT D01 0,0 0,1 D02 0,7 0,8 D03 0,6 0,5 D04 0,9 1 D05 2,2 2,5 D06 1,7 2,2 D07 0,8 0,7 D09 0,2 0,2 D10 0,4 0,5 D12 0,7 1,1 D13 7,6 9,5 D14 1,9 2 D15 2,8 2,5 D16 0,9 1,2 D17 2,6 2,2 D18 3,2 3,4 D19 4,1 4,1 D20 0,8 0,9 D21 4,6 4,6 D22 0,6 0,8 D23 0,5 0,3 D24 3,0 3,3 D26 1,9 1,8 D27 2,4 2,9 D29 2,1 2,1 A ER 4,6 20,4 10,5 3,1 9,0 24,6 20,7 40,4 42,7 6,9 9,8 25,0 18,9 28,7 25,0 64,7 4,3 34,5 36,4 17,9 66,4 16,4 80,4 33,3 6,7 OPZIONI A IT 5,3 21,4 11,9 3,3 8,9 25,3 21,8 42,9 44,5 7,1 11,6 29,6 20,4 28,6 28,9 63,4 4,2 36,1 34 14,6 66 16 79,9 35,5 7,2 GENOVA - ALIMA B ER 2,2 6,0 11,4 73,0 38,3 16,1 33,6 2,0 38,3 10,5 4,2 52,7 36,7 64,1 47,1 7,2 68,8 12,6 20,1 29,0 32,4 10,7 9,0 48,8 35,6 B IT 2,6 6,5 14 72,1 40,1 16,4 32 2,2 33 13,4 4,7 49,2 39,9 63,1 41,5 7,8 67,8 15 20,4 28,3 32,8 11,8 9,6 46,2 35,2 C ER 92,8 72,2 72,0 17,2 7,1 36,8 38,5 52,2 15,0 9,6 43,4 12,1 17,0 3,8 13,7 9,1 14,2 45,2 20,4 51,2 0,5 12,3 4,5 10,4 25,5 C IT 91,9 70,3 69,2 17,4 8,3 36,1 38,8 49,5 18,6 12,4 40,5 10,1 17,1 4,3 12,6 10,1 15,9 41,7 21,8 55,1 0,6 10,9 4,3 10 26 D ER 0,4 0,8 5,6 5,8 43,4 20,7 6,3 5,2 3,7 72,4 35,0 8,3 24,5 2,6 11,6 15,8 8,6 6,9 18,5 1,4 0,2 57,7 4,3 5,1 30,0 D IT 0,1 0,9 4,4 6,2 40,2 20 6,7 5,1 3,3 66 33,7 9,2 20,2 2,8 14,7 15,3 8 6,3 19,2 1,2 0,4 57,9 4,4 5,3 29,5 38 21 dicembre 2015 GENOVA - ALIMA 39 I dati delle scuole 21 dicembre 2015 GENOVA - ALIMA 40 Le scuole possono scaricare i propri dati dal sito INVALSI utilizzando il codice meccanografico e la password assegnata. 21 dicembre 2015 GENOVA - ALIMA 41 I dati, classe per classe, sono scaricabile o in forma globale, o per Nazionalità o per sesso o per regolarità del percorso di studio. I dati sono scaricabili in formato EXCEL 21 dicembre 2015 GENOVA - ALIMA 42 Un esempio della visualizzazione globale Dom. = domanda di riferimento Media% Classe = percentuale delle risposte corrette date dalla classe Media% Scuole PQM = percentuale delle risposte corrette date dalle Scuole PQM L1 = molto basso [10° percentile] L2 = basso [25° percentile] L3 = medio-basso [50° percentile] L4 = medio-alto [75° percentile] L5 = alto [90° percentile] L6 = molto alto [100° percentile] La "L" indica il posizionamento della classe in ciascuna domanda rispetto ai livelli di risultato definiti sui dati del campione nazionale. Ambiti e argomenti Numeri Numeri Numeri Numeri Numeri 21 dicembre 2015 Tabella dei dati - Visualizzazione GLOBALE Media% Media% Dom. Classe Italia L1 MATEMATICA D1 74 78 D2 5 8 D3 16 28 D4 21 50 L1 D5 5 24 L1 GENOVA - ALIMA L2 L3 L2 - L3 - L4 L5 L6 - L5 - - 43 Un esempio dell’analisi delle opzioni Tabella dei dati - Dettaglio Risposte tipo: | A | B | C | D | MANCATA Ambiti e argomenti Dom. A B C D RISPOSTA Numeri D1 11 16 74 0 0 Numeri D2 5 63 0 16 16 Numeri D3 37 21 16 11 16 Numeri D4 11 68 21 0 0 Numeri D5 0 5 26 68 0 Numeri D6 21 21 32 11 16 Numeri D7 42 21 5 16 16 Misure, dati e previsioni D8 5 68 26 0 0 Misure, dati e previsioni D9 74 0 0 26 0 Misure, dati e previsioni D10 0 21 53 11 16 Misure, dati e previsioni D12 53 0 11 26 11 Misure, dati e previsioni D13 95 5 0 0 0 Relazioni e funzioni D14 16 53 16 11 5 NOTA Se si scaricano i dati in formato EXCEL si hanno in un unico foglio elettronico tutte le tipologie di dati (globale, per sesso, ….., analisi 21 dicembre 2015 GENOVA - ALIMA 44 opzioni) 21 dicembre 2015 GENOVA - ALIMA 45