Due o tre cose da sapere sull’Invalsi e il suo mondo Forlì – 8 maggio 2013 Carlo Salmaso Comitato Genitori ed Insegnanti per la Scuola Pubblica di Padova Valutare non significa solo misurare i livelli raggiunti nelle singole prove orali, scritte e pratiche, ma considerare l’acquisizione di un metodo di lavoro adeguato agli obiettivi prefissati, i progressi compiuti, il livello delle capacità possedute rapportate alle operazioni cognitive richieste, la qualità delle conoscenze e delle competenze acquisite. Alla valutazione finale concorrono anche l’interesse, l’impegno, la motivazione e il coinvolgimento nel lavoro educativo. I numeri sono una cosa. I giudizi sono una cosa diversa. I numeri sono una cosa precisa, i giudizi sono spesso confusi. Ci sarà del resto una ragione perché tutti i fenomeni significativi sono misurati con i numeri. I numeri sono insieme precisi e semplici. Il messaggio che trasmettono è un messaggio diretto. Se gli stessi fenomeni fossero espressi non con numeri ma attraverso frasi complesse con finalità descrittive, il messaggio resterebbe impreciso. E’ esattamente quello che accade nei due segmenti di base e perciò fondamentali della nostra scuola, quello elementare e quello medio. Tra numeri e giudizi c’è una differenza profonda. Ogni valutazione deve mettere capo ad una classifica. Questa è la logica della valutazione. Se non c’é una classifica non c’è neanche una reale valutazione. Giulio Tremonti 8 marzo 2013 Il Governo Monti e il Miur sostengono che con l'approvazione definitiva del regolamento sul Sistema Nazionale di Valutazione (S.N.V) giunge a conclusione “un percorso cominciato nel 2001 ... L’Italia si allinea così agli altri Paesi Europei sul versante della valutazione dei sistemi formativi pubblici, e risponde agli impegni assunti nel 2011 con l’Unione europea, in vista della programmazione dei fondi strutturali 2014/2020. …il S.N.V. si impianta sull’Invalsi (Istituto nazionale per la valutazione del sistema di istruzione e formazione) che predispone tutti gli adempimenti necessari per l’autovalutazione e la valutazione esterna delle scuole”. Art. 6. Procedimento di valutazione La valutazione delle istituzioni scolastiche è articolata in 4 fasi: 1.Auto-valutazione: a) Analisi e verifica del proprio servizio sulla base dei dati resi disponibili dal sistema informativo del ministero, delle rilevazioni sugli apprendimenti e dell'elaborazione sul valore aggiunto restituite dall'Invalsi, oltre ad ulteriori elementi significativi integrati dalla stessa scuola; b) Elaborazione di un rapporto di autovalutazione in formato elettronico secondo un quadro di riferimento predisposto dall'Invalsi, e formulazione di un piano di miglioramento; 2.valutazione esterna: a) Individuazione delle situazioni da sottoporre a verifica, sulla base di indicatori di efficienza ed efficacia definiti dall'Invalsi; b) Visite dei nuclei e ridefinizione dei piani di miglioramento in base agli esiti delle analisi effettuate dai nuclei; 3.azioni di miglioramento: definizione e attuazione degli interventi migliorativi anche con il supporto dell'Indire o attraverso la collaborazione con università, enti di ricerca, associazioni professionali e culturali; 4.rendicontazione sociale: pubblicazione, diffusione dei risultati raggiunti, attraverso indicatori su dati comparabili, sia in una dimensione di trasparenza sia in una dimensione di condivisione e promozione al miglioramento del servizio con la comunità di appartenenza. Per quanto riguarda i nuclei di valutazione, il regolamento prevede che siano costituiti da un dirigente tecnico del contingente ispettivo e da due esperti. Le azioni di valutazione hanno anche come obiettivo quello di valutare i risultati dell'azione dirigenziale direttamente riconducibili al dirigente scolastico. Infine, i piani di miglioramento con i risultati conseguiti nelle singole istituzioni scolastiche e formative, sono comunicati al direttore generale dell'ufficio scolastico regionale, che ne tiene conto ai fini della individuazione degli obiettivi che assegnerà al dirigente scolastico in sede di conferimento del successivo incarico e della valutazione. Art. 3. Invalsi Il compito principale di sintetizzare in otto punti: tale istituto si può 1. assicurare il coordinamento funzionale dell'SNV 2. proporre protocolli di valutazione e il programma delle visite alle istituzioni scolastiche da parte dei nuclei di valutazione esterna 3. definire gli indicatori di efficienza e di efficacia per l'individuazione delle istituzioni scolastiche e formative che necessitano di supporto e da sottoporre prioritariamente a valutazione esterna 4.Mettere a disposizione delle singole strutture scolastiche e formative strumenti per la realizzazione delle azioni legate alla valutazione 5. definire gli indicatori per la valutazione dei dirigenti scolastici 6. curare la selezione, formazione l'inserimento degli ispettori esterni 7. redigere un periodico rapporto sul sistema scolastico formativo 8. partecipare alle indagini internazionali in materia di valutazione. Quanta consapevolezza….? Gli insegnanti che risultano coinvolti nelle rilevazioni (i docenti di Italiano e Matematica) sono un’esigua minoranza della totalità del corpo docente: possiamo stimare con buona approssimazione circa il 25-30% degli insegnanti della scuola primaria, circa il 12-15% della secondaria di primo grado, circa il 9-12% della secondaria di secondo grado, in base alla composizione dei consigli di classe nei vari ordini scolastici Ma se è sull’Invalsi che il nostro futuro di docenti e studenti dovrà essere “impiantato”, forse potrebbe essere utile sapere qualcosa in più su cosa è e come funziona questo soggetto. In statistica una rilevazione si dice campionaria quando è utile per fare inferenza ossia per desumere dal campione stesso un'informazione relativa all'intera popolazione. Le indagini censuarie, al contrario, riguardano l'intera popolazione e pur essendo più affidabili riguardo al parametro oggetto d'indagine soffrono di: •Maggiori costi •Tempi più lunghi Dati OCSE diplomi •Minore accuratezza e minori risorse concentrate sul controllo della qualità della rilevazione (quello che si guadagna in estensione si perde in profondità) La Scuola misurata Livello di classe Indagine Periodicità Modalità Primaria II Invalsi Annuale Censuaria Primaria IV IEA – TIMSS IEA – PIRLS Quadriennale Quinquennale Campionaria Campionaria Primaria V Invalsi Annuale Censuaria Sec. I grado I Invalsi Annuale Censuaria Sec. I grado III Invalsi (P.N.) IEA – TIMSS Annuale Quadriennale Censuaria Campionaria Sec II grado II Invalsi OCSE – PISA Annuale Triennale Censuaria Campionaria Sec II grado V IEA – TIMSS Advanced Invalsi (P.N.) 1995 - 2008 Annuale Campionaria Censuaria IEA – TIMSS (2011) L'indagine TIMSS 2011 (Trends in International Mathematics and Science Study), è il quinto ciclo di una ricerca internazionale promossa dalla IEA (International Association for the Evaluation of Educational Assessment) e analizza il rendimento degli studenti in Matematica e Scienze in oltre 60 Paesi. L'indagine TIMSS misura la performance degli studenti relativamente alla IV classe della scuola primaria e III secondaria di I grado e monitora l’implementazione dei curricoli scolastici nei Paesi partecipanti all'indagine. Condotto ogni quattro anni, il TIMSS fornisce anche informazioni circa il progresso degli studenti attraverso i gradi di istruzione; infatti, la coorte di studenti valutata in quarta primaria in un ciclo TIMSS raggiunge la terza secondaria di prima grado il ciclo dopo (ad es. gli studenti che frequentavano la quarta classe primaria nel 2007 frequenteranno la terza secondaria nel 2011). IEA – PIRLS (2011) Lo studio IEA PIRLS 2011 - Progress in International Reading Literacy Study - è una delle indagini internazionali, promosse dalla International Association for the Evaluation of Educational Assessment (IEA). Il PIRLS è una ricerca periodica, ripetuta ogni cinque anni, che ha come principale obiettivo la valutazione comparativa delle competenze di lettura dei bambini al quarto anno di scolarità e di età compresa tra i nove e i dieci anni. Il quarto anno di scolarità è considerato un importante punto di transizione nello sviluppo dei bambini come lettori. Infatti, è in questo momento che, tipicamente gli studenti hanno imparato a leggere e iniziano a leggere per imparare. L'indagine IEA TIMSS 2008 Advanced (Trends in International Mathematics and Science Study) è un progetto internazionale finalizzato alla valutazione delle prestazioni degli studenti, relative all'ultimo anno di scolarità (classe V della scuola secondaria di secondo grado), per gli indirizzi specialistici in matematica e fisica. La valutazione sulla matematica avanzata è relativa all'algebra (numeri complessi, serie, equazioni, ecc.), al calcolo (limiti, derivate, integrali, funzione esponenziale, ecc.) ed alla geometria analitica. La valutazione sulla fisica è relativa alla meccanica, elettricità e magnetismo, calore e temperatura e fisica atomica e nucleare. Tutti gli argomenti oggetto di indagine sono quelli trattati nei curricola nazionali dei licei scientifici e degli istituti tecnico industriale. Le prove prevedono l'utilizzo di fascicoli con item a risposta multipla ed a risposta aperta; quattro fascicoli differenti sono previsti per la matematica, e quattro fascicoli differenti per la fisica. Il campione rappresentativo per la maggior parte dei paesi coinvolgerà un minimo di 120 scuole e di circa 2.000 allievi per ogni disciplina. Dal sito OCSE PISA è un’indagine comparativa internazionale che si svolge ogni tre anni. Il suo obiettivo principale è quello di valutare in che misura gli studenti che si approssimano alla fine dell’istruzione obbligatoria (i quindicenni) abbiano acquisito alcune competenze ritenute essenziali per una consapevole partecipazione nella società. Le competenze valutate sono riferite a tre ambiti di literacy: lettura, matematica e scienze. In ogni edizione uno di questi, a rotazione, costituisce l’ambito di rilevazione principale: ad esso si dedica una particolare attenzione ed è riservato uno spazio maggiore nei questionari cognitivi somministrati agli studenti. Valutare le competenze significa andare oltre la mera constatazione della capacità degli studenti di riprodurre le conoscenze ed esaminare, piuttosto, se essi sono in grado di utilizzare quanto appreso e di applicarlo anche a situazioni non familiari, diverse da quelle usualmente proposte a scuola. Sono rappresentati i Licei, gli Istituti Tecnici, gli Istituti Professionali e la Formazione Professionale. Sono inoltre presenti le Scuole secondarie di I grado in quanto una piccola percentuale di quindicenni risulta frequentare tali scuole. Il tipo di operazione richiesta agli studenti dalle domande della prova può essere così sintetizzata: • trovare informazioni nel testo • ricostruirne il significato integrandole ed interpretandole • riflettere sul testo e valutarlo Ultima rilevazione 2012: 67 paesi presenti (nel 2000 erano 35) Nel 2000 l’Italia partecipa solo come paese, nel 2003 chiedono di partecipare disaggregate 6 regioni, nel 2006 12 regioni, dal 2009 tutte. Questionari: per avere informazioni di contesto dagli studenti, dalla scuola e dai genitori 2000 2003 2006 2009 2012 Lettura Lettura Lettura Lettura Lettura Matematica Matematica Matematica Matematica Matematica Scienze Scienze Scienze Scienze Scienze Domanda Test OCSE-PISA Dal sito dell’INVALSI Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione (2012) INVALSI • Art. 1, c.5, Legge 25 ottobre 2007, n. 176: dall’anno scolastico 2007/08 il Ministro della Pubblica Istruzione fissa con direttiva annuale gli obiettivi della valutazione esterna condotta dal Servizio nazionale di valutazione in relazione al sistema scolastico e ai livelli di apprendimento degli studenti per effettuare verifiche periodiche e sistematiche sulle conoscenze e abilità degli studenti, di norma, alla classe seconda e quinta della scuola primaria, alla prima e terza classe della scuola secondaria di I grado e alla seconda e alla quinta classe del secondo ciclo (…). L’INVALSI ritiene che la finalità ultima della misurazione degli apprendimenti risieda nel fornire alle singole scuole uno strumento di diagnosi per migliorare il proprio lavoro. L’INVALSI si pone dunque come Istituto al servizio della singola scuola. L’Invalsi è un ente autonomo? Decreto n. 11 del 2-9-2011- Statuto dell’Invalsi Articolo 8 2. Il Presidente e il Consiglio di amministrazione sono selezionati con le procedure previste dall’articolo 11 del decreto legislativo 31 dicembre 2009 n. 213. Il Presidente è scelto tra persone di alta qualificazione scientifica e con adeguate conoscenze dei sistemi di istruzione e formazione, di ricerca e dei sistemi di valutazione in Italia e all'estero. I componenti del Consiglio di amministrazione sono scelti dal Ministro tra esperti nei settori di competenza dell'Istituto. 3. I componenti del Consiglio di amministrazione dell’Istituto, compreso il Presidente, sono nominati con decreto del Ministro dell’istruzione, dell’università e della ricerca, durano in carica quattro anni, e possono essere riconfermati una sola volta. I test sono anonimi? Dal Manuale dati di contesto dell’Invalsi per le segreterie delle scuole (edizione 2011) Il codice alunno (codice SIDI) è un codice univoco assegnato dal sistema SIDI del MIUR a ciascun allievo presente nell’Anagrafe Nazionale degli Alunni. L’inserimento del codice alunno (codice SIDI) è molto importante poiché consentirà già dall’anno prossimo alle segreterie di evitare di inserire nel sistema INVALSI i dati trasmessi a partire da questo anno scolastico. La maschera per l’inserimento delle informazioni di contesto consente alle segreterie di riutilizzare, anche nei prossimi anni scolastici, le informazioni già inserite. La maschera permette di visualizzare e stampare l’Elenco Studenti da fornire, senza doverlo riscrivere, al somministratore della prova. Il predetto elenco è molto importante poiché contiene la corrispondenza univoca tra il codice INVALSI, il nome e il cognome dello studente e il codice allievo SIDI. In questo modo è possibile associare i fascicoli delle prove degli allievi alle loro informazioni di contesto. L’associazione delle predette informazioni (Nome, Cognome, Codice INVALSI e codice SIDI) rimane nota alla scuola. scheda Terminato l’inserimento dei dati di tutti gli studenti della classe è necessario creare una copia di tali dati per l’invio all’INVALSI. Tale copia si ottiene facendo clic sulla voce Crea Copia per l’INVALSI. Tale file contiene tutte le informazioni inserite tramite la finestra a eccezione del nome e del cognome dello studente. L’Invalsi lavora in forma censuaria o a campione? Test Invalsi 2011/2012 (dal sito dell’Invalsi) Complessivamente sono state coinvolte circa 32.000 scuole, 112.000 classi e 2.271.407 studenti. Come per le rilevazioni precedenti è stato individuato un campione di scuole, statisticamente rappresentativo, i cui risultati costituiscono la base del Rapporto sugli esiti del Servizio nazionale di valutazione 2012 e della Prova nazionale 2012. Per la Prova Nazionale di terza secondaria di primo grado complessivamente, sono state coinvolte circa 5.900 scuole, 29.478 classi e 587.412 studenti. Anche in questa occasione il campionamento ha riguardato circa 26.000 studenti. L'anomalia italiana nella valutazione delle scuole La Commissione Europea ha commissionato a Eurydice un’analisi completa nel 2009 sui test di valutazione usati nei vari paesi che è facilmente reperibile in rete al link http://www.eurydice.org Il rapporto per prima cosa suddivide i test in quattro categorie: 1. quelli che servono per la certificazione delle competenze al termine di un ciclo di studi 2. quelli usati per monitorare gli istituti 3. quelli usati per monitorare il sistema educativo 4. quelli finalizzati ad individuare i bisogni di apprendimento degli studenti. I test nazionali spesso soddisfano nell'ambito delle suddette categorie. varie finalità Per esempio Estonia, Irlanda, Italia, Lettonia, Polonia e Portogallo affermano che i loro test certificativi verranno utilizzati anche per monitorare il sistema educativo. Altri paesi, quali Bulgaria, Italia e Slovenia, dichiarano che gli stessi test nazionali vengono utilizzati per finalità di monitoraggio sia a livello di istituto che di sistema. Solo l’Italia dichiara di voler utilizzare il metodo del valore aggiunto per la valutazione delle scuole. Gli esperti della Commissione hanno ricordato che l’utilizzo di un singolo test per più finalità potrebbe essere inappropriato, in quanto ciascun obiettivo richiede tendenzialmente informazioni diverse. L’Italia è l’unico paese che cerca di usare un singolo test per QUATTRO finalità diverse! Anzi, visto la necessità di monitorare anche l’operato dei Dirigenti Scolastici, le finalità sono diventate CINQUE!!! Valore aggiunto cos’è? Valore aggiunto Invalsi da “La misurazione del valore aggiunto nella scuola” di Roberto Ricci – ricercatore Invalsi Secondo Grisay l’effetto scuola può essere misurato in quattro modi differenti: 1) con la differenza tra il punteggio medio grezzo di tale scuola e quello medio generale di un certo territorio, 2) mediante la misurazione dei progressi medi che gli allievi realizzano in un determinato arco di tempo (guadagni cognitivi), 3) per mezzo della differenza media tra i punteggi osservati ed i punteggi attesi in relazione alle caratteristiche degli allievi (condizione socio-economicoculturale, attitudini, ecc.), 4) mediante il guadagno cognitivo medio netto rispetto a tutti i fattori di contesto che non sono controllati dalla scuola. La terza operazionalizzazione del concetto di effetto scuola rappresenta l’accezione più diffusa di valore aggiunto all’interno del filone di ricerca sull’efficacia in campo scolastico. La quarta definizione si riferisce a una concezione di valore aggiunto ancora più articolata ed approfondita poiché si basa sui guadagni cognitivi netti degli allievi con riferimento a prove standardizzate somministrate ad intervalli di tempo predefiniti. Sia che si intenda il valore aggiunto secondo la definizione più diffusa che in termini di guadagni cognitivi netti, risulta cruciale poter disporre di misure appropriate e statisticamente corrette sugli apprendimenti. Invalsi: scuse per la griglia Questionario studente Scheda scuola Comparazione scuole Ma quanto costa l’Invalsi? Dal Piano Triennale di attività Invalsi 2013/15, consultabile nel sito dell’ente: Il costo annuo, per ciascuno dei tre presi in esame, è riassunto nella seguente tabella Da tenere presente si deve aggiungere vigente, pari a € Invalsi a segnalare aggiuntivo, il cui 3.563.088,69. che l’ente stesso segnala che a ciò il Costo della dotazione organica 2.429.760,96; inoltre è sempre la necessità di un nuovo organico costo stimato è pari a € Insomma, euro più euro meno, un anno di Invalsi ci costa circa 20.000.000 € ! CONCLUDENDO • l’Invalsi non è un ente autonomo • l’Invalsi non garantisce l’anonimato agli studenti • l’Invalsi usa un unico test per cercare di misurare contemporaneamente 4 (se non 5…) aspetti diversi • l’Invalsi promuove un’indagine censuaria, ma in realtà garantisce la presenza di somministratori esterni solamente in un campione di scuole pari al 6,44% di quelle sottoposte a misurazione • l’Invalsi cerca di misurare il cosiddetto “valore aggiunto” delle istituzioni scolastiche con dati di contesto scarsi e legati solamente allo studente • l’Invalsi e le sue operazioni ci costano almeno 20 milioni di euro l’anno; questa cifra è destinata sicuramente a crescere molto, viste le nuove competenze affidate all’ente dal Regolamento che istituisce e disciplina il Sistema Nazionale di Valutazione Se a tutto questo aggiungiamo che nelle sue rilevazioni l’Invalsi usa prevalentemente domande a risposta chiusa che non permettono allo studente di esprimere la sua capacità di rielaborazione personale, di riflessione, di interpretazione e di analisi, forse l’idea di impiantare il Servizio Nazionale di Valutazione su questo ente non è stata delle migliori. Italiano Invalsi 2 superiore Matematica Invalsi 2 superiore Cheating L’Invalsi quest’anno per la prima volta ha restituito alle scuole i punteggi relativi alle rilevazione degli apprendimenti al netto del “Cheating”. Cerchiamo di capire di cosa si tratta. Per stabilire l’attendibilità dei dati raccolti l’Invalsi ha deciso di rilevare indirettamente “comportamenti impropri che hanno consentito, secondo modi e forme differenti, agli allievi di fornire le risposte corrette non in virtù delle loro competenze, ma perché copiate dagli altri studenti o da libri e altre fonti o, persino, suggerite più o meno esplicitamente dai docenti” L’Invalsi dovrebbe occuparsi direttamente della rilevazione annuale degli apprendimenti, ma non lo fa perché non è in grado di retribuire un adeguato numero di esaminatori esterni. Per questo la somministrazione è affidata ai docenti dai dirigenti scolastici, anche se tale attività non rientra assolutamente tra i loro compiti. In altre parole l’Invalsi non è in grado di gestire e controllare direttamente le operazioni di somministrazione, non si fida dei docenti, pur utilizzandoli come esaminatori, e per questo rileva indirettamente i “comportamenti anomali” attraverso il calcolo per ogni classe dell’indice di propensione al “Cheating”. Il punteggio al netto del “Cheating” si ottiene riducendo mediante l’indice di propensione il punteggio totalizzato da ogni studente componente della classe. Si tratta quindi del punteggio, per così dire, depurato dai “comportamenti anomali”. L’Invalsi ritiene che siano sintomo di “comportamenti anomali”: un elevato punteggio medio e una elevata concentrazione dei punteggi della classe attorno al punteggio medio, una elevata concentrazione di risposte identiche, giuste o sbagliate non importa, date a un medesimo quesito e infine un basso numero di risposte non date. Utilizzando tutte queste informazioni l’Invalsi calcola un numero tra zero e uno e tale numero è il valore dell’indice di propensione al “Cheating” assegnato alla classe in questione. Il punteggio al netto del “Cheating” si calcola moltiplicando il punteggio totalizzato per la differenza tra uno e l’indice di propensione. Per esempio se uno studente ha totalizzato 100 e l’indice di propensione al “Cheating” della sua classe è pari a 0,05, allora il punteggio dovrà essere ridotto del 5% e passerà quindi a 95 = 100 X 0,95. L’Invalsi per ogni area geografica (Nord ovest, Nord est, Centro, Sud, Sud e isole) ha calcolato la mediana dell’indice di propensione al “Cheating”. Questo vuol dire che il 50% delle classi dell’area ha un indice di propensione superiore a tale valore. Per intenderci se la mediana dell’indice di propensione relativo a un area è pari a 0,0127, allora il 50% delle classi di quell’area ha un indice di propensione superiore a 0,0127. La mediana minore tra quelle delle cinque aree è presa come soglia di riferimento. Da questo si deduce chiaramente che in ogni area almeno il 50% delle classi non può che avere un indice di propensione al “Cheating” superiore alla soglia. L’invalsi ha corretto i punteggi degli studenti di tutte le classi che avevano un indice di propensione al “Cheating” superiore alla soglia così determinata. Quindi ha corretto il punteggio di almeno il 50% delle classi di ogni area. Media o mediana ? L’Invalsi non ha restituito il punteggio delle classi che hanno un indice superiore a 0,5 escludendole anche dal calcolo del punteggio medio di scuola. In presenza di un numero di classi superiore al 50% con indice superiore a 0,5, l’Invalsi non ha calcolato neppure il punteggio medio di scuola. Nel complesso le classi con un indice di propensione al “Cheating” superiore alla soglia, ma inferiore a 0,5 sono state il 55,1% in Italiano e il 59,2% in Matematica. Mentre le classi con un indice di propensione al “Cheating” superiore a 0,5 sono state il 6,0% in Italiano e il 5,2% in Matematica. Le classi con un indice di propensione al “Cheating” superiore alla soglia sono state il 61,1% in Italiano e il 64,4% in Matematica. Dichiarazione Sestito È come se un insegnante decidesse a priori che abbasserà la valutazione ad almeno la metà dei suoi studenti, indipendentemente da quale sarà l’esito della verifica che andrà a proporre loro, perché è convinto che sicuramente copieranno. Un comportamento simile, oltre a essere particolarmente demotivante, non può che provocare negli studenti un profondo senso di ingiustizia perché sottende una logica assolutamente punitiva.