Il Sistema Nazionale di Valutazione Parma – 20 settembre 2013 considerazioni sulla valutazione cosa significa “valutare” • etimologicamente = attribuire un valore a qualcosa • problemi connessi: • • • • differenza fra “costo” e “valore” chi formula la stima relativa al secondo? è possibile una stima oggettiva? cosa succede in caso di errore? • in ambito economico, le risposte sono chiare: • a stimare il valore del “bene” è chi vuole procurarselo • la stima che ne fa è ovviamente “soggettiva” • cioè dipende dal bisogno che ne ha o dal confronto con altri beni simili • se sbaglia, pagherà un costo più alto rispetto al valore • la prossima volta, farà tesoro dell’esperienza SNV - Antonino Petrolino - 2013 © 3 la valutazione nei servizi • nei servizi di natura non economica, non è così • soprattutto se sono resi in regime di esclusiva • e quindi fuori da un bilanciamento domanda / offerta • in questo caso, la stima la fa il committente • in relazione alle aspettative che nutre • per confronto con situazioni analoghe di altri contesti • il problema quindi si sposta • chi è il committente “vero” del servizio scolastico? • è lo Stato che lo regola e che lo finanzia? • o è il cittadino che lo paga e dovrebbe trarne beneficio? SNV - Antonino Petrolino - 2013 © 4 l’anomalia italiana • in tutti i paesi, l’istruzione è bene pubblico • finanziato in prevalenza con la fiscalità generale • ma lo Stato ha due modi per valutarlo • fissando “a priori” degli obiettivi • valutando“a posteriori” il loro raggiungimento • in Italia, non è (stato, finora) così • perché gli obiettivi non sono stati dichiarati • e quindi non è stato possibile verificarli a consuntivo • a fissare gli “standard minimi” sono, di fatto: • i singoli consigli di classe, al momento dello scrutinio finale • o, addirittura, i singoli docenti con la proposta di voto SNV - Antonino Petrolino - 2013 © 5 eppur si muove … • qualcosa comincia a cambiare di recente • con le prove INVALSI • con la partecipazione alle rilevazioni internazionali • né le une né le altre hanno “standard a priori” • ma utilizzano al loro posto livelli “statistici” • molto discutibili in relazione al singolo caso • ma sostanzialmente significativi a livello di sistema • questo permette, se non altro: • di sapere se una scuola è sopra la media o meno • di “inferire” quanto di questo scostamento “controlla” SNV - Antonino Petrolino - 2013 © 6 nel giro di pochi anni • abbiamo avuto diverse sperimentazioni: • Valorizza • VSQ • VaLeS 2010-2011 2011-2014 2012-2015 esaurita ad esaurimento in corso • ed ora una norma giuridicamente vincolante: • DPR 28 marzo 2013, n. 80 • pubblicato in Gazzetta Ufficiale il 4 luglio 2013 • in vigore – teoricamente – dal 19 luglio • ma siamo ancora alla “misurazione” • non ad una vera e propria valutazione SNV - Antonino Petrolino - 2013 © 7 il regolamento SNV quanto è “maturo” il SNV? • mancano ancora molte cose: • il tempo (entrato in vigore a ridosso del 1° settembre) • i valutatori dirigenti tecnici • non sono ancora partite le procedure di assunzione • i valutatori “esperti” • è in corso la procedura di selezione su oltre 5.000 aspiranti • dovranno poi essere formati • i protocolli di auto-valutazione • gli strumenti di lavoro (informatici e non) • il 2013-2014 sarà un “anno di transizione” • tanto per cambiare … • le scuole potranno / dovranno utilizzarlo per studiare • ma, in particolare, per i neo-dirigenti • si profila uno specifico obbligo, come già lo scorso anno SNV - Antonino Petrolino - 2013 © 9 il rapporto con VaLeS • il regolamento è “acefalo” sul piano giuridico • la norma che istituisce il SNV è carente • non indica principi, criteri ed indirizzi (art. 76 Cost.) • di fatto, quindi, esso si è sviluppato “nel vuoto” • la sua redazione è parallela allo sviluppo VaLeS • cui il testo finale assomiglia molto • il MIUR ha anche avvalorato questa lettura • con una nota del 9 aprile 2013 • si può quindi assumere che • SNV utilizzerà molti degli strumenti e concetti di VaLeS SNV - Antonino Petrolino - 2013 © 10 cosa prevede il regolamento? • tutte le scuole sono tenute all’attuazione del modello • quattro fasi: • • • • auto-analisi ed ipotesi di piano di miglioramento validazione esterna della prima fase attuazione del piano di miglioramento rendicontazione sociale • in aggiunta, sul raggiungimento degli obiettivi di miglioramento, saranno valutati i dirigenti scolastici • non ci sono sanzioni o benefici per le scuole SNV - Antonino Petrolino - 2013 © 11 la prima fase autoanalisi e piano di miglioramento da dove si parte • questa è la prima scadenza per le scuole • cui tutte saranno tenute (a partire dal 2014?) • si articola in due passaggi (art. 6 c.1): 1) analisi e verifica del proprio servizio sulla base dei dati resi disponibili dal sistema informativo del Ministero, delle rilevazioni sugli apprendimenti e delle elaborazioni sul valore aggiunto restituite dall'Invalsi, oltre a ulteriori elementi significativi integrati dalla stessa scuola; 2) elaborazione di un rapporto di autovalutazione in formato elettronico, secondo un quadro di riferimento predisposto dall'Invalsi, e formulazione di un piano di miglioramento; SNV - Antonino Petrolino - 2013 © 13 il primo passaggio • utilizza tre tipologie di informazioni: • “dati resi disponibili dal Ministero” • in pratica, i dati di “Scuola in Chiaro”, già esistenti • “rilevazioni sugli apprendimenti ed elaborazioni sul valore aggiunto, restituite dall’INVALSI” • questi dati di solito sono disponibili in novembre • sarebbe opportuno un anticipo nei tempi • “ulteriori elementi significativi integrati dalla stessa scuola” • in VaLeS, sono questionari di contesto e di input • la cui traccia è fornita sempre dall’INVALSI • anche la griglia di valutazione è predisposta da INVALSI SNV - Antonino Petrolino - 2013 © 14 dati “hard” e dati “soft” • i dati “hard” sono le variabili indipendenti • cioè quelle che bisogna assumere come rigide • nello schema, quelli del primo e terzo tipo • i dati “soft” sono le variabili dipendenti • cioè quelle che l’azione della scuola può modificare • nello schema, i risultati di apprendimento • ovviamente, solo per il futuro • su questo aspetto, si concentra quindi • il secondo passaggio • con un limite (vedi scheda successiva) SNV - Antonino Petrolino - 2013 © 15 “valore aggiunto”: una risorsa o un limite? • i dati provenienti dall’INVALSI sono di due tipi: • risultati di apprendimento • che sono scientificamente attendibili • nei limiti del “cheating” e degli standard statistici • elaborazioni sul valore aggiunto • che sono esposte a due tipi di criticità • l’attendibilità delle risposte ai questionari di contesto • la “compressione” della varianza nei risultati • in pratica, se le differenze di ESCS (status socio economico culturale) spiegano una misura importante della varianza nei risultati, il “valore aggiunto” delle scuole (in positivo o in negativo) diventa sostanzialmente marginale • ma è proprio l’unico anello del sistema su cui le scuole possono agire … SNV - Antonino Petrolino - 2013 © 16 il secondo passaggio • si scompone in due momenti: • rapporto di auto-valutazione • in formato elettronico, predisposto da INVALSI • la “fotografia” di partenza che ogni scuola fa a se stessa • piano di miglioramento • tendenzialmente, triennale • ma il primo anno se ne va per l’analisi e l’auto-valutazione • ovviamente, conseguente alla diagnosi effettuata SNV - Antonino Petrolino - 2013 © 17 il rapporto di auto-valutazione • il rapporto di autovalutazione (in VaLeS) • si articola in diverse rubriche • esiti • • • • successo scolastico competenze di base equità degli esiti risultati a distanza • contesto • contesto (socio-economico-culturale) • risorse • processi • pratiche educative e didattiche • ambiente organizzativo per l’apprendimento • ogni rubrica è corredata di indicatori e di una griglia di valutazione SNV - Antonino Petrolino - 2013 © 18 il piano di miglioramento • anche il piano si articola in diversi punti: • situazione attuale • valori / dati di riferimento • quelli rispetto ai quali ci si confronta • risultato atteso • questi tre punti devono essere presenti • per tutti gli obiettivi indicati nel piano • si suggerisce di fissare da due a quattro obiettivi • uno o due nell’area degli esiti • uno o due in quella dei processi • per quest’ultima, tenendo conto di quelli didattici ed organizzativi • gli aspetti di contesto sono, evidentemente, immodificabili SNV - Antonino Petrolino - 2013 © 19 la seconda fase valutazione esterna l’anello debole del sistema • la valutazione esterna sarà effettuata da: • un nucleo comprendente • un dirigente tecnico del contingente ispettivo • due esperti esterni scelti da un albo specifico • per il quale sono in corso le selezioni • i dirigenti tecnici in servizio sono poche decine • quelli da assumere (ancora …) pochi di più • gli esperti potranno essere fino al doppio • forse si arriverà ad un centinaio o poco più • in pratica, anche in considerazione del tempo utile, • potranno essere “valutate” solo qualche centinaio di scuole • per tutte le altre, ci si fermerà al rapporto di auto-valutazione • con il forte rischio di lasciare le cose come stanno SNV - Antonino Petrolino - 2013 © 21 in che consiste la valutazione esterna • art. 6 c. 1 lettera b): 1) individuazione da parte dell‘INVALSI delle situazioni da sottoporre a verifica, sulla base di indicatori di efficienza ed efficacia previamente definiti dall'Invalsi medesimo; 2) visite dei nuclei di cui al comma 2, secondo il programma e i protocolli di valutazione adottati dalla conferenza ai sensi dell'articolo 2, comma 5; 3) ridefinizione da parte delle istituzioni scolastiche dei piani di miglioramento in base agli esiti dell'analisi effettuata dai nuclei; • questa successione restringe il tempo utile per le visite a poche settimane (fra la conclusione della redazione del piano e l’inizio del successivo anno scolastico) • il rischio dello “stigma” sociale per le scuole visitate SNV - Antonino Petrolino - 2013 © 22 la terza fase azioni di miglioramento dal piano alle azioni concrete • art. 6 c. 1 lettera c): 1) definizione e attuazione da parte delle istituzioni scolastiche degli interventi migliorativi anche con il supporto dell'Indire o attraverso la collaborazione con università, enti di ricerca, associazioni professionali e culturali. Tale collaborazione avviene nei limiti delle risorse umane e finanziarie disponibili e senza determinare nuovi o maggiori oneri per la finanza pubblica; • il vincolo dell’invarianza di spesa significa in pratica che le scuole dovranno fare da sé • l’INDIRE offrirà verosimilmente formazione a distanza • sarebbe opportuno che ci fosse un piano di formazione almeno di un referente per scuola, da preparare alla lettura dei dati INVALSI ed all’utilizzo degli strumenti di analisi e reportistica SNV - Antonino Petrolino - 2013 © 24 quarta fase rendicontazione sociale un oggetto misterioso • art. 6 c.1 lettera d): 1) pubblicazione, diffusione dei risultati raggiunti, attraverso indicatori e dati comparabili, sia in una dimensione di trasparenza sia in una dimensione di condivisione e promozione al miglioramento del servizio con la comunità di appartenenza. • il riferimento a “indicatori e dati comparabili” fa supporre, ancora una volta, l’intervento dell’INVALSI • ma il Regolamento non dice nulla di più • comunque, se ne parlerà non prima del 2017 • non è prevista alcuna verifica esterna circa i risultati SNV - Antonino Petrolino - 2013 © 26 la valutazione dei dirigenti cosa dice il Regolamento • art. 6 c. 4 e 5: 4. Le azioni di cui al comma 1 sono dirette anche a evidenziare le aree di miglioramento organizzativo e gestionale delle istituzioni scolastiche direttamente riconducibili al dirigente scolastico, ai fini della valutazione dei risultati della sua azione dirigenziale, secondo quanto previsto dall'articolo 25 del decreto legislativo 30 marzo 2001, n. 165, e successive modificazioni, e dal contratto collettivo nazionale di lavoro. 5. I piani di miglioramento, con i risultati conseguiti dalle singole istituzioni scolastiche, sono comunicati al direttore generale del competente Ufficio scolastico regionale, che ne tiene conto ai fini della individuazione degli obiettivi da assegnare al dirigente scolastico in sede di conferimento del successivo incarico e della valutazione di cui al comma 4. SNV - Antonino Petrolino - 2013 © 28 aspetti problematici • la legge di delega (n. 10/2011 art. 4-undevicies) dice: c) “nel corpo ispettivo, autonomo e indipendente, con il compito di valutare le scuole e i dirigenti scolastici secondo quanto previsto dal decreto legislativo 27 ottobre 2009, n. 150”. • ci sono almeno due strappi normativi: • la valutazione non è affidata al corpo ispettivo, ma ad un nucleo misto (o direttamente all’INVALSI?) • non si parla nel Regolamento di una valutazione esterna successiva all’attuazione del piano. Dunque i dati saranno o quelli indicati direttamente dalle scuole o, al massimo, quelli rilevati da INVALSI (che rileva solo apprendimenti) • il modello, mutuato da VaLeS, fa riferimento al DLgs. 165 (art. 25) e non al DLgs. 150, come prescritto SNV - Antonino Petrolino - 2013 © 29 ulteriori aspetti problematici • il dirigente è parte integrante del processo • secondo VaLeS, “designa” il nucleo interno • raccoglie i dati dalle diverse fonti • governa i lavori degli organi collegiali • ma è valutato sui “risultati” • principalmente di apprendimento • che concorre a determinare solo in modo molto indiretto • ma anche su quelli di processo • per i quali deve dare attuazione a delibere di organi • o per cui deve acquisire il consenso nella contrattazione • esiste il rischio concreto di un conflitto di interessi • che potrebbe tradursi nella scelta di obiettivi “al ribasso” SNV - Antonino Petrolino - 2013 © 30 nodi da sciogliere … o da tagliare • quante scuole avranno la valutazione esterna • se ci sarà una forma di validazione ex-post • se sì, solo sugli indicatori o tramite visite in loco? • rischio di eccessivo peso ad un solo fattore • cioè i risultati di apprendimento • mancanza di standard definiti a-priori • quelli statistici sono relativi • funzionano per le comparazioni esterne • ma sono in qualche modo “arbitrari” per la valutazione interna • ambiguità sui “fini ultimi” del sistema • il peso dato al “valore aggiunto” dà da pensare • ha un senso se si vogliono valutare le persone • rischia di essere un alibi rispetto ai risultati “veri” SNV - Antonino Petrolino - 2013 © 32