Palermo, 6 maggio 2014 I progetti di valutazione delle istituzioni scolastiche Isabella Quadrelli - INVALSI Perché la valutazione delle scuole? Migliorare Rendicon tare Perché la valutazione delle scuole in Italia? Spinte internazionali ed europee Riforme in ambito scolastico e della pubblica amministrazione Nuove richieste e aspettative sociali Raccomandazione del Parlamento europeo e del Consiglio del 12 febbraio 2001 per la valutazione della qualità dell’insegnamento: «sviluppare la valutazione esterna allo scopo di fornire un sostegno metodologico all'autovalutazione e fornire un'analisi esterna della scuola che incentivi un processo costante di miglioramento facendo attenzione a non limitarsi al solo controllo amministrativo» «incoraggiare l'autovalutazione da parte degli istituti scolastici come metodo per fare delle scuole un luogo di apprendimento e di perfezionamento, associando con equilibrio autovalutazione e valutazione esterna.» Il Regolamento sul Sistema Nazionale di Valutazione Finalità generali della valutazione (art. 2 co. 1) Ai fini del miglioramento della qualità dell'offerta formativa e degli apprendimenti, l'S.N.V. valuta l'efficienza e l'efficacia del sistema educativo di istruzione e formazione La valutazione dei dirigenti scolastici (art. 2 co. 2) L'S.N.V. fornisce i risultati della valutazione di cui al comma 1 ai direttori generali degli uffici scolastici regionali per la valutazione dei dirigenti scolastici Le priorità per la valutazione del Sistema di istruzione e formazione (art. 2 co. 3) il Ministro, con periodicità almeno triennale, individua le priorità strategiche della valutazione del sistema educativo di istruzione I soggetti del S.N.V. Invalsi Indire Nuclei di valutazione esterna Contingente ispettivo Conferenza per il coordinamento funzionale del S.N.V. Il procedimento di valutazione Valutazione esterna Autovalutazione Miglioramento Rendicontazione sociale Il Regolamento sul Sistema Nazionale di Valutazione ha sancito la rilevanza del rapporto tra valutazione interna e valutazione esterna, e miglioramento. L’autovalutazione di istituto L’autovalutazione sollecita ciascuna scuola ad interrogarsi sulla qualità del servizio offerto al fine di migliorarlo: la libertà delle scuole di compiere scelte autonome dovrebbe infatti essere sempre connessa alla responsabilità di intraprendere processi di miglioramento e di qualificazione del servizio. Il Regolamento prevede: - Forme di sostegno esterno all’autovalutazione. L’autovalutazione è presentata come una riflessione sul proprio servizio a partire dai dati forniti da Miur, Invalsi (risultati prove INVALSI, Valore aggiunto) e da altre evidenze individuate dalle scuole - L’elaborazione da parte delle scuole di un rapporto di autovalutazione con l’indicazione di obiettivi di miglioramento La valutazione esterna individuazione da parte dell'Invalsi delle situazioni da sottoporre a verifica, sulla base di indicatori di efficienza ed efficacia previamente definiti visite dei nuclei di valutazione esterna ridefinizione da parte delle istituzioni scolastiche dei piani di miglioramento in base agli esiti dell'analisi effettuata dai nuclei Il miglioramento definizione e attuazione da parte delle istituzioni scolastiche degli interventi migliorativi anche con il supporto dell'Indire o attraverso la collaborazione con università, enti di ricerca, associazioni professionali e culturali. La valutazione dei Dirigenti scolastici Il percorso valutativo serve anche a evidenziare le aree di miglioramento organizzativo e gestionale delle istituzioni scolastiche direttamente riconducibili al dirigente scolastico, ai fini della valutazione dei risultati della sua azione dirigenziale […]. I piani di miglioramento, con i risultati conseguiti dalle singole istituzioni scolastiche, sono comunicati al direttore generale del competente Ufficio scolastico regionale, che ne tiene conto ai fini della individuazione degli obiettivi da assegnare al dirigente scolastico in sede di conferimento del successivo incarico e della valutazione di cui al comma 4. L’impianto valutativo proposto dal Regolamento Valutazione formativa Valutazione esterna Autovalutazione Livelli di valutazione: - Sistema scolastico - Istituzioni scolastiche - Dirigenti scolastici - Apprendimenti degli studenti Valutazione meritocratica dell’operato del DS Dati sulle scuole, prove di apprendimento (MIUR, INVALSI) Miglioramento Rendicontazione sociale Alcune prime riflessioni Quale autonomia viene lasciata alle scuole nella definizione del percorso di autovalutazione? In che termini si struttura il rapporto tra autovalutazione e valutazione esterna rispetto al percorso di miglioramento? È stato osservato che il Regolamento non ha esplicitato in maniera chiara il nesso tra valutazione e miglioramento. Il nesso tra autovalutazione/valutazione esterna e miglioramento NON E’ CAUSALE è necessario favorirlo con: interventi di sistema/cornice e soluzioni tecniche di collegamento interne alla scuola, ad esempio dei sistemi di incentivi Le prime sperimentazioni SIVADIS (Sistema di valutazione dei dirigenti scolastici) Sperimentazione triennale (2003-2006) di attuazione dell’art. 25 del d.legs. 165/2001. Basato sulla definizione di un piano d’azione da parte del DS, valutazione da parte di soggetti esterni e concertazione di azioni di miglioramento VALUTAZIONE & MIGLIORAMENTO (prima edizione) avviato nel 2009 nelle Regioni Obiettivo Convergenza. Sperimentazione di protocolli e strumenti per la valutazione esterna delle scuole e di modalità di supporto per il miglioramento VSQ (Valutazione per lo sviluppo della qualità delle scuole) avviato nel 2011. Sperimentazione di protocolli e strumenti per la valutazione delle scuole (tra cui il Valore Aggiunto) e di un sistema di incentivi economici per le scuole migliori VALES E VM – due progetti sperimentali sui percorsi valutativi delle scuole / 1 Obiettivi comuni: •Validazione di strumenti, procedure e protocolli •Individuazione di figure preposte alla valutazione VALES: •Sperimentazione di un percorso di valutazione esterna ‘leggero’ (2 gg visita) •Sperimentazione dell’utilizzo di un Rapporto di autovalutazione inteso come strumento di comunicazione interno/esterno VM: •Sperimentazione di un percorso di valutazione esterna che prevede un contatto ‘diretto’ con tutti gli attori e nel complesso più approfondito (3gg di visita) •Sperimentazione dell’utilizzo di una Scheda strutturata di osservazione in classe dei processi di insegnamento/apprendimento VALES E VM – due progetti sperimentali sui percorsi valutativi delle scuole / 2 ISTITUZIONI SCOLASTICHE COINVOLTE VM: VALES: •300 istituzioni scolastiche di I e II ciclo che hanno scelto di aderire al progetto di cui • 200 nelle regioni obiettivo convergenza • 100 al centro nord TOTALE = 730 •400 Istituti Comprensivi selezionati mediante una procedura casuale di campionamento sul territorio nazionale •30 scuole secondarie di II grado che hanno scelto di aderire al progetto nelle regioni obiettivo convergenza Valutazione e sviluppo della scuola (VALES) Autovalutazione a ‘monte’ di quella esterna Autovalutazione Processo di autovalutazione Rapporto di autovalutazione Valutazione esterna Analisi organizzativa interna – primo stadio di una valutazione integrata ai fini di miglioramento Strutturato e supportato dall’esterno Strumento di comunicazione, uguale per tutte le istituzioni scolastiche, fra ‘interno’ ed ‘esterno Verifica la congruità del processo di autovalutazione e del giudizio a cui si è giunti, approfondisce le discrasie e fornisce indicazioni per il miglioramento Valutazione e Miglioramento (VM) Autovalutazione a ‘valle’ di quella esterna Valutazione esterna Rapporto di autovalutazione - Autovalutazione Processo di autovalutazione Molto approfondita, individua punti di forza e di debolezza del servizio offerto e indica piste di miglioramento Strumento di comunicazione, uguale per tutte le istituzioni scolastiche, fra ‘interno’ ed ‘esterno Non strutturata a priori, bensì definita da quella esterna nei contenuti; demandata alla scuola Presa di coscienza dei punti critici da affrontare attraverso un proprio specifico percorso autovalutativo a partire dalle piste di miglioramento proposte dai valutatori esterni Un quadro di riferimento teorico per i percorsi valutativi delle scuole / 1 I quadri di riferimento teorici Definiscono gli obiettivi e i principi che orientano la valutazione Individuano gli ambiti ritenuti rilevanti per valutare il funzionamento di una scuola definiscono ipotesi o relazioni che legano tra loro i processi e i processi ai risultati Sono punti di riferimento per individuare gli indicatori e i criteri di qualità Un quadro di riferimento teorico per i percorsi valutativi delle scuole / 2 L’utilizzo di un corpus di criteri comuni per l'autovalutazione e per la valutazione esterna consente: alle scuole di indirizzare le proprie energie verso aspetti che sono ritenuti importanti anche all'esterno al sistema di compiere le proprie rilevazioni e analisi in modo più rapido, potendo contare sul percorso già svolto dalla scuola e assumendone gli esiti. Un quadro di riferimento teorico per i percorsi valutativi delle scuole /3 CONTESTO SOCIO-AMBIENTALE E RISORSE Ambiente Capitale sociale AMBIENTE ORGANIZZATIVO PRATICHE EDUCATIVE Identità strategica Relazione educativa Continuit à orientamento Governo territorio Scelte curricolari ESITI FORMATIVI ED EDUCATIVI Successo scolastico Competenze di base Progettazione–valutazione Equità degli esiti Risultati a distanza EDUCATIVE E DIDATTICHE Risorse economiche e materiali Autovalutazione PER L’APPRENDIMENTO Sviluppo professionale Inclusione Gestione risorse Risorse professionali Un quadro di riferimento teorico per i percorsi valutativi delle scuole / 4 • • • • Successo scolastico Competenze di base Equità degli esiti Risultati a distanza • • • • Ambiente Capitale sociale Risorse economiche e materiali Risorse professionali Un quadro di riferimento teorico per i percorsi valutativi delle scuole / 5 • • • • • Selezione dei saperi, scelte curricolari e offerta formativa Progettazione della didattica e valutazione degli studenti Sviluppo della relazione educativa e tra pari Inclusione, integrazione, differenziazione dei percorsi Continuità e orientamento • • • • • Identità strategica e capacità di direzione della scuola Gestione strategica delle risorse Sviluppo professionale delle risorse Capacità di governo del territorio e rapporti con le famiglie Attività di autovalutazione Un quadro di riferimento teorico per i percorsi valutativi delle scuole / 6 Risultati Equità degli esiti Esempi di definizioni di aree L’equità degli esiti rimanda alla necessità di assicurare a tutti i propri studenti il raggiungimento di alcuni livelli essenziali di competenza necessari per la partecipazione attiva alla vita sociale e allo sviluppo professionale. L’obiettivo misurabile diventa quindi quello di ridurre l’incidenza numerica e la dimensione del gap formativo degli studenti con livelli di apprendimento sotto una determinata soglia. Poiché l’ottenimento di certi risultati non può essere ricondotto alla esclusiva responsabilità della singola scuola, nel valutare una scuola le misure sugli esiti devono essere affiancate sia dalla considerazione dei processi attivati dall’istituzione scolastica per affrontare tali problemi, sia da una misura dell’entità delle difficoltà che quella scuola si è trovata a fronteggiare (ad es. misure del background familiare o del contesto locale in cui la scuola opera). Un quadro di riferimento teorico per i percorsi valutativi delle scuole / 7 Contesto Capitale sociale Esempi di definizioni di aree Risorse e competenze presenti nella comunità per la cooperazione, la partecipazione e l’interazione sociale. Istituzioni rilevanti nel territorio (es. per l’integrazione degli stranieri, l’inclusione, la lotta alla dispersione scolastica, l’orientamento, la programmazione dell’offerta formativa). Un quadro di riferimento teorico per i percorsi valutativi delle scuole / 6 Processi Pratiche educative e Didattiche Selezione dei saperi, scelte curricolari e offerta formativa Esempi di definizioni di aree Individuazione del curricolo fondamentale a livello di istituto e capacità di rispondere alle attese educative e formative provenienti dalla comunità di appartenenza. Definizione di obiettivi e traguardi di apprendimento per le varie classi e anni di corso. Attività opzionali ed elettive che arricchiscono l’offerta curricolare. Un quadro di riferimento teorico per i percorsi valutativi delle scuole / 6 Processi Ambiente organizzativo per l’apprendimento Identità strategica e capacità di direzione della scuola Esempi di definizioni di aree Identificazione e condivisione della missione, dei valori e della visione di sviluppo dell’istituto. Stile di direzione, modalità di gestione della scuola da parte del dirigente e dei suoi collaboratori. Promozione di una comunità professionale che cerca il coinvolgimento e l’impegno pro-attivo del personale. Selezione e formazione dei valutatori Per la valutazione delle istituzioni scolastiche sono stati selezionati e formati 400 valutatori, riconducibili a due profili professionali: Profilo metodologico esperto nelle procedure e nell’utilizzo degli strumenti di rilevazione Profilo pedagogico esperto delle problematiche relative alla didattica e all’organizzazione scolastica In Europa le qualifiche prevalentemente richieste per i valutatori esterni sono legate alla formazione per l’insegnamento o a quella dell' esperienza professionale in campo educativo, associate però a competenze in ambito metodologico/valutativo acquisite attraverso corsi specializzati e/o attraverso il superamento di esami con il rilascio di certificazioni. 27 Ruoli e competenze nei team di valutazione La scelta dei due profili è stata motivata da diverse considerazioni: assicurare un’istanza di «peer evaluation» porre le condizioni per creare il bilanciamento di punti di vista interni ed esterni alla scuola massimizzare le competenze all’interno dei team Profili distinti ma ruoli fortemente integrati: il protocollo di valutazione prevede una forte integrazione delle competenze pedagogiche e di quelle metodologiche in tutte le fasi della valutazione (dalla raccolta dei dati, alla formulazione dei giudizi, alla redazione del rapporto finale). Una pluralità di fonti di informazione per scuole e Team di valutazione Per le scuole VALES: Rapporto di autovalutazione Dati prove INVALSI Scuola in Chiaro MIUR Questionario scuola INVALSI Questionari Studenti, Genitori, Insegnanti INVALSI AUTOVALUTAZIONE VALUTAZIONE ESTERNA Documenti delle scuole (POF, Programma annuale) Il protocollo di valutazione /1 Contatti con la scuola Prima della visita Lettura dei dati e dei documenti della scuola Compilazione delle Griglie per la lettura dei dati Durante la visita Il protocollo di valutazione /2 Incontro tra i memtri del team Incontro con lo staff di dirigenza Interviste e visita degli spazi della scuola Il protocollo di valutazione /3 Formulazione del giudizio Individuazione degli obiettivi di miglioramento Dopo la visita Redazione del rapporto di valutazione Restituzione dei risultati della valutazione alle scuole Una pluralità di strumenti Scheda di osservazione in classe (solo per VM) Intervista strutturata al Dirigente Scolastico Rubriche di valutazione Valutazione esterna Interviste individuali e di gruppo a insegnanti, genitori e studenti Interviste con DS e Personale ATA Foto documentazione Analisi della documentazione 33 Interviste nel progetto Vales Interviste con: - - DS Docenti con incarichi di responsabilità (Funzioni strumentali, collaboratori del DS, responsabili di gruppi o aree) Docenti curricolari - DSGA e personale ATA Ampiente organizzati vo per l’apprendim ento Identità strategica e capacità di direzione della scuola Gestione strategica delle risorse Sviluppo delle risorse umane Capacità di governo del territorio e rapporti con le famiglie Attività di autovalutazione Selezione dei saperi, scelte curricolari e offerta formativa Pratiche didattiche ed educative Progettazione della didattica e valutazione degli studenti Sviluppo della relazione educativa e tra pari Inclusione, integrazione, differenziazione dei percorsi Continuità e orientamento Ds con DSGA e docente referente Docenti referenti e docenti curricolari La Rubrica di valutazione La Rubrica di valutazione permette di esprimere un giudizio su un determinato aspetto o area a partire dalla raccolta di dati di tipo sia quantitativo che qualitativo. Si compone dei seguenti elementi: una check list che presenta gli indicatori ritenuti rilevanti per valutare una specifica area una scala di valutazione a quattro livelli: INDADEGUATO, ACCETTABILE, BUONO, ECCELLENTE ogni livello è descritto in maniera analitica e contiene gli elementi o le evidenze empiriche da prendere in considerazione per esprimere un giudizio La restituzione alle scuole e il sostegno al miglioramento i Team di valutazione hanno elaborato un rapporto di valutazione per ogni istituzione scolastica visitata, che evidenzia i punti di forza e di debolezza del servizio scolastico offerto, e suggerisce piste di miglioramento. Restituzione delle informazioni personalizzate per scuola Confronto tra la singola scuola e le altre scuole coinvolte Individuazione di piste di miglioramento avvio di un percorso di miglioramento In Vales: il sostegno al miglioramento è gestito da INDIRE per mezzo di esperti per il miglioramento In V&M: il sostegno al miglioramento è gestito da INVALSI attraverso linee guida e materiali per le scuole 36 Alcune note sulle prime analisi dei RA delle scuole VALES Il percorso di autovalutazione delle scuole VALES Le scuole partecipanti al progetto VALES hanno effettuato un processo di autovalutazione supportate da INVALSI. Gli Strumenti del percorso di autovalutazione sono stati: Dati ed indicatori provenienti da diverse fonti (Fascicolo Scuola in chiaro, prove INVALSI, Questionario scuola INVALSI, Questionari insegnanti, studenti e genitori messi a disposizioni dell'utenza e degli operatori da INVALSI) Linee guida per l’autovalutazione Un format di Rapporto di Autovalutazione (RA): finalizzato a raccogliere, strutturare e sintetizzare le riflessioni effettuate dalle scuole a partire dal quadro teorico di riferimento per i percorsi valutativi delle scuole e a individuare obiettivi di miglioramento del servizio offerto. I primi risultati emersi dall’analisi dei RA delle scuole VALES / 2 Le prime analisi in sintesi mostrano che: Il livello di adesione delle scuole al percorso di autovalutazione è stato molto elevato. Le percentuali di restituzione dei Rapporti di autovalutazione si attesta intorno al 97% per le scuole VALES. Il RA è stato compilato integralmente dalla quasi totalità delle scuole considerate. Per quanto riguarda gli obiettivi di miglioramento, la percentuale di scuole che non individua nemmeno un obiettivo di miglioramento è molto bassa, inferiore all’1%. La Tabella 2 mostra il giudizio medio (in una scala da 1 a 4) che le scuole si sono attribuite per ciascuna area del quadro di riferimento per i percorsi valutativi delle scuole. Macroarea Area Esiti Successo scolastico 2,97 Competenze di base 2,63 Equità degli esiti 2,36 Esiti a distanza 2,58 Selezione dei saperi, scelte curricolari .. 2,94 Progettazione della didattica e valutazione .. 2,72 Sviluppo della relazione educativa 2,99 Inclusione, integrazione, differenziazione 3,01 Continuità e orientamento 2,99 Ambiente Identità strategica e capacità di direzione .. organizzativo per Gestione strategica delle risorse l’apprendimento Sviluppo professionale delle risorse 3,12 Pratiche didattiche ed educative Scuole Vales 3,06 2,64 Capacità di governo del territorio e rapporti.. 2,86 Attività di autovalutazione 2,69 I primi risultati emersi dall’analisi dei RA delle scuole VALES / 2 Generalmente le scuole del secondo ciclo tendono ad attribuirsi punteggi più bassi, specie nella macroarea degli Esiti e nella maggior parte delle aree afferenti l’Ambiente organizzativo per l'apprendimento. In alcune aree risulta significativa anche la differenza per area geografica. Le scuole del sud tendono ad essere maggiormente rappresentate nei livelli più elevati (Gestione strategica delle risorse, Identità strategica e capacità di direzione della scuola, Attività di autovalutazione, Selezione dei saperi, scelte curricolari e offerta formativa, Sviluppo della relazione educativa). Fanno eccezione le aree Continuità e orientamento e Capacità di governo del territorio e rapporti con le famiglie nelle quali le scuole del nord tendono ad attribuirsi punteggi più elevati. Ciascuna scuola, oltre ad autoattribuirsi un giudizio su ogni area del quadro di riferimento, doveva inoltre motivare il proprio giudizio partendo da evidenze empiriche. Fra queste, INVALSI, nelle Linee Guida per l'autovalutazione, forniva indicazioni sugli indicatori e i dati da considerare e offriva domande guida per orientarne l'interpretazione. L'analisi qualitativa condotta è stata volta a: individuare la completezza, ossia il livello di utilizzo da parte della scuola dei dati forniti; individuare l'accuratezza, ossia il livello di lettura dei dati in relazione ai valori di riferimento, in un'ottica di confronto fra scuole; individuare la qualità dell'analisi, ossia il livello di approfondimento dell'analisi in termini di individuazione di punti di forza e di debolezza del servizio offerto. I primi risultati emersi dall’analisi dei RA delle scuole VALES / 3 Dalle analisi di 3 aree del quadro di riferimento risulta che solo il 10% delle scuole è in grado di utilizzare tutti i dati forniti per l'autovalutazione, operare un confronto e fornire un'interpretazione delle informazioni per individuare punti di forza o di debolezza del servizio offerto. Più della metà delle scuole non è in grado di operare su queste aree alcun confronto, autoattribuendosi dei giudizi in un'ottica completamente autoreferenziale. Più della metà delle scuole non effettua un’interpretazione approfondita dei dati. Infine le prime analisi mostrano anche la difficoltà di ancorare gli obiettivi di miglioramento ai punti di debolezza che emergono dai giudizi autoattribuiti. Le prime indicazioni per SNV / 1 Necessità di migliorare le competenze delle scuole nella lettura dei dati e delle evidenze in proprio possesso a fini autovalutativi nonché nella definizione operativa di obiettivi di miglioramento Difficoltà di gestire a livello centrale il supporto e la formazione per le scuole. Necessità di un affiancamento da parte delle strutture territoriali. I team di valutazione così come pensati integrano competenze pedagogiche con quelle metodologiche; le prime perlopiù sono in capo ad insegnanti e dirigenti scolastici che, di fatto, per svolgere queste azioni di valutazione, devono allontanarsi dalla propria sede di servizio creando non poche difficoltà alle strutture di provenienza. Sarebbe necessario prevedere delle forme di 'comando' per queste persone o di parziale distacco dall'attività prevalente. Questioni aperte La valutazione sul campo costa. Quali risorse sono disponibili per la valutazione? Quante scuole si intende coinvolgere annualmente nella valutazione esterna? Quale cadenza temporale si prevede per la valutazione esterna? Necessità di lavorare sulla diffusione della cultura della valutazione (Serve? A cosa serve? A chi serve?) Necessità di testare la valutazione dei Dirigenti scolastici e il suo impatto sul processo valutativo delle istituzioni scolastiche. La valutazione meritocratica del DS può creare distorsioni nell’impianto prevalentemente formativo della valutazione delle scuole? Riflettere sull’opportunità di prevedere meccanismi di incentivazione per il miglioramento. Una motivazione intrinseca è sufficiente? Grazie per l’attenzione Per informazioni Su vales www.invalsi.it/invalsi/ri/vales/ Per informazioni Su valutazione e miglioramento http://www.invalsi.it/invalsi/ri/audit/ [email protected] [email protected]