LA VALUTAZIONE DEL MIGLIORAMENTO Dino Cristanini STRESA – 4 SETTEMBRE 2014 IL PROCEDIMENTO DI VALUTAZIONE (art.6 DPR 80/2013) AUTOVALUTAZIONE VALUTAZIONE ESTERNA AZIONI DI MIGLIORAMENTO RENDICONTAZIONE SOCIALE Analisi dati forniti da sistema informativo Miur e da Invalsi Rapporto di autovalutazione sulla base di quadro rif. fornito da Invalsi + elementi significativi individuati da scuola Formulazione piano miglioramento Individuazione scuole da verificare Visite nuclei valutazione esterna Ridefinizione piani miglioramento Anche con supporto Indire, Università, Enti di ricerca, Associazioni professionali e culturali Pubblicazione e diffusione risultati raggiunti NECESSITÀ DI UN SISTEMA DI MISURAZIONE PER ATTIVARE IL MIGLIORAMENTO CONTINUO DELLE PERFORMANCE, LE ORGANIZZAZIONI HANNO LA NECESSITÀ DI DOTARSI DI UN SISTEMA DI MISURAZIONE DELLA QUALITÀ DEI SERVIZI CHE EROGANO. LA VALUTAZIONE DEL MIGLIORAMENTO PROBLEMATICHE FOCALIZZARE IL MIGLIORAMENTO SUGLI ESITI O SUI PROCESSI? FARE RIFERIMENTO SOLO ALLE DIMENSIONI, AREE, INDICATORI DELLE LINEE GUIDA NAZIONALI O INDIVIDUARNE ANCHE ALTRI? COME COSTRUIRE UN SISTEMA DI VALUTAZIONE DEL MIGLIORAMENTO DA PARTE DELLA SCUOLA? IL MODELLO VALeS CONTESTO CONTESTO ANALISI E VALUTAZIONE RISORSE PRATICHE EDUCATIVE E DIDATTICHE PROCESSI AMBIENTE ORGANIZZATIVO PER L’APPRENDIMENTO SUCCESSO SCOLASTICO ESITI COMPETENZE ACQUISITE EQUITÀ DEGLI ESITI RISULTATI A DISTANZA SITUAZIONE ATTUALE OBIETTIVI DI MIGLIORAMENTO VALORI/DATI DI RIFERIMENTO RISULTATO ATTESO PROCESSI ED ESITI NEL PROGETTO VALeS PRATICHE EDUCATIVE E DIDATTICHE Selezione dei saperi, scelte curricolari e offerta formativa Progettazione della didattica e valutazione degli studenti Sviluppo della relazione educativa e tra pari Inclusione, integrazione, differenziazione Continuità e orientamento AMBIENTE ORGANIZZATIVO PER L’APP.TO Identità strategica e capacità di direzione della scuola (leadership) Gestione strategica delle risorse Sviluppo professionale delle risorse umane Capacità di governo del territorio e rapporti con le famiglie Attività di autovalutazione ESITI SUCCESSO SCOLASTICO COMPETENZE DI BASE EQUITÀ DEGLI ESITI RISULTATI A DISTANZA ESEMPI DI OBIETTIVI DI MIGLIORAMENTO TRA ESITI E PROCESSI MIGLIORARE I RISULTATI DEGLI ALUNNI NELLE PROVE INVALSI MIGLIORARE LE COMPETENZE ARGOMENTATIVE DEGLI ALUNNI INCREMENTARE L’USO DELLE PROVE AUTENTICHE PER LA CERTIFICAZIONE DELLE COMPETENZE INNOVARE LE PRATICHE DIDATTICHE MEDIANTE L’INCREMENTO DELL’USO DELLE TECNOLOGIE DIGITALI MIGLIORARE LA COMUNICAZIONE CON GLI UTENTI MEDIANTE IL SITO WEB MIGLIORARE LA COMUNICAZIONE TRA I PLESSI ……………. LA FOCALIZZAZIONE DEGLI OBIETTIVI DI MIGLIORAMENTO IL MIGLIORAMENTO DEVE AVERE COME OGGETTO LE PERFORMANCES (CAF), GLI APPRENDIMENTI DEGLI ALUNNI (modello DASI, Dynamic Approaches to School Improvement, Creemers e Kyriakides) oppure ASSUMERE COME OGGETTO DEL MIGLIORAMENTO I PROCESSI PRODUCE COMUNQUE QUALCOSA DI BUONO? IL MODELLO CAF MIGLIORARE I RISULTATI MIGLIORANDO I PROCESSI CONCLUSIONE TENERE SEMPRE PRESENTE LE CONNESSIONI CAUSALI TRA PROCESSI E RISULTATI MIGLIORARE I PROCESSI PER MIGLIORARE GLI ESITI PER MIGLIORARE DETERMINATI ESITI, SU QUALI PROCESSI OCCORRE LAVORARE? SE SI PUNTA A MIGLIORARE DETERMINATI PROCESSI, QUALI MIGLIORAMENTI NEGLI ESITI SI PENSA DI OTTENERE? OBIETTIVI, INDICATORI, TARGET LA VALUTAZIONE DEI PIANI DI MIGLIORAMENTO INIZIA DALLA PROGETTAZIONE VALUTAZIONE EX ANTE QUALITÀ DEL PROGETTO VALUTAZIONE IN ITINERE MONITORAGGIO DELL’ ANDAMENTO E REGOLAZIONE VALUTAZIONE EX POST ESITI PROGETTARE IN MODO DA RENDERE POSSIBILE LA VALUTAZIONE IL PROBLEMA/CRITICITA’/ASPETTO INSODDISFACENTE RISPETTO A CUI DOBBIAMO MIGLIORARE È … LE CAUSE PIU’ PROBABILI DEL PROBLEMA/CRITICITÀ/ASPETTO INSODDISFACENTE SONO … IL MIGLIORAMENTO (OBIETTIVO STRATEGICO) DA REALIZZARE CONSISTE … PER RIMUOVERE LE CAUSE VERRANO ATTUATE LE SEGUENTI MACRO-AZIONI OBIETTIVI OPERATIVI (RISULTATI ATTESI PER OGNI MACROAZIONE) AZIONE: _____________________ Attività OBIETTIVO In quale direzione migliorare Chi fa (soggetto responsabile dell’attuazione) Entro quando (scadenza) INDICATORE Attraverso quali segnali si può rilevare il miglioramento? Adeguamenti in itinere (eventuali) TARGET valore atteso/desiderato/ programmato LA PROGETTAZIONE DEL MIGLIORAMENTO UN PROGETTO È UN INSIEME COERENTE DI ATTIVITÀ PER RAGGIUNGERE DETERMINATI OBIETTIVI CON RISORSE DEFINITE IN UN TEMPO STABILITO CONCETTI FONDAMENTALI OUTCOME IMPATTO, RISULTATO ULTIMO DI UN’ AZIONE CONSEGUENZA DI UN’ATTIVITÀ O PROCESSO DAL PUNTO DI VISTA DEGLI UTENTI DEL SERVIZIO E, PIÙ IN GENERALE, DEGLI STAKEHOLDER VALORE PUBBLICO PRODOTTO DALLE AMMINISTRAZIONI NELL’EROGAZIONE DI SERVIZI PER LA COLLETTIVITÀ CONCETTI FONDAMENTALI OUTPUT RISULTATO CHE SI OTTIENE IMMEDIATAMENTE AL TERMINE DI UNA ATTIVITÀ O DI UN PROCESSO CONCETTI FONDAMENTALI OBIETTIVI STRATEGICI OBIETTIVI DI PARTICOLARE RILEVANZA RISPETTO AI BISOGNI DELLA COLLETTIVITÀ E ALLE ATTESE DEGLI STAKEHOLDER TRADUCONO L’IDENTITÀ IN OBIETTIVI PROSPETTIVA PLURIENNALE GLI OBIETTIVI DI EFFICACIA ED EFFICIENZA DELL’ATTIVITÀ ISTITUZIONALE ORDINARIA HANNO CARATTERE PERMANENTE AGLI OBIETTIVI STRATEGICI SONO COLLEGATI UNO O PIÙ INDICATORI CONCETTI FONDAMENTALI OBIETTIVI OPERATIVI OGNI OBIETTIVO STRATEGICO È ARTICOLATO IN OBIETTIVI OPERATIVI PROSPETTIVA TEMPORALE PIÙ BREVE PER OGNI OBIETTIVO OPERATIVO OCCORRE DEFINIRE AZIONI, TEMPI, RISORSE, RESPONSABILITÀ AD OGNI OBIETTIVO OPERATIVO OCCORRE ASSOCIARE UNO O PIÙ INDICATORI AD OGNI INDICATORE OCCORRE ASSOCIARE UN TARGET (VALORE PROGRAMMATO O ATTESO) OBIETTIVI SMART SPECIFICI MISURABILI ACCESSIBILI (RAGGIUNGIBILI ANCHE SE SFIDANTI) RILEVANTI (COERENTI CON LA MISSION) TEMPIFICABILI LA VALUTAZIONE EX ANTE DEL PROGETTO COMPLETEZZA CONNESSIONE LOGICA TRA ESITI DELLA VALUTAZIONE E OBIETTIVI DI MIGLIORAMENTO CONNESSIONE LOGICA TRA AZIONI PREVISTE E OBIETTIVI INDIVIDUATI CHIAREZZA E FACILE COMPRENSIBILITÀ FATTIBILITÀ PRESENZA DISPOSITIVI VALUTAZIONE IN ITINERE ED EX POST COERENZA GLI OBIETTIVI DEL PIANO DI MIGLIORAMENTO SONO IDONEI A RISOLVERE LE CRITICITÀ INDIVIDUATE? LE AZIONI PREVISTE DAL PIANO SONO IDONEE A RAGGIUNGERE GLI OBIETTIVI DI MIGLIORAMENTO INDIVIDUATI? SONO FATTIBILI IN RELAZIONE AL CONTESTO E ALLE RISORSE? PROGETTARE IL MONITORAGGIO E LA REGOLAZIONE IN ITINERE AZIONE: _____________________ Attività Chi fa (soggetto responsabile dell’attuazione) Entro quando (scadenza) Adeguamenti in itinere (eventuali) CRITERI CLASSICI DI VALUTAZIONE EX POST EFFICACIA INTERNA Grado di conseguimento degli obiettivi stabiliti EFFICACIA ESTERNA Abbiamo fatto le cose giuste per gli utenti e gli stakeholder? EFFICIENZA Fermi restando gli obiettivi abbiamo contenuto i costi il più possibile? Con gli stessi costi potevamo fare di più? CONCETTI FONDAMENTALI CRITERI DI QUALITÀ ASPETTI IDONEI A DEFINIRE LA QUALITÀ DELL’OGGETTO VALORI IN BASE A CUI ATTRIBUIRE UN LIVELLO DI MAGGIORE O MINORE QUALITÀ ALL’OGGETTO DELLA VALUTAZIONE INDICATORI SEGNALI CONNESSI A EVIDENZE OSSERVABILI/RILEVABILI/MISURABILI IDONEI A SEGNALARE IL LIVELLO DI PRESENZA DEI CRITERI DI QUALITÀ (NON DIRETTAMENTE OSSERVABILI/RILEVABILI/MISURABILI) GLI INDICATORI QUANTITATIVI SONO ESPRESSI COME GRANDEZZE IN TERMINI ASSOLUTI (numero di …) O DI RAPPORTO (% di …) TARGET VALORE DESIDERATO, ESPRESSO IN TERMINI QUANTITATIVI, DEL RISULTATO CHE CI SI PREFIGGE DI OTTENERE RISPETTO A UN OBIETTIVO E AL RELATIVO INDICATORE LE CARATTERISTICHE DI UN BUON INDICATORE IDONEITÀ A FORNIRE EFFETTIVAMENTE INFORMAZIONI SUL LIVELLO DI RAGGIUNGIMENTO DELL’OBIETTIVO RILEVANZA, SIGNIFICATIVITÀ RISPETTO ALL’OBIETTIVO CHIARA INTERPRETABILITÀ, MANCANZA DI AMBIGUITÀ SICURA REPERIBILITÀ DEI DATI NECESSARI PER MISURARE LA GRANDEZZA O VERIFICARE LA PRESENZA/ASSENZA DELL’ASPETTO CONSIDERATO PROBLEMI DI METRICA COME SI MISURA IL MIGLIORAMENTO? PRESENZA/ASSENZA DI FENOMENI (SÌ/NO) (PASSAGGIO DALL’ASSENZA ALLLA PRESENZA DI ELEMENTI POSITIVI PASSAGGIO DALLA PRESENZA ALLL’ASSENZA DI ASPETTI NEGATIVI) DATI STATISTICI (es. risultati prove Invalsi) RUBRICHE VALUTATIVE (trasformazione di più informazioni in un punteggio sintetico, definito mediante il giudizio di esperti”) DAGLI INDICATORI AGLI INDICI (come “sommare” gli indicatori in modo da ottenere punteggi sintetici) ES. PUNTEGGIO CAF GRIGLIA DI VALUTAZIONE DEI RISULTATI Scala 0 – 10 11 – 30 31 – 50 51 – 70 71 – 90 TREND Nessuna misurazione Trend negativo Nessuna o scarsa informazione I risultati non soddisfano gli obiettivi 91 - 100 Trend stazionario o progressi poco significativi Progresso costante Progresso significativo Confronti positivi con organizzazioni di rilievo su tutti i risultati Pochi obiettivi raggiunti Alcuni obiettivi significativi raggiunti La maggior parte degli obiettivI raggiunti Tutti gli obiettivi raggiunti Punteggio TARGET Punteggio Totale/200 Punteggio/100 ES. RUBRICA VALES Livelli Livello 1. inadeguato Livello 2. accettabile Livello 3. buono Livello 4. eccellente Descrizione livelli L’ACQUISIZIONE DELLE EVIDENZE OBIETTIVO DI MIGLIORAMENTO DA VALUTARE: _______________________________________ INDICATORI TARGET QUALI INFORMAZIONI SERVONO? SONO GIÀ STATE RACCOLTE? DEVONO ESSERE ANCORA RACCOLTE? DOVE SONO ? A CHI SI POSSONO CHIEDERE? CON QUALI STRUMENTI SI POSSONO RACCOGLIERE? IL PROBLEMA DELLA VALIDITÀ, DELL’AFFIDABILITÀ E DELLA COMPARABILITÀ La presenza di momenti di valutazione esterna e, più in generale, l’individuazione di criteri e strumenti comuni e di standard omogenei per la stessa autovalutazione, non servono soltanto ad impedire che, banalmente quanto inutilmente, ogni scuola dia peso solo al momento di rendicontazione, che è parte dell’esercizio di autovalutazione, e lo deformi attribuendosi il “massimo dei voti”. I riferimenti esterni comuni e omogenei servono soprattutto ad orientare ciascuna Istituzione scolastica verso una prospettiva sistemica di analisi organizzativa interna, utile a riconoscerne le componenti essenziali e le reciproche relazioni ed a leggere il singolo caso comparativamente agli altri. Da Logiche generali progetto VALeS DATI COMPARABILI ESITI PROVE INVALSI FASCICOLO SCUOLA IN CHIARO QUESTIONARIO SCUOLA QUESTIONARI INSEGNANTI, STUDENTI, GENITORI ESEMPIO EVIDENZE SUGLI ESITI SUCCESSO SCOLASTICO COMPETENZE ACQUISITE EQUITÀ DEGLI ESITI RISULTATI A DISTANZA ESITI DEGLI SCRUTINI: % PROMOSSI, % SOSP. GIUDIZIO PER DEBITO SCOLASTICO, % BOCCIATI ESITI ESAME DI FINE CICLO VOTAZIONI OTTENUTE % ABBANDONI IN CORSO D’ANNO % ALUNNI CHE HANNO CHIESTO IL TRASFERIMENTO AD ALTRA SCUOLA PER MOTIVI LEGATI ALL’INSUCCESSO SCOLASTICO ESITI DELLA CERTIFICAZIONE DELLE COMPETENZE: % DI ALUNNI COLLOCATA IN CIASCUN LIVELLO: BASE, INTERMEDIO AVANZATO ESITI PROVE INVALSI ITALIANO E MATEMATICA % DI ALUNNI COLLOCATI IN CIASCUNO DEI CINQUE LIVELLI DELLA SCALA DEI RISULTATI DELLE PROVE INVALSI DATI SU PROMOSSI E NON PROMOSSI AL TERMINE DEL PRIMO ANNO DELLA SCUOLA SUCCESSIVA DATI SU CREDITI CONSEGUITI NEL PRIMO ANNO DI UNIVERSITÀ ALTRI ELEMENTI DI CONOSCENZA ACQUISITI DALLE SCUOLE Rischio di indirizzare il miglioramento solo verso obiettivi per i quali di dispone di indicatori comparabili In relazione agli obiettivi di miglioramento prescelti una scuola può avere la necessità di ricorrere a indicatori e misure proprie L’importante è garantire la validità e l’affidabilità dei dati L’ACQUISIZIONE DELLE EVIDENZE SUI PROCESSI STRUMENTI ANALISI DOCUMENTALE QUESTIONARIO INTERVISTA OSSERVAZIONE DIRETTA L’ANALISI DOCUMENTALE VANTAGGI LIMITI CONDIZIONI I DOCUMENTI POSSONO NON ESSERE FACILMENTE REPERIBILI NON SERVE UNA PARTICOLARE PREPARAZIONE PREVENTIVA LE INFORMAZIONI ESISTONO GIÀ I DOCUMENTI POSSONO ESSERE DISOMOGENEI LE INFORMAZIONI POSSONO ESSERE INCOMPLETE O POCO SIGNIFICATIVE DIFFERENZA TRA DICHIARATO E AGITO L’INTERVISTA VANTAGGI LIMITI CONDIZIONI VA PREPARATA SI POSSONO RACCOGLIERE INFORMAZIONI SU VARI ASPETTI INTERATTIVITÀ, POSSIBILITÀ DI APPROFONDIMENTI FLESSIBILITÀ, POSSIBILITÀ DI ESPLORARE ASPETTI NON INIZIALMENTE PREVISTI L’INTERVISTATORE DEVE STARE ATTENTO A NON INFLUENZARE CHI RISPONDE PUÒ TENDERE A DARE RISPOSTE CONFORMISTICHE, A DIRE CIÒ CHE RITIENE CHE GLI ALTRI APPREZZINO PROBLEMA DELLA COMPARABILITÀ L’OSSERVAZIONE DIRETTA VANTAGGI LIMITI CONDIZIONI VA PREPARATA SI POSSONO RACCOGLIERE INFORMAZIONI SU VARI ASPETTI LA PRESENZA DELL’OSSERVATORE PUÒ INFLUENZARE L’OSSERVATO CONTATTO DIRETTO CON L’OGGETTO D’ INDAGINE, SENZA MEDIAZIONI RICHIEDE TEMPI LUNGHI NON SEMPRE SI PUÒ FARE IL QUESTIONARIO VANTAGGI SI POSSONO RACCOGLIERE INFORMAZIONI SU VARI ASPETTI CON UN SOLO STRUMENTO E IN TEMPI RAPIDI LE DOMANDE SONO UGUALI PER TUTTI L’ ANOMINATO PUÒ INCORAGGIARE LA SINCERITA’ LIMITI CONDIZIONI LA PREPARAZIONE RICHIEDE COMPETENZA E CURA LE DOMANDE SONO RELATIVE A CIÒ CHE GIÀ SI SA POSSIBILE DIFFICOLTÀ NEL RECUPERARE TUTTE RISPOSTE POSSIBILI TIMORI DI ESSERE COMUNQUE RICONOSCIUTI O RISPOSTE FRETTOLOSE ORIZZONTI DI RICERCA DOPO QUANTO TEMPO, IN RELAZIONE AI VARI TIPI DI OBIETTIVI, È RAGIONEVOLE ATTENDERSI MIGLIORAMENTI APPPREZZABILI? COMPATIBILITÀ TRA FINALITÀ DI ACCOUNTABILITY E DI LEARNING