La sperimentazione Sivadis: il valore aggiunto del monitoraggio Seminario di Formazione SIVADIS 3 28 Novembre-02 Dicembre 2005 Genny Terrinoni La sperimentazione Sivadis: il valore aggiunto del monitoraggio Soggetti coinvolti Aspetti consolidati nelle opinioni Aspetti critici Lavoro di analisi Classificazione Avvio analisi multivariata Aspetti consolidati nelle opinioni e negli atteggiamenti L’importanza della partecipazione al progetto viene motivata con: la voglia di confrontarsi e di mettersi alla prova occasione per migliorare le proprie capacità professionali come un’occasione di formazione e aggiornamento Anche le motivazioni meno frequenti indicano un atteggiamento decisamente costruttivo nel merito e nelle finalità del progetto, evidenziando altresì la percezione di un ruolo formativo dell’operazione Aspetti consolidati nelle opinioni e negli atteggiamenti • Procedura di confronto-condivisione tra valutatore e/o team e dirigente scolastico • Giudizio ampiamente positivo, caratterizzato come “utile e costruttivo” congruentemente con l’atteggiamento nei confronti della propria partecipazione alla sperimentazione • Interazione come una dimensione complessa ma dinamica da governare attraverso un coinvolgimento costruttivo Aspetti consolidati nelle opinioni e negli atteggiamenti Il fascicolo individuale riscuote apprezzamenti più positivi rispetto allo scorso anno sia nella struttura complessiva che nelle singole sezioni • soddisfazione per l’accoglimento delle indicazioni e suggerimenti dei soggetti che hanno messo su campo il modello Utilità delle informazioni ricevute sul progetto informazioni e strategie sono ritenute significativamente più utili rispetto a quanto espresso nello scorso anno Aspetti consolidati nelle opinioni e negli atteggiamenti Team di Valutazione e Componente DS nel Team la costituzione di team riscuote un largo consenso da parte dei DS più critica e articolata la posizione dei valutatori (problemi di risorse, tempi, organizzazione, selezione) presenza componente DS nel ruolo di valutatore riscuote un ampio consenso dai DS più debole il consenso e più critico il giudizio dei valutatori Obiettivi pluriennali la stragrande maggioranza dei soggetti coinvolti considera più adeguata una valutazione su obiettivi pluriennali motivandola con il rapporto: complessità obiettivi- tempi più distesi per una loro attuazione e adeguata valutazione Dati questionari e focus group Aspetti problematici nelle opinioni e negli atteggiamenti Informazioni e strategie informative scarsa tempestività scarsa o quasi nulla estensione delle informazioni sul progetto che, secondo il giudizio di molti DS generano: rinforzo delle percezioni di diffidenza ed esclusione alimentano atteggiamenti pregiudizialmente negativi nei confronti del sistema valutativo frenano altresì consapevoli aperture alla partecipazione Tempi di attuazione inadeguati alla complessità del lavoro (avvio tardivo) non corrispondenza con l’inizio delle attività dell’anno scolastico Dati questionari e focus group Aspetti problematici nelle opinioni e negli atteggiamenti Adeguatezza dello strumento (giudizio valutatori) Lo strumento in sé va bene ma: Viene rilevata la presenza di gradi di eccessiva arbitrarietà Esigenza di pervenire ad una valutazione valida e attendibile Dati questionari e focus group Elaborazione di strumentazione di accompagnament o/ supporto alla strumentazione predisposta che guidi le fasi procedurali della valutazione (raccolta di informazioni, osservazione) Aspetti problematici nelle opinioni e negli atteggiamenti Adeguatezza dello strumento (giudizio dirigenti scolastici) Lo strumento in sé va bene ma: Visite più frequenti e più Perplessità sulla sistematiche del capacità del solo Esigenza di valutatore nella strumento di pervenire ad una scuola per favorire consentire una valutazione valida una lettura ed una rappresentazione e attendibile comprensione “di sostanziale della ciò che accade complessità del realmente nella proprio lavoro scuola” Rischio di produzioni cartacee formali Dati questionari e focus group Aspetti problematici nelle opinioni e negli atteggiamenti Formulazione obiettivi e indicatori Percentualmente basse le difficoltà segnalate nella formulazione di ob e ind Stabili le esigenze formative di natura metodologica, confermate dall’analisi dei fascicoli Dati questionari e focus group Percentualmente identiche le indicazioni sulle richieste di supporto fatte al valutatore: formulazione ob ma soprattutto ind Cresciuta la percentuale di ds che dichiarano modifiche degli ind nel corso del colloquio Esiti dell’analisi dei Fascicoli individuali di Valutazione L’analisi formale e di contenuto, attuata sulla base di criteri scientifici, dei materiali valutativi contenuti nei 176 fascicoli individuali (contesto, obiettivi, azioni e indicatori) offre: una descrizione esaustiva e affidabile riduce l’estrema variabilità ed eterogeneità dei materiali ad un numero limitato di tipologie salvaguarda la pluralità, la ricchezza e la rappresentatività delle effettive pratiche valutative Elementi di progresso nella formulazione degli obiettivi I risultati dell’analisi evidenziano un processo in corso di lenta ma progressiva condivisione semantica e concettuale: consistente riduzione di obiettivi generici e/o pluriconcettuali minore ambiguità semantica riduzione del numero di categorie di contenuto entro le quali sono codificabili lettura più immediata e riduzione di operazioni interpretative Tale processo sembra essere stato positivamente influenzato da due fattori: la riduzione e la ridefinizione interna delle aree valutative (da cinque a quattro) operata nel secondo anno di sperimentazione l’ampio uso (anche se non sempre rispettoso delle indicazioni metodologiche ad esso connesse e della chiara indicazione sulla sua natura empirico-descrittiva e non normativa) del repertorio elaborato dall’INVALSI a conclusione del primo anno di sperimentazione Elementi di progresso nella formulazione degli obiettivi Tutti questi aspetti, insieme all’adeguamento della strumentazione, sono particolarmente interessanti in quanto costituiscono le basi fondamentali per: descrivere correttamente l’oggetto della valutazione predisporlo alla lettura e dunque alla sua valutazione creare condizioni affidabili per il governo della intersoggettività elaborare un lessico comune per rendere comparabili i dati valutativi Elementi di progresso nella formulazione di obiettivi e indicatori Difficoltà permanenti nella formulazione degli obiettivi: un numero abbastanza consistente di obiettivi che non corrisponde ancora a criteri basilari di corretta formulazione obiettivi semanticamente ambigui e/o incomprensibili Elementi di progresso nella formulazione degli indicatori: una formulazione che consente il riconoscimento più immediato del contenuto/oggetto di misurazione e della tipologia di misura, dunque, una loro più facile classificazione una formulazione che consentirebbe, se ulteriormente affinata in termini di criteri, strumenti e procedure, l’identificazione più immediata e più precisa dei criteri di misurazione e/o di verifica intersoggettiva in essi contenuti Elementi di progresso nella formulazione di obiettivi e indicatori Difficoltà permanenti nella formulazione degli indicatori: un numero abbastanza consistente di indicatori non consente di comprendere l’oggetto/i che in concreto vorrebbero misurare e le modalità connesse all’operazione di misura Indicatori Semplici Totale Indicatori: 4693 su 176 Fascicoli Individuali Frequenza % sul totale delle codifiche Quantità Partecipanti fra il Personale Scolastico 229 11,4 % Quantità di Risorse Finanziarie 225 11,2 % Quantità di Incarichi Assegnati al Personale 153 7,6 % Quantità di Riunioni / Incontri tra il Personale Scolastico 144 7,2 % Quantità di Progetti 140 7% Quantità di Convenzioni 126 6,3 % Quantità di Strutture Predisposte e Attivate 119 5,9 % Presenza e Corrispondenza nel POF 110 5,5 % Quantità Partecipanti tra gli Alunni 95 4,7 % Quantità di Corsi di Formazione 49 2,4 % Elaborazione Portfolio 30 1,5 % Quantità di Alunni Promossi, Inscritti, con Insufficienze, Debiti, etc... 25 1,3 % Rispetto dei Tempi 16 0,8 % Utilizzo ore per Attività Scolastiche, ExtraScolastiche, aggiuntive 12 0,6 % Categoria Indicatori Complessi Totale Indicatori: 4693 su 176 Fascicoli Individuali Frequenza Livello di Soddisfazione (Senza Soggetti Specificati) % sul totale delle codifiche 75 3,7 % Livello di Condivisione del Personale Scolastico 65 3,2 % 58 2,9 % 47 2,3 % Grado Positività Immagine della Scuola 46 2,3 % Grado Positività Clima nella Scuola 44 2,2 % Livello di Soddisfazione del Personale Scolastico 40 2% Livello di Responsabilità del Personale Scolastico 33 1,6 % Livello di Soddisfazione degli Alunni 24 1,2 % Livello di Soddisfazione delle Famiglie 24 1,2 % Livello di Soddisfazione degli Utenti 24 1,2 % Livello di Motivazione degli Alunni 24 1,2 % Livello di Motivazione senza Soggetti Specificati 17 0,8 % Livello di Collegialità tra il Personale Scolastico 12 0,6 % Categoria Verifica, Rilevazione degli Apprendimenti degli Alunni Livello di Efficacia Elementi di interesse nella descrizione del contesto La focalizzazione più precisa [1] dei punti di forza e di debolezza del contesto risulta particolarmente interessante in quanto: mette in evidenza dati di lettura individuale del contesto che, al di là degli strumenti e dei metodi attraverso i quali tale lettura viene attuata, esprime le priorità che il dirigente scolastico, in prima persona, individua e pone come base delle sue scelte operative l’analisi di questi dati risulta altresì interessante per un reperimento (tanto a livello autovalutativo che valutativo) di legami di congruenza, significatività e pertinenza tra contesto scolastico, obiettivi e azioni individuali che il dirigente scolastico intende elaborare e perseguire [1] Grazie al radicale cambiamento della sezione del fascicolo dedicata alla rilevazione dei dati di contesto Elementi di interesse nell’analisi delle azioni Sul piano specificamente formale le azioni dichiarate presentano spesso: una formulazione che, di fatto, è la ripetizione pedissequa dell’obiettivo/i correlato/i una scarsa definizione in termini di operazioni e comportamenti osservabili l’associazione di identiche azioni (la differenza risiede solo in una diversa formulazione linguistica) ad obiettivi diversi dichiarati nelle quattro aree valutative; in particolare, le azioni dell’area 1 e dell’area 2 sono praticamente sovrapponibili Classificazione dei materiali dell’analisi La classificazione di tutti i materiali offre una descrizione esaustiva e affidabile che: riduce l’estrema variabilità ed eterogeneità dei materiali ad un numero limitato di tipologie salvaguarda comunque la pluralità, la ricchezza e la rappresentatività delle effettive pratiche valutative un repertorio descrittivo delle aree di attività e delle azioni professionali del DS una lettura interpretativa, su base semantica, delle azioni dichiarate ed un loro raggruppamento una sintesi delle azioni più frequenti raggruppate attorno a categorie/funzioni che delineano un profilo empirico del dirigente scolastico Sviluppi possibili La lettura degli esiti suggerisce di procedere ad una loro analisi che permetta l’accesso ad aree semantiche più significative. Ciò è possibile attraverso l’approccio dell’analisi relazionale che consente di lavorare ancora sui dati classificati per: esplorarne, più in profondità, aree semantiche più significative rilevare l’organizzazione dei dati in una rete di connessioni reciproche sistematizzare i dati nell’ottica di restituire il messaggio nei suoi aspetti o caratteri fondamentali Lettura interpretativa delle azioni Obiettivo dell’analisi delle azioni: reperire un significato unitario di capire se le eterogenee descrizioni delle azioni, potessero essere ricondotte all’interno di alcune tipologie capaci di rappresentare i caratteri e le funzioni emergenti dell’operato dei dirigenti scolastici definire in qualche modo una sorta di suo profilo di ruolo empirico non si è tenuto conto degli specifici obiettivi cui sono associate né dunque del legame di pertinenza congruenza con essi perché, dalla lettura comparata dei singoli fascicoli, risulta abbastanza evidente che le azioni costituiscono “la vera peculiarità individuale del dirigente scolastico” in quanto esse non risultano mai meccanicamente associabili a specifici obiettivi [1] bensì ad una pluralità di essi, anche appartenenti ad aree valutative differenti Il legame chiaramente riscontrabile è tra azioni e contesto ma spesso dipendono più strettamente da variabili del contesto specifico (dall’urgenza, dai costi, dalle risorse disponibili, ecc) [1] Nei fascicoli analizzati è molto più frequente l’associazione tra azioni diverse ad un identico obiettivo che non stesse azioni ad uno stesso obiettivo I verbi e le aree di contenuto nell’analisi delle Azioni Verbi Area di contenuto dell’azione Favorire (100)* Promuovere (69) Coinvolgere (53) Individuare (45) Creare (43) Attivare (35) Gestire (31) Organizzare (31) Utilizzare (31) Sviluppare (29) Predisporre (27) Motivare (25) Migliorare (24) Monitorare (22) *Indice Ricerca conoscitiva (100)* Delega incarichi (65) Formazione del personale (60) Rapporti con enti territoriali (35) Organizzazione dei tempi (30) Costituzione gruppi di lavoro (27) Individuazione/utilizzo risorse finanziarie (26) Individuazione/valorizzazione competenze(25) Definizione protocolli d’intesa (22) Elaborazione di contenuti nel P.O.F. (21) Predisposizione di strumenti informatici (16) Condivisione delle scelte (15) Circolazione delle informazioni (15) Motivazione allo studio alunni (13) Manutenzione/gestione risorse strutturali (13) Documentazione a vari livelli (10) (100= verbo più frequente 1= verbo meno frequente) * Indice (100= azione più frequente 1= azione meno frequente) Lettura interpretativa delle azioni E’ stato condotto un triplo livello di categorizzazione: il primo ha considerato i verbi più frequentemente utilizzati per esprimere le azioni e i sostantivi (oggetti) esplicitati e/o più frequentemente associati ai verbi Il secondo ha considerato i verbi coniugati in modi diversi dall’infinito e spesso associati ai verbi che esprimono l’azione che fa fatto emergere due grandi modalità organizzative delle azioni: comunicativo/relazionale e organizzativo/strutturale il terzo ha considerato l’aspetto specificamente semantico dei verbiazione categorizzati e dei rispettivi oggetti; tale aspetto ha suggerito le tre funzioni: 1. management educativo 2. management delle risorse 3. management delle relazioni esterne Lettura interpretativa delle azioni Management del Personale Sviluppo motivazione e clima Rilevando bisogni e attese Rendendosi sempre disponibile al dialogo Riconoscendo potenzialità e risultati impegno Incoraggiando e supportando i docenti Definendo ruoli Fissando obiettivi Stabilendo criteri e regole Delegando incarichi Investendo quote sulla formazione Mettendo a disposizione materiali e strumenti Azioni del DS Management Relazioni Esterne Management Educativo Costruzione cultura comune Intercettando e interpretando le domande e le attese Ascoltando e dialogando con tutti Ricercando il contatto individuale e/o collettivo con gli studenti Organizzando e predisponendo strutture laboratoriali di varia tipologia Aprendo canali e modalità di counicazione Organizzando momenti di riflessione e dibattito allargati Sviluppo partecipazione studenti Ricercando il contatto individuale e/o collettivo Individuando attese e problemi Incoraggiando l’impegno Mettendo a disposizione strumenti e servizi Ampliando l’offerta formativa Predisponendo percorsi ed opzioni per l’utenza debole Sviluppo motivazione docenti Promuovendo incontri e seminari Partecipando in prima persona Seguendo con attenzione le iniziative culturali organizzate Contattando e dialogando con tutti i soggetti del territorio Coinvolgimento ufficializzato di istruzioni esterne per sostegno finanziario Ottimizzando l’uso delle risorse, rendicontando… Intervento puntuale professionisti esterni esperti per supporto azione pilotata dalla scuola Stipulando convenzioni e individuando esperti Collaborazione e cooperazione, condivisione responsabilità di progettazione e valutazione Promuovendo scambio di risorse economiche, strutturali e professionali Esempio analisi esplorative Punti Deboli Debole raccordo tra Punti Forza scuola del territorio Buon raccordo tra scuola del territorio Inadeguate risorse finanziarie Buona attivazione e gestione dei progetti Buon funzionamento del personale Resistenza a modalità di lavoro collettivo Obiettivo Migliorare rapporti con il territorio Adeguatezza della continuità educativa Inadeguate risorse struttural Scarsa apertura verso l’innovazione didattica Azioni Rafforzare rapporti con enti territoriali Istituti comprensivi Promuovere/migliorar e i rapporti con famiglie Formare il personale scolastico La probabilità che le associazione con l’obiettivo siano dovute al caso è minore del 5% . P<0,05