PON Valutazione e miglioramento (cod. I-3-FSE-2009-3)
VALUTARE LA QUALITÀ PROGETTUALE. L’UTILIZZO E LA GESTIONE DEI FONDI PON NELLE SCUOLE DEL II CICLO RAPPORTO FASE 1 SCUOLE SECONDARIE DI II GRADO Progetto PON – Valutazione e Miglioramento 1
Gruppo di ricerca INVALSI: Responsabile: Donatella Poliandri Ricercatori: Paola Muzzioli Ornella Papa Isabella Quadrelli Sara Romiti Stefania Sette Collaborare tecnico: Monica Perazzolo 2
3
Sommario 1.
2.
3.
Obiettivi della Fase 1 per le scuole secondarie di II grado ..........................................................5
Definizione della qualità progettuale, gestionale e organizzativa...............................................7
L’intervento di audit nelle scuole secondarie di II grado: fasi e strumenti ...............................10
3.1
Articolazione dell’intervento di valutazione......................................................................10
3.2
Gli strumenti ......................................................................................................................11
4. La progettazione PON delle scuole dell’Obiettivo Convergenza ...............................................14
5. Le scuole coinvolte nell’audit.....................................................................................................18
6. Persone incontrate e materiali visionati....................................................................................21
7. Il Piano integrato........................................................................................................................25
8. I progetti degli obiettivi C, B, D e F ............................................................................................33
8.1
Caratteristiche strutturali dei progetti...............................................................................33
8.2
Valutazione dei progetti dell’obiettivo C ...........................................................................35
8.3
Valutazione dei progetti dell’obiettivo B ...........................................................................42
8.4
Valutazione dei progetti dell’obiettivo D...........................................................................46
8.5
Valutazione dei progetti dell’obiettivo F ...........................................................................49
8.6
Confronto tra i progetti......................................................................................................53
9. Dotazioni e laboratori ................................................................................................................56
10.
Qualità complessiva delle scuole destinatarie dei fondi PON ...............................................58
11.
Qualità della progettazione‐documentazione e qualità della gestione‐integrazione...........60
12.
Punti di forza e di debolezza ..................................................................................................66
12.1 Punti di forza ......................................................................................................................67
12.2 Punti di debolezza ..............................................................................................................71
12.3 Punti di forza, punti di debolezza e livelli di qualità complessiva......................................75
12.4 Criteri di qualità e percezione dei punti di forza e di debolezza: quale relazione?...........81
13.
Buone pratiche.......................................................................................................................84
14.
Conclusioni .............................................................................................................................90
15.
Bibliografia .............................................................................................................................94
4
1.
Obiettivi della Fase 1 per le scuole secondarie di II grado Il progetto Valutazione e Miglioramento (ex Audit e accompagnamento codice MIUR I‐3‐FSE‐2009‐3) si è posto l’obiettivo di monitorare e accompagnare le Istituzioni scolastiche destinatarie dei PON “Competenze per lo Sviluppo” (finanziati dai fondi FSE) e “Ambienti per l’Apprendimento” (finanziati dai fondi FESR), collocate nelle regioni Obiettivo Convergenza Campania, Calabria, Puglia e Sicilia. Il progetto si propone di:  monitorare le capacità progettuali e gestionali delle istituzioni scolastiche che usufruiscono delle risorse dei fondi europei;  condurre osservazioni in profondità, in una prospettiva di valutazione sistemica, delle singole istituzioni scolastiche;  sostenere le scuole nella realizzazione di azioni di miglioramento.
L’azione si articola in tre fasi successive: La Fase 1 ha l’obiettivo di valutare la qualità progettuale, organizzativa e gestionale delle singole istituzioni scolastiche nell’attuazione dei PON Istruzione. Per realizzare questo obiettivo viene utilizzata la tecnica dell’audit esterno; Dirigenti tecnici del MIUR esaminano la documentazione e conducono visite nelle scuole per parlare con gli operatori del progetto e i destinatari delle azioni. Al termine dell’analisi compilano una scheda strutturata ed esprimono giudizi sintetici sui diversi aspetti della progettazione e gestione dei PON. L’audit rientra tra le attività di monitoraggio e valutazione dei fondi strutturali europei che fanno capo all’Autorità di gestione nazionale. La partecipazione delle scuole alla fase 1 è pertanto obbligatoria. La Fase 2 si prefigge di identificare i punti di forza e i nodi critici del servizio scolastico offerto in un’ottica di valutazione sistemica, attraverso l’osservazione sul campo delle attività didattiche e laboratoriali, l’analisi dei principali documenti della scuola (POF e Programma annuale), e la realizzazione di interviste alle diverse componenti scolastiche. Una coppia di osservatori conduce visite di osservazione nelle scuole, utilizzando diverse tecniche di ricerca qualitativa. A conclusione delle osservazioni viene stilato un Rapporto di Valutazione, che integra la parte qualitativa con informazioni quantitative, e vengono individuate alcune piste di miglioramento per l’istituzione scolastica. La Fase 3 intende sostenere azioni di miglioramento. Dall’analisi dei risultati emersi nelle fasi 1 e 2, viene elaborato un piano di miglioramento. Esperti esterni affiancano ‐ in presenza e a distanza ‐ i team di valutazione interni alle scuole e seguono la progettazione e gestione delle azioni di miglioramento nei settori della didattica o del management scolastico. L’attenzione è rivolta anche a diffondere buone pratiche individuate a livello nazionale e internazionale. La partecipazione delle scuole alle fasi 2 e 3 è volontaria mentre la fase 1 è cogente per le istituzioni scolastiche destinatarie dei fondi PON individuate per l’indagine. 5
Nell’a.s. 2010‐2011 la Fase 1 è stata estesa alle scuole secondarie di secondo grado. La finalità della fase 1 per le scuole secondarie di II grado è di descrivere le singole istituzioni scolastiche a partire da alcuni criteri di qualità individuati e di classificare le realtà osservate sulla base delle modalità operative prevalenti e dei risultati ottenuti nella progettazione PON. Il metodo utilizzato è quello dell’audit esterno, con il quale un soggetto esterno e indipendente rispetto all’istituzione osservata esprime dei giudizi a partire dalla rilevazione di uno scostamento tra la realtà osservata e alcuni standard predefiniti (Scott Parsowith, 1995). L’auditor deve determinare se la qualità dei processi è conforme agli standard previsti e se tali processi sono attuati in modo efficace ed idoneo a raggiungere gli obiettivi prefissati. L’orientamento prevalente è quello dell’integrazione tra valutazione sommativa e formativa, ovvero l’audit si prefigge sia l’obiettivo di fornire elementi conoscitivi validi all’Autorità di gestione1 per orientare le proprie decisioni, sia di valutare i processi attuati dalle scuole con la finalità di migliorare la capacità progettuale delle scuole e l’attuazione del programma stesso. Ai fini dell’intervento di audit per i PON, le tecniche di raccolta dei dati sono l’analisi dei documenti e dei materiali prodotti dalla scuola per la progettazione e gestione degli interventi realizzati con i PON, in quanto costituiscono evidenze dei processi messi in campo, e le interviste finalizzate ad individuare le opinioni degli operatori della scuola e dei destinatari degli interventi, necessarie per valutare il livello di implementazione e l’impatto dei processi stessi. Un’altra tecnica, infine, è l’osservazione non strutturata utilizzata per valutare lo stato delle strutture laboratoriali. Inoltre le informazioni vengono raccolte a partire da diverse fonti: il Dirigente scolastico, i componenti del GOP, i tutor di progetto, gli insegnanti curricolari e gli studenti. La scelta di privilegiare una molteplicità di tecniche e di fonti dei dati è motivata dalla scelta di realizzare una triangolazione, ovvero il confronto e l’integrazione delle informazioni su un oggetto raccolte con tecniche diverse o da fonti diverse per garantire una conoscenza più ampia ed articolata dell’oggetto di studio. 1
L’Autorità di gestione è responsabile per l’attuazione dei PON Istruzione. Tale funzione è svolta dall’ ufficio IV della Direzione Generale per gli Affari Internazionali del Ministero dell’Istruzione, dell’Università e della Ricerca.. 6
2.
Definizione della qualità progettuale, gestionale e organizzativa La definizione di qualità progettuale, gestionale e organizzativa riferita all’uso dei Fondi PON da parte delle scuole destinatarie dei finanziamenti europei è stata effettuata dal gruppo di ricerca dell’Invalsi a partire dall’analisi della letteratura sull’argomento che ha evidenziato il carattere relativo del concetto di qualità, strettamente dipendente dai contesti, dai valori e dagli interessi dei soggetti coinvolti (Moss, 1994) nonché dalle specifiche finalità conoscitive perseguite (Bertin, 2007), e della necessità di articolarlo a partire da una prospettiva multiattore e multidimensionale. Come ampiamente dibattuto in letteratura, la valutazione si muove tra diversi punti di vista. Palumbo ricorre alla rappresentazione del triangolo per individuare i tre poli costituiti dagli obiettivi, dai bisogni e dagli standard di prestazione ai quali corrispondono tre punti di vista diversi: quello dell’organizzazione, quello degli operatori/professionisti e quello degli utenti/cittadini (Palumbo, 2003). Allo stesso modo Bertin individua il punto di vista manageriale, quello professionale e quello partecipativo (Bertin, 2007). Strettamente legata alla prospettiva multiattore è anche la questione dell’inclusione di punti di vista interni ed esterni all’organizzazione (Palumbo, 2003). Nel caso delle istituzioni scolastiche e formative ciò risulta fondamentale perché non sempre chi individua gli obiettivi da persguire (ambito politico, funzionari ministeriali) controlla direttamente i processi erogati da una singola organizzazione (attuati dai singoli professionisti: gli insegnanti). Inoltre, il concetto di cliente non rappresenta in maniera adeguata la peculiarità degli “utenti” del servizio scolastico e formativo, che non possono essere ridotti al singolo studente, ma che devono includere anche le famiglie in quanto entità relazionalmente connesse e la società che nutre aspettative e investe risorse nell’azione educativa e formativa. Si rende quindi necessaria una composizione di punti di vista interni ed esterni ed un allargamento della platea dei clienti/utenti che comprenda anche i cosiddetti stakeholder (Bertin, 2003). Il concetto di qualità deve dunque essere esplicitato partendo dall’integrazione e composizione di questa molteplicità di sguardi che si traduce anche in una pluralità di livelli e dimensioni. Nel tentativo di operazionalizzare il concetto di qualità progettuale, gestionale e organizzativa, sono state individuate diverse dimensioni o aree, tenendo conto di diversi punti di vista. In primo luogo quella del committente, l’Unione Europea, rappresentata dell’Autorità di gestione presso il Miur. Come rilevato da Oliva (2003) a questa prospettiva corrisponde la definizione delle finalità e degli obiettivi. Si è pertanto fatto riferimento alle finalità generali dei Programmi operativi nazionali nell’ambito dell’istruzione, ovvero l’innalzamento delle competenze di base e la riduzione della dispersione scolastica, degli obiettivi specifici, entro i quali devono rientrare le specifiche azioni progettuali2 della scuola e delle linee guida del Miur3 che si configurano come 2
Per il FSE sono stati attivati i seguenti obiettivi: B ‐ Migliorare competenze del personale; C ‐ Migliorare competenze degli studenti; D ‐ Promuovere la società dell’informazione; F ‐ Promuovere successo scolastico, parità e inclusione; G ‐ Migliorare i sistemi di lifelong learning. Per il FESR gli obiettivi sono: A ‐ Promuovere e sviluppare la società dell’informazione e della conoscenza nel sistema scolastico; B ‐ Incrementare il numero dei laboratori per migliorare l’apprendimento delle competenze chiave in particolare quelle matematiche scientifiche e linguistiche. 3
Disposizioni e istruzioni per l’attuazione delle iniziative cofinanziate dai Fondi strutturali europei 2007‐2013 – Miur 2009 7
veri e propri obiettivi operativi4. È stato poi considerato il punto di vista degli operatori/professionisti dell’istituzione scolastica, ovvero il DS, gli insegnanti curriculari, i tutor e gli esperti esterni reclutati per lo svolgimento dei corsi e dei progetti finanziati. Si tratta di punti di vista che riflettono posizioni diverse rispetto alla realizzazione delle attività, che per questo loro diverso posizionamento restituiscono uno sguardo articolato sul processo di erogazione del servizio. Abbiamo infine il punto di vista degli utenti, in primo luogo gli studenti che hanno avuto un’esperienza diretta dei corsi e delle iniziative finanziate con i PON, ma anche dei loro docenti curriculari che hanno potuto valutare le ricadute delle azioni realizzate sulla partecipazione e i risultati scolastici degli studenti. A partire da questa articolazione sono state individuate tre aree all’interno delle quali sono stati esplicitati specifici criteri di qualità. Si tratta dell’area “gestionale/organizzativa” che comprende i criteri di qualità che riguardano l’impianto organizzativo necessario per la gestione dei PON: azioni di promozione, reclutamento degli esperti, funzionamento del Gruppo operativo di piano5, valutazione del Piano integrato6; dell’area “didattico/progettuale” nella quale sono inclusi i criteri che fanno riferimento alla qualità della progettazione in senso stretto con riferimento sia alla sua coerenza con le priorità individuate dalla scuola nell’Autodiagnosi7 e all’integrazione con gli obiettivi e le azioni previste nel POF, sia alla definizione delle strategie didattiche (es. definizione delle competenze, articolazione tra competenze e metodologie didattiche, valutazione degli studenti); ed infine dell’area dei “risultati/impatti” nella quale si prende in considerazione il punto di vista degli studenti relativamente all’utilità e soddisfazione per i corsi e quello degli insegnanti curricolari con riferimento all’impatto dei corsi sull’attività curricolare degli studenti. Nell’ambito di ciascuna area sono stati operazionalizzati specifici criteri di qualità (Tabella 2‐1 a pag. 9). 4
Si tratta di linee guida che definiscono l’impianto organizzativo per la gestione dei Fondi e la realizzazione delle attività progettuali, come ad es. la costituzione del gruppo operativo di piano (GOP), l’individuazione di figure all’interno della scuola con specifiche finalità (referente per la valutazione, facilitatore, tutor, ecc.), la realizzazione di specifiche azioni di promozione, ecc.) 5
Il Gruppo operativo di Piano è una struttura operativa che comprende oltre al DS diverse figure previste dal Miur (Facilitatore, Referente per la valutazione, tutor di obiettivo) che ha la funzione di gestire la progettazione e la realizzazione delle azioni finanziate. 6
Il Piano integrato è costituito dall’insieme dei progetti presentati dalla scuola e afferenti uno stesso bando. 7
La Scheda di Autodiagnosi è uno strumento predisposto dall’Invalsi che permette di evidenziare i punti di forza e le criticità della scuola in diversi ambiti in ottica autovalutativa. Si tratta di uno strumento autocompilato dalle scuole che dovrebbe costituire il punto di riferimento per la progettazione su fondi PON.
8
Tabella 2‐1 ‐ Aree e criteri di qualità Area Criterio di qualità Azioni di promozione Reclutamento esperti (bandi esperti) gestionale/organizzativa Verbali del GOP Valutazione del Piano integrato Coerenza tra Piano integrato e Autodiagnosi Integrazione tra Piano integrato e POF Declinazione delle competenze del corsista Coerenza tra competenze e attività didattiche del corsista progettuale/didattica Strategie didattiche Valutazione iniziale Valutazione in itinere Valutazione finale Soddisfazione dei corsisti Integrazione tra progetto e attività curricolare (solo per progetti dell’obiettivo C e F) risultati e degli impatti Ricadute del progetto sulle competenze dei corsisti (solo per progetti dell’obiettivo C e F) Utilizzo a scuola delle competenze acquisite dal personale (solo per progetti dell’obiettivo B e D) L’esplicitazione dei criteri di qualità ha rappresentato un aspetto fondamentale della progettazione dell’intervento di valutazione. Questa operazione ha permesso, in primo luogo, di rendere trasparente il significato del concetto di qualità per tutti i soggetti coinvolti (committenti, operatori, utenti e auditor). Inoltre, partendo dall’idea della necessaria complementarietà tra funzione sommativa e formativa della valutazione, riteniamo che una chiara esplicitazione dei criteri di qualità possa contribuire a fornire indicazioni chiare per formulare un giudizio sull’efficacia dei fondi PON e allo stesso tempo fornire alle singole istituzioni scolastiche elementi sui quali riflettere e confrontarsi per promuovere forme di apprendimento organizzativo. Come abbiamo già evidenziato, inoltre, la finalità del miglioramento è chiaramente perseguita dall’impianto progettuale complessivo all’interno del quale la valutazione della qualità progettuale, gestionale e organizzativa dei fondi PON è solo un primo passo per la realizzazione di azioni di miglioramento. 9
3.
L’intervento di audit nelle scuole secondarie di II grado: fasi e strumenti 3.1 Articolazione dell’intervento di valutazione L’intervento di audit si poneva l’obiettivo di valutare, per ciascuna scuola coinvolta nell’indagine, il Piano integrato relativo al bando 2096 – 03/04/2009 Piani Integrati 2009 e di approfondire l’analisi di due azioni – progetti o moduli – afferenti gli obiettivi B, C, D, e F dello stesso bando. La selezione dei progetti/moduli è stata effettuata dall’INVALSI sulla base della distribuzione delle tipologie di richiesta attivate dall’universo delle scuole di riferimento. La scelta di concentrare l’attenzione soltanto su due azioni progettuali per ogni scuola è motivata dall’esigenza di privilegiare un’indagine approfondita di ciascun progetto, basata sull’analisi di diversi indicatori riguardanti vari aspetti della progettazione e gestione delle attività. Ciò comporta l’attivazione di protocolli di ricerca articolati che prevedono diverse tecniche di raccolta dei dati e il coinvolgimento di diversi soggetti (DS, insegnanti curricolari, tutor dei progetti, studenti, ecc.). In altre parole piuttosto che considerare tutte le azioni progettuali prodotte dalla scuola, si è scelto di privilegiare un livello di analiticità maggiore, indagando in profondità un numero limitato di progetti. Inoltre, sono stati esclusi dall’audit i progetti/moduli destinati ad adulti e genitori, ad eccezione di quelli dedicati al personale della scuola. Pertanto non sono valutate le azioni progettuali che rientrano nell’obiettivo G e i progetti/moduli dell’obiettivo F rivolti ai genitori. Ciò dipende soprattutto dall’esigenza di standardizzare e semplificare le procedure di audit che, come abbiamo detto hanno richiesto, oltre all’analisi di documenti, osservazioni sul campo e interviste con le figure istituzionali e i destinatari degli interventi PON. In questo senso, si è preferito non includere le interviste ai genitori o ai corsisti adulti, maggiormente complesse dal punto di vista organizzativo, anche in considerazione della durata limitata della visita a scuola. Nel corso della visita a scuola, inoltre, è stata effettuata una valutazione dell’utilizzo di dotazioni e laboratori acquistati con i fondi FESR nel 2007 e nel 2008. Ogni auditor, quindi, aveva il compito di valutare, per ciascuna scuola assegnata, un Piano integrato, due progetti/moduli preselezionati dall’INVALSI, e l’utilizzo di dotazioni e laboratori acquistati con i fondi FESR. L’INVALSI ha fornito gli estremi dei progetti/moduli da considerare per ciascuna scuola. La procedura prevedeva che ad ogni auditor fosse assegnato almeno un progetto/modulo dell’obiettivo C, selezionato per tutte le scuole del campione in quanto si riferisce al miglioramento delle competenze degli studenti, e un secondo progetto/modulo afferente uno dei quatto obiettivi C, B, D o F. L’intervento di audit è stato articolato in tre momenti: 1) prima della visita: raccolta e analisi di documenti e materiali relativi al Piano integrato e alle singole azioni progettuali, e compilazione online della Scheda di valutazione 1° parte 2) durante la visita: osservazioni e interviste con le figure di Piano, i corsisti e i docenti curriculari 3) dopo la visita: compilazione online della Scheda di valutazione 2° parte 10
La compilazione della Scheda di valutazione 1° parte, da effettuare prima di recarsi presso le scuole, prevedeva che i giudizi degli auditor dovessero basarsi sulla documentazione che poteva essere richiesta alle scuole, sui dati disponibili sulla piattaforma dell’ANSAS e sui dati della Carta d’Identità INVALSI8. Nel corso della visita a scuola, l’auditor oltre a richiedere la visione di ulteriori documenti, doveva verificare lo stato di utilizzo delle dotazioni tecnologiche e dei laboratori acquistati con i fondi FESR e doveva svolgere brevi interviste con le figure PON (referente per la valutazione, facilitatore, tutor d’obiettivo), alcuni docenti curriculari e alcuni corsisti che avevano frequentato i corsi o partecipato alle attività previste dai due progetti selezionati. 3.2 Gli strumenti Gli strumenti dell’audit sono: ‐ Scheda di valutazione 1° parte ‐ Scheda di valutazione 2° parte Per la costruzione delle schede di valutazione è stata esaminata l’ampia letteratura riguardante la valutazione autentica delle prestazioni degli studenti e l’utilizzo delle rubriche di valutazione (Comoglio, 2002; Comoglio, 2007; Wiggins, 1996). Le rubriche di valutazione sono state adattate negli anni ad altri contesti, come la valutazione delle prestazioni delle scuole (si vedano le griglie utilizzate dagli Ispettori dell’Office for Standard in Education ‐ Ofsted). Una rubrica per essere tale deve contenere i criteri oggetto di valutazione e una descrizione delle prestazioni buone e meno buone per ciascun criterio. Le rubriche possono essere costruite con un approccio più olistico, quando richiedono di esprimere un giudizio generale su un insieme di aspetti, o più analitico, quando richiedono di esprimere un giudizio su singole componenti. L’obiettivo della scheda di valutazione è quello di aiutare l’auditor ad esprimere un parere orientato da indicazioni in grado di supportare empiricamente l’espressione del giudizio. Sono stati preliminarmente definiti una serie di criteri di qualità (22 criteri) relativamente alla progettazione e gestione dei progetti. Questi criteri di qualità o standard sono definiti come proposizioni. Per ogni criterio di qualità l’auditor doveva esprimere un giudizio su una scala da 1 a 4. La formulazione del giudizio è guidata: infatti per ciascun livello è stato riportato un indicatore che presenta gli elementi o le evidenze empiriche da considerare per esprimere un giudizio. Il livello 1 – Inadeguato: si riferisce alle situazioni nelle quali, rispetto al criterio di qualità proposto, la scuola non ha raggiunto un livello ritenuto accettabile. Il livello 2 – Accettabile: viene applicato ai casi in cui il livello raggiunto rappresenta il punto di partenza minimo per arrivare a 8
La Carta d’identità delle scuole PON è uno strumento informativo predisposto dall’INVALSI che sintetizza alcune informazioni utili per descrivere la situazione di ogni scuola. La Carta d’identità è messa a disposizione degli auditor per acquisire alcune informazioni prima della visita alla scuola. In particolare, le informazioni fornite sono: dimensione della scuola; media degli apprendimenti degli studenti alla III prova dell’esame di stato (INVALSI); trasferimenti e abbandoni degli studenti; dotazione finanziaria; informazioni sui punti di forza e debolezza e priorità di intervento indicate nella scheda di autodiagnosi; attività sui fondi PON.
11
successivi miglioramenti. Il livello 3 – Buono: riguarda i casi in cui la scuola ha messo in campo le azioni necessarie per raggiungere gli standard previsti dal criterio di qualità. Infine, il livello 4 – Eccellente: si riferisce alle situazioni nelle quali gli standard previsti dal criterio di qualità sono raggiunti attraverso azioni che garantiscono la qualità delle procedure o esiti ottimali. Le schede sono strutturate in due parti principali: una relativa alla valutazione della qualità del Piano integrato nel suo complesso ed una dedicata alla valutazione della qualità dei singoli progetti o moduli. La Scheda di valutazione 1° parte è suddivisa in cinque sezioni: la prima sezione si riferisce alla qualità complessiva del Piano integrato e presenta 6 criteri di qualità; le altre quattro sezioni (una per ciascun obiettivo) si riferiscono alla qualità dei singoli progetti e presentano ciascuna 6 criteri di qualità, oltre ad una scheda di descrizione del progetto. Per esprimere la valutazione rispetto ad ogni criterio di qualità, sono indicati: - i documenti e i materiali da visionare - come reperire i documenti e materiali nel sito dell’Ansas - il criterio di qualità, espresso in forma di proposizione - la scala di valutazione con i relativi indicatori Per la valutazione del Piano integrato veniva richiesto agli auditor di esprimere un giudizio in merito a:  Integrazione tra piano integrato e piano dell’offerta formativa  Coerenza tra autodiagnosi e piano integrato  Azioni di promozione  Bandi esperti (competenze richieste)  Verbali del GOP  Valutazione del piano integrato Per ogni progetto valutato, sono state raccolte informazioni:  Sui soggetti a cui è rivolto il corso (gruppo classe o studenti di classi diverse se si tratta di un progetto dell’obiettivo C e F, docenti e personale ATA se si tratta di un progetto dell’obiettivo B e D)  Se il corso è stato sospeso  Informazioni sugli iscritti (numero iniziale, con assenze superiori al 25%9)  Numero attestati emessi Le valutazioni sui progetti sono state espresse in merito a:  Declinazione delle competenze che deve ottenere il corsista  Coerenza tra competenze e attività didattiche svolte dal corsista  Strategie didattiche  Valutazione iniziale  Valutazione in itinere  Valutazione finale 9
In base alle Disposizioni del MIUR, non è possibile emettere la certificazione per la frequenza del corso per gli studenti che hanno più del 25% di ore di assenza.
12
La Scheda di valutazione 2° parte presenta inizialmente quattro sezioni dedicate alla qualità dei singoli progetti per gli obiettivi B, C, D ed F. La quinta sezione si riferisce alla qualità del Piano integrato (4 criteri di qualità) mentre una sesta sezione concerne la qualità della gestione di dotazioni e laboratori (1 criterio di qualità). Infine, nella sezione dedicata alle considerazioni conclusive è previsto uno spazio per la formulazione di un giudizio qualitativo da parte dell’auditor su eventuali punti di forza e/o punti di debolezza della progettazione e gestione PON riscontrati durante la visita. Per ogni progetto che viene valutato, vengono raccolte informazioni:  Sui soggetti a cui è rivolto il corso (gruppo classe o studenti di classi diverse se si tratta di un progetto dell’obiettivo C e F, docenti e personale ATA se si tratta di un progetto dell’obiettivo B e D)  Se il corso è stato sospeso  Informazioni sugli iscritti (numero iniziale, con assenze superiori al 25%)  Numero attestati emessi Le valutazioni sui progetti vengono espresse in merito a:  Soddisfazione dei corsisti  Integrazione tra progetto e attività curricolare (solo per progetti dell’obiettivo C e F)  Ricadute del progetto sulle competenze dei corsisti (solo per progetti dell’obiettivo C e F)  Utilizzo a scuola delle competenze acquisite dal personale (solo per progetti dell’obiettivo B e D) Per la valutazione del Piano integrato viene richiesto agli auditor di esprimere un giudizio in merito a:  Incontro con il gruppo operativo di piano  Azioni di promozione  Verbali del gop  Valutazione del piano  Bandi esperti (condivisione criteri)  Integrazione tra piano e attività della scuola Per la valutazione della qualità della gestione di dotazioni e laboratori vengono raccolte informazioni sulle persone incontrate durante la visita e sul numero di dotazioni e laboratori osservati, a seguire viene richiesto di esprimere un giudizio complessivo sull’utilizzo ottimale delle dotazioni e i laboratori acquistati con i fondi FESR. 13
4.
La progettazione PON delle scuole dell’Obiettivo Convergenza La programmazione 2007‐2013 dei PON “Competenze per lo sviluppo” (fondo FSE) e “Ambienti per l’apprendimento” (fondo FESR) riguarda potenzialmente 3984 scuole statali e 1311 scuole non statali delle regioni dell’Obiettivo Convergenza (rispettivamente il 38% e il 34,4% delle scuole statali e non statali italiane, dati relativi all’a.s. 2009‐2010); di queste 1130 (28,4%) sono istituzioni scolastiche statali del II ciclo e 595 (45,4%) sono scuole secondarie di II grado non statali10. Grafico 4‐1 ‐ Istituzioni scolastiche statali e non statali delle regioni Obiettivo Convergenza 4500
4000
3500
3000
2500
Totale scuole
Ist. II ciclo
2000
1500
1000
500
0
scuole statali
Scuole non
statali
Fonte: Sistema Informativo Integrato e valutazione degli apprendimenti 2011 La distribuzione degli istituti scolastici di II grado nelle quattro regioni dell’area PON rivela una maggiore presenza di istituti statali e non statali in Campania e Sicilia (Tabella 4‐1). Quasi il 70% delle scuole del II ciclo destinatarie potenziali dei fondi PON sono collocate in queste due regioni. Tabella 4‐1 ‐ Scuole del II ciclo statali e non statali per regione Calabria Campania Puglia Sicilia Totale Scuole II ciclo statali 159 370 278 323 1130 Scuole II ciclo non statali 34 267 58 236 595 Totale % area PON 193 637 336 559 1725 11,2 36,9 19,5 32,4 100,0 Fonte: Sistema Informativo Integrato e valutazione degli apprendimenti 2011 10
Complessivamente, gli studenti del II ciclo dell’area PON sono 937.725; di questi 916.159 frequentano scuole statali e rappresentano il 35,9% degli studenti del secondo ciclo delle scuole statali italiane; 21.566 studiano in un istituto non statale e rappresentano il 13,8% degli studenti superiori italiani che frequentano scuole non statali. 14
I dati messi a disposizione dal Sistema Informativo Integrato e valutazione degli apprendimenti11 mostrano che, nei primi quattro anni della programmazione corrente, si è osservato un aumento costante delle scuole che utilizzano il finanziamento FSE: si è passati infatti dall’84% degli istituti scolastici che hanno presentato almeno un Piano integrato nel 2007 a oltre il 91% nel 2010. L’aumento ha riguardato tutte le regioni dell’Obiettivo Convergenza anche se in Puglia si registra un utilizzo dei fondi superiore alle altre regioni, con quasi il 99% delle scuole che hanno presentato almeno un progetto. Per quanto riguarda il finanziamento FESR, negli anni 2007 e 2008 si registra una quota di scuole attive sui fondi poco inferiore a quella FSE, mentre per gli anni successivi 2009 e 2010 la percentuale è molto più bassa. Ciò può dipendere dal fatto che le scuole hanno concentrato la maggior parte delle richieste di risorse finalizzate al miglioramento delle dotazioni tecnologiche e dei laboratori nei primi due anni della programmazione PON, rispondendo così in gran parte ai propri bisogni di adeguamento delle strutture informatiche e tecnologiche. La crescita della domanda di finanziamenti PON riguarda tutte le tipologie scolastiche, pur essendo presenti ancora differenze nella percentuale di istituti attivi tra i diversi ordini e gradi di scuola. A tale riguardo, gli istituti scolastici di II grado risultano i più attivi con una percentuale media di partecipazione nei quattro anni di oltre il 93% sui finanziamenti FSE e oltre il 50% sui finanziamenti FESR (Tabella 4‐2). Tabella 4‐2 ‐ Percentuale di scuole con almeno un progetto approvato per tipologia di scuola e anno di riferimento Tipologia di scuola 2007 Circoli didattici 71,5% Istituti comprensivi 81,2% Istituti principali di 76,4% I grado Istituti di II grado 88,2% Area PON 83,8% 2008 70,8% 81,6% 77,4% FSE FESR 2009 2010 Media 2007 2008 2009 2010 74,9% 76,5% 73,4% 64,6% 71,2% 2,1% 1,1% 83,2% 89,0% 83,7% 73,7% 81,8% 2,2% 0,7% 80,1% 84,8% 79,6% 69,4% 79,9% 2,7% 1,0% 93,5% 94,8% 96,4%
85,4% 87,7% 91,4%
93,2% 85,0% 88,5%
87,1% 77,1% 83,8%
Media
34,8%
39,6%
38,3%
2,1% 26,1% 50,4%
2,2% 8,1% 42,8%
Fonte: Sistema Informativo Integrato e valutazione degli apprendimenti 2011 I dati elaborati dal Sistema Informativo Integrato sui punti di forza e di debolezza indicati dalle scuole nell’Autodiagnosi (Grafico 4‐2), evidenziano che per le scuole del II ciclo gli elementi di criticità riguardano prevalentemente l’area “studenti”, seguita da “rapporti con le famiglie e il territorio” e da “personale scolastico”. I punti di forza si riscontrano principalmente nell’ambito delle strutture e infrastrutture scolastiche. La situazione descritta dagli istituti scolastici di II grado è per certi aspetti diversa da quella rappresentata dalle scuole del I ciclo, per le quali il personale scolastico rappresenta il principale punto di forza, mentre gli ambiti “studenti” e “strutture e infrastrutture” costituiscono aspetti di criticità12. 11
INVALSI Rapporto di Stato avanzamento lavori, settembre 2010 – febbraio 2011. INVALSI, Sistema Informativo Integrato e valutazione degli apprendimenti, Rapporto di Stato avanzamento lavori, settembre 2010 – febbraio 2011.
12
15
Grafico 4‐2 ‐ Punti di forza e di debolezza evidenziate nell’Autodiagnosi (2007‐2010) Fonte: Sistema Informativo Integrato e valutazione degli apprendimenti 2011 Tra il 2007 e il 2010, le scuole hanno presentato 122.506 progetti a valere sul FSE e 13.485 a valere sul FESR. Tre delle quattro regioni dell’Obiettivo Convergenza hanno partecipato in maniera pressoché simile con il 30% circa dei progetti: si tratta di Campania, Puglia e Sicilia; la Calabria con il 12% circa dei progetti è la regione che ha partecipato in misura minore. Per quanto riguarda il FSE, la quasi totalità delle proposte progettuali presentate si riferisce all’Asse I relativa al miglioramento del capitale umano; appena lo 0,2% ha riguardato progetti nell’ambito dell’Asse III che concerne il miglioramento dell’efficienza, efficacia e qualità degli interventi finanziati, nonché la verifica e il controllo degli stessi e lo sviluppo di modalità, forme e contenuti dell’informazione e pubblicizzazione del Programma, degli interventi e dei risultati. Nell’ambito dell’Asse I, le scuole hanno decisamente privilegiato gli interventi a favore degli studenti, con la presentazione di progetti che rientrano negli obiettivi C (59% circa del totale dei progetti) e F (16% circa dei progetti). Seguono, per numerosità di proposte attivate, i progetti a favore degli insegnanti e del personale della scuola (i progetti dell’obiettivo B sono il 10,2% del totale e quelli dell’obiettivo D, rivolti ad accrescere la diffusione, l’accesso e l’uso della società dell’informazione nella scuola, rappresentano il 3,9%) e quelli finalizzati a migliorare l’apprendimento durante tutto l’arco della vita (4,7% del totale). Con riferimento al FESR, anche in questo caso è stato nettamente privilegiato l’Asse I che si occupa di promuovere la società dell’informazione e della conoscenza nella scuola (con il 99,5% dei progetti presentati) a scapito dell’Asse III che offre interventi di assistenza tecnica. Tra gli obiettivi dell’Asse I, i progetti che rientrano nelle finalità previste dal B, ovvero incrementare il numero dei laboratori per migliorare l’apprendimento delle competenze chiave, sono il 64% circa del totale 16
mentre poco più di un terzo riguarda le finalità dell’obiettivo A, incrementare le dotazioni tecnologiche e le reti delle istituzioni scolastiche. Per quanto riguarda il bando oggetto di audit, ovvero AOODGAI 2096 2009, sono complessivamente 1087 le scuole del II ciclo che hanno attivato richieste di finanziamento e 1076 quelle con progetti autorizzati, in preparazione e inoltrati. I progetti presentati sono stati 12.278, in media 11,3 per scuola (il range varia da 1 a 45). Tuttavia quelli autorizzati, in preparazione e inoltrati sono stati 10.832 e nei tre quarti dei casi riguardano progetti dell’obiettivo C. 17
5.
Le scuole coinvolte nell’audit Le scuole coinvolte nell’audit sono gli istituti secondari di II grado delle quattro regioni dell’Obiettivo convergenza che nell’anno scolastico 2008/09 sono state campionate per somministrare le prove della rilevazione OCSE‐PISA e che hanno usufruito dei fondi PON, avendo attivato richieste sul bando AOODGAI 2096 del 03‐04‐2009, Piani Integrati 2009. La scelta è legata alla possibilità di utilizzare i risultati OCSE‐PISA per una valutazione più ampia anche dei risultati, dal momento che per le scuole secondarie di II grado non erano disponibili per l’anno scolastico 2009‐2010 dati a livello nazionale del Servizio Nazionale di Valutazione. Le scuole così selezionate sono state in totale 109, il 10% circa del totale delle scuole che hanno attivato progetti sul bando AOODGAI 2096 200913. Le scuole selezionate sono così suddivise: 25 in Calabria, 33 in Campania, 28 in Puglia e 23 in Sicilia. Grafico 5‐1 ‐ Distribuzione delle scuole coinvolte nell’audit per regione Sicilia
21%
Puglia
26%
Calabria
23%
Campania
30%
Confrontando la distribuzione delle scuole coinvolte nell’audit con quella di tutte le scuole con progetti autorizzati sul bando 2096/2009 nelle quattro regioni dell’Obiettivo convergenza emerge che nell’audit le scuole della Campania e della Puglia sono rappresentate in maniera proporzionale mentre sono leggermente sovra rappresentate le scuole della Calabria e sottorappresentate quelle della Sicilia. 13
Si tratta di 1087 scuole con progetti presentati, inoltrati e autorizzati.
18
Tabella 5‐1 ‐ Scuole con progetti autorizzati e scuole coinvolte nell’audit per regione Scuole attive sul bando Scuole coinvolte AOODGAI 2096 2009 nell’audit Frequenza Percentuale Frequenza Percentuale Campania 33 30,3 347
31,92
Puglia 28 25,7 274
25,21
Calabria 25 22,9 171
15,73
Sicilia 23 21,1 295
27,14
Totale 100,0 109 100,0 1087
Quasi la metà delle scuole coinvolte nell’audit sono Licei, un terzo sono Istituti Tecnici e circa un quinto sono Istituti Professionali. Grafico 5‐2 ‐ Tipo di scuola Istituto
Professionale
18%
Liceo
49%
Istituto Tecnico
33%
I tre tipi di scuola sono diversamente distribuiti nelle quattro regioni considerate. Rispetto ai valori medi, i Licei risultano sottorappresentati in Campania e leggermente sovrarappresentati in Calabria e Sicilia. Gli Istituti Tecnici rappresentano circa il 35% delle scuole in Campania, Puglia e Calabria mentre sono poco più del 20% in Sicilia. Di contro, in questa regione gli Istituti Professionali coinvolti sono poco più del 26% a fronte di una sottorappresentazione degli stessi in Puglia (14% circa) e Calabria (12% circa). La scelta delle scuole con riferimento alla tipologia non riflette la reale distribuzione delle stesse nelle regioni considerate; come già detto, infatti, ciò non costituiva un criterio di riferimento per la selezione delle scuole da inserire nell’audit. 19
Grafico 5-3 - Tipo di scuola per regione 60,00%
50,00%
40,00%
Licei
Ist. Tecnici
Ist. Professionali
30,00%
20,00%
10,00%
0,00%
Campania
Puglia
Calabria
Sicilia
I progetti presentati dalle scuole selezionate sono 1331 (il 12,3% del totale dei progetti delle scuole attive sul bando 2096/2009), con una media di 12 progetti per scuola (di poco superiore alla media del totale delle scuole attive, pari a 11,3). Rispetto alla distribuzione dei progetti per obiettivo del totale delle scuole attive sul bando 2096/2009, le scuole coinvolte nell’audit presentano una percentuale decisamente più elevata di progetti afferenti l’obiettivo B e di poco superiore per i progetti dell’obiettivo D, G, F e L. Come già ricordato, tutte le scuole che hanno partecipato all’audit avevano almeno un progetto dell’obiettivo C. Tabella 5‐2 ‐ Distribuzione dei progetti per obiettivo Totale scuole PON
Scuole inserite nell'audit
Obiettivi FSE
Frequenza
% su totale scuole
Frequenza
% su totale scuole
B
453
41,7
63
57,8
C
1069
98,3
109
100
D
842
77,5
87
79,8
E
183
16,8
18
16,5
F
151
13,9
18
16,5
G
330
30,3
38
34,9
I
5
0,4
0
0
L
27
2,5
6
5,5
Totale scuole
1087
109
20
6.
Persone incontrate e materiali visionati La scheda di valutazione 2° parte forniva agli auditor indicazioni precise sulle persone da contattare durante la visita a scuola e prevedeva la possibilità di indicare i materiali visionati. Secondo il protocollo di ricerca, le informazioni raccolte durante le interviste e individuate attraverso la lettura dei materiali dovevano costituire la base empirica per l’espressione dei giudizi relativi ai criteri di qualità. Nel corso delle visite a scuola gli auditor hanno incontrato il Dirigente scolastico e gli altri componenti del Gruppo operativo di piano (GOP). In media, per ogni scuola gli auditor hanno incontrato 5 componenti del GOP. Si tratta di un dato molto positivo poiché indica, come evidenziato anche dal grafico sottostante, che gli auditor hanno potuto avere come interlocutori le figure chiave dei PON: oltre al DS, il Referente per la valutazione, il Facilitatore e i tutor d’obiettivo la cui presenza risulta proporzionale al numero di progetti valutati per ciascun obiettivo. Si osserva inoltre la presenza di 7 tutor dell’obiettivo G. I progetti dell’obiettivo G non erano oggetto di audit, tuttavia i tutor hanno preso parte alla ricerca in quanto membri del GOP. Grafico 6-1 - Persone incontrate durante le visite a scuola Inoltre, sono stati intervistati complessivamente 1046 corsisti, 9,7 in media per scuola e, per i corsi rivolti agli studenti (C e F), sono stati coinvolti 147 tutor (1,4 in media per scuola) e 629 docenti curricolari (5,2 in media per scuola). Per quanto riguarda i materiali, è stata effettuata un’analisi qualitativa delle informazioni fornite dagli auditor rispetto ai documenti e materiali visionati14. Tale analisi ha permesso di individuare 14
La scheda di valutazione 2° parte prevedeva degli spazi nei quali indicare i materiali visionati 21
23 tipologie di materiali15. Inoltre sono state categorizzate le situazioni nelle quali gli auditor hanno affermato di non aver trovato materiali pertinenti e i casi nei quali le informazioni fornite dagli auditor sono risultate incomprensibili e non pertinenti. Complessivamente i dati relativi ai materiali visionati sono positivi. Nella grande maggioranza dei casi gli auditor hanno avuto accesso a materiali di vario tipo. Solo in una minoranza di casi si segnala che non ci sono materiali disponibili: per la maggior parte dei criteri di qualità tali situazioni non superano il 10% e variano dall1,5% al 28,6%16. Anche le informazioni categorizzate come incomprensibili o non pertinenti sono molto contenute: tra tutti i materiali segnalati, esse non superano il 10% in tutti i casi tranne uno nel quale si arriva al 12,7%17. È stata osservata una relazione statisticamente significativa tra l’impossibilità di reperire il materiale documentario e i bassi giudizi espressi dagli auditor18; ciò conferma la validità di contenuto degli strumenti utilizzati poiché, come già ricordato, i descrittori dei livelli di qualità fanno riferimento ad evidenze empiriche che devono essere rintracciate principalmente nei documenti; l’assenza di tali evidenze o la non accessibilità dei materiali è associata, nelle rubriche di valutazione, a giudizi di inadeguatezza e di mera accettabilità sullo specifico criterio di qualità. I materiali analizzati dagli auditor risultano più o meno congruenti con gli obiettivi dei singoli criteri e con le indicazioni contenute nei descrittori dei relativi livelli di qualità (es. i descrittori relativi al criterio di qualità “le competenze dei corsisti sono visibilmente migliorare per i loro insegnanti” dà indicazioni rispetto alla necessità di visionare i giudizi e i voti ottenuti dagli studenti nell’attività curricolare). Per quanto riguarda i materiali visionati per i criteri di qualità del Piano integrato, appaiono molto congruenti i materiali considerati per esprimere i giudizi relativamente al criterio di qualità “I materiali di promozione sono adeguati a raggiungere l’obiettivo di promuovere la partecipazione dei destinatari previsti dal Piano integrato”. Delle 474 segnalazioni di materiali pervenute, il 45,4% riguarda vari materiali di promozione (locandine, brochure, ecc.), il 13,1% si riferisce a verbali di incontri e riunioni del GOP e il 10.5% a materiali amministrativi relativi alle procedure di pubblicizzazione delle attività PON. Ciò implica che uno o più materiali di promozione sono stati visionati per quasi tutte le scuole visitate (solo in 5 casi non è stato possibile reperire documenti), i verbali sono stati visionati nel 43,7% dei casi e i materiali amministrativi in oltre un terzo delle scuole. 15
Le categorie individuate sono: 1. materiale didattico; 2. documentazione di prodotti; 3. materiale di promozione; 4. verbali; 5. materiale di programmazione; 6. materiali relativi all’analisi dei bisogni; 7. registri (didattico, delle presenze); 8. relazioni sul lavoro svolto; 9. esiti della valutazione del corso; 10. strumenti della valutazione del corso; 11. esiti della valutazione dei corsisti; 12. strumenti per la valutazione dei corsisti; 13. materiali amministrativi; 14. Circolari e comunicazioni interne; 15. piano integrato, progetti dei moduli/corsi; 16. pof; 17. Piano annuale; 18. certificazioni; 19. contratti o patti formativi; 20. tabelle o registri con voti, pagelle studenti; 21. Relazione annuale DS; 22. programmazione progettazione curricolare; 23. altri materiali. 16
Si tratta del criterio di qualità “Il progetto è ben integrato nell’attività curricolare” relativo ai progetti dell’obiettivo F. 17
Si tratta del criterio di qualità “La scuola utilizza in maniera ottimale le competenze dei corsisti” relativo all’obiettivo D. 18
Il valore del chi quadrato è inferiore a .05. Per quanto riguarda il giudizio espresso dagli auditor, si è preso in considerazione il giudizio di qualità complessivo, calcolato facendo la media tra i giudizi espressi su tutti i criteri di qualità relativi al Piano integrato e sui criteri di qualità dei progetti dell’obiettivo C.
22
Per quanto riguarda il criterio di qualità “I verbali delle riunioni del GOP documentano in maniera accurata i processi decisionali relativi alle fasi di avvio, gestione e valutazione dei progetti”, sono stati visionati complessivamente 1407 verbali, circa 10 in media per scuola. La variabilità tra le scuole è però piuttosto elevata, infatti in un caso è stato possibile visionare solo 2 verbali mentre in un altro ne sono stati visionati 20. Se si considerano tutti i materiali visionati per i criteri di qualità “I criteri per la selezione degli esperti sono stati definiti in maniera collegiale e coinvolgendo diverse componenti della scuola” e “Il GOP ha garantito l’integrazione del Piano nelle attività della scuola” il 46‐50% è costituito da verbali. Se si fa riferimento al totale dei casi trattati (le 109 scuole) ciò significa che almeno un verbale è stato visionato per ciascuna scuola. Ciò è coerente con le finalità perseguite dai due criteri indicati che si prefiggono di verificare, in modi diversi, il grado di integrazione tra le attività PON e il funzionamento ordinario della scuola. Le evidenze di tale attività di integrazione potevano essere individuate principalmente attraverso i verbali delle riunioni del GOP, dei Dipartimenti, degli Organi collegiali, ecc. Per quanto riguarda il criterio di qualità “la valutazione del Piano integrato è effettuata in maniera sistematica”, tra i 410 materiali segnalati, il 20% circa si riferisce a verbali di riunioni e incontri nei quali si fa riferimento all’attività del Referente per la valutazione e alla presentazione dei risultati della valutazione del Piano integrato (corrispondente al 58,5% dei casi); il 17,8% riguarda relazioni sull’esito della valutazione effettuate dal Referente per la valutazione; il 12,4% è costituito dagli strumenti utilizzati per la valutazione dei corsi e il 9% dagli strumenti impiegati per la valutazione degli studenti; infine il 10% riguarda resoconti e relazioni finali prodotti da soggetti diversi (esperti, tutor di obiettivo, ecc.), corrispondenti, rispettivamente al 51,4%, 35,9%, 26,1% e 28,9% dei casi. Per i criteri di qualità relativi ai progetti afferenti i vari obiettivi, i materiali relativi ai corsi dell’obiettivo C risultano maggiormente completi e congruenti rispetto a quelli degli altri obiettivi. I materiali visionati per esprimere il giudizio relativamente al criterio di qualità “Il corso è ben integrato nell’attività curricolare” dell’obiettivo C sono costituiti, per oltre un quarto, da verbali, per l’11,6% da materiali relativi alla valutazione degli studenti e per il 7,5% da materiali di programmazione, corrispondenti rispettivamente all’83,7%, 36,2% e al 23,4% dei casi. Questi materiali sono coerenti con le finalità indicate, ovvero verificare il grado di integrazione del corso nell’attività curricolare attraverso l’analisi delle forme di coordinamento e di condivisione di obiettivi, metodi e materiali tra esperti PON e docenti curricolari. Per lo stesso criteri di qualità relativo all’obiettivo F, i materiali visionati sono soprattutto i verbali (33% dei materiali segnalati corrispondenti all’85,7% dei casi) e documentazioni di prodotti finali (11,1% dei materiali pari al 30% circa dei casi). Per questo indicatore si segnala, tuttavia, una percentuale piuttosto elevata di casi (circa il 30%) nei quali non è stato possibile visionare materiali e un elevato numero di risposte inadeguate (21,4% dei casi). In questo caso, i materiali risultano meno completi e congruenti rispetto a quelli visionati per i progetti dell’obiettivo C; ciò probabilmente può dipendere dalle finalità perseguite dai progetti dell’obiettivo F (promuovere il successo scolastico, le pari opportunità e l’inclusione sociale) che possono essere raggiunte mediante molteplici attività, e quindi documentate in forme diverse, non sempre direttamente riconducibili agli scopi dell’attività curricolare. Per valutare se le competenze dei corsisti sono migliorate grazie alla frequenza dei corsi afferenti gli obiettivi C e F, gli auditor hanno visionato prevalentemente verbali, materiali relativi alla 23
valutazione degli studenti, registri dei voti conseguiti dagli studenti e relazioni. Anche in questo caso i materiali indicati appaiono congruenti con gli obiettivi dell’attività di valutazione relativa allo specifico criterio di qualità. Non emergono differenze significative tra i materiali segnalati per valutare i corsi degli obiettivi C e F, se non una maggiore incidenza di verbali e relazioni tra i materiali relativi ai corsi dell’obiettivo F rispetto a quelli dell’obiettivo C e una minore frequenza di visione dei registri dei voti per i corsi dell’obiettivo F. Infine, per quanto riguarda i corsi rivolti agli insegnanti e al personale della scuola (progetti B e D) non emerge una tipologia prevalente di materiali visionati. Gli auditor hanno considerato una varietà di materiali: verbali, materiali didattici, documentazione di prodotti, materiali relativi alla valutazione del corso e dei corsisti. La molteplicità di materiali segnalati può essere ricondotta alla difficoltà di individuare una fonte privilegiata dalla quale attingere le informazioni necessarie per valutare il grado di utilizzo a scuola delle competenze acquisite dai corsisti, come richiesto dal criterio di qualità relativo ai corsi in questione. Per concludere, i dati relativi alle persone intervistate e ai materiali visionati confermano che le procedure di ricerca sono state seguite correttamente nella maggior parte dei casi. I giudizi espressi si sono basati sulla raccolta di evidenze che in molti casi, possiamo ipotizzare, risultano dalla triangolazione delle informazioni ottenute dall’analisi dei documenti e dai colloqui con i soggetti variamente coinvolti nelle attività finanziate con i PON. L’ipotesi della triangolazione pare confermata dal fatto che gli auditor non si sono accontentati di ascoltare opinioni ma hanno ricercato conferme nei documenti, come emerge dal rapporto statisticamente significativo tra inaccessibilità dei documenti e bassi giudizi espressi. 24
7.
Il Piano integrato Sono stati presi in considerazione 109 Piani integrati, uno per ciascuna delle scuole oggetto di audit. I Piani integrati sono stati valutati a partire da criteri di qualità afferenti le aree gestionale/organizzativa e progettuale/didattica. Con riferimento alla prima area, si sono prese in considerazione le azioni di promozione degli interventi finanziati con i PON, il reclutamento degli esperti, l’attività del Gruppo operativo di Piano e la valutazione del Piano integrato. Per alcuni criteri è stato richiesto agli auditor di esprimere un doppio giudizio: il primo, espresso prima di recarsi a scuola, si basa sulla lettura dei materiali visionati sulla Piattaforma dell’Ansas; il secondo si fonda sulla raccolta di eventuali ulteriori materiali ed evidenze in seguito alla visita a scuola. Nel caso di doppio giudizio, verranno descritti i livelli raggiunti dalle scuole sui singoli criteri di qualità prima e dopo la visita e gli eventuali scostamenti nei giudizi. Con riferimento alle azioni di promozione, il criterio di qualità “I materiali di promozione sono adeguati a raggiungere l'obiettivo di promuovere la partecipazione dei destinatari previsti dal Piano integrato” è stato oggetto di valutazione sia prima che dopo la visita a scuola. Il punteggio medio ottenuto prima della visita è pari a 2,61. La maggior parte dei casi si distribuisce tra i livelli “accettabile” (30,3%) e “buono” (39,4%) evidenziando situazioni nelle quali le azioni di pubblicizzazione delle attività sono poco differenziate e raggiungono diversi destinatari ma non tutti quelli potenzialmente coinvolgibili. Il punteggio medio in seguito alla visita è invece di 3,07. il sensibile miglioramento del giudizio è dovuto alla riduzione delle scuole che si posizionano sul livello “accettabile” a favore di un incremento di quelle che si collocano sul livello “buono” (45%) ed “eccellente” (33%). Tabella 7‐1 ‐ Criterio di Qualità ‐ I materiali di promozione sono adeguati a raggiungere l'obiettivo di promuovere la partecipazione dei destinatari previsti dal Piano integrato SCHEDA 1° PARTE SCHEDA 2° PARTE Frequenza Percentuale Frequenza Percentuale Inadeguato 14 12,8 4 3,7 Accettabile 33 30,3 20 18,3 Buono 43 39,4 49 45,0 Eccellente 19 17,4 36 33,0 Totale 109 100,0 109 100,0 Confrontando i livelli assegnati dagli auditor prima e dopo la visita a scuola si osserva la valutazione maggiormente positiva ottenuta dalle scuole che riguarda il 45% dei casi. Solo nell’8,3% dei casi le scuole ottengono una valutazione maggiormente negativa. 25
Tabella 7‐2 ‐ I materiali di promozione sono adeguati a raggiungere l'obiettivo di promuovere la partecipazione dei destinatari previsti dal Piano Integrato. Confronto livelli assegnati in seguito alla visita a scuola Frequenza Percentuale livello inferiore 9 8,3 stesso livello 51 46,8 livello superiore 49 45,0 Totale 109 100,0 Ciò può dipendere dal fatto che la documentazione messa a disposizione dalla scuola durante la visita si è rivelata più cospicua e di migliore qualità rispetto a quella inserita sulla piattaforma Gestione interventi, oppure che l’auditor ha acquisito ulteriori informazioni che gli hanno permesso di modificare il giudizio iniziale. Tuttavia, nell’interpretare questi dati non si può prescindere da alcune considerazioni di ordine metodologico sulla presenza di “errori” nelle operazioni di valutazione, strettamente legati al fattore umano, che possono aver influenzato l’autenticità della stessa. In letteratura sono riportati diversi tipi di errore che possono manifestarsi nella valutazione dei processi formativi (Tessaro 1997). In primo luogo, ricordiamo gli errori di attribuzione derivanti dal cosiddetto effetto alone, ovvero il bias cognitivo per il quale la percezione di un tratto è influenzata dalla percezione di altri tratti dell’individuo o dell’oggetto valutato. Pertanto, l’effetto alone agisce per mezzo di indebite estensioni delle caratteristiche di un tratto (es. capacità di un individuo di esprimersi correttamente in italiano oppure ordine e pulizia negli ambienti) ad altri tratti della stessa persona o organizzazione (es. intelligenza della persona, efficienza di un’organizzazione). Nel nostro caso, l’effetto alone potrebbe aver agito favorendo l’espressione di giudizi maggiormente positivi a partire dalla buona impressione suscitata nell’auditor dalle persone incontrate (DS, figure di piano, docenti, ecc.) o dalla scuola nel suo complesso. Possono inoltre essere presenti errori di aspettativa sia passivi che attivi. I primi consistono nella tendenza ad osservare tra gli elementi presenti in una specifica situazione solo quelli che confermano una un’ipotesi precostituita; il secondo riguarda la scelta e la formulazione delle domande in modo da ottenere le risposte desiderate. Gli auditor potrebbero aver condotto le visite a scuola guidati, più o meno consapevolmente, da un’ipotesi precostituita di scuola di “buona qualità”, elaborata a partire da altri elementi osservati, che ha generato aspettative ed influenzato i giudizi. Per quanto riguarda il reclutamento degli esperti, i criteri di qualità considerati fanno riferimento alla chiarezza con la quale erano indicate nei bandi di selezione le competenze richieste e alla modalità con la quale erano stati definiti i bandi. Il primo criterio voleva verificare se oltre ai requisiti accademici e professionali, i bandi per il reclutamento degli esperti facessero chiaro riferimento alle competenze richieste per gestire il corso/modulo, richiedendo eventualmente al candidato di stilare un progetto didattico coerente con gli obiettivi del corso/modulo. Il punteggio medio ottenuto dalle scuole su questo criterio è 2,46; la distribuzione di frequenza evidenzia una situazione nella quale in quasi la metà dei casi le scuole non esplicitano chiaramente le competenze richieste nei bandi di reclutamento (Tabella 7‐3); nel 38,5% dei casi invece le competenze sono indicate. Poco più del 10% raggiunge un livello di eccellenza nel quale le scuole, oltre a dettagliare chiaramente le competenze richieste, invitano i candidati a presentare un progetto didattico relativo al corso per il quale viene inviata la domanda. 26
Tabella 7‐3 ‐ Criterio di Qualità ‐ I bandi per la selezione degli esperti permettono di individuare con chiarezza le competenze richieste Frequenza Percentuale Inadeguato 18 16,5 Accettabile 36 33,0 Buono 42 38,5 Eccellente 13 11,9 Totale 109 100,0 Il secondo criterio voleva verificare se la definizione dei criteri per la selezione degli esperti fosse avvenuta in maniera collegiale, attraverso la discussione degli stessi nel Consiglio d’istituto e/o nel Collegio docenti, ed eventualmente con il coinvolgimento di diverse componenti scolastiche (dipartimenti, alcuni docenti curricolari, ecc.). Il punteggio medio ottenuto dalle scuole su questo criterio di qualità è 2,72. La maggior parte delle scuole si colloca infatti sul livello “buono” (41,3%) evidenziando come sia da considerarsi prassi consolidata la discussione nel Consiglio d’istituto e/o Collegio docenti dei criteri per la selezione degli esperti (Tabella 7‐4). Nel 20,2%, dei casi oltre al coinvolgimento degli Organi collegiali è presente la collaborazione di altre componenti scolastiche come i referenti dei dipartimenti, alcuni docenti curricolari, ecc. Tabella 7‐4 ‐ Criterio di Qualità ‐ I criteri per la selezione degli esperti sono stati definiti in maniera collegiale e coinvolgendo diversi componenti della scuola Frequenza Percentuale Inadeguato 11 10,1 Accettabile 31 28,4 Buono 45 41,3 Eccellente 22 20,2 Totale 109 100,0 L’attività del Gruppo operativo di piano è stata valutata in primo luogo con riferimento alla capacità di documentare in maniera accurata, attraverso i verbali delle riunioni, i processi decisionali relativi alle fasi di avvio, gestione e valutazione dei progetti. Questo criterio di qualità ha ricevuto un doppio giudizio, prima e dopo la visita a scuola (
27
Tabella 7‐5). Il punteggio medio ottenuto nella prima valutazione è 2,58; la distribuzione di frequenza evidenzia che la maggior parte delle scuole si colloca tra il livello “accettabile” (31,2%) e “buono” (33%). Dalla documentazione reperita nella piattaforma Gestione interventi emerge dunque che le scuole, in generale, documentano i passaggi decisionali compiuti; tuttavia la qualità di tale documentazione non è elevata e non permette, nella maggior parte dei casi, di ricostruire tali passaggi oppure sono documentati in maniera dettagliata solo alcune fasi. Solo il 20,2% delle scuole raggiunge un livello di eccellenza, ovvero presenta una documentazione accurata delle decisioni prese nelle riunioni relative a tutte le fasi (avvio, gestione e valutazione dei progetti). Nella seconda valutazione, il punteggio medio è più elevato (2,92); dopo la visita a scuola sono aumentati i casi che si posizionano sul livello “buono” (41,3%) e sul livello “eccellente” (27,5%). 28
Tabella 7‐5 ‐ Criterio di Qualità ‐ I verbali delle riunioni del GOP documentano in maniera accurata i processi decisionali relativi alle fasi di avvio, gestione e valutazione dei progetti SCHEDA 1° PARTE SCHEDA 2° PARTE Frequenza Percentuale Frequenza Percentuale Inadeguato 17 15,6 5 4,6 Accettabile 34 31,2 29 26,6 Buono 36 33,0 45 41,3 Eccellente 22 20,2 30 27,5 Totale 109 100,0 109 100,0 Il confronto tra i giudizi espressi prima e dopo la visita evidenzia che nel 45,9% dei casi gli auditor hanno assegnato lo stesso livello, nel 38,5% dei casi hanno assegnato un livello superiore e nel 15,6% delle situazioni hanno optato per un livello inferiore (Tabella 7‐6). Anche in questo caso, il giudizio maggiormente positivo espresso in seguito alla visita a scuola può dipendere dalla visione di ulteriori materiali rispetto a quelli caricati sulla piattaforma elettronica. In particolare, in seguito alla visita a scuola, gli auditor hanno dichiarato di aver visionato complessivamente 1126 verbali, 10,33 in media per scuola. Tuttavia, come precedentemente osservato, non si può escludere l’influenza di errori di giudizio strettamente legati al fattore umano. Tabella 7‐6 ‐ I verbali delle riunioni del GOP documentano in maniera accurata i processi decisionali relativi alle fasi di avvio, gestione e valutazione dei progetti. Confronto livelli assegnati in seguito alla visita a scuola Frequenza Percentuale livello inferiore 17 15,6 stesso livello 50 45,9 livello superiore 42 38,5 Totale 109 100,0 L’attività del GOP è stata valutata anche con riferimento alla capacità del gruppo operativo di garantire l’integrazione del Piano nelle attività della scuola (Tabella 7‐7). Questo criterio di qualità ha ottenuto un punteggio medio di 2,72, molto prossimo al livello “buono”. Il 37,6% delle scuole si posiziona infatti su tale livello e il 19,3% ottiene un giudizio di eccellenza, evidenziando una buona capacità del GOP di integrare le azioni del PON con le altre attività della scuola, promuovendo la collaborazione con i Dipartimenti e i Consigli di classe per lo scambio di informazioni sull’andamento dei corsi, sui singoli corsisti, ecc. Un terzo circa delle scuole raggiunge invece il livello “accettabile” che si riferisce a quelle situazioni nelle quali il GOP si è limitato a illustrare i contenuti del Piano integrato al Consiglio d’istituto e/o al Collegio docenti prima dell’avvio dei corsi. 29
Tabella 7‐7 ‐ Criterio di Qualità: il GOP ha garantito l'integrazione del Piano nelle attività della scuola Frequenza Percentuale Inadeguato 10 9,2 Accettabile 37 33,9 Buono 41 37,6 Eccellente 21 19,3 Totale 109 100,0 Questo criterio di qualità, che valutava la capacità del Gop di rapportarsi con gli organi collegiali e le diverse componenti scolastiche al fine di garantire l’integrazione tra la realizzazione delle iniziative finanziate con i PON e la normale attività curricolare, è stato messo in relazione con il criterio relativo al grado di condivisione con le varie componenti scolastiche dei criteri per la selezione degli esperti per i corsi PON. Entrambi questi criteri rilevano infatti quanto la scuola sia in grado di integrare strategicamente l’ambito curricolare con quello progettuale. L’esistenza di una forte correlazione tra i due criteri farebbe ipotizzare l’esistenza di una struttura operativa capace di supportare tale integrazione. Il valore della correlazione pari a 0,6519, tenderebbe a confermare l’ipotesi della presenza di prassi operative consolidate nelle scuole che raggiungono i giudizi più elevati, che rendono possibile l’integrazione tra figure di Piano e altre componenti scolastiche sia in fase di avvio che di realizzazione e conclusione delle iniziative legate ai PON. Infine è stata presa in considerazione la sistematicità con cui è stata condotta la valutazione del piano integrato. Con questo criterio di qualità si voleva indagare la completezza dell’azione di valutazione, che doveva riguardare più aspetti ‐ e non solo la soddisfazione dei corsisti – ed essere rivolta a più soggetti – i corsisti, ma anche i docenti curriculari e, a seconda della rilevanza, le famiglie, attori del territorio, ecc. ‐ e, dal punto di vista metodologico, fare uso di strumenti comuni, per esempio per valutare i progetti afferenti i diversi obiettivi, al fine di garantire la comparabilità dei risultati. Si considerava, infine, la modalità di restituzione dei risultati della valutazione, valorizzando le scuole che hanno messo a punto relazioni dettagliate di commento dei risultati. Anche questo criterio di qualità ha ottenuto una doppia valutazione (Tabella 7‐8). Il punteggio medio ottenuto dalle scuole prima della visita è 2,36; si tratta di un valore piuttosto basso se confrontato con i valori medi ottenuti dagli altri criteri di qualità. La distribuzione di frequenza evidenzia che nel 22% dei casi le scuole sono state valutate “inadeguate” poiché dall’analisi dei materiali caricati sulla piattaforma Ansas non è emersa alcuna evidenza relativa alla valutazione del Piano integrato. Nel 28,4% dei casi c’è evidenza di azioni di valutazione del Piano o di singoli progetti mentre in oltre il 40% delle scuole è stata effettuata una valutazione generale del Piano o sono stati valutati singoli progetti, utilizzando criteri o strumenti comuni (stessi strumenti, stessi criteri di valutazione, stessi format per la relazione di valutazione, ecc.). Infine, solo nell’8,3% dei casi le scuole hanno raggiunto un livello di eccellenza che si riferisce a quelle situazioni nelle quali è stata effettuata una valutazione dei vari aspetti del Piano e di tutti i progetti adottando una strategia unitaria; inoltre, la valutazione è stata rivolta a diversi soggetti: i corsisti, i tutor, gli esperti, le famiglie, ecc. e i risultati della valutazione sono stati presentati e commentati. Nella seconda valutazione, il punteggio medio del criterio di qualità relativo alla valutazione è 2,83. In questo caso, l’incremento è dovuto ad una sensibile riduzione delle scuole valutate come 19
La correlazione risulta significati al livello 0,01.
30
inadeguate (che passano dal 22% al 7,3%) e ad un incremento dei casi valutati come “buoni” ed “eccellenti” (che passano rispettivamente da 41,3% a 47,7% e da 8,3% a 21,1%). Tabella 7‐8 ‐ Criterio di Qualità: la valutazione del Piano integrato è effettuata in maniera sistematica SCHEDA 1° PARTE SCHEDA 2° PARTE Frequenza Percentuale Frequenza Percentuale Inadeguato 24 22,0 8 7,3 Accettabile 31 28,4 26 23,9 Buono 45 41,3 52 47,7 Eccellente 9 8,3 23 21,1 109 100,0 109 100,0 Totale Confrontando i giudizi espressi prima e dopo la visita a scuola si osserva che solo nel 38,5% dei casi gli auditor hanno assegnato lo stesso livello (Tabella 7‐9); nel 46,8% dei casi hanno assegnato un livello superiore, presumibilmente a partire dalla visione di ulteriori materiali rispetto a quelli visionati sulla piattaforma Gestione interventi. Restano da spiegare le ragioni per cui nel 14,7% dei casi sia stato attribuito un livello inferiore in seguito alla visita a scuola. Tabella 7‐9 ‐ Criterio di Qualità: la valutazione del Piano integrato è effettuata in maniera sistematica – Confronto con i giudizi espressi in seguito alla visita a scuola Frequenza Percentuale livello inferiore 16 14,7 stesso livello 42 38,5 livello superiore 51 46,8 Totale 109 100,0 Come già argomentato a proposito delle attività di promozione, anche in questo caso, il secondo giudizio può risentire in parte delle distorsioni del giudizio legate all’effetto alone e alle ipotesi precostituite degli auditor. Per quanto riguarda l’area progettuale/didattica, i criteri di qualità relativi al Piano integrato sono: “Il piano integrato e il piano dell’offerta formativa sono tra loro interconnessi” e “Le azioni previste nel piano integrato corrispondono alle priorità individuate nell’autodiagnosi”. Il primo criterio di qualità si riferisce alla presenza di elementi di collegamento tra il Piano integrato e l’offerta formativa della scuola (POF, Piano di formazione, PA) ed eventualmente di una strategia unitaria a livello di scuola (es. sono stati individuati stessi obiettivi o priorità). In questo caso l’obiettivo è rilevare la presenza di un’integrazione tra ambito curricolare e attività progettuali al livello della pianificazione/programmazione didattica. Il punteggio medio ottenuto da questo criterio di qualità è 2,67. Nel 40% circa delle situazioni pur in presenza di elementi di collegamento non è possibile ravvisare una strategia unitaria della scuola, nel restante 40% sono evidenti sia elementi di connessione tra il Piano integrato e gli altri documenti relativi all’offerta formativa che una strategia unitaria (Tabella 7‐10). Solo il 15,6% delle 31
istituzioni scolastiche presenta una situazione di eccellenza dove tutti i documenti esaminati sono tra loro molto ben integrati. In generale, quindi, l’integrazione tra gli obiettivi delle iniziative finanziate con i PON e quelli previsti nel Piano dell’offerta formativa è piuttosto elevata. Tabella 7‐10 ‐ Criterio di Qualità: il piano integrato e il piano dell'offerta formativa sono tra loro interconnessi Frequenza Percentuale Inadeguato 5 4,6 Accettabile 43 39,4 Buono 44 40,4 Eccellente 17 15,6 Totale 109 100,0 Il secondo criterio riguarda la coerenza tra gli obiettivi indicati nel Piano integrato e le priorità individuate nell’autodiagnosi20. Questo criterio di qualità ottiene un punteggio medio di 2,74. il 47,7% delle scuole si colloca sul livello “buono” ovvero in generale le azioni previste nel Piano integrato corrispondono alle priorità individuate nell’autodiagnosi, con una o due eccezioni (Tabella 7‐11). Il 30% circa si posiziona invece sul livello “accettabile” che corrisponde a quelle situazioni nelle quali diverse azioni previste nel Piano integrato corrispondono a priorità individuate nell’autodiagnosi, ma altre risultano prive di collegamento. In generale, quindi, si conferma una buona capacità delle scuole di progettare a partire dai punti di debolezza individuati. Tabella 7‐11 ‐ Criterio di Qualità ‐ Le azioni previste nel piano integrato corrispondono alle priorità individuate nell'autodiagnosi Frequenza Percentuale Inadeguato 7 6,4 Accettabile 32 29,4 Buono 52 47,7 Eccellente 18 16,5 Totale 109 100,0 20
L’autodiagnosi è uno strumento predisposto dall’Invalsi che permette di evidenziare i punti di forza e le criticità della scuola in diversi ambiti. Si tratta di uno strumento autocompilato dalle scuole che dovrebbe costituire il punto di riferimento per la progettazione su fondi PON.
32
8.
I progetti degli obiettivi C, B, D e F La selezione dei progetti/moduli sui quali concentrare l’azione di audit è stata effettuata sulla base della distribuzione delle tipologie di richiesta attivate dall’universo delle scuole di riferimento. Sono stati esclusi dall’audit i progetti/moduli destinati ad adulti e genitori, ma non quelli dedicati al personale della scuola ed ai docenti. Pertanto non sono valutate le azioni progettuali che rientrano nell’obiettivo G e i progetti/moduli dell’obiettivo F rivolti ai genitori. Questa scelta è stata motivata dalla necessità di standardizzare e semplificare le procedure di audit che richiedevano, oltre all’analisi di documenti, osservazioni sul campo e interviste con le figure istituzionali e i destinatari degli interventi PON. Complessivamente sono stati valutati 217 progetti così distribuiti nelle quattro tipologie: Tabella 8‐1 ‐ Progetti valutati: distribuzione per obiettivo Tipologia progetto Numero progetti Obiettivo C ‐ Migliorare i livelli di conoscenza e competenza dei giovani 142 Obiettivo B ‐ Migliorare le competenze del personale della scuola e dei docenti 43 Obiettivo D ‐ Accrescere la diffusione, l’accesso e l’uso della società dell’informazione nella scuola 17 Obiettivo F ‐ Promuovere il successo scolastico, le pari opportunità e inclusione sociale 15 Totale progetti 217 8.1 Caratteristiche strutturali dei progetti In questa parte del rapporto verranno illustrate le caratteristiche strutturali dei progetti, con riferimento al numero di iscritti, alle assenze superiori al 25%, al numero di attestati emessi e alle caratteristiche dei destinatari dei corsi/interventi progettati (anno di corso degli studenti, studenti di una medesima classe o di classi diverse, docenti del medesimo ambito disciplinare o di ambiti diversi, personale ATA, ecc.). Questi dati dovevano essere inseriti in entrambe le Schede di valutazione, attingendo le informazioni dalla Piattaforma Gestione Interventi dell’Agenzia Nazionale per lo Sviluppo dell’Autonomia Scolastica (ANSAS). I dati riportati nelle due schede non sempre coincidono. Non è possibile spiegare in maniera univoca queste differenze; esse possono essere imputate a vari fattori (es. visione di registri di presenza o altri materiali che evidenziano dati difformi da quelli caricati sulla piattaforma ANSAS, errori di digitazione, altri errori). Poiché gli auditor non avevano ricevuto alcuna indicazione specifica in merito al controllo dei dati inseriti nella Piattaforma tramite il raffronto con evidenze raccolte a scuola, non possiamo ritenere che le difformità siano riconducibili prevalentemente all’esito dei controlli condotti a scuola. Pertanto, nell’esposizione dei risultati, si è ritenuto di privilegiare le informazioni contenute nella Scheda di valutazione 1° parte, per la raccolta delle quali erano state chiaramente esplicitate le procedure. 33
Secondo i dati riportati nelle schede di valutazione 1° parte, dei 217 progetti assegnati 4 risultano sospesi. Si tratta di un progetto dell’obiettivo C, 2 progetti dell’obiettivo B e un progetto dell’obiettivo F. Per quanto riguarda i progetti degli obiettivi C e F, nella gran parte dei casi si rivolgono a studenti di più anni e di classi diverse. Ciò è particolarmente vero per i progetti dell’obiettivo F che solo in un caso si rivolgono ad un’unica classe. I progetti dell’obiettivo C sono rivolti nel 93% circa dei casi a studenti di classi diverse e solo in un terzo circa dei casi sono stati pensati per un’utenza che frequenta lo stesso anno di corso. I progetti dell’obiettivo B, rivolti ai docenti e al personale della scuola, hanno coinvolto prevalentemente docenti di ambiti curricolari diversi (79,1%) e solo in minima parte docenti della stesso ambito disciplinare (14%). Nel 39,5% nei corsi è coinvolto anche il personale amministrativo, tecnico e ausiliario. Infine, i progetti dell’obiettivo D rivolti anch’essi al personale della scuola hanno riguardato nel 100% docenti di discipline diverse ai quali si aggiungono, nel 35% dei casi, il personale ATA. Per quanto riguarda il numero di iscritti, i corsi rivolti agli studenti presentano un numero medio di iscritti superiore rispetto a quello dei corsi destinati al personale docente e della scuola. Gli iscritti sono in media 25,2 per i corsi afferenti l’obiettivo C e 24,9 per quelli afferenti l’obiettivo F. Per i corsi degli obiettivi B e D, il numero medio di iscritti è di poco superiore a 23. Anche Il numero di iscritti con assenze superiori al 25% è più elevato per i corsi rivolti agli studenti: il numero medio varia da 4,7 per i corsi dell’obiettivo B ad un massimo di 6,7 per quelli dell’obiettivo F. Ricordiamo che, in base alle Disposizioni MIUR, è possibile emettere la certificazione per la frequenza del corso solo agli studenti che hanno partecipato almeno al 75% delle lezioni. Il numero di attestati finali emessi è invece più basso per i corsi dell’obiettivo D (in media 17,6 per corso) e più alto per i progetti dell’obiettivo C (in media 19,6 per corso). Le percentuali di attestati emessi sul totale degli iscritti variano tra i diversi obiettivi: la percentuale più bassa di attestati emessi si registra per i progetti dell’obiettivo F, mentre il miglior rapporto si registra per i progetti dell’obiettivo C (quasi 79%). Tabella 8‐2 ‐ Iscritti, assenze > 25%, attestati emessi e percentuale attestati emessi per tipologia di progetto Progetti Progetti Progetti Progetti obiettivo C obiettivo B obiettivo D obiettivo F N. casi validi 139 42 17 15 Iscritti Iscritti totale 3501 993 395 374 Media 25,19 23,64 23,24 24,93 N. casi validi 137 41 15 15 Assenze > Assenti totali 745 192 74 100 25% Media 5,44 4,68 4,93 6,67 N. casi validi 139 42 17 15 Attestati Attestati totale 2721 760 300 274 finali Media 19,58 18,10 17,65 18,27 N. casi validi 138 41 16 15 Percentuale Valore minimo 0 42,86% 39,29% 58,06% certificati Valore massimo 100,00% 100,00% 100,00% 96,55% emessi Media 78,97% 78,29% 76,28% 74,38% 34
Come emerge dalla lettura della Tabella 8‐3 e dal Grafico 8‐1, la percentuale di attestati emessi non è sempre elevata, solo per l’obiettivo C la percentuale di attestati emessi raggiunge il 100% in più del 10% dei progetti (ovvero sono stati rilasciati attestati a tutti i partecipanti del corso). Per la maggior parte dei progetti degli obiettivi D e F non si dispone di informazioni necessarie per effettuare questa analisi. Tendenzialmente gli attestati sono stati emessi, per la maggior parte dei corsi, per una percentuale di partecipanti che supera il 75% degli iscritti. Tabella 8‐3 – Percentuale di attestati emessi Obiettivo B Obiettivo C % % 0‐49,9% 1 0,9 2,4 50‐74,9% 16 14,7 39,0 75‐99,9% 18 16,5 43,9 100% 6 5,5 Totale 41 Mancanti Totale Validi Freq. valida Freq. % 5 3,5 46 32,4 Obiettivo D % Obiettivo F % Freq. % 3,6 1 0,9 6,3 33,6 7 6,4 43,8 valida valida % Freq. % 0 0,0 0,0 19 13,4 41,3 25 17,6 54,3 valida 67 47,2 48,9 7 6,4 43,8 14,6 19 13,4 13,9 1 0,9 6,3 2 1,4 4,3 37,6 100,0 137 96,5 100,0 16 14,7 100,0 46 32,4 100,0 68 62,4 5 3,5 93 85,3 96 67,6 109 100,0
142 100,0 109 100,0 142 100,0
Grafico 8‐1 – Percentuale di attestati emessi Percentuale di attestati emessi
100%
90%
80%
70%
100%
60%
75 - 99,9%
50%
50 - 74,9%
40%
0,1 -49,9%
30%
20%
10%
0%
Obiettivo B
Obiettivo C
Obiettivo D
Obiettivo F
8.2 Valutazione dei progetti dell’obiettivo C I progetti dell’obiettivo C sono complessivamente 142. Dai dati raccolti sulla piattaforma ANSAS risulta che un corso è stato sospeso. 35
Per i progetti dell’obiettivo C, si evidenziano in primo luogo punteggi medi più elevati per i criteri di qualità che rientrano nell’area dei risultati e degli impatti rispetto a quelli che riguardano l’area progettuale/didattica. Grafico 8‐2 ‐ Criteri di qualità – Progetti obiettivo C: valori medi dei 142 progetti ,00
,50
1,00 1,50 2,00 2,50 3,00 3,50 4,00
Le competenze sono declinate in modo rigoroso
2,32
Le attività didattiche descritte sono coerenti con le
competenze da raggiungere
Le strategie didattiche descritte cono innovative e
stimolano la partecipazione
E' documentata un'accurata valutazione iniziale dei
corsisti
E'documentata un'accurata valutazione in itinere dei
corsisti
E'documentata un'accurata valutazione finale dei
corsisti
I corsisti esprimono soddisfazione per il corso
frequentato
2,63
2,34
2,37
2,17
2,40
3,34
Il progetto è bene integrato nell'attività curricolare
2,76
Le competenze dei corsisti sono visibilmente
migliorate per i loro insegnanti
2,86
Il criterio di qualità relativo alla soddisfazione dei corsisti ottiene il punteggio medio più elevato, pari a 3,34. Quasi la metà dei 672 corsisti incontrati21 esprime piena soddisfazione (livello eccellente) e nel 39,4% dei casi in generale i corsisti esprimono soddisfazione per i vari aspetti del corso (Tabella 8‐4). Tabella 8‐4 ‐ I corsisti esprimono soddisfazione per il corso frequentato Frequenza Percentuale Percentuale valida Validi Mancanti Totale Inadeguato 3 2,1 2,2 Accettabile 14 9,9 10,2 Buono 54 38,0 39,4 Eccellente 66 46,5 48,2 Totale 137 96,5 5 3,5 100,0 142 100,0 Mancante di sistema Inoltre, secondo gli auditor i progetti risultano ben integrati nell’attività curriculare (Tabella 8‐5). Con questo criterio di qualità si voleva valutare il grado di collaborazione e integrazione tra i docenti curriculari e gli operatori dei progetti con riferimento in particolare alla condivisione della programmazione di specifiche fasi del progetto e/o di strumenti (es. materiali didattici, strumenti di valutazione, ecc.). Per esprimere il giudizio su questo criterio di qualità agli auditor era richiesto di raccogliere informazioni attraverso interviste ai tutor di progetto e ai docenti curricolari i cui 21
Sono stati intervistati 672 corsisti, 4,73 in media per scuola, l’85,5% dei quali proveniente da classi diverse
36
studenti avevano partecipato ai corsi e la visione di materiali e documenti messi a disposizione dalla scuola. Sono stati intervistati 131 tutor di progetto e 559 docenti curricolari (4 circa per scuola). Come abbiamo visto (par. 6), i materiali visionati per esprimere il giudizio su questo indicatore sono congruenti con le finalità valutative perseguite. Per questo criterio di qualità le scuole raggiungono un punteggio medio di 2,76, molto prossimo al livello buono. La distribuzione di frequenze evidenzia che Il 30% circa delle scuole si posiziona sul livello “accettabile” che riguarda quelle situazioni nelle quali è presente un livello minimo di collaborazione limitatamente ad una fase (es. avvio) o aspetto (es. rendimento degli studenti). Nel 40% circa dei casi il livello raggiunto dalle scuole è “buono”. Si tratta di quelle realtà nelle quali vi sono evidenze di incontri di lavoro tra docenti curricolari ed esperti. Nel 22,1% dei casi invece docenti curricolari e operatori del progetto hanno lavorato in modo strettamente coordinato in tutte le fasi del progetto, condividendo aspetti significativi (es. criteri di valutazione, materiali didattici), raggiungendo così un livello “eccellente”. Tabella 8‐5 ‐ Il progetto è stato bene integrato nell'attività curricolare Frequenza Percentuale Percentuale valida Validi Mancanti Totale Inadeguato 11 7,7 7,9 Accettabile 43 30,3 30,7 Buono 55 38,7 39,3 Eccellente 31 21,8 22,1 Totale 140 98,6 2 1,4 100,0 142 100,0 Mancante di sistema Molto positiva è anche la valutazione della ricaduta dei corsi sulle competenze dei corsisti (Tabella 8‐6). Per esprimere il giudizio su questo criterio di qualità era richiesto agli auditor di effettuare interviste con i docenti curricolari e di visionare materiali, come registri dei voti, elaborati prodotti dai corsisti, ecc., per raccogliere opinioni ed evidenze sul miglioramento del rendimento scolastico degli studenti che hanno partecipato a corsi e moduli specificamente orientati a migliorare le competenze di base. Complessivamente gli auditor hanno incontrato 574 docenti, 4,16 in media per scuola. Anche per questo indicatore i materiali visionati risultano congruenti con le indicazioni fornite (cap. 6 a pag. 21). Il punteggio medio ottenuto dalle scuole per questo criterio di qualità è 2,86, anche in questo caso, molto prossimo al livello buono. Nel 51,4% dei casi infatti gli insegnanti incontrati ritengono che in generale i corsisti abbiano complessivamente migliorato le loro competenze e anche i giudizi o i voti scolastici lo confermano. Il 20% circa delle scuole si colloca invece sul livello “eccellente” che corrisponde a quelle situazioni nelle quali tutti gli insegnanti incontrati affermano che gli studenti hanno visibilmente migliorato le proprie competenze in seguito alla frequenza dei corsi e anche gli elaborati visionati lo confermano. 37
Tabella 8‐6 ‐ Le competenze dei corsisti sono visibilmente migliorate per i loro insegnanti Frequenza Percentuale Percentuale valida Validi Mancanti Inadeguato 9 6,3 6,4 Accettabile 30 21,1 21,4 Buono 72 50,7 51,4 Eccellente 29 20,4 20,7 Totale 140 98,6 2 1,4 100,0 142 100,0 Mancante di sistema Totale Tra i criteri di qualità che rientrano nell’area progettuale/didattica, quello che fa riferimento alla declinazione rigorosa delle competenze ottiene un punteggio medio piuttosto basso: 2,32. La distribuzione di frequenza evidenzia che la maggior parte delle scuole si distribuisce sui primi tre livelli (Tabella 8‐7). Decisamente minoritarie sono le scuole che ottengono una valutazione di eccellenza, ovvero che mostrano di aver declinato tutte le competenze in modo operativo, consentendo di fatto la loro valutabilità. Oltre un quinto delle scuole si posiziona sul livello “inadeguato” che evidenzia situazioni nelle quali le competenze sono state declinate in maniera generica o metodologicamente errata, confondendole con le conoscenze o gli obiettivi. I restanti due terzi si distribuiscono in maniera omogenea sui livelli “accettabile” e “buono”. Tabella 8‐7 ‐ Le competenze sono declinate in modo rigoroso Frequenza Percentuale Percentuale valida Validi Inadeguato 31 21,8 22,3 Accettabile 47 33,1 33,8 Buono 47 33,1 33,8 Eccellente 14 9,9 10,1 139 97,9 Totale Mancanti Totale Mancante di sistema 100,0 3 2,1 142 100,0 Agli auditor era richiesto di valutare anche la coerenza tra le competenze da raggiungere e le attività didattiche descritte. Il punteggio medio ottenuto su questo indicatore è 2,63. La metà delle scuole raggiunge il livello “buono” evidenziando un generale livello di coerenza (
38
Tabella 8‐8); il 30% circa si colloca sul livello “accettabile” e solo una minoranza di casi si posizione sui livelli estremi della scala. 39
Tabella 8‐8 ‐ Le attività didattiche descritte sono coerenti con le competenze da raggiungere Frequenza Percentuale Percentuale valida Validi Mancanti Inadeguato 14 9,9 10,1 Accettabile 40 28,2 28,8 Buono 69 48,6 49,6 Eccellente 16 11,3 11,5 Totale 139 97,9 3 2,1 100,0 142 100,0 Mancante di sistema Totale Questo criterio di qualità è strettamente collegato al precedente, relativo alla definizione delle competenze, poiché la corretta declinazione delle competenze rappresenta il punto di partenza per l’individuazione delle attività didattiche pertinenti. Il punteggio medio più elevato ottenuto dalle scuole sul criterio di qualità relativo alla coerenza tra attività didattiche e competenze è dovuto alla valutazione maggiormente positiva ottenuta da alcune scuole su questo criterio di qualità. La Tabella 8‐9 mostra nei valori posti sulla diagonale principale (dal lato superiore sinistro al lato inferiore destro) i casi nei quali esiste una corrispondenza nel livello raggiunto dalle scuole sui due criteri di qualità. I valori nei quadranti opposti indicano i casi nei quali non esiste tale corrispondenza. La percentuale di discordanza, calcolata rapportando il numero di casi discordanti sul totale dei casi, per i progetti dell’obiettivo C è del 43%. Questo risultato, ed il valore dell’indice di correlazione di Pearson pari a 0,7122 indicano una situazione di discreta convergenza tra i giudizi sui due indicatori. Tuttavia, si evidenzia che in un numero maggiore di casi le scuole raggiungono un livello superiore con riferimento al secondo criterio di qualità. In altri termini, pur in presenza di competenze non sempre declinate in maniera rigorosa, secondo gli auditor, è stato possibile evincere la coerenza con le attività didattiche previste. Tabella 8‐9 ‐ Progetti obiettivo C ‐ Relazione tra declinazione delle competenze e coerenza tra competenze e attività didattica Le attività didattiche descritte sono coerenti con le Totale competenze da raggiungere Le competenze sono declinate in modo rigoroso Inadeguato Accettabile Buono Eccellente Inadeguato 12 14 5 0 31 Accettabile 2 18 27 0 47 Buono 0 8 35 4 47 Eccellente 0 0 2 12 14 14 40 69 16 139 Totale Le strategie didattiche previste per i singoli progetti sono state valutate con riferimento alla loro innovatività e capacità di stimolare la partecipazione degli studenti. Il punteggio medio ottenuto da questo indicatore è 2,37. La distribuzione di frequenze evidenzia che oltre il 50% delle scuole si posiziona sui primi due livelli segnalando situazioni nelle quali le strategie didattiche non sono 22
La correlazione è significativa al livello 0,01.
40
descritte o sono presentate in maniera molto sintetica, con la prevalenza di una sola strategia (Tabella 8‐10); mentre il 40% circa raggiunge il livello “buono”, ovvero presenta, nei progetti esaminati, una molteplicità di strategie, alcune delle quali orientate a promuovere la partecipazione degli studenti. La prevalenza di giudizi medio‐bassi su questo criterio di qualità rappresenta un fattore di criticità al quale occorre prestare particolare attenzione. Infatti l’innovazione didattica, la possibilità di personalizzare i percorsi e la capacità di stimolare la partecipazione degli studenti rappresentano il valore aggiunto delle azioni finanziate con i PON, e in particolare di quelle finalizzate a migliorare le competenze di base. Per i corsi PON, infatti la stretta integrazione con gli obiettivi curricolari dovrebbe essere coniugata con un approccio innovativo nella didattica, favorito dalla dimensione del piccolo gruppo, dalle procedure di selezione dei corsisti che dovrebbero presentare bisogni omogenei e dal coinvolgimento di esperti appositamente selezionati perché in possesso delle competenze necessarie per raggiungere specifici obiettivi di apprendimento. Tabella 8‐10 ‐ Le strategie didattiche sono innovative e stimolano la partecipazione Frequenza Percentuale Percentuale valida Validi Mancanti Totale Inadeguato 30 21,1 21,6 Accettabile 43 30,3 30,9 Buono 55 38,7 39,6 Eccellente 11 7,7 7,9 Totale 139 97,9 3 2,1 100,0 142 100,0 Mancante di sistema Per quanto riguarda la valutazione degli studenti, tre criteri di qualità si riferivano alla documentazione delle attività di valutazione rispettivamente in fase iniziale, in itinere e finale. Il livello di eccellenza su questo indicatore è raggiunto da quelle scuole che documentano in maniera accurata le attività di valutazione svolte specificando il tipo di verifica (es. domande aperte, sì/no) e i contenuti, e dalla cui documentazione è possibile dedurre che la prova è costruita molto bene (definizione delle competenze richieste, domande ben formulate, criteri di valutazione e punteggi definiti a priori). I punteggi medi ottenuti per i tre criteri di qualità sono: 2,37 per le attività di valutazione iniziale; 2,17 per la valutazione in itinere e 2,40 per quella finale. Le distribuzioni di frequenza evidenziano andamenti simili per gli indicatori relativi alla valutazione iniziale e finale. Per entrambi questi criteri poco più del 50% delle scuole si colloca sui primi due livelli: il 20% circa ottiene una valutazione di inadeguatezza poiché non è stata prodotta alcuna documentazione di attività di valutazione iniziale o finale; poco più del 30% è invece collocata sul livello “accettabile” che corrisponde a quelle situazioni nelle quali la documentazione è minima ma permette di evidenziare la presenza di attività di valutazione e di conoscerne la tipologia o il contenuto. Poco meno del 40% delle scuole raggiunge il livello “buono”, ovvero ha prodotto una documentazione completa che descrive sia il tipo di valutazione che i contenuti della stessa. Le attività di valutazione intermedia sono sia quelle meno documentate (nel 30,9% dei casi non c’è documentazione o documentazione adeguata di tali attività) sia quelle che raggiungono un livello di qualità minore: appena un terzo raggiunge il livello “buono”. 41
Tabella 8‐11 ‐ E’ documentata un'accurata valutazione dei corsisti INIZIALE Validi Freq. % Inadeguato 27 19,0 Accettabile 46 Buono % % 19,4 43 30,3 32,4 33,1 40 54 38,0 38,8 Eccellente 12 8,5 Totale 139 97,9 3 142 FINALE % Freq. Mancanti Totale IN ITINERE % Freq. % 30,9 27 19,0 19,4 28,2 28,8 44 31,0 31,7 46 32,4 33,1 53 37,3 38,1 8,6 10 7,0 7,2 15 10,6 10,8 139 97,9 97,9 3 2,1 100,0 139 2,1 100,0 3 2,1 100,0 100,0 100,0 142 100,0 valida 142 valida valida 8.3 Valutazione dei progetti dell’obiettivo B Complessivamente sono stati valutati 43 progetti afferenti l’obiettivo B. Tutti i progetti si sono svolti regolarmente ad eccezione di due che risultano sospesi. Anche per i progetti dell’obiettivo B, si evidenzia lo stesso pattern osservato per i progetti afferenti l’obiettivo C, ovvero i punteggi medi sono più elevati per i criteri di qualità che rientrano nell’area dei risultati e degli impatti rispetto a quelli che riguardano l’area progettuale/didattica. Grafico 8‐3 - Criteri di qualità – Progetti obiettivo B: valori medi dei 43 progetti 0
Le competenze sono declinate in modo rigoroso
Le attività didattiche descritte sono coerenti con le
competenze da raggiungere
Le strategie didattiche descritte sono innovative e
stimolano la partecipazione
E' documentata un'accurata valutazione iniziale dei
corsisti
E' documentata un'accurata valutazione in itinere dei
corsisti
E' documentata un'accurata valutazione finale dei
corsisti
I corsisti esprimono soddisfazione per il corso
frequentato
La scuola utilizza in modo ottimale le competenze
acquisite dal personale
0,5
1
1,5
2
2,5
3
3,5
4
2,19
2,6
2,33
2,05
2,1
2,4
3,33
2,93
Con riferimento alla soddisfazione per i corsi afferenti l’obiettivo B, gli auditor hanno incontrato complessivamente 209 corsisti, intervistando in media 4,98 corsisti per scuola. Il criterio di qualità “I corsisti esprimono soddisfazione per il corso frequentato” ottiene il punteggio medio più elevato pari a 3,33. Con riferimento a questo criterio, la maggior parte delle scuole (il 45,2%) 42
raggiunge il livello “eccellente” e il 42,9% ottiene una valutazione buona, evidenziando una situazione di generale soddisfazione per i diversi aspetti del corso. Tabella 8‐12 ‐ Criterio di Qualità ‐ I corsisti esprimono soddisfazione per il corso frequentato Frequenza Percentuale Percentuale valida Validi Mancanti Inadeguato 0 0,0 0,0 Accettabile 5 4,5 11,9 Buono 18 16,4 42,9 Eccellente 19 17,3 45,2 Totale 42 38,2 Mancante di sistema 68 61,8 100,0 110 100,0 Totale Anche l’impatto delle competenze acquisite dai corsisti sulle attività della scuola è valutato positivamente: il valore medio è 2,93 ovvero molto prossimo al livello “buono”; il 42,9% delle scuole infatti si colloca sul livello “buono” (Tabella 8‐13) che corrisponde a situazioni nelle quali le competenze acquisite sono utilizzate individualmente dal personale della scuola e sono allo stesso tempo riconosciute all’interno dell’organizzazione scolastica attraverso l’attribuzione di incarichi ufficiali, ruoli di coordinamento o incentivi economici; nel 28,6% dei casi, inoltre, il livello raggiunto è “eccellente” poiché è presente una strategia di scuola volta a valorizzare e impiegare in maniera ottimale tali professionalità. Questi giudizi sono stati espressi a partire dalle informazioni raccolte nel corso delle interviste con i dirigenti scolastici ‐ complessivamente 42, uno per scuola ‐ e con i corsisti, in totale 210, 5 in media per scuola. I materiali visionati, data la complessità della valutazione richiesta, sono piuttosto eterogenei e comprendono verbali, materiali didattici, documentazione di prodotti, ecc. Tabella 8‐13 ‐ Criterio di Qualità ‐ La scuola utilizza in modo ottimale le competenze acquisite dal personale Frequenza Percentuale Percentuale valida Validi Mancanti Totale Inadeguato 3 2,7 7,1 Accettabile 9 8,2 21,4 Buono 18 16,4 42,9 Eccellente 12 10,9 28,6 Totale 42 38,2 Mancante di sistema 68 61,8 100,0 110 100,0 Tra i criteri di qualità dell’area progettuale/didattica, quello che fa riferimento alla declinazione delle competenze ottiene un valore medio pari a 2,19, attestandosi su un livello intermedio tra accettabile e buono. La distribuzione di frequenze conferma che i valori si distribuiscono in maniera simile tra i livelli accettabile e buono con percentuali di poco superiori al 30% (Tabella 8‐14). In generale gli auditor ritengono che non sempre le competenze sono state declinate in maniera chiara e metodologicamente corretta. 43
Tabella 8‐14 ‐ Criterio di qualità – Le competenze sono declinate in modo rigoroso Frequenza Percentuale Percentuale valida Validi Mancanti Inadeguato 12 10,9 28,6 Accettabile 13 11,8 31,0 Buono 14 12,7 33,3 Eccellente 3 2,7 7,1 Totale 42 38,2 Mancante di sistema 68 61,8 100,0 110 100,0 Totale Il criterio “le attività didattiche descritte sono coerenti con le competenze da raggiungere” ottiene un valore medio di 2,60 che suggerisce che nella maggior parte dei casi le attività didattiche realizzate sono coerenti con le competenze indicate. La distribuzione di frequenze conferma infatti che il 52,4% delle scuole ha raggiunto il livello “buono” su questo indicatore (Tabella 8‐15). Tabella 8‐15 ‐ Criterio di qualità ‐ Le attività didattiche descritte sono coerenti con le competenze da raggiungere Frequenza Percentuale Percentuale valida Validi Mancanti Inadeguato 3 2,7 7,1 Accettabile 14 12,7 33,3 Buono 22 20,0 52,4 Eccellente 3 2,7 7,1 Totale 42 38,2 Mancante di sistema 68 61,8 100,0 110 100,0 Totale Come abbiamo già detto, questo criterio di qualità è strettamente legato al precedente relativo alla corretta declinazione delle competenze. Il più elevato livello di qualità raggiunto dal secondo criterio dipende da una valutazione maggiormente positiva sulla coerenza tra competenze e attività didattiche a fronte di giudizi meno positivi sul versante della declinazione delle competenze. Considerando i casi che hanno ottenuto una valutazione differente sui due criteri (vedi Tabella 8‐16), si osserva che la percentuale di discordanza per i progetti dell’obiettivo B è del 50%. Il risultato della correlazione è 0.6123. In questo caso, si osserva una moderata convergenza tra i giudizi sui due indicatori. Si evidenzia dunque una discordanza che riguarda soprattutto una valutazione maggiormente positiva della coerenza tra competenze individuate e attività didattiche previste rispetto alla valutazione sulla corretta e rigorosa declinazione delle competenze. 23
La correlazione è significativa al livello 0,01.
44
Tabella 8‐16 ‐ Relazione tra declinazione delle competenze e coerenza tra competenze e attività didattica Le attività didattiche descritte sono coerenti con le Totale competenze da raggiungere Inadeguato Accettabile Buono Eccellente Le competenze Inadeguato 2 8 2 0 12 sono declinate Accettabile 0 5 8 0 13 in modo Buono 1 1 11 1 14 rigoroso Eccellente 0 0 1 2 3 3 14 22 3 42 Totale Il criterio di qualità “Le attività didattiche descritte sono innovative e stimolano la partecipazione” ottiene un punteggio medio di 2,37, attestandosi tra i livelli accettabile e buono. La distribuzione di frequenza evidenzia che la maggior parte dei giudizi (40,5%) si è concentrata sul livello accettabile e che quindi le attività didattiche descritte nei progetti non sono sufficientemente articolate e differenziate e che prevale una medesima strategia (Tabella 8‐17). Tabella 8‐17 ‐ Criterio di qualità ‐ Le attività didattiche descritte sono innovative e stimolano la partecipazione Frequenza Percentuale Percentuale valida Validi Mancanti Inadeguato 8 7,3 19,0 Accettabile 17 15,5 40,5 Buono 12 10,9 28,6 Eccellente 5 4,5 11,9 Totale 42 38,2 Mancante di sistema 68 61,8 100,0 110 100,0 Totale Infine, con riferimento alla valutazione dei corsisti, i tre criteri di qualità che riguardano la documentazione di un’accurata valutazione iniziale, in itinere e finale evidenziano una migliore qualità della valutazione finale rispetto a quella iniziale e intermedia. I punteggi medi ottenuti dai tre criteri sono rispettivamente: 2,05, 2,10 e 2,40. In particolare, per quanto riguarda la valutazione iniziale e intermedia, il livello raggiunto è poco più che accettabile; inoltre, in media nel 30% dei casi non è presente o non è descritta alcuna attività valutativa (Tabella 8‐18). Tabella 8‐18 ‐ Criterio di qualità – E’ documentata un’accurata valutazione dei corsisti INIZIALE IN ITINERE FINALE Freq. % Inadeguato 13 11,8 Accettabile 16 Buono % Freq. % 31,0 12 10,9 14,5 38,1 17 11 10,0 26,2 Eccellente 2 1,8 Totale 42 38,2 Mancanti 68 Totale 110 Validi % % Freq. % 28,6 7 6,4 16,7 15,5 40,5 17 15,5 40,5 10 9,1 23,8 12 10,9 28,6 4,8 3 2,7 7,1 6 5,5 14,3 42 38,2 38,2 68 61,8 100,0 42 61,8 100,0 68 61,8 100,0 100,0 110 100,0 110 100,0 valida valida valida 45
8.4 Valutazione dei progetti dell’obiettivo D Sono stati valutati 17 progetti che rientrano nell’obiettivo D. Anche per i progetti dell’obiettivo D si osservano punteggi più elevati sui criteri di qualità che fanno riferimento ai risultati e agli impatti. Grafico 8‐4 ‐ Criteri di qualità – Progetti obiettivo D: valori medi dei 17 progetti ,00
,50
1,00 1,50 2,00 2,50 3,00 3,50 4,00
2,65
Le competenze sono declinate in modo rigoroso
Le attività didattiche descritte sono coerenti con le
competenze da raggiungere
Le strategie didattiche descritte cono innovative e
stimolano la partecipazione
E' documentata un'accurata valutazione iniziale dei
corsisti
E' documentata un'accurata valutazione in itinere dei
corsisti
E' documentata un'accurata valutazione finale dei
corsisti
I corsisti esprimono soddisfazione per il corso
frequentato
La scuola utilizza in modo ottimale le competenze
acquisite dal personale
2,76
2,59
2,53
2,53
2,59
3,24
2,94
Per valutare la soddisfazione dei corsisti sono stati intervistati complessivamente 83 partecipanti tra docenti e personale ATA, per una media di 5,19 corsisti per scuola. Il criterio di qualità relativo alla soddisfazione dei corsisti ottiene il valore medio di 3,24; il 41,2% delle scuole si colloca sul livello eccellente, segnalando la piena soddisfazione di tutti i corsisti per i corsi frequentati (Tabella 8‐19). Tabella 8‐19 ‐ Criterio di qualità – I corsisti esprimono soddisfazione per il corso frequentato Frequenza Percentuale Percentuale valida Validi Mancanti Totale Inadeguato 0 0,0 0,0 Accettabile 3 2,7 17,6 Buono 7 6,4 41,2 Eccellente 7 6,4 41,2 Totale 17 15,5 Mancante di sistema 93 84,5 100,0 110 100,0 Anche l’impatto dei corsi sulle attività della scuola è giudicato molto positivamente: il valore medio è pari a 2,94. Il 35,3% delle istituzioni scolastiche visitate raggiunge il livello “buono” e quasi il 30% si attesta sul livello “eccellente” (Tabella 8‐20). Secondo gli auditor, quindi, la gran parte delle scuole utilizza in maniera ottimale le competenze acquisite dai corsisti nelle proprie attività quotidiane, evidenziando in molti casi la presenza di una strategia di scuola nell’impiego delle competenze acquisite. Per esprimere tale giudizio, oltre alla visione di materiali, gli auditor hanno 46
incontrato e intervistato 17 dirigenti scolastici – uno per scuola – 105 docenti (in media 6,18 per scuola) e 20 addetti tecnico‐amministrativi (poco più di 2 per scuola). Tabella 8‐20 ‐ Criterio di Qualità ‐ La scuola utilizza in modo ottimale le competenze acquisite dal personale Frequenza Percentuale Percentuale valida Validi Mancanti Inadeguato 0 0,0 0,0 Accettabile 6 5,5 35,3 Buono 6 5,5 35,3 Eccellente 5 4,5 29,4 Totale 17 15,5 Mancante di sistema 93 84,5 100,0 110 100,0 Totale Il valore medio ottenuto dal criterio di qualità relativo alla declinazione delle competenze è 2,65. Il valore medio cela in realtà una situazione piuttosto polarizzata nella quale il 30% circa delle scuole raggiunge il livello “accettabile”, dal quale si evince che alcune competenze sono declinate in maniera errata o generica, e un altro 30% si colloca sul livello “eccellente”, ovvero presenta una declinazione chiara, operativa e valutabile delle competenze (Tabella 8‐21). Tabella 8‐21 ‐ Criterio di Qualità ‐ Le competenze sono declinate in modo rigoroso Frequenza Percentuale Percentuale valida Validi Mancanti Inadeguato 3 2,7 17,6 Accettabile 5 4,5 29,4 Buono 4 3,6 23,5 Eccellente 5 4,5 29,4 Totale 17 15,5 Mancante di sistema 93 84,5 100,0 110 100,0 Totale Maggiormente positiva è la valutazione della coerenza tra competenze e attività didattiche (Tabella 8‐22): il valore medio è infatti pari a 2,76. In questo caso quasi il 60% dei casi si colloca sui livelli “buono” e “eccellente”. Tabella 8‐22 ‐ Criterio di Qualità ‐ Le attività didattiche descritte sono coerenti con le competenze da raggiungere Frequenza Percentuale Percentuale valida Validi Mancanti Totale Inadeguato 1 ,9 5,9 Accettabile 6 5,5 35,3 Buono 6 5,5 35,3 Eccellente 4 3,6 23,5 Totale 17 15,5 Mancante di sistema 93 84,5 100,0 110 100,0 47
Come già evidenziato per i progetti degli obiettivi C e B, i due criteri di qualità sopra descritti sono fortemente correlati. Anche in questo caso si evidenzia una valutazione maggiormente positiva sulla coerenza tra attività didattiche e competenze rispetto all’accuratezza e correttezza nella declinazione delle competenze. Dalla lettura della Tabella 8‐23 si osserva un buon livello di concordanza tra i giudizi dati su entrambi i criteri di qualità (valori posti in diagonale dall’angolo in alto a sinistra all’angolo basso a destra); la percentuale di discordanza è contenuta (meno del 30%) ed è rappresentata quasi esclusivamente da giudizi maggiormente positivi ottenuti sulla coerenza tra attività didattiche e competenze. Anche il valore della correlazione pari a 0,8424 segnala un elevato livello di covarianza tra le due variabili. Tabella 8‐23 ‐ Relazione tra declinazione delle competenze e coerenza tra competenze e attività didattica Criterio di Qualità: le attività didattiche descritte sono Totale coerenti con le competenze da raggiungere Inadeguato Accettabile Buono Eccellente Criterio di Qualità: Inadeguato 0 3 0 0 3 le competenze Accettabile 1 3 1 0 5 sono declinate in Buono 0 0 4 0 4 modo rigoroso Eccellente 0 0 1 4 5 1 6 6 4 17 Totale Per quanto riguarda la qualità delle attività didattiche previste, il valore medio ottenuto da questo criterio è pari a 2,59. La distribuzione di frequenza (Tabella 8‐24) evidenzia anche in questo caso una certa polarizzazione dei giudizi: il 47,1% delle istituzione scolastiche raggiunge un livello accettabile, ovvero si tratta di situazioni nelle quali vengono presentate un numero limitato di strategie con la prevalenza di un’unica modalità didattica; il 29,4% ottiene invece un giudizio di eccellenza poiché le strategie descritte sono molteplici, coerenti con gli obiettivi da raggiungere e finalizzate a promuovere la partecipazione dei corsisti. Tabella 8‐24 ‐ Criterio di Qualità ‐ Le strategie didattiche descritte cono innovative e stimolano la partecipazione Frequenza Percentuale Percentuale valida Validi Mancanti Inadeguato 2 1,8 11,8 Accettabile 8 7,3 47,1 Buono 2 1,8 11,8 Eccellente 5 4,5 29,4 Totale 17 15,5 Mancante di sistema 93 84,5 100,0 110 100,0 Totale Infine, i tre criteri di qualità che fanno riferimento all’accuratezza della documentazione della valutazione iniziale, intermedia e finale dei corsisti ottengono valutazioni simili, con punteggi medi di poco superiori a 2,5. 24
La correlazione è significativa al livello 0,01. 48
L’analisi delle distribuzioni di frequenza evidenzia una situazione maggiormente differenziata (Tabella 8‐25). In particolare si segnala che il 23,5% delle scuole ha ottenuto un giudizio di inadeguatezza sulla qualità della valutazione iniziale, mentre il casi restanti si polarizzano sui due livelli “accettabile” e “eccellente” mostrando la compresenza di situazioni che presentano un’estrema accuratezza nella documentazione delle attività di valutazione iniziale e al contrario situazioni nelle quali la documentazione è appena sufficiente. Per quanto riguarda la valutazione in itinere, il 36,3% delle scuole si posiziona sul livello accettabile mentre con riferimento alla valutazione finale il 30% circa si colloca sul livello “accettabile” e una percentuale simile ottiene una buona valutazione. In entrambi i casi, il 17% delle scuole non ha effettuato alcuna valutazione in itinere e finale oppure non l’ha documentata in maniera adeguata. Tabella 8‐25 ‐ Criterio di Qualità – E’ documentata un'accurata valutazione iniziale dei corsisti INIZIALE IN ITINERE FINALE Freq. % Inadeguato 4 3,6 Accettabile 5 Buono % Freq. % 23,5 3 2,7 4,5 29,4 6 3 2,7 17,6 Eccellente 5 4,5 Totale 17 15,5 Mancanti 93 Totale 110 Validi % % Freq. % 17,6 3 2,7 17,6 5,5 35,3 5 4,5 29,4 4 3,6 23,5 5 4,5 29,4 29,4 4 3,6 23,5 4 3,6 23,5 17 15,5 15,5 93 84,5 100,0 17 84,5 100,0 93 84,5 100,0 100,0 110 100,0 110 100,0 valida valida valida 8.5 Valutazione dei progetti dell’obiettivo F I progetti afferenti l’obiettivo F valutati dagli auditor sono 15. Nessun corso risulta sospeso. Una prima comparazione dei punteggi medi ottenuti dalle scuole sui singoli criteri di qualità (Grafico 8‐5) conferma il pattern già evidenziato per gli altri progetti rivolti agli studenti (obiettivo C) e al personale della scuola (progetti B e C). Grafico 8‐5 ‐ Criteri di qualità – Progetti obiettivo F: valori medi dei progetti ,00
,50
1,00 1,50 2,00 2,50 3,00 3,50 4,00
Le competenze sono declinate in modo rigoroso
2,13
Le attività didattiche descritte sono coerenti con le
competenze da raggiungere
Le strategie didattiche descritte cono innovative e
stimolano la partecipazione
E' documentata un'accurata valutazione iniziale dei
corsisti
E'documentata un'accurata valutazione in itinere dei
corsisti
E'documentata un'accurata valutazione finale dei
corsisti
I corsisti esprimono soddisfazione per il corso
frequentato
2,27
2,00
2,00
1,93
2,13
3,40
Il progetto è bene integrato nell'attività curricolare
2,36
Le competenze dei corsisti sono visibilmente migliorate
per i loro insegnanti
2,53
49
In particolare la soddisfazione dei corsisti è particolarmente elevata: il punteggio medio di 3,40% è il più alto tra quelli registrati nei quattro obiettivi. Sono stati intervistati 72 corsisti, in media 4,8 per scuola, la maggior parte dei quali (93,3%) provenienti da classi diverse. Oltre il 90% delle scuole che hanno attivato progetti su questo obiettivo si colloca sui livelli “buono” ed “eccellente” (Tabella 8‐26). Tabella 8‐26 ‐ Criterio di Qualità ‐ I corsisti esprimono soddisfazione per il corso frequentato Frequenza Percentuale Inadeguato 0 0,0 Accettabile 1 6,7 Buono 7 46,7 Eccellente 7 46,7 Totale 15 100,0 Rispetto agli altri criteri di qualità, si conferma la valutazione maggiormente positiva ottenuta da quelli che rientrano nell’area dei risultati e degli impatti rispetto a quelli dell’area progettuale/didattica. Inoltre, i valori medi ottenuti sulla maggior parte dei criteri di qualità sono più bassi rispetto agli stessi indicatori dei progetti degli obiettivi C, B e D. Il criterio di qualità “Il progetto è bene integrato nell’attività curricolare” prevedeva di raccogliere informazioni a partire dall’opinione dei tutor e di alcuni docenti curricolari e dalla visione di materiali. Gli auditor hanno intervistato 14 tutor e 54 docenti curricolari (3,6 in media per scuola). I materiali visionati risultano congruenti anche se è presente una quota piuttosto elevati di casi in cui non è stato possibile reperire alcun materiale (circa 30%). Questo criterio di qualità ottiene un punteggio medio di 2,36. La distribuzione di frequenze evidenzia una polarizzazione dei giudizi: in oltre il 35% dei casi le scuole risultano inadeguate mentre nel 28,6% raggiungono il livello “buono” e nel 21,4% si posizionano sul livello “eccellente” (Tabella 8‐27). L’elevata percentuale di giudizi di inadeguatezza segnala la difficoltà di una parte delle scuole di progettare azioni che pur essendo finalizzate all’inclusione e alle pari opportunità – e quindi molto più orientate verso attività di tipo espressivo ‐ possano avere ricadute curricolari anche indirette. Inoltre, tali giudizi possono dipendere dall’impossibilità di visionare materiali; infatti, come abbiamo visto, ciò è stato segnalato per una percentuale consistente di casi. Tabella 8‐27 ‐ Criterio di Qualità ‐ Il progetto è bene integrato nell'attività curricolare Frequenza Percentuale Percentuale valida Validi Mancanti Totale Inadeguato 5 33,3 35,7 Accettabile 2 13,3 14,3 Buono 4 26,7 28,6 Eccellente 3 20,0 21,4 Totale 14 93,3 Mancante di sistema 1 6,7 100,0 15 100,0 50
Per esprimere il giudizio sul miglioramento delle competenze dei corsisti sono stati sentiti 59 docenti curricolari (4,21 per scuola) e sono stati visionati materiali congruenti con le finalità valutative. Questo criterio di qualità ottiene un giudizio leggermente più positivo; il punteggio medio è infatti 2,53. la distribuzione di frequenza evidenzia che oltre il 70% delle scuole si posiziona sui livelli “accettabile” e “buono” (Tabella 8‐28). In particolare, nel 40% dei casi gli insegnanti ritengono che i corsisti abbiano complessivamente migliorato le loro competenze e tale miglioramento è confermato dai giudizi e voti scolastici. Tabella 8‐28 ‐ Criterio di Qualità ‐ Le competenze dei corsisti sono visibilmente migliorate per i loro insegnanti Frequenza Percentuale Inadeguato 2 13,3 Accettabile 5 33,3 Buono 6 40,0 Eccellente 2 13,3 Totale 15 100,0 I criteri di qualità relativi alla capacità di declinare in maniera rigorosa le competenze e di programmare attività didattiche coerenti con le competenze individuate ottengono punteggi medi piuttosto bassi: rispettivamente 2,13 e 2,27. Rispetto al primo criterio di qualità, un terzo delle scuole riceve un giudizio di inadeguatezza mentre poco più di un quarto si posiziona sul livello “accettabile” (Tabella 8‐29). Tabella 8‐29 ‐ Criterio di Qualità ‐ Le competenze sono declinate in modo rigoroso Frequenza Percentuale Inadeguato 5 33,3 Accettabile 4 26,7 Buono 5 33,3 Eccellente 1 6,7 Totale 15 100,0 Per quanto riguarda il giudizio di coerenza tra attività didattiche e competenze, più della metà delle scuole si posiziona sui primi due livelli mentre il 40% raggiunge il livello “buono”. Tabella 8‐30 ‐ Criterio di Qualità ‐ Le attività didattiche descritte sono coerenti con le competenze da raggiungere Frequenza Percentuale Validi Inadeguato 4 26,7 Accettabile 4 26,7 Buono 6 40,0 Eccellente 1 6,7 15 100,0 Totale 51
Come abbiamo visto per i progetti degli altri obiettivi, anche in questo caso è presente una certa discordanza tra i livelli assegnati sui due indicatori (Tabella 8‐31). La percentuale di discordanza è pari al 40%; il risultato della correlazione (0,63)25 indica una moderata covarianza tra le due variabili. Tabella 8‐31 ‐ Relazione tra declinazione delle competenze e coerenza tra competenze e attività didattica ‐ Obiettivo F Criterio di Qualità: le attività didattiche descritte sono coerenti con le competenze da raggiungere Inadeguato Accettabile Buono Eccellente Totale Criterio di Qualità: Inadeguato 3 1 1 0 5 le competenze Accettabile 1 1 2 0 4 sono declinate in Buono 0 2 3 0 5 modo rigoroso Eccellente 0 0 0 1 1 4 4 6 1 15 Totale La qualità della didattica dei progetti afferenti l’obiettivo F risulta piuttosto bassa se confrontata con i giudizi espressi su tale indicatore per i progetti afferenti gli altri obiettivi. Il punteggio medio ottenuto dal criterio di qualità “la strategie didattiche descritte sono innovative e stimolano la partecipazione” è 2, ovvero coincidente con il livello “accettabile”. In media, i progetti si caratterizzano per la prevalenza di un’unica modalità didattica. La distribuzione di frequenza evidenzia che le scuole si distribuiscono in maniera omogenea sui tre livelli “inadeguato”, “accettabile” e “buono” (Tabella 8‐32). Tabella 8‐32 ‐ Criterio di Qualità ‐ Le strategie didattiche descritte cono innovative e stimolano la partecipazione Frequenza Percentuale Inadeguato 5 33,3 Accettabile 5 33,3 Buono 5 33,3 Eccellente 0 0,0 Totale 15 100,0 Infine, per quanto riguarda la valutazione dei corsisti, i punteggi medi per questi criteri di qualità sono più bassi rispetto agli stessi indicatori riferiti ai progetti degli altri obiettivi, segnalando una peggiore qualità delle attività di valutazione iniziale, intermedia e finale. I punteggi medi ottenuti sono rispettivamente: 2, 1,93 e 2,13. Anche in questo caso, la qualità della valutazione finale è leggermente superiore a quella della valutazione iniziale e intermedia. Con riferimento a queste due, il 46,7% delle scuole visitate vengono ritenute inadeguate. Inoltre, con riferimento alla 25
La correlazione è significativa al livello 0,05
52
valutazione finale, che è sicuramente la forma di valutazione maggiormente utilizzata dalle scuole, appare significativo che i due terzi delle scuole si collochino sui primi due livelli. Tabella 8‐33 ‐ Criterio di Qualità: è documentata un'accurata valutazione iniziale dei corsisti INIZIALE IN ITINERE FINALE Frequenza Percentuale Frequenza Percentuale Frequenza Percentuale Inadeguato 7 46,7 7 46,7 5 33,3 Accettabile 2 13,3 2 13,3 5 33,3 Buono 5 33,3 6 40,0 3 20,0 Eccellente 1 6,7 0 0,0 2 13,3 Totale 15 100,0 15 100,0 15 100,0 8.6 Confronto tra i progetti Il confronto tra i punteggi medi ottenuti sui singoli criteri di qualità dai progetti afferenti i quattro obiettivi permette di evidenziare le differenze sui livelli di qualità raggiunti. La lettura del grafico 8.10 evidenzia in primo luogo una migliore performance dei progetti afferenti l’obiettivo D per i criteri di qualità che rientrano nell’area progettuale/didattica. I progetti finalizzati a promuovere la società dell’informazione ottengono punteggi medi prossimi o superiori a 2,5 su tutti gli indicatori proposti. Lo scarto rispetto ai progetti degli altri obiettivi è particolarmente evidente per i criteri che fanno riferimento alla declinazione delle competenze e alla valutazione in itinere. Questo risultato può essere influenzato in parte dalla scarsa numerosità dei progetti osservati (17); tuttavia è possibile ipotizzare che le scuole abbiano mostrato una maggiore accuratezza nella declinazione di obiettivi e competenze nonché una migliore gestione dei corsi con riferimento sia alle strategie didattiche utilizzate che alle modalità e frequenza della valutazione dei corsisti per questa tipologia di progetti. Al contrario, i progetti dell’obiettivo F ottengono in generale valutazioni meno positive: molti criteri di qualità presentano punteggi medi prossimi a 2 e nessuno raggiunge il valore di 2,5. Particolarmente critici sono la qualità delle strategie didattiche e della valutazione iniziale e in itinere. Anche in questo caso, la scarsa numerosità dei progetti (15) può influire sui risultati ottenuti, tuttavia, nella progettazione di azioni finalizzate alla promozione del successo scolastico, dell’inclusione e della parità le scuole possono aver attribuito minore rilevanza alle azioni di valutazione, soprattutto iniziale e in itinere, mentre risulta di difficile spiegazione, data la natura dell’obiettivo al quale tali corsi dovevano tendere, la scarsa qualità riscontrata sull’indicatore relativo alla presenza di strategie didattiche innovative e che attivano la partecipazione degli studenti. Per quanto riguarda i progetti degli obiettivi C e B, finalizzati rispettivamente ad innalzare le competenze degli studenti e del personale della scuola, non emergono differenze significative nei livelli di qualità raggiunti, a parte una differenza sul criterio di qualità relativo alla valutazione iniziale dei progetti dell’obiettivo B, che risulta meno diffusa e meno documentata rispetto ai progetti rivolti agli studenti. 53
Grafico 8‐6 ‐ Criteri di qualità dell’area progettuale/didattica – Obiettivi C, B, D e F – punteggi medi a confronto ,00
,50
1,00
1,50
2,00
2,50
3,00
3,50
4,00
2,32
2,19
Le competenze sono
declinate in modo rigoroso
2,65
2,13
2,63
2,60
2,76
Le attività didattiche descritte
sono coerenti con le
competenze da raggiungere
2,27
2,34
2,33
Le strategie didattiche
descritte cono innovative e
stimolano la partecipazione
2,59
2,00
2,37
E' documentata un'accurata
valutazione iniziale dei
corsisti
2,05
2,53
2,00
2,17
2,10
E'documentata un'accurata
valutazione in itinere dei
corsisti
2,53
1,93
2,40
2,40
E'documentata un'accurata
valutazione finale dei corsisti
2,59
2,13
Obiettivo C
Obiettivo B
Obiettivo D
Obiettivo F
Per quanto riguarda i criteri di qualità relativi ai risultati e agli impatti, da un lato non si osservano differenze significative sul livello di soddisfazione dei corsisti e, per i progetti rivolti al personale della scuola, sul grado di utilizzo a scuola delle competenze acquisite dai corsisti. Per i progetti rivolti agli studenti, la qualità dell’integrazione tra le attività progettuali e quelle curricolare risulta più elevata per i progetti dell’obiettivo C; allo stesso modo è valutato più positivamente il miglioramento delle competenze dei corsisti che hanno frequentato i corsi afferenti l’obiettivo C. Come è stato precedentemente accennato, le scuole potrebbero non aver tenuto sufficientemente conto del raggiungimento di finalità curricolari particolarmente nella progettazione delle azioni volte a promuovere l’inclusione e le pari opportunità. 54
Grafico 8‐7 ‐ Criteri di qualità dell’area dei risultati/impatti – Obiettivi B e D 2,94
La scuola utilizza in modo
ottimale le competenze
acquisite dal personale
2,93
3,24
I corsisti esprimono
soddisfazione per il corso
frequentato
3,33
,00
,50
1,00
1,50
Progetti B
2,00
2,50
3,00
3,50
4,00
3,50
4,00
Progetti D
Grafico 8‐8 ‐ Criteri di qualità dell’area dei risultati/impatti – Obiettivi C e F Le competenze dei corsisti
sono visibilmente
migliorate per i loro
insegnanti
2,53
2,86
2,36
Il progetto è bene integrato
nell'attività curricolare
2,76
I corsisti esprimono
soddisfazione per il corso
frequentato
3,40
3,34
,00
,50
1,00
1,50
Progetti C
2,00
2,50
3,00
Progetti F
55
9.
Dotazioni e laboratori Nell’88,1% delle scuole coinvolte sono stati acquistati dotazioni tecnologiche e/o laboratori con i fondi FESR nel 2007 e/o 2008. Complessivamente gli auditor hanno potuto visionare 377 tra laboratori e strumenti tecnologici acquistati con i fondi FESR (Grafico 9‐1). La maggior parte è costituita da dotazioni tecnologiche e laboratori multimediali (46,42%), laboratori e strumenti di matematica e scienze (18,57%) e laboratori e strumenti di lingue (14,32%). Seguono i laboratori di settore per specifici indirizzi di scuola: istituti professionali (10,34%), istituti tecnici (9,81%) e istituti artistici (0,53%). Grafico 9‐1 ‐ Laboratori e strumenti tecnologici osservati Laboratori di settore
per gli istituti tecnici
(B.4.B)
9,81%
Laboratori di settore
per gli istituti
artistici (B.4.C)
0,53%
Laboratori e
strumenti matematica e
scienze (B.2.A)
18,57%
Laboratori di settore
per gli istituti
professionali (B.4.A)
10,34%
Dotazioni
tecnologiche e
laboratori
multimediali (A.2)
46,42%
Laboratori e
strumenti - lingue
(B.2.B)
14,32%
Gli auditor, inoltre, hanno incontrato 250 responsabili delle dotazioni e laboratori, per una media di 2,75 per scuola, e 763 fruitori, per una media di 8,98 per scuola. Il giudizio sull’utilizzo di dotazioni e laboratori è molto positivo (Tabella 9‐1): il valore medio ottenuto dal criterio di qualità “dotazioni e laboratori acquistati con i fondi FESR sono utilizzati in modo ottimale” è pari a 3,09. Quasi la metà delle scuole che hanno utilizzato i fondi FESR si posizionano sul livello “buono” che corrisponde a situazioni nelle quali è prevista una figura di responsabile e più classi e insegnanti utilizzano regolarmente dotazioni e laboratori. Inoltre, quasi un terzo delle scuole ottiene un giudizio di eccellenza, poiché le situazioni osservate evidenziano un utilizzo ottimale di tali strumenti, ovvero un utilizzo giornaliero, sia per le attività curricolari che 56
per quelle extracurricolari, e la capacità di raggiungere in maniera efficace tutti gli utenti potenziali. Tabella 9‐1 ‐ Criterio di qualità ‐ Dotazioni e laboratori acquistati con i fondi FESR sono utilizzati in modo ottimale Frequenza Percentuale Percentuale valida Validi Mancanti Totale Inadeguato 4 3,6 4,4 Accettabile 14 12,7 15,2 Buono 44 40,0 47,8 Eccellente 30 27,3 32,6 Totale 92 83,6 Mancante di sistema 18 16,4 100,0 110 100,0 57
10. Qualità complessiva delle scuole destinatarie dei fondi PON A partire dai giudizi ottenuti su alcuni criteri di qualità è stato creato un indice di qualità complessiva e successivamente sono stati individuati i livelli di qualità complessiva per ciascuna scuola. L ’indice è stato costruito facendo la media dei punteggi ottenuti sui criteri di qualità relativi al Piano integrato26, alle dotazioni laboratoriali e ai progetti dell’obiettivo C. La scelta di utilizzare solo gli indicatori relativi ai progetti C dipende da varie ragioni: una motivazione di ordine metodologico riguarda il fatto che questa tipologia di progetti è stata valutata per tutte le scuole coinvolte nell’audit, permettendo quindi di valutare le scuole sulla stessa tipologia di azioni; inoltre i progetti dell’obiettivo C sono quelli più numerosi anche nell’universo di riferimento; infine la finalità perseguita dagli interventi che rientrano in questa tipologia – innalzare le competenze di base degli studenti ‐ è particolarmente rilevante per gli scopi dei Programmi operativi nazionali. Gli indici di qualità complessiva variano tra 1,37 e 4. Tali indici sono stati successivamente ricondotti ai livelli di qualità utilizzati nelle rubriche di valutazione, trasformandoli in una variabile ordinale con una scala che varia tra 1 (inaccettabile) e 4 (eccellente)27. Quasi la metà delle scuole coinvolte nell’audit si collocano sul livello di qualità complessiva pari a “buono” (Tabella 10‐1); il 42,2% si posiziona sul livello accettabile e l’8,3% raggiunge l’eccellenza. Infine un solo istituto scolastico riceve un giudizio complessivo di inadeguatezza. Tabella 10‐1 ‐ Livelli di qualità complessiva Frequenza
Percentuale
Inadeguato
1
,9
Accettabile
46
42,2
Buono
53
48,6
Eccellente
9
8,3
109
100,0
Totale
I livelli di qualità complessiva sono stati messi in relazione con i risultati delle prove di PISA 2009. I test effettuati hanno permesso di verificare il rispetto delle assunzioni necessarie per effettuare il test dell’analisi della varianza, utilizzato per valutare se le differenze di punteggi medi siano statisticamente significative. Per tutte le prove PISA il test di Levene risulta non significativo, quindi l’assunzione di omogeneità della varianza risulta rispettata. Inoltre; i residui delle tre prove PISA (lettura, matematica e scienze) hanno valori di asimmetria e curtosi compresi tra ‐1 ed 1, l’assunzione di normalità della distribuzione dei residui è pertanto rispettata. 26
Per i criteri di qualità relativi al Piano integrato presenti sia nella Scheda di Valutazione 1° parte che nella Scheda di Valutazione 2° parte, per la costruzione dell’indice sono stati utilizzati i secondi.
27
La ricodifica della variabile è stata effettuata nel modo seguente: 1 ‐ 1,,50 = inadeguato; 1,51 – 2,50 = accettabile; 2,51 – 3,50 = buono; 3,51 – 4 = eccellente, rispettando la distribuzione teorica normale dei possibili valori medi calcolabili. 58
L’analisi della varianza28 è stata applicata per valutare se le differenze dei punteggi medi sono statisticamente significative rispetto ai differenti livelli di qualità complessiva. Questa significatività si evidenzia per le prove di matematica e scienze. Quindi, le scuole con livelli di qualità complessiva diversi si caratterizzano per livelli diversificati di competenze degli studenti in matematica e scienze. Tabella 10‐2 ‐ Analisi della varianza (ANOVA) per le prove PISA 2009 in lettura, matematica e scienze Somma dei Media dei quadrati df quadrati F Fra gruppi 15636,59
1
15636,59 3,69
Punteggio medio lettura Pisa 2009 Entro gruppi 453810,61
107
4241,22 Totale 469447,20
108
Fra gruppi 20709,37
1
20709,37 5,16
429220,10
107
4011,40 Punteggio medio matematica Pisa 2009 Entro gruppi Totale 449929,47
108
Fra gruppi 26353,31
1
26353,31 6,41
Entro gruppi 439655,78
107
4108,93 Punteggio medio scienze Pisa 2009 Totale 466009,10
108
Sig.
,058
,025
,013
Il confronto tra le medie dei gruppi conferma che le scuole con livelli di qualità complessiva medio‐
bassi (inadeguato‐accettabile) presentano punteggi medi più bassi sia in matematica che scienze rispetto alle scuole con livelli di qualità complessiva medio‐alti (buono‐eccellenti)29. Inoltre, per il primo gruppo di scuole i punteggi medi nelle due prove sono più bassi rispetto a quelli dell’intera area PON; al contrario il secondo gruppo ottiene punteggi medi più elevati rispetto all’area PON ma comunque più bassi della media nazionale. Tabella 10‐3 ‐ Punteggi medi nelle prove PISA 2009 per livelli di qualità complessiva Livelli di qualità complessiva ‐ ricodificati 1‐ Inadeguato ‐ Accettabile 2‐ Buono ‐ Eccellente Totale Totale Area PON Totale Italia Media N Deviazione std. Media N Deviazione std. Media N Deviazione std. Media Deviazione std Media Deviazione std Punteggio medio Punteggio medio Punteggio medio lettura Pisa 2009 matematica Pisa 2009 scienze Pisa 2009 455,80 47 71,22 479,98 62 60,13 469,55 109 65,93 460,4 3,7 448,73 47 64,25 476,56 62 62,64 464,56 109 64,54 456,9 4,1 450,30 47 67,61 481,69 62 61,32 468,16 109 65,69 457,8 3,7 486,1 1,6 482,9 1,9 488,8 1,8 28
L’analisi della varianza è stata eseguita mediante la procedura ANOVA con SPSS‐PASW 19.
Per poter eseguire l’analisi della varianza, i gruppi da confrontare non devono avere numerosità troppo differenti, pertanto i livelli inadeguato ‐ accettabile e buono ‐ eccellente sono stati accorpati.
29
59
11. Qualità della progettazione‐documentazione e qualità della gestione‐integrazione Per verificare le relazioni tra i livelli di qualità raggiunti dalle scuole sui criteri individuati e valutare la presenza di una struttura latente da essi definita, è stata effettuata un’analisi delle componenti principali30. Dall’analisi delle componenti principali sono emerse due componenti che complessivamente spiegano il 63% circa della varianza (48,3% spiegata dalla prima componente, 14,5% spiegata dalla seconda). Le misure di attendibilità sono buone per entrambe le componenti ( = 0,90). Anche il livello di saturazione degli item è molto buono. Tabella 11‐1 ‐ Componenti estratte con l’ACP d04.3_2p ‐ Criterio di Qualità: le competenze dei corsisti sono visibilmente migliorate per i loro insegnanti d17.2_2p ‐ Criterio di Qualità: i verbali delle riunioni del GOP documentano in maniera accurata i processi decisionali relativi alle fasi di avvio, gestione e valutazione dei progetti d18.2_2p ‐ Criterio di Qualità: la valutazione del Piano integrato è effettuata in maniera sistematica d03.3_2p ‐ Criterio di Qualità: il progetto è stato bene integrato nell'attività curricolare d19.2_2p ‐ Criterio di Qualità: i criteri per la selezione degli esperti sono stati definiti in maniera collegiale e coinvolgendo diversi componenti della scuola d02.3_2p ‐ Criterio di Qualità: i corsisti esprimono soddisfazione per il corso frequentato d16.2_2p ‐ Criterio di Qualità: i materiali di promozione sono adeguati a raggiungere l'obiettivo di promuovere la partecipazione dei destinatari previsti dal Piano Integrato d01_1p ‐ Criterio di Qualità: il piano integrato e il piano dell'offerta formativa sono tra loro interconnessi d11_1p ‐ Criterio di Qualità: è documentata un'accurata valutazione iniziale dei corsisti d13_1p ‐ Criterio di Qualità: è documentata un'accurata valutazione finale dei corsisti d12_1p ‐ Criterio di Qualità: è documentata un'accurata valutazione in itinere dei corsisti d08_1p ‐ Criterio di Qualità: le competenze sono declinate in modo rigoroso d10_1p ‐ Criterio di Qualità: le strategie didattiche sono innovative e stimolano la partecipazione d09_1p ‐ Criterio di Qualità: le attività didattiche descritte sono coerenti con le competenze da raggiungere d04_1p ‐ Criterio di Qualità: i bandi per la selezione degli esperti permettono di individuare con chiarezza le competenze richieste Componente 1 ,835 2 ‐,106 ,812 ,059 ,795 ,084 ,790 ,782 ,037 ,118 ,768 ‐,214 ,729 ,078 ,584 ,065 ‐,167 ,061 ‐,026 ‐,034 ,007 ,944 ,846 ,833 ,826 ,818 ,091 ,784 ,142 ,489 30
L’analisi in componenti principali è stata eseguita utilizzando SPSS‐PASW 19. Dall’analisi sono state esclude 3 scuole per le quali non tutti i dati richiesti erano presenti; in totale le elaborazioni sono tate eseguite considerando 106 scuole (97% del totale delle scuole ‐ 109). Per migliorare l’interpretazione dei fattori, questi sono stati ruotati con il metodo promax.
60
Nella colonna “Componente – 1” della Tabella 11‐1 sono evidenziati i criteri di qualità che maggiormente contribuiscono alla definizione della prima componente, mentre nella colonna “Componente – 2” sono evidenziati i criteri che contribuiscono alla definizione della seconda componente. Per quanto riguarda la prima componente, si tratta di variabili che presentano quale elemento comune il fatto di essere criteri di qualità il cui giudizio è stato formulato a seguito della visita a scuola o a partire da documenti forniti direttamente dalla scuola. Infatti tutti i criteri di qualità tranne uno si riferiscono alla Scheda di valutazione 2° parte e l’unico che è stato valutato prima della visita (“il piano integrato e il piano dell'offerta formativa sono tra loro interconnessi”) richiedeva agli auditor di basare la propria valutazione sulla lettura del POF, ovvero di un documento inviato direttamente dalla scuola o reperito sul suo sito web. Questa precisazione è utile per comprendere la differenza tra le due componenti estratte. Infatti, la seconda componente si caratterizza per la presenza di criteri di qualità che riguardano esclusivamente la qualità della progettazione e della documentazione e i cui giudizi sono stati formulati prima della visita a scuola, a partire dalla documentazione scaricata dalla Piattaforma dell’Ansas. Questa componente è definita dai criteri di qualità relativi alla declinazione delle competenze, alla descrizione delle attività e delle strategie didattiche, alla documentazione della valutazione iniziale, in itinere e finale e dei bandi per la selezione degli esperti. Dal punto di vista dei giudizi ottenuti, i criteri di qualità che caratterizzano questa componente ottengono in media punteggi più bassi rispetto a quelli della prima componente. Le due componenti sintetizzano dunque gruppi di variabili riconducibili ad ambiti differenti: da un lato le azioni messe in campo per la gestione degli interventi PON e per garantire la loro integrazione con le attività della scuola (potremmo quindi denominare questa componente “gestione‐integrazione”) e dall’altro la documentazione delle azioni svolte, a partire dalla progettazione fino alla valutazione delle attività realizzate (componente “progettazione‐
documentazione”). Nel determinare la differenza tra le due componenti contribuisce notevolmente la diversa qualità della base empirica dalla quale scaturiscono i giudizi. Nel corso delle visite a scuola gli auditor hanno avuto la possibilità di basare i propri giudizi su una molteplicità di informazioni, potendo visionare un’ampia tipologia di materiali e documenti e dialogare con numerosi soggetti. A ciò si aggiunge la lettura del POF, che rappresenta il documento a partire dal quale è stato formulato il giudizio sull’unico criterio di qualità che appartiene alla Scheda di valutazione 1° parte, ma che, a differenza degli altri materiali utilizzati per i giudizi espressi prima della visita a scuola, è un documento fornito direttamente dalla scuola. Prima della visita a scuola gli auditor si sono invece basati sulla documentazione caricata dalle singole istituzioni scolastiche sulla piattaforma Gestione Interventi. Questa documentazione si è rivelata meno ricca e completa di quella messa a disposizione a scuola. Anche le sezioni della piattaforma dedicate alla descrizione dei progetti, che avevano – oltre ad uno scopo di documentazione ‐ anche una funzione di strutturazione degli stessi, in termini di individuazione di obiettivi, competenze, articolazione tra competenze ed attività didattiche, non sono state sfruttate pienamente dalle scuole nelle loro potenzialità di autoriflessione e autoformazione. Le competenze, infatti, spesso non sono declinate correttamente e in generale prevale un approccio burocratico nella compilazione dei campi e nel caricamento dei materiali di documentazione; da ciò deriva anche la valutazione meno positiva ottenuta mediamente dalle variabili corrispondenti. 61
Come già parzialmente evidenziato dall’analisi descrittiva dei singoli criteri, l’analisi delle componenti principali conferma la minore qualità della progettazione e della documentazione delle attività, che appare però strettamente legata all’utilizzo della piattaforma Gestione Interventi, che non viene percepita come uno strumento utile per strutturare ed organizzare il lavoro di documentazione del percorso di progettazione e gestione delle azioni PON, bensì come mero adempimento burocratico. A fronte di ciò, le varie fasi di attuazione del Piano integrato e l’integrazione delle attività PON con quelle della scuola, compresa l’integrazione del Piano integrato con il Piano dell’offerta formativa, presentano livelli di qualità più elevati. A sostegno di questa ipotesi si può considerare il risultato della correlazione effettuata tra il livello di qualità complessiva e i punteggi sull’unico criterio di qualità valutato prima della visita a scuola, che appartiene alla prima componente. Il risultato pari a 0,60 (p = 0,01) indica un buon livello di correlazione positiva tra le due variabili; ed è anche il valore più elevato tra tutte le correlazioni effettuate con le variabili che appartengono alla Scheda di valutazione 1° parte. Ciò indica che questo criterio di qualità, il cui giudizio è stato formulato prima della visita a scuola, ha pesato molto nella determinazione del giudizio complessivo di qualità. In generale, quindi, secondo la valutazione effettuata, mediamente le scuole organizzano e gestiscono meglio le attività di quanto siano in grado di progettarle e documentarle. Per valutare in che modo le scuole si distribuiscono rispetto ai fattori individuati, è stata applicata una proceduta di classificazione automatica. La cluster analysis ha permesso di estrarre quattro gruppi di scuole che si posizionano in modo diverso rispetto alle due componenti individuate31. Nel Grafico 11‐1 viene presentata la posizione delle scuole rispetto alle due componenti emerse e la loro classificazione nei quattro gruppi definiti con la cluster analysys. 31
È stata eseguita una clsuster analysis di tipo gerarchico utilizzando il metodo di Ward con PASW‐SPSS 19.
62
Grafico 11‐1 ‐ Distribuzione delle scuole sulle due componenti ACP Le scuole si distribuiscono in maniera abbastanza omogenea tra i quattro gruppi: il primo gruppo è il più numeroso e rappresenta più di un terzo delle scuole coinvolte nell’audit (34%), il terzo gruppo è il più piccolo ed è composto da 19 scuole (17,3%), il secondo e quarto gruppo rappresentano il 25,5% e 22,6% delle scuole (Tabella 11‐2). Tabella 11‐2 ‐ Punteggi medi delle due componenti ACP nei 4 gruppi Gruppo 1 Gruppo 2 Gruppo 3 Gruppo 4 Primo componente “gestione – integrazione” ‐,90 ‐,32 ,89 1,01 Secondo componente “progettazione – documentazione” ‐1,03 ,44 ‐,23 1,24 Numero di scuole 36 27 19 24 Percentuale di scuole 34,0% 25,5% 17,3% 22,6% Il valore medio del punteggio rispetto agli assi di ciascun gruppo permette di valutarne la collocazione sintetica e di descriverne le caratteristiche (Tabella 11‐2 e Grafico 11‐2). 63
Grafico 11‐2 ‐ Valori medi delle due componenti ACP nei 4 gruppi 1,50
1,00
0,50
0,00
-0,50
-1,00
-1,50
Gruppo 1
Gruppo 2
Gruppo 3
Primo componente
Gruppo 4
Secondo componente
Il primo gruppo presenta elevati valori medi negativi su entrambe le componenti. Queste scuole si caratterizzano per livelli di qualità non elevati sia con riferimento alla gestione‐integrazione delle attività PON, sia alla progettazione e documentazione. Si tratta prevalentemente di Istituti tecnici e professionali, collocati nella regione Calabria, che ottengono giudizi di qualità complessiva medio‐bassi, Il quarto gruppo, all’opposto, si caratterizza per elevati valori medi positivi su entrambe le componenti. Le scuole che appartengono a questo gruppo presentano quindi livelli di qualità elevati sia sulla componente gestione‐integrazione, sia sulla componente progettazione‐
documentazione. Questo gruppo è associato a giudizi di qualità complessiva molto positivi: infatti sono incluse tutte le scuole che ottengono un giudizio complessivo di eccellenza e quasi il 30% delle scuole che raggiungono il livello buono. Questo gruppo non è caratterizzato dalla prevalenza di una particolare tipologia di scuola mentre sono maggiormente rappresentate le scuole della regione Puglia. Il secondo gruppo è associato a valori medi negativi della prima componente e a valori medi positivi della seconda componente. Si tratta quindi di scuole con livelli di qualità più elevati sul versante della progettazione‐documentazione e più bassi su quello della gestione dei PON e dell’integrazione con le attività della scuola. Questo gruppo è associato prevalentemente al livello “buono” di qualità complessiva; è tuttavia presente anche una quota consistente di istituti scolastici che ottengono un giudizio complessivo di accettabilità. Le scuole di questo gruppo sono collocate prevalentemente in Sicilia. Il terzo gruppo, infine, presenta elevati valori medi positivi sulla prima componente e valori medi negativi sulla seconda. Queste scuole si caratterizzano per una buona gestione e integrazione delle attività PON e per una bassa qualità della progettazione e della documentazione. Le scuole di questo gruppo, con riferimento al livello di qualità complessiva, si posizionano prevalentemente sul livello buono. Non si evidenziano né una tipologia prevalente di scuola, né una collocazione maggioritaria in una specifica regione. 64
Tabella 11‐3 ‐ Risultati medi delle prove OCSE‐PISA dei 4 gruppi Gruppi Lettura Matematica Scienze 1 Media 450,2 445,0 444,4 E.S. 11,5 11,1 11,4 2 Media 462,7 462,6 468,0 E.S. 12,7 10,0 11,8 3 Media 483,1 474,6 477,6 E.S. 14,8 14,5 15,6 4 Media 493,1 489,0 495,5 E.S. 11,5 14,6 11,5 Media Media E.S. E.S.
area PON nazionale 460,4 456,9 457,8 3,7 4,1 3,7 486,1 482,9 488,8 1,6 1,9 1,8 Per quanto riguarda la relazione tra i gruppi individuati e i risultati ottenuti nelle prove OCSE‐PISA 2009, l'analisi della varianza (ANOVA) ha evidenziano che le differenze nei punteggi medi tra i vari gruppi non risultano tutte statisticamente significative, sebbene siano tutte piuttosto marcate. Emergono come statisticamente significative solo le differenze tra le medie in scienze tra il primo e il quarto gruppo. Il valore più elevato dell’errore standard dei singoli gruppi rispetto a quello del dato nazionale e di area dipende dalla scarsa numerosità dell’insieme di scuole coinvolte nell’audit. Questo risultato farebbe pensare ad una relazione positiva tra elevati livelli di qualità su entrambe le componenti individuate e i livelli di apprendimento degli studenti in scienze. Inoltre, da un punto di vista descrittivo, è interessante osservare che per i gruppi 2, 3 e 4 i punteggi medi nelle prove OCSE‐PISA sono superiori a quelli dell’intera area PON in tutte le aree sondate, mentre i punteggi associati al quarto gruppo sono anche più elevati rispetto alla media nazionale. 65
12. Punti di forza e di debolezza Al termine della visita gli auditor dovevano esprimere una valutazione complessiva sui principali punti di forza e di debolezza individuati con riferimento all’intero percorso di progettazione e gestione dei fondi PON. Tali giudizi, espressi in forma discorsiva, sono stati analizzati con l’ausilio del software per l’analisi qualitativa QDA Miner. Questi dati qualitativi integrano quelli ottenuti con la compilazione delle rubriche di valutazione e restituiscono alcuni elementi dello “sguardo” con cui gli auditor hanno osservato le scuole. Infatti, mentre i giudizi espressi nelle rubriche sono il risultato del confronto costante tra quanto osservato dagli auditor, le proprie esperienze e competenze professionali e personali e la “guida per l’occhio” rappresentata dai descrittori dei livelli di qualità delle singole rubriche, i punti di forza e di debolezza sono l’espressione più diretta delle competenze valutative dei singoli auditor. Questi giudizi, infatti, riflettono in forma meno mediata le credenze e le convinzioni maturate nel corso della propria esperienza professionale su che cosa rappresenta una buona scuola e una buona progettazione e gestione delle azioni PON. Essi inoltre permettono di restituire la specificità di ogni singola istituzione scolastica visitata. In questo senso, quindi, i giudizi qualitativi rappresentano un’utile integrazione delle informazioni sui fattori che incidono positivamente e negativamente sulla realizzazione delle attività finanziate con i PON individuate dagli standard di riferimento dell’audit. Le domande aperte relative ai punti di forza e di debolezza sono state analizzate qualitativamente con l’ausilio del software QDA Miner: le osservazioni fornite dagli auditor sono state lette e successivamente suddivise in porzioni di testo omogenee per contenuto. Ad ogni porzione di testo è stato attribuito un codice. I codici sono stati utilizzati per effettuare analisi di vario tipo: distribuzioni di frequenze, analisi delle co‐occorrenze32, analisi delle corrispondenze multiple e cluster analysis. I punti di forza e di debolezza individuati dagli auditor possono essere ricondotti a cinque categorie: corsisti/studenti, attività didattica, progettazione, gestione dei PON e scuola. La categoria corsisti/studenti si riferisce agli elementi di forza e di criticità che riguardano i corsisti, come l’incremento delle competenze o dell’autostima o la scarsa frequenza o interesse per i corsi attivati. L’attività didattica comprende tutte le osservazioni che riguardano le modalità della didattica attuata nei corsi finanziati con i PON: la presenza di strategie didattiche innovative o al contrario la persistenza di modalità di tipo tradizionale, l’utilizzo o il mancato utilizzo dei laboratori, ecc. Alla categoria “Progettazione” vengono ricondotti i punti di forza e di debolezza che si riferiscono alla coerenza con l’autodiagnosi, alla qualità della progettazione e al carattere più o meno condiviso della stessa. “Gestione dei PON” comprende tutti i giudizi che riguardano i molteplici aspetti della gestione del Piano integrato: il raccordo con gli Organi Collegiali, l’integrazione con le attività della scuola, l’attività del GOP, la selezione degli esperti, la qualità della valutazione, delle attività di promozione, ecc. Infine, la categoria “Scuola” fa riferimento ai giudizi che riguardano la vita scolastica nel suo complesso, quali la collaborazione dei docenti, la qualità della comunicazione, la presenza ed adeguatezza dei laboratori, ecc. 32
Analisi della frequenza di sequenze di codici per verificare la presenza di pattern ricorrenti
66
Una prima considerazione riguarda il fatto che, osservando la distribuzione delle frequenze dei codici, non emergono tratti o caratteristiche prevalenti relative ai punti di forza e di debolezza. Le frequenze massime si attestano intorno al 20% dei casi; ciò può essere ricondotto principalmente all’analiticità dei giudizi espressi, che spesso entrano nel dettaglio delle situazioni osservate individuando, per ogni caso, molteplici aspetti che costituiscono punti di forza o elementi di debolezza, contribuendo così a moltiplicare il numero di codifiche per singolo caso. L’analisi delle co‐occorrenze tra codici non ha rilevato la presenza di pattern specifici di sequenze di codici ripetuti con particolare frequenza, pertanto è plausibile ipotizzare che la frammentazione dei giudizi rifletta una varietà di situazioni osservate o una complessità delle stesse che ha favorito giudizi articolati e specifici per singolo caso. 12.1
Punti di forza Tra i punti di forza individuati, quello che ricorre con maggiore frequenza (23 casi) è l’incremento delle competenze degli studenti prodotto dalla partecipazione ai corsi PON. Si evidenzia, per esempio, che “i progetti determinano un miglioramento documentato delle competenze trasversali degli allievi”, oppure la “forte valenza motivazionale e cognitiva promossa dalla partecipazione ai citati moduli, in particolare per il corso C1 sul versante dell’acquisizione di competenze di Inglese, aggiuntive a quelle del corso curriculare” e ancora che “ha raggiunto la sufficienza l'80% degli studenti partecipanti al PON”. Sul versante del potenziamento, l’acquisizione di competenze da parte dei corsisti è testimoniato dalla “partecipazione con ottimi risultati a concorsi e gare nazionali con conseguimento di premi e riconoscimenti”. Nel 20% circa dei casi viene segnalato, come punto di forza, il contributo e l’impegno di tutti i docenti e del personale della scuola nella progettazione e gestione delle attività finanziate con i PON. Gli auditor segnalano quale valore aggiunto della gestione dei progetti la collaborazione, la responsabilità, la motivazione e talvolta l’entusiasmo degli insegnanti, con particolare riferimento allo staff di direzione, alle figure di Piano e ai tutor dei progetti che con il loro impegno professionale e personale contribuiscono alla buona riuscita dei corsi. “Piena armonia, integrazione e intesa professionale, culturale e di empatia tra tutti gli operatori della scuola che a pieno titolo può definirsi comunità di pratica.” “I punti di forza della progettazione PON si riscontrano nell'impegno a progettare di alcuni docenti, ormai esperti e conoscitori delle tecniche progettuali. Relativamente alla gestione i punti di forza si riscontrano nella presenza di docenti responsabili e attenti a curare ogni passaggio e a rispettare le regole per una corretta gestione di tutte le fasi di sviluppo dei corsi. In particolare, nella Dirigenza e nel personale di segreteria si ravvisa un senso di responsabilità e di cura di tutte le fasi che vanno dalla progettazione alla realizzazione.” In alcuni casi si segnala come la disponibilità personale dei docenti sia fondamentale per superare gli elementi di disfunzionalità derivanti dal contesto. “Molto positiva è apparsa la disponibilità dei docenti ad ovviare al principale motivo di disfunzionalità, ovvero la carenza di trasporti pubblici. Alcuni insegnanti si sono caricati 67
dell'incombenza di dover trasportare con la propria auto gli alunni non adeguatamente serviti dal trasporto pubblico.” In generale la professionalità e l’impegno di varie figure all’interno della scuola vengono indicati frequentemente come elementi di forza nell’ambito dell’attuazione delle attività finanziate con i PON. Nel 15,6% dei casi si fa esplicito riferimento alla continuità e alla qualità della direzione scolastica e soprattutto all’interesse mostrato dal Dirigente scolastico per la gestione dei progetti, che in qualche caso diventa vera e propria azione trainante dell’intero processo di progettazione e attuazione delle azioni PON. “Totale partecipazione alle attività PON da parte del DS come punto di riferimento sul piano della programmazione, gestione, valutazione in itinere e valutazione finale.” “Il DS per impegno, serietà e competenza ha disseminato l'immagine dei PON come punta di diamante dell'istituto.” “In particolare si sottolinea il ruolo trainante e di coordinamento della Dirigente scolastica.” In una percentuale analoga di casi si evidenzia invece il ruolo positivo svolto dal GOP e dalle singole figure di Piano: Facilitatore, Referente per la valutazione e tutor. “La progettazione ha trovato un notevole punto di forza nel Dirigente scolastico ed in quella delle figure di sistema (valutatore e facilitatore).” “Disponibilità delle figure di Piano al confronto e al miglioramento.” “La scuola dispone di uno staff di direzione (Preside, collaboratori e figure di sistema dei PON) particolarmente valido che ha seguito e supportato con interesse le varie attività allo scopo di ottimizzare i risultati ottenuti sia sul piano dei risultati scolastici degli allievi sia per le attività di orientamento.” “Apprezzamento dei corsisti per le tutor d’aula, che non si sono limitate agli adempimenti di tipo burocratico/amministrativo, ma hanno svolto un ruolo di interfaccia continuo con gli esperti esterni.” 68
Categoria Studenti Scuola Gestione Scuola Gestione Studenti Didattica Scuola Gestione Didattica Gestione Gestione Didattica Progettazione Progettazione Studenti Progettazione Progettazione Studenti Progettazione Scuola Gestione Studenti Progettazione Didattica Studenti Progettazione Scuola Scuola Gestione Gestione Tabella 12‐1 ‐ Punti di forza Codice Conteggio
incremento competenze 23 impegno docenti/personale scuola 22 integrazione attività scuola 22 impegno/competenze DS 18 qualità figure di Piano 17 soddisfazione dei corsisti 12 utilizzo laboratori 10 buona comunicazione/interazione 10 integrazione con territorio 10 didattica innovativa nei PON 9 qualità degli esperti 8 monitoraggio/valutazione 7 miglioramento didattica 7 coerenza con autodiagnosi 6 coerenza con POF 6 contrasto dispersione/disagio sociale 6 progettazione condivisa 5 progettazione di qualità 5 miglioramento relazioni 5 progettazione coerente con indirizzo 4 incremento dotazioni tecnologiche 4 promozione/disseminazione 4 motivazione studenti 4 integrazione tra discipline diverse 3 certificazione competenze 3 incremento autostima 4 attenta ai bisogni del territorio/occupazionali 2 senso d'identità/autostima 2 utilizzo competenze corsisti 3 criteri di selezione esperti 2 Documentazione 1 % Codici 9,00% 8,60% 8,60% 7,00% 6,60% 4,70% 3,90% 3,90% 3,90% 3,50% 3,10% 2,70% 2,70% 2,30% 2,30% 2,30% 2,00% 2,00% 2,00% 1,60% 1,60% 1,60% 1,60% 1,20% 1,20% 1,60% 0,80% 0,80% 1,20% 0,80% 0,40% Casi 23 22 21 17 17 12 10 9 9 9 8 7 7 6 6 6 5 5 5 4 4 4 4 3 3 3 2 2 2 2 1 % Casi 21,10% 20,20% 19,30% 15,60% 15,60% 11,00% 9,20% 8,30% 8,30% 8,30% 7,30% 6,40% 6,40% 5,50% 5,50% 5,50% 4,60% 4,60% 4,60% 3,70% 3,70% 3,70% 3,70% 2,80% 2,80% 2,80% 1,80% 1,80% 1,80% 1,80% 0,90% In 21 casi si segnala come punto di forza l’integrazione tra le azioni PON e le attività della scuola. Si tratta di giudizi che si riferiscono ad una varietà di situazioni nelle quali l’integrazione è osservabile a diversi livelli e in modi più o meno formalizzati. Si può trattare infatti di casi nei quali si rileva informalmente un “continuo e costante confronto tra i docenti curriculari e esperti PON” oppure situazioni in cui alcuni aspetti di tale integrazione risultano formalizzati dall’operato degli Organi collegiali: “Buon coordinamento posto in essere dalla referente per la valutazione che ha interagito con i docenti delle classi coinvolte al fine di monitorare l’andamento degli studenti dal punto di vista sia della partecipazione e della frequenza, sia dei risultati conseguiti. […] Utilizzo, per le procedure di valutazione, di indici di processo condivisi e applicati sia al POF, sia al PON.” In altri casi l’integrazione riguarda diversi aspetti: dalla progettazione, alla gestione, fino alla valutazione, e risulta formalizzata dagli Organi collegiali e/o inserita all’interno di pratiche già in 69
uso nella scuola, come l’utilizzo di sistemi di certificazione della qualità (es. UNI EN ISO 9004:2900), di procedure strutturate di autovalutazione (es. modello FARO), ecc.: “Trasparenza nei criteri di selezione delle figure di Piano, approvati dal CD e inseriti nel POF ‐
Valorizzazione dei risultati dei corsi PON per gli alunni in termini di credito formativo e in sede di valutazione dei Consigli di classe (cfr il modello "Carriera scolastica") ‐ Relazione al CD sullo svolgimento del Piano da parte del Referente nella seduta conclusiva dell'anno scolastico ‐ Inserimento delle attività aggiuntive e dei corsi PON nell' autovalutazione autonoma di Istituto (modello FARO).” “Utilizzo di una modulistica comune POF/PON (ad esempio, scheda di progettazione) – L’utilizzo del manuale per la qualità secondo la norma UNI EN ISO 9004:2900 ha contribuito ad integrare, da un punto di vista formale, il POF ed il PON (ad esempio l’attribuzione dei ruoli nella programmazione curriculare e extracurriculare è unica e stabilita dalle norme del manuale).” La soddisfazione degli studenti viene indicata quale punto di forza nell’11% dei casi. Altri aspetti riconducibili alla categoria “studenti” vengono richiamati con minore frequenza. In particolare si fa riferimento al contrasto della dispersione scolastica e in generale del disagio sociale riconducibile alle iniziative realizzate con i fondi PON, al miglioramento delle relazioni tra studenti, all’incremento della motivazione e dell’autostima. Per quanto riguarda la didattica, si segnala l’utilizzo ottimale dei laboratori e delle altre dotazioni tecnologiche a disposizione della scuola in circa il 9% dei casi. Si evidenzia anche la presenza di una didattica innovativa nei corsi PON e in generale il miglioramento dell’attività didattica. I punti di forza relativi alla progettazione sono meno frequenti e riguardano la coerenza tra progettazione su fondi PON e autodiagnosi di Istituto, la coerenza con gli obiettivi e i contenuti del POF, il carattere condiviso all’interno della scuola della progettazione, il buon livello dei progetti proposti ed, infine, alcuni elementi riconducibili ai contenuti progettuali, come il carattere interdisciplinare dei corsi, la coerenza con l’indirizzo della scuola e l’attenzione per i fabbisogni formativi del territorio. Infine, per quel che riguarda la gestione e organizzazione delle attività PON è interessante sottolineare che nell’8,3% dei casi, gli auditor rilevano la forte integrazione con il territorio. In particolare si evidenzia la collaborazione con gli enti locali e le realtà imprenditoriali del territorio che spesso diventano partner per la realizzazione dei progetti attraverso l’attivazione di stage o di approfondimenti legati alle esperienze imprenditoriali locali. Talvolta, le attività PON sono aperte a destinatari esterni alla scuola (es. altre scuole, genitori, ecc.) contribuendo così a potenziare la visibilità e il ruolo di promozione culturale della scuola nel territorio. Il riferimento alla qualità degli esperti riguarda invece il 7,2% dei casi; gli auditor evidenziano in particolare le competenze degli esperti e la loro capacità di coinvolgere gli studenti con modalità didattiche innovative. In molti commenti si sottolinea il fatto che l’apporto positivo portato dagli esperti dipende anche dal fatto di essere soggetti esterni alla scuola e quindi portatori di conoscenze e competenze ulteriori e complementari che si integrano positivamente con quelle dei docenti curricolari. Infine, un punto di forza rilevato con una certa frequenza riguarda le attività di monitoraggio e valutazione delle attività PON. Gli auditor sottolineano sia la completezza e l’esaustività dell’attività di valutazione del Piano integrato (“La valutazione dei Progetti PON redatta dalla Referente della Valutazione è ampia, documentata ed esaustiva. Si parte dai dati raccolti con l’autodiagnosi d’Istituto e si 70
commentano i risultati desunti dai questionari di gradimento”), sia la messa a punto di forme di monitoraggio che permettono un raccordo costante tra attività curriculari e corsi PON (“Coinvolgimento dei consigli di classe nel monitoraggio in itinere: viene formalizzata la compilazione di una scheda che richiede ai docenti un monitoraggio sull’andamento dei singoli progetti PON, a cui gli allievi della classe partecipano”), sia, infine, la capacità della scuola di trarre indicazioni operative a partire dall’azione di valutazione messa in campo (“A livello di Collegio docenti c'è stata una valutazione complessiva del Piano tant’è che ciò ha avuto come conseguenza la sua modifica in termini di obiettivi ed attività connesse relativamente ai Progetti degli anni successivi.”). 12.2
Punti di debolezza Per quanto riguarda i punti di debolezza, gli aspetti indicati con più frequenza dagli auditor riguardano l’ambito della gestione. Tra le criticità più frequenti vi è l’assenza di integrazione con le attività della scuola. Nei giudizi codificati con tale etichetta si fa riferimento al mancato raccordo della progettazione e gestione delle attività PON con il funzionamento ordinario della scuola. Questa separatezza si ravvisa principalmente al livello della progettazione e realizzazione delle attività formative. Il seguente giudizio sintetizza efficacemente il senso delle osservazioni espresse dagli auditor che hanno segnalato questo tipo di criticità: “difficoltà di interazione tra attività curriculari e contenuti di apprendimento previsti dai corsi PON; i percorsi della progettazione curriculare e i percorsi della progettazione Pon si snodano lungo rette parallele per il raggiungimento di obiettivi, talvolta uguali, ma senza la possibilità di convergenze, di confronti e di verifica delle ricadute. “ La mancata integrazione con le attività della scuola potrebbe compromettere anche il raggiungimento degli stessi obiettivi dei programmi europei. Infatti, l’assenza di confronto limita fortemente la possibilità di verificare la ricaduta delle azioni PON sull’attività curricolare degli studenti. Allo stesso tempo produce ricadute negative sull’intero impianto organizzativo e gestionale dei PON. La mancanza di convergenze non permette di sviluppare una visione strategica da parte della scuola rispetto agli obiettivi e alla priorità da perseguire né di promuovere l’utilizzo a scuola e la condivisione delle competenze acquisite con i corsi PON da parte di studenti, insegnanti e personale amministrativo. L’integrazione tra le azioni PON e le attività della scuola viene giustamente indicata da molti auditor come la principale sfida dei PON Istruzione. Peraltro, la necessità di attuare forme di integrazione è ribadita anche dalla nota ministeriale AOODGAI 14410 del 06/12/2009 con la quale si rende obbligatoria, a partire dall’anno scolastico 2011‐2012, per i percorsi C e F la compilazione di una scheda di valutazione che consenta ai Consigli di classe di conoscere e valutare l’impatto della frequenza dei percorsi aggiuntivi sulle competenze di base degli studenti. 71
Tabella 12‐2 ‐ Punti di debolezza Categoria Codice Conteggio % Codici Casi % Casi Gestione no integrazione attività scuola 16 3,50% 16 14,70% Gestione orari/tempistica PON 18 3,90% 16 14,70% Gestione documentazione scarsa/non accessibile
13 2,80% 13 11,90% Progettazione competenze non declinate 11 2,40% 11 10,10% Gestione azione del GOP/figure di piano 10 2,20% 10 9,20% Gestione bandi generici 10 2,20% 10 9,20% Scuola difficoltà coinvolgimento docenti 9 2,00% 9 8,30% Didattica didattica tradizionale/non innovativa 8 1,70% 8 7,30% Gestione inserimento dati piattaforma 7 1,50% 7 6,40% Gestione scarsa pubblicizzazione/disseminazione
8 1,70% 7 6,40% Gestione valutazione assente/inadeguata 7 1,50% 7 6,40% Contesto difficoltà trasporti/pendolarismo 6 1,30% 6 5,50% Progettazione no coerenza con autodiagnosi 6 1,30% 6 5,50% Scuola laboratori scarsi/non adeguati 6 1,30% 6 5,50% Didattica limitato uso laboratori 5 1,10% 5 4,60% Studenti no ricadute curriculari 5 1,10% 5 4,60% Studenti scarsa frequenza 4 0,90% 4 3,70% Scuola difficoltà comunicazione 4 0,90% 4 3,70% Scuola programmazione non condivisa 4 0,90% 4 3,70% Contesto situazione socio‐ambientale difficile 3 0,70% 3 2,80% Gestione accesso/gestione piattaforma 3 0,70% 3 2,80% Studenti eccessivo carico di lavoro 2 0,40% 2 1,80% Gestione difficoltà personale ATA 2 0,40% 2 1,80% Gestione no coerenza con progettazione 2 0,40% 2 1,80% Scuola frammentazione offerta formativa 2 0,40% 2 1,80% Didattica eterogeneità gruppi 1 0,20% 1 0,90% Gestione no qualità esperti 1 0,20% 1 0,90% Progettazione no integrazione con POF 1 0,20% 1 0,90% Significativamente frequente è anche la criticità relativa alla tempistica e agli orari delle attività PON. Sotto questa etichetta rientrano tutti i giudizi che si riferiscono alla difficoltà di gestione delle azioni PON dovute alla sovrapposizione di tali attività con altre attività curricolari o extracurricolari programmate dalla scuola, e alla concentrazione delle attività in un lasso temporale troppo ristretto. Il primo aspetto è comunque sempre una conseguenza del secondo e dell’impossibilità di modulare la durata dei corsi a seconda delle esigenze specifiche della scuola. Gli auditor attribuiscono queste difficoltà sia all’incapacità della scuola di avviare le attività in tempi rapidi, sia ai problemi oggettivi riscontrati a seguito della tardiva comunicazione istituzionale dell’approvazione dei progetti. A tale proposito, la rimodulazione dei tempi per la realizzazione delle attività relative al bando AOODGAI 4462 del 31 marzo 2011, che prevede la possibilità di realizzare le attività formative e la relativa rendicontazione nel corso di due anni scolastici (tra gennaio 2012 e agosto 2013), potrà essere un utile banco di prova per verificare l’impatto di una tempistica più flessibile sull’organizzazione e gestione dei PON33. 33
La nota ministeriale AOODGAI 11782 del 19/10/2011 definisce una nuova tempistica per la realizzazione dei Piani integrati a valere sulla Circolare 4462/2011 suddividendo le attività nei due anni scolastici 2011/2012 e 2012/2013. Gli istituti scolastici possono definire autonomamente la suddivisione del Piano nelle due annualità. Questa decisione è stata motivata dal rallentamento dei flussi finanziari per l’anno 2010‐2011 causato principalmente dal ritardo con il 72
Un’altra criticità che riguarda la gestione delle azioni PON è la scarsa qualità della documentazione che interessa quasi il 12% dei casi. Gli auditor fanno riferimento a documentazioni poco chiare e non approfondite (es. verbali del GOP, dei consigli di classe); alla difficoltà di accesso alla documentazione prodotta (problemi di organizzazione e archiviazione del materiale) o alla sua completa assenza. In particolare, si segnala, in diversi casi, la carenza del materiale di documentazione relativo alle attività didattiche svolte nei corsi PON e alla valutazione delle ricadute curricolari delle azioni formative frequentate dagli studenti. Significativi sono anche gli elementi di debolezza riconducibili all’azione del GOP o di singole figure di Piano. In generale si fa riferimento all’inadeguatezza del ruolo di promozione e propulsione delle attività PON svolto dal GOP. Si parla di una concezione “eccessivamente burocratica e amministrativa del GOP” e di un’azione insufficiente rispetto al ruolo assegnato a tale organismo, con evidenti ricadute su tutto il processo di gestione delle attività PON, come ben evidenziato da questo commento: “I punti di debolezza sono ricorrenti e, a parere della scrivente, derivati dalla assenza di tenuta del processo da parte del GOP che dai verbali risulta non avere impostato nella sostanza il lavoro né averlo tenuto sotto controllo, tanto che: non risultano prefigurati i risultati attesi dai progetti; i bandi per il reperimento degli esperti non prefigurano le competenze richieste; non risulta un esame dei piani progettuali presentati dagli esperti […]; non c'è evidenza di attenzione alle relazioni pur puntuali della Referente per la valutazione; non c'è evidenza d'incontri in itinere con i referenti tutor dei progetti; non c'è incontro finale di valutazione del tutto. “ Talvolta il GOP risulta composto da poche figure professionali (solo DS e Dsga) o da soggetti con altri incarichi di responsabilità all’interno della scuola, che non riescono a dedicare sufficiente tempo ed attenzione alle esigenze della gestione PON. Infine, in alcuni casi, le carenze riguardano singole figure previste dall’impianto organizzativo dei PON: tutor, Facilitatore, Referente per la valutazione, ecc. L’inadeguata formulazione dei bandi per il reclutamento degli esperti è un elemento di criticità che riguarda il 9,2% dei casi. La maggior parte dei giudizi di inadeguatezza si riferiscono alla mancata indicazione delle competenze richieste agli esperti. I bandi risultano così eccessivamente generici e poco attinenti alle finalità previste per i singoli progetti. In qualche caso si sottolinea la mancata indicazione nei bandi dei criteri di valutazione degli esperti (requisito espressamente previsto dalle Disposizioni ministeriali). Con riferimento alla gestione, vengono segnalate con una certa frequenza alcune criticità riconducibili all’inserimento dei dati nella piattaforma ANSAS. In 7 casi, gli auditor rilevano una discrepanza tra la quantità e qualità della documentazione disponibile a scuola e quella che la scuola ha effettivamente caricato nella piattaforma Gestione interventi. Si osserva dunque un non puntuale trasferimento online della documentazione prodotta imputabile alla carente azione delle figure di piano preposte. Peraltro, la difficoltà di accesso e di navigazione nella piattaforma ANSAS viene segnalata dagli auditor in tre casi. quale le scuole hanno prodotto le certificazioni di spesa in forma corretta. Questo stato di cose ha impedito all’Autorità di Gestione di chiedere nei tempi previsti il rimborso delle certificazioni alla Commissione Europea. 73
Ugualmente frequenti sono gli elementi di debolezza relativi alla scarsa azione di pubblicizzazione e promozione delle azioni PON e alla mancata o inadeguata valutazione delle stesse. Vengono inoltre segnalate criticità legate alle difficoltà di gestione dei PON da parte del personale ATA, la mancata coerenza tra la progettazione e quanto effettivamente realizzato e la scarsa competenza degli esperti. Relativamente alla progettazione, nel 10% circa dei casi si fa riferimento alla mancata o carente declinazione delle competenze. Gli auditor rilevano “limiti (sovrapposizione tra conoscenze e competenze, genericità) nella formulazione delle competenze attese da far raggiungere agli allievi nei due moduli analizzati” e che le debolezze riscontrate nell’azione didattica potrebbero essere colmate “con una formazione ad hoc sulla progettazione modulare in funzione della didattica per situazioni centrata sull'esercizio di competenze per gli studenti e sul riconoscimento, la valutazione e certificazione delle stesse competenze.” La criticità rilevata su questo aspetto segnala come sia ancora necessario insistere per promuovere un approccio più innovativo alla progettazione didattica, meno centrato sull’azione dell’insegnante e più orientato agli obiettivi di apprendimento degli studenti. Una corretta declinazione delle competenze permetterebbe non solo di definire obiettivi più chiari per i singoli progetti PON ma di rendere valutabili le azioni realizzate e la loro ricaduta sull’attività curricolare e sulla vita della scuola. Altre criticità che rientrano nell’ambito della progettazione riguardano la non coerenza tra progettazione PON e i punti di debolezza individuati nell’autodiagnosi (segnalato in 6 casi) e la mancata integrazione delle azioni PON nel Piano dell’offerta formativa di Istituto (segnalato in un solo caso). Tra le criticità riconducibili alle caratteristiche della scuola, gli auditor segnalano con una certa frequenza (8,3% dei casi) la difficoltà di coinvolgimento dei docenti curricolari che si traduce nello scarso sostegno offerto dagli insegnanti alle attività finanziate con i PON. Il tratto comune in tali giudizi è l’individuazione di una scarsa collegialità nella gestione e organizzazione dei PON; in molti casi l’accento è posto sulla difficoltà degli insegnanti curricolari di comprendere la valenza formativa delle azioni PON, che talvolta si trasforma in vera e propria resistenza ad introdurre innovazioni in ambito progettuale: “difficoltà permanente di alcuni docenti curricolari a comprendere l’alta valenza formativa delle attività proposte dai PON; scarsa collaborazione dei docenti suddetti con i propri allievi corsisti.” “I Docenti figure di sistema (Facilitatore, Valutatore, Tutor d’obiettivo), preparati e attenti all'innovazione metodologica, hanno compreso lo scarto tra Autoanalisi, Progettazione del Piano Integrato e POF, tuttavia hanno difficoltà ad orientare diversamente il Collegio dei docenti […] che presenta un turn over lento e una concezione gerarchica delle aree disciplinari (linguistica ‐
letteraria, storico‐filosofica ed infine matematico‐scientifica).” Da tali rilievi si comprende come la promozione di una cultura condivisa della scuola sul valore dei PON per lo sviluppo delle competenze degli studenti sia fondamentale per garantire la piena capitalizzazione di tali interventi formativi da parte delle scuole. Strettamente collegati a quanto rilevato sopra, sono altri elementi di debolezza che rientrano nell’ambito della vita scolastica, come la difficoltà di comunicazione tra le figure di piano, gli esperti e i docenti curricolari e la scarsa condivisione tra i docenti della scuola della progettazione 74
delle azioni PON. Queste condizioni contribuiscono a rendere maggiormente difficoltosa l’integrazione dei PON nell’attività della scuola. Infine, la scarsità o inadeguatezza dei laboratori e delle dotazioni tecnologiche della scuola (riscontrato in 6 casi) costituiscono punti di debolezza per le azioni PON poiché incidono sulla possibilità di progettare percorsi formativi e modalità didattiche innovative. In effetti, la persistenza di strategie didattiche di tipo tradizionale e il limitato utilizzo dei laboratori costituiscono i principali punti di debolezza riscontrati nell’ambito della didattica (rispettivamente nel 7,3% e 4,6% dei casi). Per quanto riguarda le metodologie didattiche, gli auditor osservano la persistenza di modalità basate prevalentemente sulla lezione frontale e la continuità con le metodologie applicate nelle lezioni curricolari. La scarsa innovatività delle strategie didattiche è ricondotta, da alcuni auditor, al fatto che gli esperti e i tutor di progetto sono spesso gli stessi docenti curricolari. La preferenza per esperti interni all’Istituzione scolastica può limitare l’apporto di competenze innovative provenienti dall’esterno: “la coincidenza tra esperti e/o tutor con i docenti curricolari [costituisce un] punto di debolezza in quanto non favorisce la sperimentazione per gli studenti di altre metodologie e attività didattiche, se non in termini di approfondimento di quelle già note.” I punti di debolezza che riguardano direttamente comportamenti o ricadute sugli studenti sono relativamente poco frequenti. In particolare gli auditor segnalano la scarsa o nulla ricaduta della partecipazione ai corsi PON sugli esiti curricolari, la scarsa frequenza ai corsi e l’eccessivo carico di lavoro per gli studenti strettamente legato alla tempistica dei PON e al sovrapporsi, in un breve lasso di tempo, di impegni curricolari ed extracurricolari. Infine, a differenza dei punti di forza, si riscontra per i punti di debolezza l’emergere di una ulteriore categoria, quella del contesto, nella quale sono ricondotti tutti i giudizi relativi a criticità che non sono direttamente controllabili dalla scuola. In particolare, diverse segnalazioni riguardano il pendolarismo degli studenti e la situazione del trasporto locale, in alcune zone particolarmente carente, che rende piuttosto gravosa la frequenza di attività pomeridiane, poiché il trasporto scolastico è garantito in coincidenza con gli orari standard di lezione. A tale proposito, al fine di migliorare la frequenza ai corsi PON nelle zone più disagiate, si potrebbe incentivare il ricorso ad azioni di accompagnamento opzionali rivolte a garantire forme di mobilità aggiuntive per gli studenti del PON. Da ultimo, sempre con riferimento al contesto, gli auditor individuano nella difficile situazione socio‐economica locale un elemento di criticità che incide sulla motivazione degli studenti e in generale sull’efficacia degli interventi finanziati con i PON. 12.3
Punti di forza, punti di debolezza e livelli di qualità complessiva I punti di forza e di debolezza emersi dall’analisi testuale, sono stati considerati come punto di partenza per ulteriori approfondimenti tesi a mettere in evidenza relazioni tra i diversi aspetti e alcune variabili caratteristiche relative alle scuole osservate, con l’obiettivo di individuare e descrivere dei profili comuni di scuola. 75
L’analisi delle corrispondenze multiple effettuata considerando l’insieme di variabili elaborate sulla base dei punti di forza e di debolezza precedentemente individuati, ha permesso di definire dei fattori latenti identificati da insiemi di variabili tra loro interdipendenti34. La lettura grafica e l’approfondimento delle matrici prodotte35 ha permesso di interpretare i fattori e, sulla base di questi, capire come l’insieme delle scuole si relazionano ad essi. Di seguito vengono illustrati i cinque assi emersi dall’analisi delle corrispondenze multiple. A ciascuno di essi vengono associati le modalità fondamentali delle variabili che contribuiscono alla loro determinazione e, attraverso una lettura complessiva di questi elementi, ne viene data un’interpretazione. Asse 1: Impegno ‐ coinvolgimento personale / pianificazione ‐ monitoraggio Questo asse si caratterizza per la contrapposizione tra punti di forza che fanno riferimento, da un lato, all’impegno professionale e personale delle figure di piano, del DS e dei docenti della scuola e, dall’altro, alla messa in atto di processi di valutazione e monitoraggio efficaci. In questo asse si contrappongono elementi di qualità riconducibili alla buona volontà e impegno dei singoli e la messa a sistema di procedure che permettono di pianificare, monitorare e valutare i processi. L’analisi evidenzia che le scuole che si caratterizzano per la dimensione del volontarismo e impegno personale non presentano punti di forza riconducibili alla qualità della valutazione e viceversa. Se si considerano i punti di debolezza si osserva, però, sul versante della pianificazione/monitoraggio, che la presenza di una valutazione di qualità non sempre si traduce in una capacità di pianificazione delle attività, soprattutto con riferimento alla tempistica dei corsi PON. Tuttavia, occorre ricordare che questo punto di debolezza, riscontrato in diverse situazioni, viene attribuito dagli auditor sia all’incapacità delle scuole di pianificare efficacemente le azioni necessarie per avviare i corsi in tempi utili, sia alle difficoltà oggettive legate ai tempi di comunicazione dell’autorizzazione dei corsi, che in alcuni casi avviene dopo diversi mesi dall’avvio dell’anno scolastico. Al versante dell’impegno professionale e personale si associano invece punti di debolezza riconducibili al contesto, ovvero le difficoltà del trasporto locale e il contesto socio‐
economico particolarmente disagiato che incidono negativamente sulla motivazione degli studenti alla partecipazione ai corsi. Asse 2: Didattica: difficoltà di progettazione‐gestione / difficoltà di comunicazione e coinvolgimento Il secondo asse si caratterizza prevalentemente per punti di debolezza che riguardano la didattica dei corsi PON, che in generale risulta piuttosto tradizionale e poco orientata all’uso dei laboratori. Queste difficoltà sono riconducibili o alla cattiva qualità della progettazione e gestione delle fasi successive (reclutamento degli esperti) o a problemi di comunicazione e coinvolgimento dei docenti della scuola. 34
L’analisi parte dalle matrici di contingenza, all’interno delle quali è indicato il numero di volte che sono state rilevate congiuntamente le caratteristiche di due diverse variabili.
35
Per l’interpretazione degli assi sono stati considerati i contributi assoluti, i contributi relativi e i T‐value. Questi ultimi sono stati utilizzati anche per valutare la relazione tra gli assi e le variabili supplementari illustrative (regione, tipologia, livello di qualità complessivo, numero di progetti), inserite nell’analisi non per contribuire alla definizione degli assi, ma con il fine di migliorarne l’interpretazione.
76
In alcune scuole, a fronte dell’incremento delle dotazioni tecnologiche ottenuto grazie ai fondi PON, non sempre corrisponde una capacità di utilizzo strategico di tali risorse. Infatti risulta limitato l’utilizzo dei laboratori nella didattica; la progettazione è di scarsa qualità e i bandi per il reclutamento degli esperti risultano generici e non presentano indicazioni precise rispetto alle competenze richieste per la conduzione dei corsi. Questi punti di debolezza delineano una difficoltà generale nella progettazione e gestione di attività formative innovative orientate ad una didattica laboratoriale. Sull’altro versante, si collocano le scuole che presentano problematiche di coinvolgimento dei docenti nelle attività del PON e di comunicazione tra le varie componenti scolastiche che sono associate a modalità didattiche poco innovative. In questo senso, le attività Pon appaiono di esclusiva competenza di un ristretto numero di persone e poco condivise dal resto della scuola, sia nel momento della progettazione che nella fase di gestione. Ciò appare correlato con modalità didattiche poco innovative. Asse 3: Difficoltà di autoanalisi e progettazione / eccellenza L’asse 3 presenta sul semiasse positivo una serie di punti di debolezza riconducibili alla difficoltà di autoanalisi, progettazione e valutazione delle ricadute sugli apprendimenti. Risulta infatti carente la coerenza tra la progettazione PON e l’autodiagnosi effettuata dalle scuole. Inoltre le competenze da acquisire non sono declinate in maniera adeguata e non sono valutate le ricadute sugli apprendimenti curricolari degli studenti. Il semiasse negativo è invece associato con l’assenza di punti di debolezza riscontrati dagli auditor; in altre parole in questo semiasse si collocano le scuole per le quali non sono stati osservati punti di debolezza e che hanno ottenuto un punteggio complessivo di eccellenza (la variabile illustrativa livello di qualità complessiva si colloca nello stesso semiasse). Quindi le scuole eccellenti sono quelle che non presentano difficoltà di autoanalisi, progettazione e valutazione delle ricadute sugli apprendimenti curricolari. Asse 4: Capacità di autoanalisi e progettazione / inadeguatezza L’asse 4 si caratterizza per la presenza di punti di forza relativi alla capacità di autoanalisi (coerenza della progettazione con l’autodiagnosi) e per la qualità della progettazione. A queste caratteristiche si contrappone, sul versante negativo del semiasse, il giudizio di inadeguatezza sul livello di qualità complessiva. La capacità di autoanalisi e progettazione non è però associata con la soddisfazione dei corsisti: la soddisfazione infatti emerge come fattore di debolezza sul versante positivo del semiasse. Asse 5: Difficoltà gestionali / buona qualità L’asse 5 evidenzia sul semiasse negativo la presenza di punti di debolezza legati a vari aspetti e fasi della gestione PON: la scarsa integrazione con le attività della scuola, la scarsa qualità delle azioni di valutazione e monitoraggio e, in generale, dell’attività del GOP, che non agisce come fattore di promozione di una buona qualità della gestione e dell’integrazione. Le difficoltà di gestione non incidono però sulla soddisfazione dei corsisti che risulta elevata. Sul semiasse positivo si colloca invece il giudizio “buono” della variabile illustrativa “Livello di qualità complessiva”. Pertanto, tale giudizio è associato a scuole che non presentano queste difficoltà di gestione. 77
Il numero di fattori emersi ha reso complessa la lettura dei grafici per l’individuazioni di profili di scuole rispetto ai fattori, pertanto l’esplorazione di questi profili è stata effettuata utilizzando un procedimento automatico per la creazione di gruppi di scuole omogenee36. I valori medi dei fattori e la distribuzione nei gruppi delle scuole rispetto ad alcune variabili significative hanno permesso di individuare e descrivere i profili dei gruppi emersi con l’analisi. Nella Tabella 12‐3 e nel Grafico 12‐1 sono riportati i valori medi dei cluster rispetto agli assi definiti nell’analisi delle corrispondenze. Tabella 12‐3 ‐ Gruppi estratti con la cluster analysis Numero di cluster 1 2 3 4 5 Media Media Media Media Media ACM asse1 ,38454 ‐,36538 ‐,06754 ,36933 ‐,04344 ACM asse2 ‐,01907 ‐,02975 ,62691 ‐,09841 ‐,09487 ACM asse3 ‐,12872 ‐,13453 ,50249 ,09135 ,00188 ACM asse4 ‐,16621 ,17167 ‐,08009 ,61469 ‐,11913 ACM asse5 ‐,17556 ‐,20197 ,07487 ,21510 ,12999 Grafico 12‐1 ‐ Distribuzione dei gruppi sugli assi estratti con l’ACM ,80
,60
,40
,20
,00
-,20
-,40
-,60
Gruppo 1
acm_asse 1
Gruppo 2
Gruppo 3
Gruppo 4
acm_asse 2
acm_asse 3
acm_asse 4
Gruppo 5
acm_asse 5
36
Per la creazione dei gruppi è stata eseguita una cluster analysis gerarchica utilizzando PASW‐SPSS 19.
78
Una descrizione più accurata dei gruppi è stata effettuato valutando la distribuzione delle scuole nei gruppi rispetto alle variabili supplementari illustrative considerate nell’’analisi. (Tabella 12‐4). Tabella 12‐4 ‐ Caratteristiche dei gruppi Numero di cluster 1 2 3 4 5 Inadeguato 100,00 0,00 0,00 0,00 0,00 Accettabile 23,91 21,74 13,04 6,52 34,78 Livello di qualità complessiva Buono 16,98 15,09 7,55 11,32 49,06 Eccellente 0,00 66,67 0,00 0,00 33,33 Campania 21,21 15,15 9,09 9,09 45,45 Puglia 10,71 25,00 3,57 10,71 50,00 Regione Calabria 20,00 32,00 20,00 4,00 24,00 Sicilia 26,09 17,39 4,35 8,70 43,48 Liceo 18,87 15,09 7,55 11,32 47,17 Ist. Professionale 15,00 30,00 5,00 5,00 45,00 Tipologia di scuola Ist. tecnico 22,22 27,78 13,89 5,56 30,56 Pochi < 10 23,33 33,33 6,67 6,67 30,00 Medi 10‐20 Numero di progetti 19,72 18,31 8,45 8,45 45,07 Tanti 20 0,00 12,50 25,00 12,50 50,00 Un primo gruppo di scuole in media si colloca su valori elevati del primo asse, con particolare riferimento al semiasse positivo, ovvero sulla dimensione pianificazione‐monitoraggio. Come abbiamo visto, questa dimensione si contrappone a quella del volontarismo‐impegno personale e si caratterizza per la presenza di punti di forza riconducibili alla presenza di procedure di monitoraggio e valutazione e di punti di debolezza relativi alla capacità di pianificazione e organizzazione delle attività. Questo gruppo rappresenta il 19,27% del totale. Si tratta prevalentemente di istituti tecnici, collocati per lo più in Sicilia con un basso numero di progetti e che hanno ottenuto un giudizio di qualità complessiva tendenzialmente basso (appartiene a questo gruppo l’unica scuola che riceve un giudizio complessivo di inadeguatezza). Anche il secondo gruppo si colloca prevalentemente sul primo asse ma sul semiasse negativo. In questo caso la dimensione coinvolta è quella del volontarismo, ovvero si tratta di scuole caratterizzate da elevati livelli di impegno personale e di competenza professionale dei singoli docenti e del DS che contribuiscono a garantire un servizio di qualità. Risultano in media piuttosto elevati anche i valori relativi al semiasse negativo del quinto asse che corrisponde alla presenza di difficoltà di gestione delle attività PON ‐ con particolare riferimento all’integrazione con le attività della scuola, alle azioni di monitoraggio e all’attività delle figure di piano ‐ ma anche di elevati livelli di soddisfazione degli studenti. Nel secondo gruppo, che copre il 22,02% delle scuole selezionate, si collocano le scuole, prevalentemente istituti professionali e tecnici della regione Calabria con un basso numero di progetti che ricevono un giudizio di eccellenza. Il terzo gruppo, in media, presenta valori elevati sui semiassi positivi degli assi 2 e 3. Il versante positivo del secondo asse si caratterizza per la presenza di punti di debolezza relativi alla qualità della didattica riconducibili alla scarsa qualità della progettazione e alla difficoltà di individuare le competenze adeguate per la selezione di esperti in grado di promuovere strategie didattiche innovative. Il semiasse positivo dell’asse 3 è ugualmente caratterizzato da punti di debolezza che riguardano la qualità della progettazione e della gestione dei corsi. Infatti, per quanto riguarda la 79
progettazione si evidenziano punti di debolezza legati alla scarsa coerenza tra progettazione e autodiagnosi e alla mancata declinazione delle competenze da raggiungere, mentre sul versante della gestione non viene valutata la ricaduta della frequenza dei corsi sui risultati curricolari degli studenti. In definitiva, queste scuole, che ricevono prevalentemente giudizi di mera accettabilità, presentano elementi di debolezza su aspetti rilevanti legati alla progettazione, alle strategie didattiche e alla valutazione degli studenti. Il terzo gruppo è costituito da un numero esiguo di istituti scolastici (rappresentano il 9,17% del totale), prevalentemente istituti tecnici della Calabria con un elevato numero di progetti. Il quarto gruppo, si caratterizza per valori elevati prevalentemente sul semiasse positivo dell’asse 4. Si tratta di un’asse caratterizzato dalla presenza di punti di forza che evidenziano capacità di autodiagnosi e progettazione. Risultano associati anche il semiasse positivo dell’asse 1 definito dalla dimensione della pianificazione e valutazione e il semiasse positivo dell’asse 5 caratterizzato dall’assenza di elementi di debolezza riconducibili all’ambito della gestione delle azioni PON. Queste scuole presentano dunque una serie di punti di forza legati alla capacità di autodiagnosi e progettazione e alle azioni di monitoraggio e valutazione; inoltre non presentano elementi di debolezza relativi alla gestione delle attività mentre mostrano criticità relativamente alla pianificazione delle attività che tuttavia dipendono in parte da elementi esterni non controllabili direttamente dalle scuole. Il quarto gruppo è composto prevalentemente da licei, collocati nella regione Puglia, con un elevato numero di progetti. Queste scuole si posizionano sul livello “buono” e rappresentano l’8,26% del totale delle scuole selezionate. Infine, un quinto gruppo, piuttosto consistente, poiché rappresenta il 41,3% delle scuole selezionate, si caratterizza per la presenza di valori medi non particolarmente elevati relativi al quinto asse (semiasse positivo), al secondo e quarto asse (semiassi negativi). Si tratta di scuole che non presentano un profilo definito di punti di forza ma che si caratterizzano principalmente per l’assenza di criticità riconducibili ad ambiti specifici quali la gestione delle attività e la progettazione dei PON e che mostrano alcuni elementi di criticità relativi alle strategie didattiche, alla comunicazione interna alla scuola e alla capacità di coinvolgimento dei docenti e del personale della scuola nelle attività PON. Questo gruppo è costituito principalmente da licei che ricevono una valutazione positiva (si posizionano sul livello buono), collocati prevalentemente in Campania e Puglia e con un numero medio e alto di progetti. La cluster analysis ha evidenziato che le osservazioni degli auditor in merito ai punti di forza e di debolezza delle scuole visitate consente di discriminare alcune dimensioni che caratterizzano principalmente le situazioni giudicate meno positivamente e quelle che ottengono giudizi di eccellenza, mentre non permettono di individuare con chiarezza quelle relative alle situazioni che ottengono un buon punteggio di qualità complessiva e che costituiscono la gran parte delle scuole selezionate. In altri termini, gli auditor sembrano abbastanza concordi sugli elementi che non costituiscono una buona qualità progettuale, gestionale ed organizzativa mentre non risulta ancora chiaro che cosa rappresenta un buon livello di qualità. A riprova di ciò si può fare riferimento anche ai giudizi di eccellenza espressi che si basano prevalentemente su elementi di volontarismo e impegno personale dei docenti e del personale della scuola e di soddisfazione degli studenti, mentre non risultano chiaramente tematizzati aspetti legati alla progettazione, alle strategie didattiche e alla gestione delle attività. 80
12.4
Criteri di qualità e percezione dei punti di forza e di debolezza: quale relazione? Le due analisi (quella che considera gli aspetti qualitativi dei punti di forza e di debolezza e quella che parte dall’analisi dei giudizi quantitativi espressi sui Criteri di qualità), hanno portato all’individuazione di due gruppi di profili di scuole distinti; ciascun profilo è stato descritto a partire dalle caratteristiche emerse dalle analisi. Questi due insiemi sono stati posti a confronto per verificare se i profili individuati dalle due differenti procedure descrivono aspetti simili o diversi delle stesse scuole. È stata inizialmente verificata la correlazione tra i componenti e gli assi individuati dalle due analisi per verificare la presenza di aspetti affini (Tabella 12‐5). Tabella 12‐5 ‐ Correlazioni tra componenti dell’ACP e assi dell’ACM ACM ACM ACM asse1 asse2
asse3 ACM asse4 ACM asse5 ACP prima componente “gestione‐integrazione” ‐,182 ‐0,22*
‐0,25* 0,20* ,174 ACP seconda componente “progettazione‐
documentazione” ‐,146 ‐,155 ‐,130 ,180 ,047 Le correlazioni tra componenti e assi risultano in generale molto moderate, tuttavia sono significative37 le correlazioni tra la prima componente “gestione‐integrazione” e il secondo, terzo e quarto asse. Per gli assi 2 e 3 si tratta di una correlazione negativa mentre è positiva quella con il quarto asse. La correlazione negativa tra la prima componente e il secondo asse evidenzia un rapporto inverso tra buona qualità della gestione e integrazione delle attività PON e problematiche legate ad una didattica poco innovativa nei corsi. Le scuole che hanno livelli elevati di qualità rispetto alla “gestione‐integrazione” non presentano i punti di debolezza sintetizzati da questo asse: cattiva qualità della progettazione, genericità dei bandi per la selezione degli esperti, problemi di comunicazione e di coinvolgimento dei docenti della scuola. Anche la correlazione con il terzo asse “difficoltà di autoanalisi e progettazione / eccellenza” è negativa e indica che le scuole che presentano una buona qualità della gestione e integrazione delle attività PON non si caratterizzano per una difficoltà sui versanti dell’autoanalisi e della progettazione; d’altra parte le scuole che presentano una minore difficoltà nella gestione‐
integrazione sono quelle che si caratterizzano per l’assenza di punti di debolezza. La correlazione con il quarto asse “capacità di autoanalisi e progettazione / inadeguatezza” è invece positiva e segnala che una buona qualità sulla componente “gestione‐integrazione” è associata con la capacità di autodiagnosi e progettazione; d’altro canto la difficoltà di gestione e integrazione è correlata positivamente con una valutazione di inadeguatezza. 37
Con p < 0,05.
81
Non essendo emerse forti correlazioni significative, è possibile dedurre che le due analisi hanno messo in evidenza strutture latenti che fanno emergere aspetti differenti. Successivamente sono state poste a confronto le distribuzioni delle scuole nei due gruppi ottenuti attraverso le procedure di classificazione automatica sulla base delle strutture latenti emerse. Il confronto è mirato a valutare se vi siano insiemi significativi di scuole comuni a profili diversi. Nella Tabella 12‐6 sono poste a confronto le due distribuzioni di scuole. Non si evidenziano concentrazioni rilevanti di scuole tra uno o più gruppi38, le scuole risultano variamente distribuite tra i profili. Il gruppo 1, emerso a seguito dell’analisi in componenti principali dei criteri di qualità (il più numeroso), sembra contenere il numero più rilevante di scuole di alcuni dei gruppi definiti con l’Analisi delle corrispondenze multiple (45% del gruppo 1, 50% del gruppo 3 e circa 33% del gruppo 5). Questo gruppo è caratterizzato per la presenza di valori negativi su entrambe le componenti individuate “gestione‐integrazione” e “progettazione‐documentazione” ed è associato a gruppi di scuole che presentano criticità su aspetti diversi: capacità di pianificazione e organizzazione delle attività (gruppo 1), difficoltà di progettazione e gestione delle attività e scarsa qualità della didattica (gruppo 3) e difficoltà di coinvolgimento dei docenti e del personale della scuola nelle attività PON (gruppo 5). Tabella 12‐6 – Distribuzione delle scuole nei gruppi Gruppi - ACM
Totale
1
2
3
4
5
1
Gruppi - ACP
2
3
4
9
7
5
1
14
5
5
4
4
9
4
3
1
2
9
2
9
0
2
11
36
27
19
24
Totale
20
24
10
9
43
106
Dalla lettura della distribuzione delle scuole non risultano altri insiemi significativi di scuole comuni a profili emersi nelle due tipologie di gruppi, pertanto le due strutture latenti portano all’esplorazione di aspetti complementari, confermando così anche quanto emerso dalle correlazioni tra i fattori. Questi risultati, da un lato confermano la coerenza interna dei dati: anche se in forma moderata esiste infatti una relazione tra le componenti estratte a partire dai giudizi espressi con le rubriche di valutazione (quindi con uno strumento strutturato) e gli assi individuati dalle percezioni degli auditor sui punti di forza e di debolezza (quindi con uno strumento non strutturato). D’altro canto, però, la correlazione è significativa solo per la prima componente e non per tutti gli assi. Ciò induce a pensare che la valutazione effettuata nella prima parte dell’audit (prima della visita a scuola) e la discrepanza rilevata per alcuni criteri nei livelli di qualità prima e dopo la visita a scuola abbiano contribuito solo in minima parte a determinare i giudizi sui punti di forza e di debolezza. 38
Nella tabella di contingenza la presenza di celle vuote e di celle con un numero molto basso di scuole non consente l’approfondimento della relazione con test specifici, quali il Chi quadro, per valutare la connessione tra le due distribuzioni.
82
In generale, quindi, dal punto di vista della qualità degli strumenti, i risultati ottenuti permettono di affermare che le dimensioni rilevate con le due modalità di raccolta dei dati – una strutturata rappresentata dalle rubriche di valutazione e una non strutturata rappresentata dalla possibilità di indicare in forma discorsiva osservazioni sui punti di forza e di debolezza ‐ pur correlate sono tra loro ortogonali, ovvero forniscono informazioni su aspetti diversi del concetto di qualità. Infatti, per esempio, l’analisi delle corrispondenze multiple ha fatto emergere che per gli auditor l’impegno personale dei docenti e del DS sono elementi rilevanti per definire il livello di qualità raggiunto dalle scuole. Questo aspetto non era stato preso in considerazione nelle rubriche di valutazione.
83
13. Buone pratiche Nell’ultima sezione della Scheda di valutazione 2° parte gli auditor potevano illustrare una buona pratica osservata durante la visita a scuola. Le segnalazioni di buone pratiche sono state 57 e hanno riguardato, quindi, poco più della metà delle scuole visitate (52,3%). Nella maggior parte dei casi le buone pratiche riguardano il Piano integrato nel suo complesso (41,1%) e un singolo modulo o progetto (37,5%). In circa un quinto dei casi invece si riferiscono ad un obiettivo. Grafico 13‐1 ‐ Tipo di buona pratica 37,50%
41,07%
21,43%
Piano integrato
Obiettivo
Singolo modulo
Agli auditor era richiesto di indicare se le buone pratiche osservate erano relative ad un progetto o ad un prodotto. In oltre il 70% dei casi, le buone pratiche descritte hanno riguardato un progetto. I protocolli di ricerca prevedevano criteri precisi per l’individuazione e la descrizione delle buone pratiche. Tali criteri sono riportati nel box n. 1. Le descrizioni delle buone pratiche sono state analizzate con l’ausilio del software QDA Miner; è stata effettuata una categorizzazione in base al contenuto delle descrizioni che sono risultate coerenti con i criteri di selezione e descrizione forniti agli auditor. Tra tutte le descrizioni analizzate, 7 risultano non pertinenti poiché riferiscono in termini generali i risultati ottenuti; 10 risultano invece non sufficientemente descritte e non consentono quindi di identificare il carattere di innovatività ed esemplarità della pratica proposta. Le restanti 40 sono state codificate sulla base del contenuto prevalente. In alcuni casi, poiché in un’unica descrizione erano presenti buone pratiche riconducibili a più ambiti, sono stati attribuiti più di un codice. 84
Box n. 1 Buone pratiche relative a un progetto Criteri per individuare le buone pratiche relative ad un progetto:  il progetto ha permesso di superare i fattori di criticità evidenziati nell’Autodiagnosi  è stata effettuata una valutazione dei risultati  sono state sviluppate e/o migliorate le competenze previste in fase di progettazione  il corso è stato efficace dal punto di vista della frequenza  il progetto può essere riprodotto in altri contesti Descrizione della buona pratica Descrivere nel dettaglio l’intervento formativo: obiettivi, attività attraverso le quali si sono ridotte le criticità, strumenti di valutazione e attività di valutazione, risultati ottenuti, elementi di riproducibilità in altri contesti. Buone pratiche relative a un prodotto Criteri per individuare una buona pratica relativa ad un prodotto Si possono descrivere buone pratiche relative ai seguenti prodotti: documenti di progettazione, accordi con enti esterni, prodotti finali, documentazioni del percorso didattico, verifica degli apprendimenti, strumenti di monitoraggio e valutazione, attività di pubblicizzazione. Questi prodotti devono avere un carattere di innovatività e devono contribuire efficacemente al raggiungimento degli obiettivi proposti. Descrizione della buona pratica Descrivere nel dettaglio gli obiettivi formativi del progetto al quale il prodotto è legato, come mai il prodotto è importante per raggiungere gli obiettivi proposti ed infine gli elementi di innovatività del prodotto stesso. Le buone pratiche descritte riguardano prevalentemente l’ambito della didattica, delle competenze e della valutazione. Seguono gli ambiti della documentazione/pubblicizzazione delle attività realizzate con i PON e della programmazione e progettazione. 85
Tabella 13‐1 ‐ Categorizzazione buone pratiche: ambiti e codici assegnati Ambito Codici assegnati v.a. Competenze Didattica Valutazione Documentazione e pubblicizzazione Programmazione cinema/teatro (comp. espressive, relazionali) 3 certificazione finale 1 potenziamento 3 Stage 2 simulazioni attività professionale 1 Totale 10 uso tecnologie nella didattica 3 metodologia didattica 6 cooperative learning 1 formazione decenti 2 Totale 12 autovalutazione 1 valutazione studenti 3 valutazione piano integrato 5 Totale documentazione pubblicizzazione 9 4 1 Totale 5 curricolo per competenze 1 Progettazione 2 raccordo PON‐curricolare 1 Totale 4 Di seguito verranno presentate alcune descrizioni di buone pratiche afferenti i vari ambiti tematici. Nell’ambito della didattica, le buone pratiche osservate evidenziano la capacità degli esperti e delle altre figure coinvolte nella gestione dei PON di predisporre progetti articolati, centrati sui compiti e le competenze, di utilizzare efficacemente alcuni mediatori didattici, di promuovere il coinvolgimento degli alunni e di prevedere interventi di valutazione delle ricadute degli interventi realizzati. Elemento comune delle pratiche descritte è anche il potenziamento delle competenze trasversali a partire da interventi centrati sull’innalzamento dei livelli di apprendimento disciplinari. “La didattica laboratoriale utilizzata in alcune lezioni è stata basata sul ricorso alla musica come linguaggio trasversale capace di coinvolgere gli alunni sul piano emozionale, facilitando la comunicazione scritta ed orale di determinati contenuti. In particolare sono stati utilizzati due brani appartenenti al repertorio classico: il primo tempo della Sonata intitolata Alla turca di W. A. Mozart e Clair de lune di C. Debussy. La scelta è caduta su questi due brani, perché ritenuti dalla docente di italiano particolarmente significativi, non solo sul piano stilistico, ma anche sul piano della diversa “tonalità affettiva” in essi contenuta. I passaggi didattici che hanno caratterizzato le lezioni sono stati i seguenti: a)invito all’ascolto, prestando attenzione alle “immagini mentali” che la musica evocava; b)_invito alla comunicazione orale o scritta delle immagini di cui sopra ed elaborazione di un breve saggio di carattere descrittivo; c) lettura di gruppo dei singoli elaborati scritti e dibattito sui contenuti descritti; d)_correzione degli elementi grammaticali, ortografici e formali del discorso scritto ed orale; e)confronto dialettico sulle differenti descrizioni elaborate; f) inquadramento storico e stilistico dei brani ascoltati. Alla luce di quanto appena esposto, risulta evidente 86
la scelta dell’esperto esterno di non fornire agli alunni, almeno inizialmente, alcun dato storico e stilistico, relativo alle opere, che potesse influenzare la libera creazione di immagini evocate dall’ascolto. Molta importanza, inoltre, è stata data alla messa in evidenza delle differenze dei contenuti elaborati di fronte agli stessi “dati sonori”, nel tentativo di valorizzare le peculiarità di ciascun individuo e sottolineare il carattere soggettivo delle singole risposte alle sollecitazioni esterne. Un aspetto di non secondaria importanza è stato, infine, il collegamento che, grazie alla musica classica da un lato e al confronto dialettico sulle idee ed i contenuti espressi dagli alunni dall’altro, è stato possibile fare con diverse materie, come la storia dell’arte e la filosofia. E' da non trascurare il fatto che sono stati attori alunni del biennio di classi di indirizzo diverso e la musica è stata la congiunzione efficace per rinforzare la lingua nazionale collegandola a tutte le altre discipline. La realizzazione del modulo ha previsto operazioni didattiche articolate e consapevolmente costruite sul principio della centralità dell'allievo e dei suoi processi di apprendimento. L'attività di laboratorio, ma non solo, ha consentito di considerarla un piccolo esempio di "didattica del compito", che ha presupposto un'attenta e puntuale analisi disciplinare della prestazione richiesta. L'attività didattica svolta, è un chiaro esempio di come poter sviluppare, attraverso lezioni rigorosamente disciplinari, anche abilità trasversali.” “Il modulo formativo, PON‐FSE OBIETTIVO C AZIONE 1 "Vivre en France", della durata di 100 ore più uno stage all'estero di 15 giorni, è stato finalizzato a sostenere la crescita degli alunni prevedendo come ricaduta il miglioramento sia delle competenze e dei livelli di apprendimento che di cittadinanza europea. Gli studenti partendo dai propri interessi hanno elaborato un itinerario di viaggio da Parigi al sud della Francia e viceversa. Un viaggio nel passato, presente e futuro che ha permesso, partendo dal proprio territorio "il Salento" di scoprire la Provenza: due terre del Sud, due terre di passaggio, di conquiste, di "melting pot" di popoli che vantano un considerevole patrimonio artistico‐culturale e che grazie alla propria vocazione turistica hanno saputo aprire le porte alla modernità. .A tale percorso formativo hanno partecipato n.15 alunni che erano già in possesso della certificazione di lingua francese Delf B2. Gli obiettivi miravano a: potenziare la lingua francese e le competenze linguistiche trasversali; sviluppare le capacità di analisi, sintesi, progettazione, elaborazione informativa; sviluppare il senso di appartenenza alla Comunità Europea e all'Unesco. Per garantire il perseguimento dei succitati obiettivi lo sviluppo del modulo è stato incentrato su attività pratiche tendenti all'applicazione di metodologie innovative nella didattica e si è sviluppato in cinque fasi: orientamento, sviluppo e consolidamento di una metodologia sistemica di ricercazione, di elaborazione e realizzazione del progetto personale e cooperativo, di reporting (stage in Francia), di follow up. Le buone pratiche trasferibili sono state:1) fase di sviluppo e consolidamento di una metodologia sistemica di ricercazione, fase di elaborazione e realizzazione del progetto personale e cooperativo, il monitoraggio: tali fasi hanno costituito un ponte verso l'Università al fine di preparare gli studenti (prioritariamente delle quinte classi) ad affrontare il passaggio verso un diverso ordine di studio e un diverso approccio alle discipline. 2)Fase di follow up che ha previsto la condivisione del project work realizzato e dell'esperienza vissuta sia nelle classi di appartenenza che in seno al Collegio Docenti. Tale follow up è stato condiviso anche all'esterno dell'Istituzione scolastica grazie alla presentazione delle metodologie utilizzate e degli esiti conseguiti in seguito a manifestazioni locali (Ente Comune, Ente Fiera) e regionali (conferenze di servizio organizzate dall'USR per la Puglia). PON‐FSE Obiettivo B AZIONE 1 "Insegnare con il Project work" è stata un’altra buona pratica collegata al modulo su descritto. La pratica del project work ha trovato applicazione in classe ed è stata utilizzata come metodologia sia in ambito dipartimentale che disciplinare. Al termine dell’anno scolastico è stata realizzata un'indagine rivolta agli studenti e un'indagine sugli esiti degli scrutini sull'effettiva applicazione in classe della metodologia del project work. Tale indagine si è strutturata come segue: a) somministrazione di un questionario per la "misurazione" dell'utilizzo in classe della didattica del project work; b) tabulazione degli esiti delle verifiche scritte, concordate con il tutor e l'esperto del modulo formativo, somministrate agli alunni per effettuare un confronto tra gli esiti ottenuti dagli alunni formati e quelli degli alunni non formati; c) monitoraggio della percezione delle competenze acquisite da ciascun alunno sia da parte dell'alunno medesimo che da parte del docente tutor (i risultati sono perfettamente in linea sulle competenze trasversali leggermente al di sotto la percezione da parte del corsista delle proprie competenze linguistiche‐tecniche).” Nell’ambito competenze, le buone pratiche descritte hanno riguardato la realizzazione di stage, simulazioni di attività professionale, progetti di promozione della certificazione esterna delle competenze, azioni di potenziamento e di promozione delle competenze espressive e relazionali. “In riferimento all’ampliamento delle competenze, non solo professionali, ma anche linguistiche, in particolare verso la lingua inglese, si segnala come il conseguimento delle certificazioni Trinity, (Competenze livello A2 e B1), secondo gli standard del Quadro Comune Europeo di Riferimento, abbiano avuto una ricaduta "professionale" nel senso che gli studenti hanno partecipato al PON C 5 “ Innovazione Alberghiera e Nuove Professionalità” (15 Corsisti), tenutosi a Londra. I partecipanti selezionati hanno dimostrato non solo di possedere competenze professionali di Cucina, Sala e Ricevimento, ma anche quelle peculiari relative all’uso della lingua inglese; un esito finale è stata una proposta di 87
lavoro offerta alla totalità degli stagisti presso le strutture dove essi hanno ampliato le loro competenze, da intraprendersi al termine del loro percorso didattico o dell’anno scolastico in corso.” “Relativamente all'obiettivo C5 ‐ Stage in italia ‐ la scuola ha da tempo innescato un meccanismo di aspettativa da parte degli alunni nei confronti dello svolgimento dello stage estivo. Infatti durante l'anno i docenti di discipline economiche e giuridiche programmano attività didattiche collegate alla futura entrata nel mercato del lavoro. Continui i collegamenti con aziende disponibili sul territorio nel settore turistico. Lo stage è preceduto da una fase di orientamento in Istituto tenuto da esperti del settore e successivamente gli alunni selezionati tra quelli che hanno frequentato la prima fase partecipano allo stage in grandi strutture ricettive del nord Italia.” “Realizzazione di un cortometraggio (allievi del corso serale adulti "Essere operativi" avente l'obiettivo di facilitare il rientro nel sistema di istruzione di persone adulte (lifelong learning) e di relazionarsi positivamente con gli altri attraverso i linguaggi verbali e non verbali (dizione, linguaggio del corpo, studio del personaggio e dei brani, memorizzazione, ecc.).” Per quanto riguarda la valutazione, le buone pratiche rilevate evidenziano la ricerca di strumenti efficaci di raccolta dei dati, la capacità dei sistemi di valutazione adottati di fornire un flusso informativo regolare agli Organi collegiali per orientare la valutazione delle ricadute degli interventi sugli apprendimenti e la programmazione delle attività curricolari ed extracurricolari, ed infine lo sforzo di integrare la valutazione del Piano integrato nei sistemi di valutazione e autovalutazione del servizio scolastico complessivamente offerto. “Si è rilevata una buona pratica relativa all’utilizzo del focus group ai fini del monitoraggio. L’esperienza nasce da alcune perplessità della Referente per la valutazione in merito alla validità reale degli esiti dei questionari di gradimento quale unico strumento di rilevazione per l’individuazione di criticità e punti di forza. La docente così racconta l’esperienza: ‘...ho introdotto, per la rilevazione del gradimento... il focus group. È stata un’esperienza positiva perché...ho acquisito una notevole quantità di informazioni utilissime...In più, sono emerse delle criticità o dei punti di forza non presi in considerazione nelle domande che avevamo posto nei questionari di gradimento...’." “La scuola, avendo adottato il Sistema Qualità per la quale l'Istituto è certificato secondo le norme ISO 2001 IMQ dal 30.11.2004, ha integrato la valutazione del Piano Integrato PON all'interno del sistema qualità. Tutto ciò comporta che nella valutazione, attraverso la somministrazione di test di gradimento e di autovalutazione, test d'ingresso universali e test in uscita a campione, siano coinvolte le diverse componenti scolastiche: allievi, genitori, personale, permettendo una valutazione dell'attività scolastica complessiva e trasversale.” “Dall'a.s. 2004/05 è stato realizzato dalla scuola uno strumento autonomo e strutturato, chiamato ‘Modello A2’, per l'autoanaalisi ed autovalutazione del servizio erogato, in termini di efficacia dell'organizzazione, dei risultati ottenuti e della qualità delle prestazioni. I punti di forza e di debolezza, individuati annualmente dall'analisi dei dati, orientano il Collegio dei Docenti a rielaborare appropriatamente il POF. La finalità è realizzare una progettazione unitaria, migliorando e perfezionando continuamente l'integrazione tra i diversi ambiti che costituiscono il POF, e avere un valido fondamento per le azioni da inserire nel Piano Integrato del PON.” Per quanto riguarda la programmazione e progettazione delle attività, le buone pratiche evidenziano come le iniziative realizzate con i PON possano essere una risorsa per la sperimentazione di nuove forme di programmazione scolastica (es. attraverso la formazione dei docenti per la messa a punto di un curricolo centrato sulle competenze) e allo stesso tempo come le azioni PON siano positivamente inserite nel sistema più ampio di programmazione adottato dalle singole scuole, contribuendo così all’integrazione tra attività PON e attività curricolari. “Il dipartimento della programmazione progetta le attività e decide sui percorsi disciplinari; i dipartimenti disciplinari, sulla scorta della progettazione generale, determinano gli obiettivi e le attività curricolari; i consigli di classe concretizzano i contenuti e decidono le strategie didattiche. Si ritorna al dipartimento iniziale nei tempi stabiliti per valutare i risultati e disporre eventuali modifiche. Questa procedura ha permesso e permette di superare i fattori di criticità e di migliorare sistematicamente i prodotti previsti in fase di progettazione.” 88
“Si ritiene opportuno segnalare il carattere innovativo del progetto B‐1‐FSE‐2009‐173 che si proponeva di realizzare un curricolo per competenze nel biennio della scuola. Il fatto, per sé non inusuale, acquista valenza alla luce del fatto che il progetto è stato seguito dagli interi consigli di classe di due sezioni del biennio che hanno così potuto sperimentare in itinere una programmazione educativa e didattica centrata sui processi di apprendimento e misurata sui livelli di ingresso e sui diversi ritmi e stili cognitivi degli studenti, con l’aggiunta della variabile dell’omogeneizzazione metodologica del linguaggio dei docenti. È stato, così, possibile realizzare due distinti e complementari percorsi (“io e l’ambiente”, “Ia conoscenza di sé”) finalizzati al recupero intensivo dell’acquisizione di metodologie di autoapprendimento e orientamento attraverso attività di laboratorio ed esperienza pratica. Nel corso del progetto, l’intensa vicendevole frequentazione, ha consentito ai docenti di strutturare percorsi didattici unitari ancorché differenti disciplinarmente, anche mediante un costante monitoraggio dei risultati per motivare e sostenere gli alunni nel percorso verso le competenze, superando la parcellizzazione dei saperi e costruendo sistema all’interno della classe. Si tratta, è vero, di un percorso che dovrebbe essere ordinario e la cui regia dovrebbe essere costantemente realizzata dalle riunioni dei Consigli di Classe; ma il fatto che si tratti di una possibilità non sempre ne determina l'attualità. In ogni caso, va sottolineato come tutto il percorso sia stato seguito nella strategia delle competenze e non in quella (ordinaria) delle conoscenze.” Infine, con riferimento alla documentazione, si segnalano alcune buone pratiche relative alla presentazione dei prodotti finali delle attività realizzate con i PON che permettono di disseminare i risultati ottenuti. “L'Istituto ha portato avanti attraverso le attività afferenti l'area linguistica PON, una serie di iniziative ben documentate attraverso materiali specifici visionabili in un'apposita aula laboratorio, legate all'obiettivo dell'educazione alla legalità. Sono documentati in modo accurato alcuni importanti processi storici che hanno attraversato il nostro paese dalla seconda guerra mondiale a oggi. E' stata prodotta in proposito anche un’ottima documentazione audiovisuale.” “Si segnala il lavoro di team per favorire l'integrazione degli allievi in difficoltà e garantire il successo disciplinare. La continua collaborazione tra allievi, esperto, tutor e facilitatore ha permesso la pubblicazione di un giornalino di istituto che documenta l'attività di ricerca svolta dal "gruppo" e le nuove competenze disciplinari acquisite. “Power point illustrante la realtà dell'arsenale come centro aggregante della città e del contado dopo l'Unità d'Italia. Il lavoro é importante perché ha utilizzato strumenti e metodologie innovative per trattare un aspetto fondamentale per la crescita e lo sviluppo della città di Taranto.” 89
14. Conclusioni Considerazioni sui risultati Come risultato complessivo, basato sui giudizi ottenuti dalle scuole nelle rubriche di valutazione, emerge che solo un istituto scolastico ottiene un giudizio complessivo di inadeguatezza e meno del 10% ottiene una valutazione di eccellenza. Il 90% delle scuole si colloca sui livelli intermedi (accettabile: 42,2% e buono: 48,6%). L’analisi della struttura latente sottostanti i criteri di qualità ha permesso di individuare due dimensioni: progettazione‐documentazione e gestione‐integrazione. Da tale analisi emerge una qualità complessiva maggiore nella gestione delle attività e nell’integrazione delle azioni PON nelle attività della scuola piuttosto che nella progettazione e documentazione. I giudizi medi espressi dagli auditor sono meno positivi per i criteri di qualità che si riferiscono alla prima componente. Per quanto riguarda la progettazione si osserva in particolare la difficoltà di declinare correttamente le competenze che i corsisti (studenti) dovrebbero ottenere al termine degli interventi (in uscita rispetto al percorso finanziato con i Fondi PON), e conseguentemente la difficoltà di articolare progetti che individuino obiettivi operativi che siano effettivamente valutabili. La criticità rilevata su questo aspetto segnala come sia ancora necessario insistere per promuovere un approccio più innovativo alla progettazione didattica, meno centrato sull’azione dell’insegnante e più orientato agli obiettivi di apprendimento degli studenti. Una corretta declinazione delle competenze permetterebbe non solo di definire obiettivi più chiari per i singoli progetti PON ma di rendere valutabili le azioni realizzate e la loro ricaduta sull’attività curricolare e sulla vita della scuola. Per quanto riguarda la documentazione è evidente la percezione di tale attività come mero
adempimento burocratico. Questo risultato è in parte legato anche all’utilizzo della Piattaforma
Gestione interventi dell’Ansas – dove le scuole hanno l’obbligo di inserire tutti i dati dei progetti che viene percepito da molte scuole come particolarmente oneroso e complesso a causa delle
difficoltà di accesso e di navigazione (evidenziate anche dagli auditor tra i punti di debolezza). La scarsa qualità della documentazione è individuata anche dagli auditor quale elemento di criticità che interessa quasi il 12% dei casi. Gli auditor fanno riferimento a documentazioni poco chiare e non approfondite (es. verbali del GOP, dei consigli di classe); alla difficoltà di accesso alla documentazione prodotta (problemi di organizzazione e archiviazione del materiale) o alla sua completa assenza. In particolare, si segnala, in diversi casi, la carenza del materiale di documentazione relativo alle attività didattiche svolte nei corsi PON e alla valutazione delle ricadute curricolari delle azioni formative frequentate dagli studenti. Le scuole dunque non
documentano in maniera efficace il proprio lavoro. Tuttavia la documentazione delle attività e dei processi potrebbe rappresentare un punto di partenza per la valutazione delle azioni finanziate dai Fondi strutturali europei. Sarebbe opportuno quindi promuovere forme alternative di documentazione capaci di valorizzare e di rendere significativa questa pratica per le scuole. La cluster analysis effettuata a partire dalle componenti emerse ha permesso di individuare quattro gruppi di scuole che si posizionano diversamente rispetto alle componenti. Il primo gruppo, che include oltre un terzo delle scuole, si caratterizza per valori medi negativi su entrambe le componenti. Queste scuole si caratterizzano per livelli di qualità non elevati sia con riferimento alla gestione‐integrazione delle attività PON, sia alla progettazione e documentazione e sono 90
associati a livelli di qualità complessiva medio‐bassa (giudizi di inadeguatezza e mera accettabilità nelle rubriche di valutazione). Un altro gruppo che comprende il 22,6% delle scuole, all’opposto, si caratterizza per elevati valori medi positivi su entrambe le componenti ed è associato a giudizi di qualità complessiva medio‐alti. infatti sono incluse tutte le scuole che ottengono un giudizio complessivo di eccellenza e quasi il 30% delle scuole che raggiungono il livello buono. Il terzo gruppo, che comprende un quarto delle scuole, si caratterizza per livelli di qualità più elevati sul versante della progettazione‐documentazione e più bassi su quello della gestione dei PON e dell’integrazione con le attività della scuola. Questo gruppo è associato prevalentemente al livello “buono” di qualità complessiva; è tuttavia presente anche una quota consistente di istituti scolastici che ottengono un giudizio complessivo di accettabilità. Infine un quarto gruppo, numericamente meno consistente (17,3%), si riferisce a scuole che si caratterizzano per una buona gestione e integrazione delle attività PON e per una bassa qualità della progettazione e della documentazione. Le scuole di questo gruppo si posizionano prevalentemente sul livello buono. Questi risultati confermano la relazione tra la buona performance delle scuole sulla componente “gestione‐integrazione” e livelli di qualità complessiva medio‐alti. Dal punto di vista della gestione e integrazione delle attività PON, le scuole che presentano livelli di qualità medio‐alti si caratterizzano per: ‐
‐
‐
‐
‐
‐
‐
Capacità di promuovere efficacemente le azioni PON raggiungendo tutti i destinatari potenziali; Capacità di individuare le competenze degli esperti chiamati a realizzare i progetti previsti dal Piano integrato; Capacità di valutare in maniera sistematica tutte le azioni previste dal Piano integrato; Capacità di integrare la progettazione del Piano integrato nel POF; Capacità di integrare le azioni PON nel funzionamento ordinario della scuola attraverso il coinvolgimento degli Organi collegiali e delle varie componenti scolastiche (dipartimenti, consigli di classe, ecc.); Capacità di valutare le ricadute delle azioni PON sull’attività curricolare degli studenti; Capacità della scuola di valorizzare e utilizzare le competenze acquisite dal personale della scuola a seguito della frequenza dei corsi PON. Tuttavia, tra i punti di debolezza maggiormente evidenziati dagli auditor nel loro giudizio
complessivo, che esprime un punto di vista olistico sulla scuola, si evidenzia un aspetto
riconducibile all’integrazione, ovvero il mancato raccordo della progettazione e gestione delle
attività PON con il funzionamento ordinario della scuola, che risulta la criticità indicata con
maggiore frequenza (riguarda il 15% circa dei casi). Le analisi successive sui giudizi espressi dagli
auditor hanno permesso di articolare ulteriormente il concetto di integrazione, evidenziando gli
elementi che concorrono a realizzare il raccordo tra le azioni PON e le attività della scuola. Tali
analisi hanno evidenziato che è presente una relazione positiva tra la capacità delle scuole di
realizzare tale raccordo e buoni livelli di qualità complessiva, mentre i gruppi che presentano livelli
medio-bassi di qualità sono associati a criticità legate a vari aspetti: capacità di pianificazione e
organizzazione delle attività (gestione dei tempi, eccessiva concentrazione delle attività di alcuni
periodi dell’anno scolastico); difficoltà di progettazione (mancata declinazione delle competenze
dei corsisti) e difficoltà di gestione (reclutamento degli esperti e mancata valutazione delle ricadute
sugli apprendimenti curricolari degli studenti), scarsa qualità della didattica e difficoltà di
coinvolgimento dei docenti e del personale della scuola nelle attività PON.
Questi risultati evidenziano, da un lato, la difficoltà delle scuole di progettare e documentare le attività realizzate, legate in parte a problemi operativi e di adeguamento a norme e modelli di rendicontazione delle attività proposti dall’esterno ‐ percepiti come estranei e poco aderenti alle 91
proprie prassi operative ‐ e in parte all’incapacità di individuare obiettivi chiari e operativi di progettazione. D’altro canto, sul versante dell’integrazione delle azioni PON nel funzionamento ordinario della scuola è possibile individuare elementi diversi che contribuiscono a definire un raccordo efficace: si tratta di elementi sia formali (il raccordo tra Piano integrato e POF, il coinvolgimento degli OOCC in alcuni passaggi burocratici come l’approvazione del Piano integrato, la definizione dei bandi per il reclutamento degli esperti, ecc.) sia operativi (progettazione condivisa all’interno della scuola, raccordo tra attività curricolare e azioni finanziate con i fondi PON, la valutazione delle ricadute dei corsi PON sugli esiti degli studenti). I risultati mostrano una maggiore facilità nella implementazione degli aspetti più formali, che ormai costituiscono prassi consolidate nella maggior parte delle scuole, mentre sono ancora in gran parte da costruire percorsi che riguardano la gestione degli aspetti operativi. Considerazioni sugli strumenti
Dal punto di vista metodologico, gli strumenti utilizzati per l’audit le rubriche di valutazione e il
giudizio complessivo sui punti di forza e di debolezza - caratterizzati da livelli diversi di
strutturazione - hanno permesso di individuare dimensioni diverse della qualità progettuale,
gestionale e organizzativa dei PON. I risultati, infatti, da un lato confermano la coerenza interna dei
dati: anche se in forma moderata esiste una relazione tra le componenti estratte a partire dai giudizi
espressi con le rubriche di valutazione (quindi con uno strumento strutturato) e gli assi individuati
dalle percezioni degli auditor sui punti di forza e di debolezza (quindi con uno strumento non
strutturato).
In generale, quindi, dal punto di vista della qualità degli strumenti, i risultati ottenuti permettono di
affermare che le dimensioni rilevate con le due modalità di raccolta dei dati pur correlate sono tra
loro ortogonali, ovvero forniscono informazioni su aspetti diversi del concetto di qualità. Infatti, per
esempio, l’analisi delle corrispondenze multiple ha fatto emergere che per gli auditor l’impegno
personale dei docenti e del DS sono elementi rilevanti per definire il livello di qualità raggiunto
dalle scuole. Questo aspetto non era stato preso in considerazione nelle rubriche di valutazione.
D’altro canto, dall’analisi è emerso che la valutazione effettuata nella prima parte dell’audit (prima
della visita a scuola) si è rivelata piuttosto indipendente da quella effettuata nella seconda parte,
durante la visita a scuola. Per i criteri di qualità valutati sia prima che durante la visita a scuola si è
osservata una discrepanza nei giudizi espressi che si sono rivelati maggiormente positivi a seguito
della visita a scuola.
La maggiore positività dei giudizi può dipendere dal fatto che la documentazione messa a disposizione dalla scuola durante la visita si è rivelata più cospicua e di migliore qualità rispetto a quella inserita sulla piattaforma Gestione interventi, oppure che l’auditor ha acquisito ulteriori informazioni che gli hanno permesso di modificare il giudizio iniziale. Tuttavia, nell’interpretare questi dati non si può prescindere da alcune considerazioni di ordine metodologico sulla presenza di “errori” nelle operazioni di valutazione, strettamente legati al fattore umano, che possono aver influenzato l’autenticità della stessa. In letteratura sono riportati diversi tipi di errore che possono manifestarsi nella valutazione dei processi formativi (Tessaro 1997). In primo luogo, ricordiamo gli errori di attribuzione derivanti dal cosiddetto effetto alone, ovvero il bias cognitivo per il quale la percezione di un tratto è influenzata dalla percezione di altri tratti dell’individuo o dell’oggetto valutato. Pertanto, l’effetto alone agisce per mezzo di indebite estensioni delle caratteristiche di un tratto (es. capacità di un individuo di esprimersi correttamente in italiano oppure ordine e pulizia negli ambienti) ad altri tratti della stessa persona o organizzazione (es. intelligenza della persona, efficienza di un’organizzazione). Nel nostro caso, l’effetto alone potrebbe aver agito favorendo l’espressione di giudizi maggiormente positivi a partire dalla buona impressione 92
suscitata nell’auditor dalle persone incontrate (DS, figure di piano, docenti, ecc.) o dalla scuola nel suo complesso. Possono inoltre essere presenti errori di aspettativa sia passivi che attivi. I primi consistono nella tendenza ad osservare tra gli elementi presenti in una specifica situazione solo quelli che confermano una un’ipotesi precostituita; il secondo riguarda la scelta e la formulazione delle domande in modo da ottenere le risposte desiderate. Gli auditor potrebbero aver condotto le visite a scuola guidati, più o meno consapevolmente, da un’ipotesi precostituita di scuola di “buona qualità”, elaborata a partire da altri elementi osservati, che ha generato aspettative ed influenzato i giudizi. Inoltre, l’analisi ha permesso di verificare che la valutazione effettuata prima della visita ha
contribuito solo in minima parte a determinare i giudizi complessivi sui punti di forza e di
debolezza.
93
15. Bibliografia Bertin G. (2007). Governance e valutazione della qualità nei servizi socio‐sanitari. Milano: F. Angeli. Bondioli A. & Ferrari M. (a cura di) (2000). Manuale di valutazione del contesto educativo: teorie, modelli, studi per la rilevazione della qualità nella scuola. Milano: F. Angeli. Ceccon A. (1999). Ragionando sulla qualità e sulla valutazione della qualità, per una scuola dell’autonomia, Rivista dell’istruzione, n. 6, pp. 811‐820 Comoglio M. (2002). La valutazione autentica. Orientamenti Pedagogici, No. 49 (1), pp. 93‐112. Comoglio M. (2007). La Valutazione autentica. L'Educatore, annata 2006/2007, n. 11, pp. 43‐48. De Ambrogio U. & Lo Schiavo L. (2003). Piccoli equivoci senza importanza. Qualità degli interventi e valutazione delle politiche nel settore sociale, Rassegna italiana di valutazione, a. VII, n. 26, pp. 59‐69 INVALSI (2011). Sistema Informativo Integrato e valutazione degli apprendimenti, Rapporto di Stato avanzamento lavori, settembre 2010 – febbraio 2011. MIUR 2009. Disposizioni e istruzioni per l’attuazione delle iniziative cofinanziate dai Fondi strutturali europei 2007‐2013. Moss P. (1994). Defining Quality: Values, Stakeholders and Processes. In P. Moss & A. Pence, Valuing Quality in Early Childhood Services. Londra: Paul Chapman Publishing Ltd, Negro G. (2003). Qualità e valutazione binomio per l’eccellenza. Rassegna italiana di valutazione, a. VII, n. 26, pp. 53‐58 Oddo P. (2002). La certificazione della qualità. La valutazione dei contesti educativi. Psicologia e scuola, XXI, n. 109, pp. 3‐11 Oliva D. (2003). La qualità della formazione tra accreditamento e valutazione. Rassegna italiana di valutazione, a. VII, n. 26, pp. 71‐83 Palumbo (2003). Qualità e valutazione un dibattito che prosegue.Rassegna italiana di valutazione, a. VII, n. 26, pp. 41‐51 Scott Parsowith B. (1à995). Fundamentals of Quality Auditing. Milwaukee: ASQC Quality Press. Scriven M. (1996). Types of Evaluation and Types of Evaluator. American Journal of Evaluation, vol. 17, n.. 2 pp. 151‐161. 94
Tessaro F. (1997). La valutazione dei processi formativi, Roma, Armando. Wiggins G. (1996). “What is a rubric? A dialogue on design and use”. In , R. E. Blum & J.A. Arter (a cura di), A handbook of student performance assesment in an era of recostucting. Association for Supervision and Curriculum Development, Alexandia, Va. 95