Progetto Pilota 3 per la valutazione del sistema dell’istruzione Presentazione base a cura di Roberta Cielo PP1>PP3 PP1 (a.s. 2001 - 2002) • Ha indagato: – apprendimento dell’italiano e della matematica in V elementare, III media e II superiore; – grado di attuazione del POF; • strumentazione: test oggettivi a scelta multipla e questionario di sistema. PP1>PP3 PP2 (a.s. 2002 - 2003) • Si aggiunge la Rilevazione campionaria; • ha indagato: – apprendimenti (3 discipline e 4 livelli prefiguranti la riforma); – aspetti, metodi, modalità ed attività descritti nel POF per realizzare e regolare il processo di istruzione e formazione Caratterisiche PP3 Piano di Campionamento • Campione complesso; • campione probabilistico stratificato a tre stadi (scuole, classi, studenti). Caratterisiche PP3 Stadi di Campionamento • I stadio – le scuole sono selezionate, eventualmente entro gli strati (sottopopolazioni), con probabilità proporzionale al numero di studenti della popolazione target nella scuola; • II stadio – le classi sono selezionati casualmente all’interno delle scuole campionate; • III stadio – tutti gli studenti delle classi campionate. PP3 caratteristiche Strumenti • Prove oggettive con quesiti a scelta multipla costruiti da un gruppo di esperti esterni all’INValSI e al GdL • Questionario di sistema Finalità e obiettivi Le prove di apprendimento Far si’ che le scuole abbiano termini di riferimento anche se non esaustivi, che forniscano indicatori utili per una riflessione Far maturare negli insegnanti e negli allievi la cultura della valutazione Far si’ che il decisore politico riceva informazioni affidabili sulle competenze raggiunte dagli studenti italiani Finalità e obiettivi Il questionario di sistema Costituire una traccia complementare e compatibile con qualsiasi modello di autovalutazione di istituto adottato dalle scuole Monitorare l’andamento dell’organizzazione e i processi Soffermarsi sugli aspetti di forza e di debolezza Identificare punti prioritari di miglioramento della qualita’ del servizio erogato PP3 Piano di formazione Finalità Fornire al personale scolastico impegnato nel PP3 un efficace sostegno operativo e metodologico sui temi della valutazione, con particolare riferimento alle dimensioni valutative più direttamente connesse al progetto PP3 Piano di formazione 2 Monitoraggio e supporto 3 Formazione 2 livello 1 Somministrazione Seminario 16-17/12/03 Seminario 5/04 Risorse web 2 IRRE Nuovi materiali 3 PP3 Piano di formazione Sviluppo di un piano di formazione nel medio periodo, mediante: Creazione di un gruppo di lavoro (INValSI- IRRE) per Progettazione e sviluppo di materiali didattici sulla valutazione Produzione ed erogazione di un corso di base sulla valutazione valorizzazione delle buone pratiche realizzate sul territorio (scuole, reti) PP3 Piano di formazione Sito web : http://www.invalsi.it/pilota3/formazione PP3 Impegno per le scuole Quattro fasi 1. Iscrizione e preparazione Dirigente Scolastico, un responsabile d'Istituto 2. Somministrazione Somministratori, docenti delle materie coinvolte 3. Acquisizione dei risultati Responsabile del Progetto Pilota 4. Analisi dei risultati Tutte le persone che gravitano intorno alla scuola PP3 Impegno per le scuole Fase 3: acquisizione dei risultati A) schede dei punteggi B) schede dei punteggi per tipologia di contenuto C) punteggi ottenuti nelle singole classi PP3 Impegno per le scuole Fase 3: acquisizione dei risultati, cosa fare? deve costituire elemento di riflessione per il processo di miglioramento e un elemento di una serie storica dei dati RISULTATI come requisito di riferimento, fonte preziosa di paragone per constatare il proprio livello rendendo possibile il confronto con indicatori oggettivi PP3 Impegno per le scuole Fase 4: COMUNICAZIONE dei risultati A B C Docenti Genitori Studenti PP3 Impegno per le scuole Conseguenze • ridistribuzione degli argomenti nel programma • conoscenza del programma appreso da parte di docenti di materia e di materie affini • assegnazione cattedre che consideri le abilità del docente • ridistribuzione risorse economiche su progetti mirati • parametro indicatore della Qualità della scuola PP3 Impegno per le scuole Conclusioni La valutazione non persegue obiettivi sanzionatori, ma offre strumenti per il miglioramento della qualità del servizio; L’autovalutazione è indubbiamente competenza esclusiva delle scuole autonome , ma questo processo deve entrare nella prassi abituale, deve potersi confrontare con standard minimi e con alcuni indicatori essenziali. L’Europa fissa obiettivi, l’Italia deve adeguarsi e il governo intende investire molto sulla valutazione del sistema scolastico e degli apprendimenti Questionario di sistema Compilazione on-line I PARTE Caratteristiche strutturali salienti degli Ist.Sc.: • strutture fisiche e risorse disponibili; • contesto (bacino demografico, popolazione, contesto esterno). A cura del DS e/o coordinatore sc. e struttura amministrativa della scuola entro il 15 febbraio Questionario di sistema Compilazione on-line II PARTE Profilo del Servizio Scolastico coerente al POF • attività di organizzazione; • attività di svolgimento dell’istruzione e della formazione; • attività di autovalutazione, valutazione, certificazione A cura di un Gruppo di Discussione coordinato da DS o coordinatore sc. entro il 31 marzo Questionario di sistema Compilazione del questionario Ogni istituzione scolastica compila un questionario. La seconda parte deve essere compilata da ogni istituzione scolastica; istituzioni scolastiche che comprendono più ordini o tipologie possono o compilare una sola copia e in questo caso l’unica copia deve riferirsi all’”ordine” o “tipologia” principale o considerata tale ( dove risiede l’amministrazione), oppure compilare più copie, oltre quella di “ordine principale”, che si riferiscono a “ordini” o “tipologie” o “sedi” caratterizzati per i quali si intende fornire una specifica descrizione. Questionario di sistema Gruppo di Discussione In base al tipo di Istituto, Il Gruppo di discussione può essere costituito da: il Dirigente scolastico; due allievi (per le scuole superiori) rappresentanti di classe o di Istituto; scelti tra i due genitori scelti tra i rappresentanti di classe o di Istituto; il Direttore dei servizi generali e amministrativi e un rappresentante del personale ATA (per quanto di loro competenza e in particolare per le scuole statali); tre Docenti di discipline diverse. Le prove di apprendimento CRITERI per la costruzione • Uniformità della struttura delle prove, tutte costituite da quesiti a scelta multipla (3 solo per la II, 4 o 5 risposte, una sola corretta); • durata di ogni singola prova adatta al livello in cui viene somministrata (leggermente sovradimensionata); • numero limitato di obiettivi (contenuti ed abilità all’interno del programma ministeriale dell’anno precedente tenendo conto anche dei piani di studio in preparazione); • predisposizione di una prova (semplicità procedure di somministrazione); • taratura della difficoltà prove su indici medio facili (pretesting). Le prove di apprendimento Pianificazione la somministrazione è prevista in tre giorni diversi: uno per la Prova di Italiano, uno per la Prova di Matematica e l’ultimo per la Prova di Scienze; le date delle prove sono stabilite dall’INValSI e sono le stesse per tutte le scuole; Le prove di apprendimento Pianificazione le prove si svolgeranno tutte in ore antimeridiane; le date delle prove devono essere comunicate agli studenti delle rispettive classi, sensibilizzando questi ultimi sull’importanza della rilevazione; i docenti somministratori devono ruotare, ovvero devono assistere classi non proprie. Somministrazione informatica Per la somministrazione informatica è stato creato un apposito portale Internet, che sarà visibile all’indirizzo http://pp3.invalsi.it. Il portale permette alle istituzioni scolastiche di accedere sia all’area dove si pubblica il questionario on line ( versione digitale) sia all’area che permette di attuare la compilazione informatica delle prove d’apprendimento. Somministrazione informatica Per la gestione della somministrazione del questionario di rilevazione delle attività si utilizza una revisione del software del sistema informativo Validi, adeguatamente aggiornato in ragione dei risultati ottenuti con il PP1 e PP2. Per la gestione della somministrazione delle prove d’apprendimento si utilizza invece, su indicazione del Gruppo di Lavoro sulla Valutazione del Sistema d’Istruzione, il software Perception della soc. Question Mark Computing Ltd, distribuito in Italia della soc. Media direct. Aggiornato con la versione Off line (Percepiton ToGo Client ). Somministrazione informatica In ogni scuola la somministrazione informatica viene effettuata in modalità diretta, che prevede la compilazione delle tre prove oggettive da parte degli studenti nella forma digitale direttamente con il computer. Somministrazione informatica La modalità diretta prevede due forme: modalità on line: la compilazione delle prove da parte degli studenti avviene on line con collegamento diretto al sito dell’INValSI; modalità off line: la compilazione delle prove da parte degli studenti è gestita localmente. Le istituzioni scolastiche utilizzano uno specifico modulo software (Perception To Go), compatibile con quello on line, che permette di poter effettuare le prove localmente senza che ci sia un collegamento on line attivo. Somministrazione informatica: monitoraggio Gli obiettivi del monitoraggio sono due: 1) controllare in tempo reale lo svolgimento della somministrazione informatica; 2) identificare i punti di forza e di debolezza delle modalità operative prescelte. Il monitoraggio si effettua con liste di controllo o check list, presentate sotto forma di schede digitali, inerenti le seguenti attività: svolgimento della somministrazione informatica (scheda per il coordinatore scolastico); compilazione delle prove oggettive da parte degli studenti (scheda per i docenti somministratori); compilazione del Questionario (scheda per i dirigenti scolastici). Somministrazione informatica Presso l’INValSI è istituito un servizio di help desk con il compito di supportare la somministrazione informatica. Esso offrirà le indicazioni necessarie per il svolgimento e coopererà con tutte le figure previste nel modello organizzativo alla soluzione degli eventuali problemi che potrebbero insorgere. L’help desk può essere contattato da tutte le scuole che hanno aderito alla somministrazione informatica.