Progetto Pilota 3 per la valutazione del sistema dell’istruzione Presentazione base: finalità generali e procedure di somministrazione a cura di Claudio Marangon febbraio 2004 con la collaborazione di Danila Canzian e Marina Favero 1 Indice febbraio 2004 Finalità del Progetto Pilota Servizio Nazionale di Valutazione dell’Istruzione (SNVI): Rete interistituzionale Missione PP1>PP3: la partecipazione in Italia e nel Veneto PP3 caratteristiche Il Questionario di sistema Le prove oggettive La somministrazione delle prove Materiali e documentazione di riferimento 2 Finalità PP3 febbraio 2004 Progetti pilota: perché? Per promuovere una cultura della valutazione come strumento di miglioramento per le scuole autonome Per creare una rete di figure professionali addette alla valutazione, facendole emergere dalle scuole Per sperimentare un modello di Servizio Nazionale di Valutazione, allineando il sistema italiano ad analoghe esperienze di altri Paesi 3 Servizio Nazionale di Valutazione dell’Istruzione (SNVI)/1 Rete interistituzionale Nel nuovo scenario istituzionale il Servizio Nazionale di Valutazione dell’Istruzione prevede due polarità fondamentali: INValSI, perno delle operazioni di valutazione le autonomie scolastiche, assurte al riconoscimento costituzionale febbraio 2004 Uffici scolastici regionali e IRRE dovrebbero assumere ruolo di sussidiarietà e accompagnamento delle autonomie scolastiche 4 Servizio Nazionale di Valutazione dell’Istruzione (SNVI)/2 Missione del futuro SNVI febbraio 2004 • Misurerà scuola per scuola le uscite del sistema istruzione secondo gli obiettivi nazionali indicati dal Ministro • Individuerà annualmente i punti critici per azioni correttive e allocazioni di risorse • Utilizzerà parametri coerenti con quelli usati dai servizi di valutazione comunitari ed internazionali 5 PP1>PP3: la partecipazione in Italia e nel Veneto A livello nazionale: 2653 scuole iscritte volontariamente nel PP1 6755 scuole iscritte volontariamente nel PP2 oltre 9000 scuole iscritte volontariamente nel PP3 A livello regionale: 138 scuole venete iscritte volontariamente nel PP1 357 scuole venete iscritte volontariamente nel PP2 445 scuole venete iscritte volontariamente nel PP3, di cui: febbraio 2004 372 statali e 73 paritarie 279 già iscritte a PP2 41 scuole nel campione probabilistico nazionale 34 scuole a sperimentazione informatica 6 febbraio 2004 PP3 caratteristiche Articolazione delle scuole in due gruppi: campione probabilistico nazionale (589 scuole selezionate dall’INValSI) scuole aderenti volontariamente (oltre 9000 istituzioni scolastiche) Rilevazione nelle classi indicate dalla riforma Tre discipline indagate Strumenti: Questionario di sistema Prove con quesiti a scelta multipla Somministrazione per via cartacea Continuazione sperimentazione informatica 7 Il questionario di sistema/1 febbraio 2004 Dal PP1 e PP2 emerge la necessità di un confronto tra prestazioni degli allievi e offerta delle istituzioni scolastiche. Il Questionario di sistema può rappresentare: strumento di raccolta di elementi di processo traccia complementare e compatibile con qualsiasi modello di autovalutazione di istituto adottato dalle scuole. Tiene conto sia di voci fondamentali comuni sia del possibile spazio di differenziazione fra le scuole stesse 8 Il questionario di sistema/2 Il Gruppo che ha elaborato il Questionario di Sistema per il PP3 febbraio 2004 ha tenuto conto delle indicazioni emerse dal PP2 ha utilizzato le osservazioni di un gruppo di Dirigenti scolastici ha eliminato alcune domande ritenute superflue ha modificato altre domande ha razionalizzato la struttura generale ha aggiunto alcune domande sulle risorse finanziarie, richieste dall’Amministrazione e dalla Corte dei Conti 9 Il questionario di sistema/3 Quest’anno il questionario è diviso in due parti da compilarsi in momenti diversi. La prima parte raccoglie informazioni su: caratteristiche strutturali dell’istituto scolastico (strutture fisiche e risorse disponibili) caratteristiche di contesto (bacino demografico, popolazioni, contesto esterno) febbraio 2004 La compilazione della prima parte (entro il 15 febbraio 2004 è a cura del Dirigente scolastico e del Direttore dei servizi generali e amministrativi. 10 Il questionario di sistema/4 febbraio 2004 La seconda parte raccoglie informazioni su: anagrafica organizzazione istruzione e formazione progetti di integrazione culturale attività di autovalutazione, valutazione interna, certificazione attività di analisi sui risultati ottenuti dalle scuole miglioramento finalizzato ai processi di insegnamento e apprendimento 11 Il questionario di sistema/5 La seconda parte è a cura di un Gruppo di discussione individuato all’interno della scuola, e va compilata entro il 31 marzo 2004 febbraio 2004 Le scuole debbono compilarla almeno in una copia (per l’ordine nel quale si trova la sede amministrativa) si suggerisce, tuttavia, di compilarla in tante copie quanti sono gli ordini presenti (ad es. tre copie nel caso di un Comprensivo costituito da scuola dell’infanzia, elementare e scuola media; nel caso di scuola media andrà compilata un’unica copia, anche se la scuola è dislocata in più plessi) 12 Le prove oggettive febbraio 2004 L’esigenza di rapidità e velocità per l’immissione e l’elaborazione dei dati ha precluso la possibilità di risposte aperte Le prove sono costituite tutte, uniformemente, da quesiti a scelta multipla (4 o 5 risposte, una sola corretta; 3 solo per la classe 2a sc. primaria) I quesiti si riferiscono sostanzialmente agli obiettivi della programmazione dell’anno precedente a quello in cui si svolge la prova numero limitato di obbiettivi durata circa 60’ (leggermente sovradimensionata) taratura difficoltà su indici medio-facili (pre-testing) 13 La prova di ITALIANO/1 Quel che si intende testare: Abilità grafiche (e di scrittura) di base Padronanza di un lessico di estensione adeguata Nozioni fondamentali di morfosintassi e semantica L’architettura di un testo Aspetti retorici e formali febbraio 2004 Comprensione particolare e globale del testo 14 La prova di ITALIANO/2 ESEMPIO 1 All’interno della frase: forme implicite, … Indica il significato del gerundio nella frase: Piovendo a dirotto, arrivai in ritardo febbraio 2004 Siccome pioveva a dirotto, … Anche se pioveva a dirotto, … Ogni volta che pioveva a dirotto, … Se pioveva a dirotto, … 15 La prova di ITALIANO/3 ESEMPIO 2 Oltre la frase: i connettivi testuali, … Indica la relazione di significato che collega le due frasi seguenti: Lo chiamai. Non si voltò febbraio 2004 Lo chiamai. Ma non si voltò Lo chiamai. Infatti Non si voltò Lo chiamai. Dunque non si voltò Lo chiamai. Poi non si voltò 16 La prova di ITALIANO/4 Comprensione particolare del testo Es. 1: livello scuola primaria (testo narrativo) All’inizio del racconto, il personaggio X è presentato come un … Che cosa fa X per / contro Y? Perché X compie una certa azione? Es.2: livello scuola sec. I grado (testo espositivo) febbraio 2004 Dopo aver letto la prima parte del brano hai capito che … L’autore afferma che X: questo vuol dire che… Qual è il significato dell’espressione X? 17 La prova di ITALIANO/5 Comprensione globale del testo Es. 1: livello scuola primaria Da chi è raccontata la storia? Dove/Quando si svolge la storia? In quale ordine accadono i fatti della storia? (uso di disegni) Es.2: livello scuola sec. I grado febbraio 2004 Qual è lo scopo principale del brano? Qual è l’argomento principale del brano? Quale delle seguenti sequenze riassume meglio il brano? 18 La prova di ITALIANO/6 Tipologia per livelli Livello II elementare Narrativo (+ prova scienze) IV elementare Narrativo Espositivo Narrativo Espositivo (argomentativo) Narrativo/poetico espositivoargomentativo Medie inferiori Medie superiori febbraio 2004 Tipo di testo n° quesiti n° distrattori 12 2 15 3 20 3 20 3 19 La prova di ITALIANO/7 Comprensione testo poetico Livello: scuola secondaria II grado, III anno Qual è il ‘tema’ profondo della poesia? Qual è il registro linguistico usato dal poeta? In quante strofe si articola la poesia? Da che tipo di versi è composta la poesia? Qual è lo schema ritmico della poesia? Il poeta si rivolge a un interlocutore che va identificato con … La condizione esistenziale / Lo stato d’animo del poeta trova una corrispondenza nell’immagine di … Confrontando il verso X con il verso Y si può osservare che … Qual è la parafrasi corretta dei versi XY? febbraio 2004 20 La prova di MATEMATICA/1 Conoscenze e abilità COMPETENZE scelte in un ambito disciplinarmente limitato ma significativo CONOSCENZE riferite essenzialmente a quelle acquisite nell’anno precedente febbraio 2004 Riferimento ai PROGRAMMI di ORDINAMENTO, con attenzione anche ai nuovi CURRICULA in via di formulazione 21 La prova di MATEMATICA/2 Classe II scuola primaria Il NUMERO Lettura e scrittura dei numeri naturali …. febbraio 2004 GEOMETRIA Capacità di attuare percorsi e di riconoscerne caratteristiche (più o meno lungo, aperto, …) … 22 La prova di MATEMATICA/3 febbraio 2004 Classe IV scuola primaria IL NUMERO Conoscere i numeri naturali e decimali e sapere operare con essi; scrittura posizionale dei numeri … GEOMETRIA … LA MISURA … INTRODUZIONE AL PENSIERO RAZIONALE ... 23 La prova di MATEMATICA/4 febbraio 2004 Classe I scuola secondaria I grado IL NUMERO Conoscere i numeri naturali e decimali; saper operare con essi e attuare approssimazioni … GEOMETRIA … LA MISURA … INTRODUZIONE AL PENSIERO RAZIONALE … DATI E PREVISIONI … 24 La prova di MATEMATICA/5 Classi I e III scuola secondaria II grado febbraio 2004 NUMERO e ALGEBRA Conoscenze fondamentali riguardanti i numeri naturali, interi, razionali … GEOMETRIA … RELAZIONI e FUNZIONI … DATI E PREVISIONI / LOGICA … 25 La prova di SCIENZE/1 Caratteristiche delle prove febbraio 2004 Anche se su indici medi (Idiff = 0,4 ÷ 0,6), queste prove dovrebbero essere leggermente più difficili del PP2 per la II elementare 7 quesiti a scelta multipla (3 alternative) per gli altri livelli 25 quesiti a scelta multipla (4 alternative) quesiti a scelta multipla per tutti i livelli, centrati sui concetti fondamentali delle scienze sperimentali della natura verifica dell’acquisizione dei punti chiave del metodo scientifico, che entra in gioco con modalità diverse nelle diverse discipline temi fondamentali per tutti i livelli, ma con approfondimenti e specificità disciplinari diversificate 26 La prova di SCIENZE/2 Caratteristiche dei quesiti Riproduzione degli stessi argomenti nei diversi livelli ma con formulazione più complessa dei quesiti e dei distrattori Abilità implicate dai concetti indagati: identificazione delle caratteristiche dell’oggetto riconoscimento di differenze e somiglianze costruzioni di nessi, ecc. Abilità trasversali: febbraio 2004 osservazione, uso di un linguaggio ordinario o tecnico, comprensione di un testo, ecc. 27 La prova di SCIENZE/3 TEMI Seconda elementare Elementi di metodo sperimentale Viventi/non viventi Uomo/ambiente Quarta elementare - Prima media Elementi di metodo sperimentale Viventi/non viventi Uomo/ambiente Trasformazioni febbraio 2004 Prima superiore - Terza superiore Elementi di metodo sperimentale Biologia Chimica Fisica Scienze della Terra Scienze dell’ambiente 28 La prova di SCIENZE/4 ABILITA’ IV scuola primaria I sc. sec I grado II scuola primaria Osservare Osservare •esplorare attraverso i sensi •discriminare tra vivente e non vivente Ordinare Classificare febbraio 2004 •stabilire relazioni •descrivere: •raccogliere dati •riflettere su indizi •riconoscere caratteristiche specifiche di un fenomeno Ordinare •in sequenze temporali e/o logiche Classificare •stabilire relazioni •in base a caratteristiche specifiche •confrontare in termini qualitativi e/o quantitativi Linguaggi specifici •Leggere e comprendere un breve testo scientifico, usando termini del lessico specifico •Leggere il linguaggio grafico I sc. sec II grado Osservare •riconoscere fenomeni di natura diversa Classificare •ordinare (in sequenze temporali e/o logiche, in termini quantitativi) •stabilire relazioni •riconoscere caratteristiche specifiche Linguaggi specifici •Utilizzare il linguaggio matematico •calcolare, quantificare (unità di misura, strumenti di misura), confrontare •leggere tabelle, leggere grafici, leggere ed eseguire disegni in scala •Interpretare dati empirici e/o sperimentali •Risolvere situazioni problematiche •mediante concetti disciplinari •Leggere e comprendere un breve testo scientifico 29 La prova di SCIENZE/5 Classe II scuola primaria Esempio 1 (pre-testing) La mamma ha messo sul fuoco una pentola colma d’acqua. Si è però distratta per preparare la verdura e l’acqua ha continuato a bollire per 15 minuti. Che cosa è successo nel frattempo alla quantità d’acqua? A. È rimasta quella iniziale. B. È diminuita molto. C. È aumentata. febbraio 2004 Risposta Risposta corretta A B * C Doppia risposta 0 Omesso 0 Numero totale dei casi Casi 26 105 110 0,00 0,00 241 Percentuale Punto biseriale 10,79 -0,28 43,57 0,34 45,64 -0,16 NA NA Indice di discriminazione 0,34 30 La prova di SCIENZE/6 Classe II scuola primaria Esempio 2 (pre-testing) febbraio 2004 Renzo porta in classe una piccola calamita che gli è stata regalata dal nonno. I compagni avvicinano alla calamita i seguenti oggetti: una chiave di ferro; un foglio di carta appallottolato; una biglia di vetro; una gomma. Quali oggetti verranno attirati dalla calamita? A. Tutti gli oggetti. B. La chiave e la biglia. C. La chiave. D. Nessun oggetto. Risposta Risposta corretta A B C * D Doppia risposta Omesso 0 Numero totale dei casi 277 Casi Percentuale 3 1,08 22 7,94 250 90,25 2 0,72 0 0,00 NA 0,00 NA Indice di discriminazione 0,30 Punto biseriale -0,27 -0,23 0,30 0,03 31 La prova di SCIENZE/7 Classe II scuola primaria Esempio 3 (pre-testing) Secondo te quanto misura lo spessore della moneta di un euro? □A. 5 millimetri □B. 0,2 centimetri □C. 1 centimetro □D. 0,3 millimetri febbraio 2004 Risposta Risposta corretta Casi A B * 62 C D Doppia risposta Omesso 0 Numero totale dei casi Percentuale Punto biseriale 61 26,99 -0,11 27,43 0,25 18 7,96 -0,14 85 37,61 -0,05 0 0,00 NA 0,00 NA 226 Indice di discriminazione 0,25 32 La somministrazione delle prove La somministrazione cartacea La somministrazione informatica/mista Il campione statistico a somministrazione cartacea Ruolo e compiti del referente di istituto Ruolo e compiti del somministratore febbraio 2004 Il monitoraggio delle attività Il controllo di qualità 33 febbraio 2004 La somministrazione cartacea Riguarda tutte le scuole che hanno aderito volontariamente al Progetto Pilota 3 Ogni scuola riceverà il materiale cartaceo (copie dei fascicoli delle prove in numero sufficiente, elenco delle classi e degli studenti, manuale del somministratore) tramite corriere La somministrazione, coordinata dal Referente di istituto, sarà effettuata da tutte le scuole nelle date indicate dall’Invalsi (un giorno per ognuna delle tre prove) Le date indicate per il PP3 sono 16-28 febbraio 2004; le prove si svolgeranno in ore antimeridiane Le date delle prove devono essere comunicate agli studenti delle rispettive classi, sensibilizzandoli sull’importanza della rilevazione 34 La somministrazione informatica/mista/1 Riguarda le scuole segnalate dalla Direzione Generale, e dotate di adeguata attrezzatura E’ possibile una somministrazione mista (alcune classi informatica, le restanti cartacea) secondo quanto le scuole hanno già segnalato all’Invalsi Il referente di istituto riceverà un apposito software per gestire l’operazione di scarico e carico dei dati febbraio 2004 Per difficoltà di carattere tecnico è possibile fare riferimento a: prof. Pierantonio Garlini (presso CSA Vicenza) tel. 0444 251173; cell. 347 4588897 [email protected] oppure a: Help desk INValSI tel. 06 94185273-274-275-276-277 Fax 06 94185252-202-279 e-mail [email protected] 35 La somministrazione informatica/mista/2 Esempio di pianificazione nel caso di somministrazione informatica Ipotesi: Laboratori = 1\6 classi PC per laboratorio = 12-14 8.30-9.40 9.50-11.00 Lab. A Lab. B Lab. M I° ½ prima classe I° ½ seconda classe I° ½ m-1 esima classe II° ½ prima classe II° ½ seconda classe I° ½ m-1 esima classe febbraio 2004 11.10-12.20 I° ½ terza classe 12.30-13.40 II° ½ terza classe II° ½ quarta classe II° ½ quarta classe I° ½ m esima classe I° ½ m esima classe 36 La somministrazione informatica/mista/3 Condizioni per svolgere l’eventuale recupero della prova: compilazione sospesa per un cattivo funzionamento dell’apparato informatico locale compilazione rimandata per l’assenza del 50% degli studenti di una classe Chi svolge il recupero: Una o più classi intere Quando svolgere il recupero: febbraio 2004 Dopo l’ultima sessione di compilazione delle prove oggettive di scienze 37 Il campione statistico a somministrazione cartacea INValSI ha già reso note le classi selezionate (vedi http://www.invalsi.it/Pilota3/pp3/index.htm, poi Classi campionate) febbraio 2004 La somministrazione delle prove sarà cartacea La scuola riceverà comunque il materiale cartaceo per tutte le classi, e potrà scegliere se somministrare le prove a tutte le classi oppure solo quella selezionata da INValSI per ogni livello Tuttavia, solo quella selezionata da INValSI risulterà parte del campione statistico 38 Ruolo e compiti del referente di istituto/1 Sensibilizzazione personale scolastico e famiglie (presentazione PP3 e suoi obiettivi; esempi risultati PP2) Sensibilizzazione studenti ad una partecipazione consapevole (riservatezza e non anonimato) Coordinamento della compilazione del Questionario di sistema febbraio 2004 Responsabilità della somministrazione delle prove 39 Ruolo e compiti del referente di istituto/2 Per il QUESTIONARIO DI SISTEMA: febbraio 2004 Coordina le attività della compilazione del questionario Preleva il Questionario e il Manuale di compilazione dal sito Invalsi Costituisce il Gruppo di discussione Distribuisce copia cartacea del Questionario a tutti i membri del Gruppo Pianifica le date per i necessari incontri del Gruppo Stabilisce la data in cui registrare on line le risposte Compila, entro il 31 marzo 2004, il Modulo di osservazioni per permettere il monitoraggio delle attività che hanno portato alla compilazione del Questionario 40 Ruolo e compiti del referente di istituto/3 In base al tipo di Istituto, il Gruppo di discussione può essere costituito da: febbraio 2004 il Dirigente scolastico due allievi (per le scuole superiori) scelti tra i rappresentanti di classe o di Istituto due genitori scelti tra i rappresentanti di classe o di Istituto il DSGA e un rappresentante del personale ATA (per quanto di loro competenza e in particolare per le scuole statali) tre Docenti di discipline diverse 41 Ruolo e compiti del referente di istituto/4 Per la SOMMINISTRAZIONE DELLE PROVE: Sceglie, assieme al Dirigente scolastico, i colleghi somministratori Informa adeguatamente i somministratori sulle procedure, garantendo che ci siano le stesse condizioni di misura >>> Manuale del referente di istituto >>> Manuale del somministratore febbraio 2004 E’ responsabile di tutti i materiali Controlla i materiali ricevuti dall’INValSI via corriere e li conserva in luogo sicuro 42 Ruolo e compiti del referente di istituto/5 febbraio 2004 Applica le etichette con i codici sulle copertine di ciascun fascicolo Compila Elenco classi e Elenco studenti Conserva una copia degli elenchi Coordina le attività di somministrazione delle prove oggettive nelle date indicate dall’Invalsi Pianifica eventuale attività di recupero Stende una relazione guidata Riconsegna i materiali (via corriere) 43 Ruolo e compiti del referente di istituto/6 febbraio 2004 Elenchi studenti Obbligo di partecipare per tutti gli studenti presenti il giorno della prova Assicurare che siano ‘esclusi’ solo gli studenti che rientrano fra i casi previsti Si consiglia di far partecipare alle prove anche gli studenti cui è stato assegnato un codice di esclusione (per non turbare la loro sensibilità e non discriminarli) Esclusioni: non verranno elaborati i dati di alcune categorie di studenti, da segnalare con il relativo codice esclusione: Studenti disabili fisici Studenti disabili psichici Studenti di lingua madre diversa dalla lingua delle prove, >>> esempio Elenco classi e studenti PP3 44 Ruolo e compiti del somministratore E’ scelto tra gli insegnanti che non sono della classe, possibilmente non della materia interessata, indicativamente a rotazione tra gli insegnanti in servizio il giorno della somministrazione febbraio 2004 Ha il ruolo fondamentale di assicurare la correttezza della somministrazione.In particolare: assicura la necessaria assistenza agli studenti distribuendo i materiali e fornendo le spiegazioni per la compilazione delle prove se necessario, richiama gli studenti all’impegno e vigila affinché le prove siano da tutti compilate autonomamente non fornisce, in alcun modo, alcun tipo di aiuto in merito alle risposte 45 Il monitoraggio delle attività Un monitoraggio sull’andamento degli incontri provinciali di coordinamento verrà effettuato dall’Invalsi tramite: osservazione sul campo: personale dell’INValSI parteciperà ad alcuni degli incontri programmati a livello regionale e provinciale. somministrazione telematica di un questionario (uno per ciascuna tipologia di referente: regionale, provinciale, coordinatore di istituto) a partire dalla fine di febbraio 2004. febbraio 2004 I dati che scaturiranno dall’osservazione sul campo e dalla somministrazione dei tre questionari saranno pubblicati in tempo reale sul sito Formazione PP3. 46 Il controllo di qualità Durante i giorni della somministrazione verrà effettuato, a cura della Direzione Generale, un controllo di qualità per verificare come vengano attuate le procedure, con lo scopo di assicurare la maggiore affidabilità ai dati che verranno raccolti per l’elaborazione a livello nazionale. febbraio 2004 Il controllo di qualità sarà condotto tramite personale appositamente incaricato che effettuerà visite a un campione di scuole. 47 Materiali e documentazione di riferimento http://www.invalsi.it/Pilota3/pp3/index.htm febbraio 2004 Manuali per referenti di istituto e somministratori Questionario di sistema (Parti 1 e 2) e Manuali per la compilazione Esempi di prove e risultati PP2 (http://www.invalsi.it/pilota2/) Nominativi referenti regionali Informazioni su incontri provinciali Bacheche per Comunicazioni urgenti e Forum Materiale vario … Altro materiale sul sito dell’USR Veneto, area Progetto Pilota: http://www.istruzioneveneto.it/pilota/menupilota.shtml 48 Riferimenti a livello provinciale Per ogni attività legata al PP3 è possibile rivolgersi anche a: febbraio 2004 (riferimento referente c/o CSA) (riferimento docente esterno) (riferimento docente esterno) 49