Ufficio Scolastico Regionale per la Lombardia Servizio per la Valutazione La valutazione “Il processo della valutazione negli esami di fine primo e secondo ciclo“ L’impianto della ricerca, la documentazione e i prodotti FINVALI - 21 aprile 2009 Nascita della ricerca L’incontro tra disciplinaristi universitari e studiosi della scuola ha creato un humus d’attenzione alla problematica cruciale della valutazione degli esiti. L’occasione dell’esperienza mutuata dell’osservazione nel controllo di qualità promosso dall’USRLO nella Rilevazione nazionale degli apprendimenti con i tirocinanti SILSIS ha stimolato il confronto sugli esami di fine cicli come snodo rilevante del processo generale della valutazione. 2 USRLO - FINVALI - 21 aprile 2009 Rapporto tra curricolo e verifica/valutazione finale Le prove finali di ogni ciclo o segmento scolastico vanno a verificare il raggiungimento o meno degli esiti formativi attesi, per valutare le competenze acquisite. Di qui la necessità di disporre di un solido e condiviso quadro di riferimento per il curricolo nel primo e nel secondo ciclo dell’istruzione almeno per le tre principali aree che fosse condivisibile nel consiglio di classe. 3 USRLO - FINVALI - 21 aprile 2009 Rapporto tra curricolo e verifica/valutazione finale Il fuoco principale all’inizio della ricerca FINVALI, fu la definizione di un quadro di riferimento per la valutazione delle competenze nei tre momenti cardine dell’istruzione scolastica: - la fine del primo ciclo dell’istruzione (studenti che affrontano il primo esame di stato); - la fine del biennio della scuola secondaria di 2° grado (studenti giunti al termine dell’obbligo di istruzione); - la fine del ciclo secondario, con studenti che affrontano l’esame di stato finale. All’inizio della ricerca non esisteva un quadro specifico di riferimento (che è poi stato definito nelle sue linee generali dalle Indicazioni per il curricolo per il primo ciclo, 2007, e dal Documento tecnico allegato al Regolamento relativo all’obbligo di istruzione, anch’esso del 2007). 4 USRLO - FINVALI - 21 aprile 2009 Quadri di riferimento Il Quadro comune europeo di riferimento per le lingue: apprendimento insegnamento valutazione era disponibile come stimolo e strumento di confronto, ma in un ambito di competenza che sembrava lontano da quello matematico soprattutto per la declinazione attraverso le tre categorie comprensione-parlatoscritto che inizialmente sembravano di ambito specificatamente linguistico. 5 USRLO - FINVALI - 21 aprile 2009 Quadri di riferimento Quadro comune europeo di riferimento per le lingue: apprendimento insegnamento valutazione pubblicato dal Consiglio d’Europa nella sua forma definitiva nel 2001 Quadro di riferimento PISA 2003 per le conoscenze e abilità in matematica, PISA 2006 per le scienze, Quadri INValSI per SNV e quadri delle indagini internazionali PIRLS e TIMSS Matematica 2001-2002-2003 – UMI e documenti relativi alla Conferenza dei Presidi delle facoltà d’ingegneria (2006)..... Indicazioni per il curricolo per la scuola d’infanzia e per il primo ciclo d’istruzione (luglio 2007) Regolamento relativo all’obbligo di istruzione (Decreto 22 agosto 2007) Raccomandazioni del Parlamento e del Consiglio d’Europa sulle qualifiche (EQF aprile 2008) 6 USRLO - FINVALI - 21 aprile 2009 La scommessa a partire dalla documentazione di ricerca in letteratura elaborata nell’esperienza di studio dei partecipanti, confrontata nei Tavoli sulla valutazione attivi preso l’USRLO pervenire a una strumentazione di supporto per il consiglio di classe ipotizzando dapprima la fascia centrale del percorso per lo studente: il biennio e per approssimazioni successive ritorno sulla fine del primo ciclo ed avanzamento alla fine del secondo ciclo, 7 USRLO - FINVALI - 21 aprile 2009 La scommessa/2 curando la raccolta della documentazione, effettuando un’indagine di clima per mettere a punto strategie migliorative del contesto valutativo e producendo prototipi di prove funzionali alla verifica dei criteri di costruzione e validazione delle prove d’esame, dopo aver chiarito un concetto unificatorio ed unificante di competenza. 8 USRLO - FINVALI - 21 aprile 2009 Ufficio Scolastico Regionale per la Lombardia Servizio per la Valutazione La valutazione “Il processo della valutazione negli esami di fine primo e secondo ciclo“ Aspetti di clima FINVALI - 21 aprile 2009 Metodologie ed oggetto d’indagine Il clima in cui si svolgono le prove è stato indagato attraverso le metodologie dell’ Osservazione e dei Focus Group Le categorie indagate durante i Focus sono state il percepito e il vissuto degli studenti durante lo svolgimento delle prove Invalsi, della Competizione di Matematica senza Frontiere e, per confronto, durante il Compito in classe. 10 USRLO - FINVALI - 21 aprile 2009 Aspetti indagati relativamente al percepito e al vissuto la portata dei due tipi di prove: dimensione nazionale (INVALSI), dimensione internazionale (Gara Matematica senza Frontiere); l’ organizzazione e svolgimento delle prove: individuale, prove INVALSI; collettiva, competizione Matematica senza Frontiere; il gradimento di ciascun tipo di prova; la facilità/difficoltà delle prove; il confronto fra prove INVALSI e competizione MsF; gli aspetti positivi e negativi di ciascun tipo di prova; il confronto tra prova collettiva di MsF e prova individuale del compito in classe; i suggerimenti di miglioramento. 11 USRLO - FINVALI - 21 aprile 2009 Dati raccolti rispetto a tre categorie Clima cooperativo/competitivo Clima positivo in situazione di lavoro individuale senza valutazione Clima positivo in situazione di lavoro individuale come valutazione del singolo 12 USRLO - FINVALI - 21 aprile 2009 Risultati Dai risultati della ricerca è emerso che gli studenti vivono con serenità le prove che non comportano una valutazione individuale e invece vivono con timore, senso di insicurezza, ansia/angoscia le prove che comportano una valutazione individuale, come il compito in classe. Il lavoro cooperativo può coniugarsi tranquillamente con lo spirito competitivo. Sembra quasi che il piacere di lavorare insieme ad un prodotto comune abbia fatto dimenticare agli studenti la fatica, le difficoltà e la dispersione di tempo. La preferenza per un tipo di prova piuttosto che per un altro potrebbe dipendere dalla maggiore o minore familiarità degli studenti con ciascun tipo di prova. 13 USRLO - FINVALI - 21 aprile 2009 Se non è possibile prescindere dalla valutazione con voto, non è però impossibile trovare strategie che prevengano l’ansia, individuabili riflettendo intorno a il supporto emozionale fornito dall’insegnante agli studenti durante le attività didattiche, la strutturazione delle situazioni di compito, la discrepanza ottimale, la differenziazione dei compiti, la strutturazione dei compiti secondo diversi livelli di difficoltà.... 14 USRLO - FINVALI - 21 aprile 2009 Ufficio Scolastico Regionale per la Lombardia Servizio per la Valutazione La valutazione “le competenze linguistiche” Punti di riferimento, ipotesi sugli esiti formativi attesi, criteri per le prove FINVALI - 21 aprile 2009 Il Quadro comune europeo di riferimento per le lingue Il QCER, pubblicato dal Consiglio d’Europa nel 2001, fornisce scale di descrittori per i diversi livelli di competenza linguistica, riferite però all’apprendimento delle LS e delle L2, non della madrelingua. E’ possibile comunque applicarne i concetti di fondo, per analogia, anche alla madrelingua, rispetto alla quale le competenze variano come livello e come modalità di acquisizione, ma non come tipologia. 16 USRLO - FINVALI - 21 aprile 2009 Elementi di riferimento mutuati nella ricerca dal QCER La distinzione tra “livelli intermedi” di competenza linguistica (istruzione dell’obbligo) e “livelli avanzati” (istruzione sec. di 2° grado e superiore). Il concetto di “processi” (ricezione, produzione interazione) e di “attività linguistiche” in funzione di un “compito” (inteso come problema da risolvere). Il concetto di “dominio” (personale, pubblico, educativo, professionale). I tipi di testo. 17 USRLO - FINVALI - 21 aprile 2009 Sulla base di questi concetti abbiamo sviluppato scale di descrittori delle competenze linguistiche a livello B1 (livello finale del primo ciclo di istruzione: 8 anni di scuola); B2 (livello finale dell’istruzione dell’obbligo: 10 anni di scuola); C1 (livello finale dell’istruzione secondaria: 13 anni di scuola). Alcuni descrittori (dominio personale e scolastico): lo studente utilizza strategie di lettura che gli permettono di ricavare dal testo letto dati specifici rispetto al testo letto coglie le informazioni centrali e le loro relazioni logiche a seconda degli scopi di lettura, formula parafrasi (ad esempio per riportare oralmente il contenuto di un articolo) e sintesi 18 USRLO - FINVALI - 21 aprile 2009 Un esempio di livello B1 Competenza Leggere, comprendere e interpretare testi scritti di vario tipo e forma Esempio di esiti formativi verificati in una prova alla fine del primo ciclo d’istruzione La prova parte da un testo espositivo su cui vengono proposti quesiti relativi a COMPRENSIONE DEL TESTO SUDDIVISIONE IN SEQUENZE ESERCIZI SUL LESSICO PRODUZIONE SCRITTA 19 USRLO - FINVALI - 21 aprile 2009 Alcuni descrittori (dominio personale e scolastico): lo studente ricerca testi(testi continui e non continui, grafici, cartine…) relativi a uno specifico argomento seleziona con consapevolezza quelli più utili ai propri scopi rielabora i testi letti in modo personale confrontando e organizzando le informazioni 20 USRLO - FINVALI - 21 aprile 2009 Un esempio di livello C1 Competenza Leggere, comprendere ed interpretare in modo autonomo testi scritti di vario tipo e su una vasta gamma di argomenti Esempio di esiti formativi verificati in una prova multidisciplinare alla fine dell’istruzione secondaria La prova è multidisciplinare e parte da un testo di Economia, su cui vengono proposti quesiti di Matematica. Per quanto riguarda la competenza di lettura, vengono verificati i seguenti esiti formativi: Comprendere, all’interno di un testo scientifico con una struttura lineare, lo scopo che l’autore si prefigge, le informazioni esplicite e le relazioni logiche segnalate dai connettivi sintattico-testuali; individuare le relazioni di significato tra due parole; formulare inferenze (lessicali e semantiche) basate sul testo e/o su conoscenze di enciclopedia personale. 21 USRLO - FINVALI - 21 aprile 2009 Criteri per la costruzione della prova finale Generali Carattere preferibilmente multidisciplinare della prova Esplicitazione dei traguardi/delle competenze che si testano Chiarezza e non ambiguità delle consegne Prova costruita in modo da testare diversi apprendimenti (in termini di conoscenze e competenze) attraverso attività integrate: es. per Italiano: comprensione e produzione del testo scritto Significatività della prova (verifica di nuclei centrali riportati nelle Indicazioni per il curricolo e negli ordinamenti per la scuola secondaria di secondo grado) Richieste formulate per livelli progressivi di competenze. Per la prova di Italiano Scelta di testi (ad es. espositivi) che privilegino una competenza di lettura funzionale (per il cittadino) o una competenza di lettura per lo studio, correlata a discipline non linguistiche. 22 USRLO - FINVALI - 21 aprile 2009 Ufficio Scolastico Regionale per la Lombardia Servizio per la Valutazione La valutazione “le competenze matematiche” Punti di riferimento, ipotesi sugli esiti formativi attesi, criteri per le prove FINVALI - 21 aprile 2009 Individuare le competenze matematiche di fine ciclo naturalmente porta a riflettere su quali siano le attività e le proposte didattiche che possono gradualmente portare al conseguimento di quelle competenze (e correlate abilità e conoscenze) . Il tema non è disgiunto da quello della certificazione delle competenze raggiunte, in quanto ne può definire le modalità. Per la declinazione delle competenze la ricerca internazionale e nazionale ci ha fornito importanti punti di riferimento. 24 USRLO - FINVALI - 21 aprile 2009 Il Quadro di riferimento PISA 2003 per le conoscenze e abilità in matematica esplicitava i presupposti teorici e gli obiettivi della valutazione dell’indagine OCSE, le conoscenze e le capacità valutate, i contesti rispetto ai quali verificarne la padronanza e gli strumenti utilizzati. Il quadro di riferimento PISA della matematica afferma che per verificare la competenza matematica è importante il contesto in cui è proposto un quesito e la sua distanza dal mondo degli studenti. Le quattro situazioni tipo descritte •personale, •scolastico/professionale, •pubblica e •scientifica si possono ritrovare anche nel quadro di riferimento delle lingue 26 USRLO - FINVALI - 21 aprile 2009 Abbiamo quindi notato alcuni elementi di modellizzazione che sono sviluppati in modo parallelo nei due documenti 27 USRLO - FINVALI - 21 aprile 2009 la distinzione di livelli intermedi di conoscenza (base A1e A2; intermedio B1e B2; avanzato C1 e C2) la attenzione alla situazione o contesto in cui un quesito o problema è proposto “La situazione è quella porzione del mondo dello studente in cui sono collocati i compiti da svolgere” (Quadro di riferimento PISA 2003 pag 36) e corrisponde per le lingue al concetto di dominio. I domini sono “gli ampi settori della vita sociale in cui operano gli attori sociali” (QCER, p.12) e in cui quindi si realizzano le attività linguistiche. la declinazione delle competenze attraverso l’analisi dei processi e concetti che sono messi in gioco nelle attività. 28 USRLO - FINVALI - 21 aprile 2009 QCER PISA Comprensione Rappresentazione Pensiero e ragionamento Parlato Interazione Argomentazione Orale Comunicazione Uso del linguaggio simbolico, formale e tecnico Scritto Formulazione e risoluzione di problemi Modellizzazione Uso del linguaggio simbolico, formale e tecnico 29 USRLO - FINVALI - 21 aprile 2009 Le competenze sono state declinate in termini di esiti attesi corrispondenti ai tre livelli: A1 – A2 Base - Situazione personale B1 – B2 Intermedio - Situazione scolastico professionale C1 – C2 Avanzato - Situazione pubblica e scientifica 30 USRLO - FINVALI - 21 aprile 2009 Criteri per la costruzione delle prove di fine cicli: 1. Carattere tematico o multidisciplinare della prova; 2. Esplicitazione dei traguardi / delle competenze che si testano 3. Prova costruita in modo da testare diversi apprendimenti in termini di abilità e conoscenze (e se possibile, traguardo di competenze): • comprensione del testo e uso del linguaggio tipico della disciplina • comprensione e interpretazione di fonti di informazioni diverse: grafici, schemi, tabelle di dati, … • conoscenza e applicazione di procedure anche in situazioni nuove 4. Riferimento a contenuti specifici riportati nelle Indicazioni per il curricolo e negli ordinamenti per la scuola secondaria di secondo grado 5. Riferimenti costanti a situazioni concrete reali o laboratoriali 6. Richieste formulate in modo articolato, progressivo e sequenziale. 31 USRLO - FINVALI - 21 aprile 2009 Ufficio Scolastico Regionale per la Lombardia Servizio per la Valutazione La valutazione “le competenze scientifiche (scienze sperimentali)” Punti di riferimento, ipotesi sugli esiti formativi attesi, criteri per le prove FINVALI - 21 aprile 2009 FRAMEWORK SCIENZE B1 secondo le Indicazioni Nazionali per il curricolo del primo ciclo FISICA E CHIMICA TRAGUARDI CONOSCENZE ESITI 33 USRLO - FINVALI - 21 aprile 2009 VALIDAZIONE DEI CRITERI PROTOTIPO DI PROVA FINE I CICLO SCIENZE Nell’esempio di prova XY si possono evidenziare i seguenti aspetti: 1) la prova evidenzia le differenze tra trasformazioni di tipo chimico e trasformazioni di tipo fisico; 2) i contenuti cui la prova si riferisce sono coerenti con quanto riportato nelle“Indicazioni nazionali per il curricolo”; 3) la formulazione dei quesiti vede riferimenti costanti a situazioni concrete reali o laboratoriali; 4) le richieste sono formulate in modo articolato, ma di facile comprensione, progressivo e sequenziale; 5) la prova comprende • testo continuo come input • testo non continuo (figure e tabelle) • domande a scelta multipla (almeno 4 risposte) • domande aperte a risposta articolata • domande aperte a risposta univoca 34 USRLO - FINVALI - 21 aprile 2009 6) Prima di ogni domanda o gruppo di domande sono esplicitati i traguardi di competenza che si vanno a misurare: comprendere un testo scientifico usare il linguaggio scientifico Interpretare un fenomeno risolvere semplici problemi 7) La prova è costruita in modo da verificare diversi apprendimenti in termini di conoscenze e abilità, coerentemente con il framework come risulta dalla seguente tabella: 35 USRLO - FINVALI - 21 aprile 2009 TRAGUARDI ABILITÀ ESITI L’alunno: Osservare, descrivere ed ha padronanza di tecniche di sperimentazione, di raccolta e di analisi dati, sia in situazioni di osservazione e monitoraggio sia in situazioni controllate di laboratorio analizzare fenomeni una relazione attraverso la lettura dei dati Individuare Osserva collegamenti e relazioni Acquisire ed interpretare l’informazione Classificare e organizzare Indagare oggetti e fenomeni, riconoscerne le caratteristiche principali e descriverli con termini appropriati Riconoscere Individua qualitativamente e quantitativamente i corpi materiali e le loro proprietà Mette in relazione le grandezze che intervengono nei passaggi di stato e nelle trasf. chimiche Distingue una trasf. fisica ed una trasf.chimica individuandone gli indicatori e definire i principali aspetti di un sistema 36 USRLO - FINVALI - 21 aprile 2009 esplicita, affronta e risolve Risolvere semplici situazioni problematiche sia problemi legati al in ambito scolastico che quotidiano nell’esperienza quotidiana 37 Utilizza la legge che governa le trasf. chimiche Risolve semplici problemi legati alle trasf. chimiche USRLO - FINVALI - 21 aprile 2009 Ufficio Scolastico Regionale per la Lombardia Servizio per la Valutazione La valutazione “ La validazione delle prove“ Mappa criteriale FINVALI - 21 aprile 2009 CRITERI PER LA COSTRUZIONE DELLA PROVA Carattere preferibilmente multidisciplinare della prova Esplicitazione dei traguardi/delle competenze che si testano Chiarezza e non ambiguità delle consegne Prova costruita in modo da testare diversi apprendimenti (in termini di conoscenze e competenze) attraverso attività integrate: es. per Italiano: comprensione e produzione del testo scritto es. per Matematica: comprensione e interpretazione di fonti di informazioni diverse (grafici, schemi, tabelle di dati,…) es. per Scienze: comprensione di un testo scientifico e uso del linguaggio specifico Significatività della prova (verifica di nuclei centrali riportati nelle Indicazioni per il curricolo e negli ordinamenti per la scuola secondaria di secondo grado) Richieste formulate per livelli progressivi di competenze. CRITERI PER IL CONTROLLO DI UNA PROVA RISPETTO ALLA COERENZA E ALLA CONGRUITÀ tra gli esiti formativi della verifica proposta e il “framework”; tra la formulazione della prova e i criteri Corrispondenza di costruzione sopra elencati; in particolare, tra gli apprendimenti che si intendono testare e la costruzione e i contenuti della verifica. 40 USRLO - FINVALI - 21 aprile 2009 CRITERI PER IL CONTROLLO DI UNA PROVA RISPETTO ALLA COERENZA E ALLA CONGRUITÀ a) rispetto dei tempi relativi alla concentrazione dello studente b) grado di articolazione e di difficoltà delle richieste della prova appropriati al livello di traguardi/competenza di fine ciclo 41 USRLO - FINVALI - 21 aprile 2009 Ufficio Scolastico Regionale per la Lombardia Servizio per la Valutazione La valutazione Gruppo di ricerca: Laura Angelini, Eraldo Bonavitacola, AnnaMaria Gilberti, Lia Maida, Marta Melgrati, Teresa Manfredi, Rita Peracchini, Patrizia Previtali, Anna Riva, Silvana Rizzo, Rosarita Rota, Agata Silletti, Franco Tornaghi FINVALI - 21 aprile 2009