La valutazione delle competenze scientifiche Michela Mayer Science Expert Group Pisa 2006 INVALSI- Rapporto PISA italiano per le scienze E’ importante valutare le competenze scientifiche? • In Italia non è così scontato • Gruppo di lavoro per la diffusione della cultura scientifica e tecnologica presieduto da L. Berlinguer Italia, paese di scienziati? • Siamo tra gli ultimi nei Paesi OCSE • Gli studenti italiani non sanno perchè ci sono il giorno e la notte • La nostra scuola non fornisce competenze scientifiche e matematiche • Abbiamo i migliori ricercatori del mondo • I nostri ragazzi arrivano primi alle olimpiadi scientifiche • La nostra è una scuola seria, sono i test che si sbagliano… Chi valuta le competenze e perché? Le indagini internazionali - PIRLS, TIMSS, PISA – si sono proposte negli ultimi 10 anni di valutare competenze e non solo conoscenze. Per competenza si intende (OCSE, DeSeCo, 2002): La capacità di rispondere a esigenze individuali e sociali, o di svolgere efficacemente un'attività o un compito. Ogni competenza comporta dimensioni cognitive, abilità, attitudini, motivazione, valori, emozioni e altri fattori sociali e comportamentali Cos’è TIMSS? • Trends in International Mathematics and Science Study • Si rivolge a studenti di 4° elementare e 3° media • Il test è rivolto agli studenti della stessa classe, e il questionario insegnante permette di interpretare i risultati degli studenti anche in relazione agli stili di insegnamento. • Tiene conto dei curricoli nazionali • Si ripete ogni 4 anni • Nel 2007 hanno partecipato 37 nazioni per la 4° elementare e 50 per l’8° anno di scolarizzazione. • Attraverso l’analisi dei risultati vengono definiti 4 livelli di competenza: avanzato, alto, intermedio, basso. Cos’è PISA? PISA - Programme for International Student Assessment Indagine internazionale promossa dall’OCSE l’attenzione non è sui contenuti curricolari quanto sulle capacità ad affrontare problemi e compiti di vita quotidiana PISA si rivolge solo ai ‘quindicenni’, in qualunque tipo di scuola si trovino propone rilevazioni ogni tre anni, su tre aree (lettura, matematica, scienze) 32 paesi partecipanti nel 2000, 41 nel 2003, 57 nel 2006 literacy lingua madre 2000 e 2009 matematica 2003 scienze 2006 Paesi che hanno partecipato a PISA nel 2006 PISA: Quale scienza per quale società? • “Che cosa è importante che un cittadino conosca, a che cosa è importante che dia valore e che cosa è importante che sia in grado di fare, in situazioni che richiedono il ricorso alla scienza e alla tecnologia o che sono in qualche modo da esse determinate?” • Le competenze che costituiscono il nucleo centrale della definizione di literacy scientifica di PISA 2006 sono fondamentali per rispondere a questa domanda. Esse si riferiscono a quanto gli studenti sappiano: individuare questioni di carattere scientifico dare una spiegazione scientifica dei fenomeni usare prove fondate su dati scientifici Come PISA 2006 definisce e valuta le competenze scientifiche Conoscenze Il modo in cui lo fanno è influenzato da Richiede alle persone di Contesto Situazioni di vita che hanno a che fare con la scienza e la tecnologia Competenze individuare questioni di carattere scientifico dare ai fenomeni una spiegazione scientifica usare prove basate su dati scientifici Conoscenze sul mondo naturale (conoscenza della scienza) Conoscenze sulla scienza in quanto tale (conoscenza sulla scienza) Atteggiamenti Risposta alle questioni di carattere scientifico interesse sostegno alla ricerca scientifica responsabilità Risultati in scienze (medie) in PISA 2006 563 Finlandia 534 Canada 531 Giappone 530 N. Zelanda 527 Australia 525 Paesi Bassi 522 Corea 516 Germania 515 Regno Unito 513 Rep. Ceca 512 Svizzera 511 Austria 510 Belgio 508 Irlanda 504 Ungheria 503 Svezia 500 Media OCSE 496 Polonia 496 Danimarca 495 Francia 491 Islanda 489 Stati Uniti 488 Rep. Slovacca 488 Spagna 487 Norvegia 486 Lussemburgo 475 Italia 474 Portogallo 473 Grecia 424 Turchia 410 Messico Intervallo Confidenza Inferiore Intervallo Confidenza Superiore 400 450 500 550 Risultati in scienze (livelli) in PISA 2006 Francia 6,6 Spagna 4,7 Regno Unito 4,8 14,5 14,9 0,5 OCSE 5,2 Italia 7,3 0% 27,2 27,4 11,9 21,8 Germania 4,1 11,3 Finlandia 3,6 22,8 18 20% 27,4 27,6 40% 2,9 10 1,8 20,3 60% 4,5 0,3 17 27,4 3,9 7,7 15,1 80% 0,8 10,9 23,6 32,2 24 7,2 17,9 21,8 27,9 29,1 14,1 30,2 25,9 21,4 13,6 20,9 1,3 4,2 0,4 100% <1 1 2 3 4 5 6 Risultati medi su tutte le scale di scienze Italia Scale OCSE Punt. medio D. S. Diff.. M-F Punt. medio D. S. Diff.. M-F 474 99 -17 499 95 -17 480 100 15 500 98 15 Usare prove basate su dati scientifici 467 111 -2 499 108 -2 Conoscenza sulla scienza 472 99 -8 500 97 -8 Sistemi della Terra e dell’Universo 474 113 15 500 104 17 Sistemi Viventi 488 99 3 502 100 4 Sistemi Chimici e Fisici 472 99 25 500 99 26 Scala complessiva 475 96 3 500 95 2 Individuare questioni di carattere scientifico Dare una spiegazione scientifica dei fenomeni Source: OECD PISA database 2006. Le differenze tra punteggio dei maschi e punteggio delle femmine poste in grassetto sono significative. Risultati Italiani in Scienze TIMMS 2007 e PISA 2006 TIMSS 2007 Quarto anno TIMSS 2007 Ottavo anno Pisa 2006 Quindici anni Media Err. St. Media Err.St. Media Err.St. Nord-Ovest 541 4.9 509 4.5 501 4.1 Nord Est 556 5.4 527 7.1 520 2.8 Centro 536 5.8 506 3.7 486 8.0 Sud 532 8.8 477 6.1 448 3.7 Sud e Isole 507 8.7 462 8.0 432 4.6 Italia 535 Media Int. o Media OCSE 500 Nazione migliore 587 Singapore 3.2 495 2.8 500 4.1 567 Singapore 475 2.0 500 4.4 563 Finlandia 2.0 Risultati nella scala complessiva di scienze per tipo di scuola Media e dispersione dei risultati al Sud rispetto ai risultati nazionali e internazionali Area geografica * Tipo di scuola Tutti gli studenti Punteggio medio Media Sud D.S. E.S. Licei 485 (6,6) 77 (2,8) Istituti Tecnici 442 (5,0) 73 (2,2) Istituti Professionali 387 (5,4) 69 (2,5) Scuole Medie 343 (11,0) 74 (13,0) Formazione Professionale Italia E.S. Deviazione Standard - - Totale 448 (3,7) 84 (1,9) Licei 518 (3,2) 85 (2,0) Istituti Tecnici 475 (2,9) 83 (1,4) Istituti Professionali 414 (4,3) 82 (2,2) Scuole Medie 340 (16,3) 93 (15,0) Formazione Professionale 405 (11,8) 80 (4,7) Totale 475 (2,0) 96 (1,3) Totale OCSE 491 (1,2) 104 (0,6) Media OCSE 500 (0,5) 95 (0,3) Un esempio: PIOGGE ACIDE • La fotografia qui sotto mostra alcune statue dette Cariatidi, erette sull’Acropoli di Atene più di 2500 anni fa. Queste statue sono fatte di un tipo di roccia che si chiama marmo. Il marmo è composto di carbonato di calcio. • Nel 1980, le statue originali, che erano state corrose dalle piogge acide, sono state trasferite all’interno del museo dell’Acropoli e sostituite da copie. L’effetto delle piogge acide sul marmo può essere simulato immergendo scaglie di marmo nell’aceto per una notte. L’aceto e le piogge acide hanno più o meno lo stesso livello di acidità. Quando si immerge una scaglia di marmo nell’aceto, si formano bolle di gas. Si può determinare la massa della scaglia di marmo asciutta, prima e dopo l’esperimento. • Nei test PISA ogni prova è introdotta da un testo stimolo, che contestualizza le domande che seguono e che fornisce gran parte delle informazioni necessarie Le domande possono essere a scelta multipla Domanda 3: PIOGGE ACIDE (competenza: Dare una spiegazione scientifica dei fenomeni) Una scaglia di marmo ha una massa di 2,0 grammi prima di essere immersa per una notte nell’aceto. Il giorno dopo, la scaglia viene tolta dall’aceto e asciugata. Quale sarà la massa della scaglia di marmo asciutta? A.Meno di 2,0 grammi. B.Esattamente 2,0 grammi. C.Tra 2,0 e 2,4 grammi. D.Più di 2,4 grammi. Domanda 5: PIOGGE ACIDE(competenza: Individuare questioni di carattere scientifico) Gli studenti che hanno fatto questo esperimento hanno immerso per una notte scaglie di marmo anche in acqua pura (distillata). Spiega perché gli studenti hanno inserito anche questa fase nel loro esperimento. •___________________________________________________________ •___________________________________________________________ •___________________________________________________________ Le domande possono anche essere aperte Come rispondono gli studenti Piogge Acide Dom. 5 Difficoltà 529– Livello 3 Piogge Acide Dom. 5 Difficoltà 717– Livello 6 Piogge Acide Dom. 5 % punteggio parziale E. S. % punteggio pieno E. S. % Omesse E. S. Italia 32,7 0,9 16,2 0,9 29,2 1,2 Finlandia 60,1 1,4 8,2 0,8 10,4 0,9 Giappone 32,3 1,3 19,3 1,2 29,8 1,3 Media OCSE 43,0 0,2 14,0 0,2 17,3 0,2 Paesi Il problema delle omissioni 30,0 25,0 Italia Francia 20,0 España Media OCSE 15,0 México Portugal USA 10,0 Finlandia Paises Bajos 5,0 0,0 Eleccion multiple Eleccion multiple simples complejas Abiertas a respuesta univoca Abiertas a respuesta elaborada Un altro esempio: MARY MONTAGU Leggi il seguente articolo di giornale e rispondi alle domande che seguono. LA STORIA DELLA VACCINAZIONE Mary Montagu era una donna molto bella. Nel 1715, sopravvisse ad un’epidemia di vaiolo ma rimase piena di cicatrici. Durante un soggiorno in Turchia nel 1717, osservò un metodo che lì veniva praticato abitualmente detto inoculazione. Tale trattamento prevedeva che una forma attenuata del virus del vaiolo fosse trasmessa graffiando la pelle di persone giovani e sane che così si ammalavano ma che, nella maggior parte dei casi, sviluppavano la malattia solo in forma lieve. Mary Montagu fu così convinta che queste inoculazioni non fossero pericolose, da permettere che suo figlio e sua figlia fossero inoculati. Nel 1796, Edward Jenner si servì di inoculazioni di una malattia della stessa famiglia, il vaiolo vaccino, per stimolare la produzione di anticorpi contro il vaiolo. In confronto all’inoculazione del vaiolo, questo trattamento aveva meno effetti collaterali e la persona trattata non poteva infettarne altre. Il trattamento divenne noto sotto il nome di vaccinazione. Domanda 2: MARY MONTAGU Contro quale tipo di malattie ci si può far vaccinare? A. Le malattie ereditarie, come l’emofilia. B. Le malattie provocate dai virus, come la poliomielite. C. Le malattie dovute ad una disfunzione del corpo, come il diabete. D. Tutte le malattie per le quali non esiste una cura. Domanda 3: MARY MONTAGU Se animali o esseri umani si ammalano per un’infezione batterica e poi guariscono, di solito non si ammaleranno più a causa di quel tipo di batteri. Per quale motivo? A.Il corpo ha ucciso tutti i batteri che possono provocare lo stesso genere di malattia. B.Il corpo ha prodotto anticorpi che uccidono quel tipo di batteri prima che si moltiplichino. C.I globuli rossi uccidono tutti i batteri che possono provocare lo stesso genere di malattia. D.I globuli rossi catturano tutti i batteri di quel tipo e li eliminano dal corpo. Domanda 4: MARY MONTAGU Fornisci un motivo per cui si raccomanda in particolare ai bambini ed alle persone anziane di vaccinarsi contro l’influenza. ………………………………………………………………………………………………………………….............. ................................................................................................................. ………………………………………………………………………………………………………………………………….. Come rispondono gli studenti Paesi MARY MONTAGU Dom. 2 Difficoltà 436 – Livello 2 MARY MONTAGU Dom. 3 Difficoltà 431 – Livello 2 MARY MONTAGU Dom. 4 Difficoltà 507 – Livello 3 % corrette % corrette % corrette E. S. E. S. E. S. Finlandia 85.3 1.1 84.4 0.9 79.2 1.2 Francia 76.5 1.4 84.1 1.0 51.6 1.6 Grecia 69.8 1.4 78.8 1.2 52.5 1.5 Italia 79.4 0.8 81.3 0.8 54.0 1.0 Media OCSE 74.9 0.2 75.1 0.2 61.7 0.2 Un esempio di prova che non è stata usata: ENERGIA EOLICA • L’energia eolica è da molti considerata una fonte di energia in grado di sostituire le centrali termiche a petrolio o a carbone. I dispositivi nella foto sono rotori dotati di pale che il vento fa ruotare. Queste rotazioni permettono ai generatori messi in moto dalle pale di produrre energia elettrica. Competenza: usare prove basate su dati scientifici I seguenti grafici riportano la velocità media del vento in quattro diversi luoghi nel corso di un anno. Quale dei grafici indica il luogo più adatto all’installazione di un generatore ad energia eolica? A. Ve loc ità del ve nto 0 B. Ve loc ità del ve nto 0 Gen naio Dice mbre C. Ve Gen naio Dice mbre D. Ve loc ità del ve nto loc ità del ve nto 0 0 Gen naio Dice mbre Gen naio Dice mbr e Nella prova sul campo la domanda si è dimostrata molto facile, con circa il 75% delle risposte corrette a livello internazionale, e una discriminatività molto buona.. In Italia ha risposto correttamente circa il 73% ma si è avuto il 13% di omissioni. Competenza: usare prove basate su dati scientifici Più il vento è forte, più le pale del rotore girano veloci e maggiore è la quantità di energia elettrica prodotta. Tuttavia, in situazione reale, non esiste una relazione di proporzionalità diretta fra la velocità del vento e l’elettricità prodotta. Qui sotto vengono descritte quattro condizioni di funzionamento di una centrale eolica in situazione reale: Le pale cominciano a ruotare quando il vento raggiunge la velocità V1. Per ragioni di sicurezza, la rotazione delle pale non accelera più quando la velocità del vento è superiore a V2. La potenza elettrica è al massimo (W) quando il vento raggiunge la velocità V2. Le pale smettono di ruotare quando il vento raggiunge la velocità V3. Quale fra i seguenti grafici rappresenta meglio la relazione fra velocità del vento e potenza elettrica nelle condizioni di funzionamento descritte? B. A. W W potenza potenza 0 0 V1 V2 0 V3 0 V1 0 V1 Velocità del vento V2 V3 Velocità del vento D. C. W W potenza potenza 0 0 V1 V2 V3 Velocità del vento 0 V2 V3 Velocità del vento In Italia l’item è risultato significativamente più difficile che a livello internazionale, con solo il 32% di risposte corrette e quasi il 26 % di studenti che ha scelto il distrattore C. Competenza: Dare una spiegazione scientifica dei fenomeni Descrivi un vantaggio specifico ed uno specifico svantaggio della produzione di energia da parte dei generatori ad energia eolica, rispetto alla produzione di energia a partire dai combustibili fossili come il carbone e il petrolio. Un vantaggio …………………. Uno svantaggio ………………… La domanda, anche per la varietà delle risposte accettate, è risultata piuttosto facile, anche se con una discriminatività molto buona. In Italia ha raggiunto il punteggio pieno il 46% degli studenti, mentre circa il 23% ha ottenuto un punteggio parziale, un 23% non ha nemmeno provato a rispondere Cosa influenza i risultati italiani in Scienze? TIMSS 2003 Quarto anno TIMSS 2003 Ottavo anno Pisa 2003 Quindici anni Numero di libri a casa? % IT Media IT % Int. Media Int % IT Media IT % Int . Media Int. % IT Media IT % OCSE Media OCSE 0-10 18 498 18 453 13 457 18 438 9 416 12 419 11-25 33 511 24 430 29 474 26 458 17 449 16 449 25-100 27 525 31 502 25 497 27 483 32 482 30 494 101-200 11 531 14 507 14 502 13 498 20 506 18 524 201-500 10 525 12 518 19 524 15 506 13 536 14 558 8 544 8 565 + di 500* * Questa categoria è usata solo da PISA, il TIMSS si arresta alla categoria precedente espressa come “+di 200”. Cosa influenza i risultati italiani in Scienze? L’immagine diffusa della scienza. Eurobarometro: Laand scienza e la tecnologia possono risolvere 'QA12a.3Science technology can sort out any problem' (% tend to + strongly disagree; n=500 each) qualunque problema. % di chi si dichiara in forte disaccordo SW CH NL DK FIN LUX NO F B N IRELAND IS D W EST UK SLOVEN EST CHEK D OST EIRE MAL LAT T otal A POL HRVAT SKA CYP SLOVAK GR HUN E LIT U POR IT BULG ROM T URK 0 10 20 30 40 50 percentage of adult population 60 70 80 90 Cosa influenza i risultati italiani in Scienze? Uso del libro di testo da parte degli insegnanti di scienze (% di studenti) In 4° elementare In 3° media Italia Internazio nale Italia Internazio nale 7% 18% 1% 5% Come base principale per la lezione 32% 56% 63% 56% Come risorsa aggiuntiva 61% 26% 36% 39% Mai Un’analisi dei libri di testo italiani svolta nel 2000, da Zadigroma su incarico del MIUR, mostra come per la maggioranza dei libri di testo utilizzati l’approccio sia “ancorato alla didattica disciplinare’ e non ‘integrato’ neanche quando i programmi lo propongono L’analisi dell’immagine della scienza emergente dai libri, sia delle elementari sia delle medie, mostra “un’immagine tendenzialmente statica”, in cui si afferma “un’idea di scienza in grado di spiegare tutto, di dare sempre soluzioni e che non muta nel tempo”, in cui “non emerge in modo significativo che la conoscenza scientifica è costituita da teorie corroborate da prove di fatto, né l’idea di indagine e ricerca. Le prove sperimentali sono proposte spesso come verifica di enunciati e il risultato viene talvolta anticipato come sicuro e inconfutabile: la scienza spiega tutto, non predice.” Cosa influenza i risultati italiani in Scienze? Percentuali di studenti e di insegnanti che dichiarano di svolgere le attività proposte minimo una volta al mese (TIMSS) Attività svolte in classe una o + volte al mese 4 elementare ITALIA 2007 4 elementar e Intern. 2007 3 media ITALIA 2007 8 anno Intern. 2007 STU INS STU INS STU INS STU INS Guardare l’insegnante che svolge un esperimento 69 23 67 25 22 8 67 41 Progettare un esperimento o una ricerca 45 25 47 23 12 8 50 27 Fare un esperimento o una ricerca 47 31 49 32 11 9 54 47 Lavorare con altri studenti in piccoli gruppi per una ricerca o un esperimento a scuola 41 22 56 36 10 9 56 50 Scrivere spiegazioni rispetto a qualcosa che si è studiato o osservato 72 91 69 69 78 89 65 71 * 72 * 74 32 69 57 79 Collegare quello che si sta apprendendo in scienze con Cosa influenza i risultati italiani in Scienze? Che tipo di laboratorio viene proposto e in quali scuole? L’indice di insegnamento/apprendimento SCHANDS Item Gli studenti conducono esperimenti pratici in laboratorio (ST34Q02) Agli studenti è richiesto di progettare attività di laboratorio per rispondere a domande riguardanti materie scientifiche (ST34Q03) Agli studenti è richiesto di trarre conclusioni da un esperimento condotto da loro stessi (ST34Q06) Gli studenti fanno esperimenti seguendo le istruzioni dell’insegnante (ST34Q14) Gli esperimenti vengono condotti dall’insegnante a scopo dimostrativo (ST34Q10) ITA % (E.S.) ESP % (E.S.) FIN % (E.S.) FRA % (E.S.) GBR % (E.S.) NLD % (E.S.) 17.3 8.4 22.2 23.2 26.7 29.9 (0.69 8) (0.45 2) (0.93 9) (0.80 3) (1.07 4) (1.04 7) 15.6 13.7 9.7 23.1 35.7 25.6 (0.55 8) (0.60 1) (0.46 5) (0.84 3) (0.77 6) (0.83 5) 36.0 48.0 54.6 68.3 67.0 51.1 (0.96 2) (0.82 5) (0.92 0) (0.95 8) (0.89 1) (0.84 3) 32.7 32.1 51.1 61.8 62.0 31.9 (0.75 2) (0.87 9) (0.97 2) (0.97 9) (0.99 9) (0.94 1) 27.8 19.9 23.9 40.0 49.2 25.1 (0.62 8) (0.75 1) (0.82 9) (0.88 1) (0.86 4) (0.87 2) Come influisce l’indice SCHANDS? Paese Media SCHANDS E.S. Italia -0.41 0.028 Spagna Modello di regressione Paese INTERCETTA SCHANDS Spagna (R2 = .11) 487,1 3,0* Finlandia(R2= .13) 555,4 19,5 -0.30 0.026 Finlandia 0.02 0.018 Francia (R2 = .21) 483,8 45,1 Francia 0.28 0.020 Regno Unito (R2= .07) 508,3 15,9 Italia (R2 = .14) 478,9 4,9 Paesi Bassi (R2 = .15) 527,5 8,8 Regno Unito Paesi Bassi 0.45 0.08 0.017 0.019 Elaborazione da dati OCSE * Non statisticamente significativo per p>0,05 Cosa influenza i risultati italiani in Scienze? Relazione tra % di studenti ai livelli più alti nella scala PISA scienze e numero di ricercatori per ogni mille persone impiegate Cosa influenza i risultati italiani in Scienze? • • • • • • • • • • • La mancata accettazione nel senso comune della Scienza come cultura Lo scarso investimento pubblico e privato nella ricerca scientifica e tecnologica La mancanza di relazione tra scuola e mercato del lavoro soprattutto nel Sud Una società a rischio di analfabetismo di ritorno, che non legge e non argomenta ciò che sostiene La scarsa presenza delle scienze sperimentali nei curricoli della scuola secondaria italiana sia in termini di status sia in termini di ore (nella scuola media siamo il paese con meno ore e tra quelli con più contenuti, dati TIMSS) Una visione ancora nozionistica delle scienze, con poco tempo dedicato a momenti di indagine autonoma e ancora meno a riflessioni sui limiti del procedere scientifico e sulla sua utilizzazione per comprendere la tecnologia e i problemi di ogni giorno (in Italia l’uso quasi esclusivo del libro di testo come fonte di apprendimento, aumenta all’aumentare del livello scolare, a differenza degli altri paesi) Un’organizzazione delle cattedre e dei curricoli che esalta un approccio quasi solo teorico e separa spesso la teoria dalla ‘pratica’ di laboratorio Una separazione tradizionale tra le discipline scientifiche e la realtà Manca la ricerca didattica e quando c’è non viene valorizzata Manca la collaborazione tra Scuole, Istituti di Ricerca, Musei scientifici, Imprese… ………………………………………………………………………………………………….. •Al mondo esistono macchine banali, quelle costruite dall’uomo e di cui si possono prevedere le risposte, e imprevedibili macchine non banali: tutti gli esseri viventi. • Sembra che lo scopo della scuola sia trasformare imprevedibili macchine non banali in macchine banali (Von Foerster)