PISA.ch
Schweizerische Konferenz der kantonalen Erziehungsdirektoren
Conférence suisse des directeurs cantonaux de l’instruction publique
Conferenza svizzera dei direttori cantonali della pubblica educazione
EDK
Info
CDIP
Gemeinsames Projekt von Bund und Kantonen
Kompetenzmessung bei den 15-Jährigen
Projet commun de la Confédération et des cantons
Evaluation des compétences chez les jeunes de 15 ans
Progetto comune della Confederazione e dei cantoni
Valutazione delle competenze dei giovani di 15 anni
Agosto 2004
PISA Programme
for International
Student
Assessment
Conferenza stampa
7 dicembre 2004:
Primi risultati
PISA 2003
Contenuto
• Editoriale
• PISA 2003 – Preparazione dei dati
– «Pulizia» dei dati
– Ponderazione
– Calcolo dei punteggi PISA
– Costruzione dell’indice
• PISA 2003 – Presto si conosceranno
i risultati...
• PISA 2003 – Informazioni alle scuole,
per ringraziarle
• PISA 2000 – Rapporto sull’attuazione
delle misure in materia di politica
dell’istruzione
• PISA 2003 – Preparazione dei dati
• PISA 2006 – Opzioni nazionali
• Info
• Indirizzi e pagine Web
Editoriale
Come voi, anche noi siamo impazienti di conoscere i risultati di PISA 2003. Ma solo il 7
dicembre potremo fornirvi maggiori indicazioni.
Abbiamo quindi colto l’occasione di questo
bollettino per informarvi in modo preciso
ma comprensibile sui vari lavori che abbiamo dovuto effettuare negli scorsi mesi
per garantire che i dati analizzati rispecchino
fedelmente la realtà e siano così uno strumento utile.
Qui di seguito, gli esperti competenti del
consorzio internazionale del progetto PISA
vi spiegano le tappe della «pulizia dei dati»,
i motivi della «ponderazione», il principio
dei «punteggi». A ciò abbiamo aggiunto
una breve spiegazione sul calcolo degli «indici», il tutto sforzandoci di mantenere un
linguaggio semplice per operazioni molto
specialistiche e complesse. Speriamo così di
completare opportunamente le vostre conoscenze.
PISA 2003 – Preparazione
dei dati
«Pulizia» dei dati
La «pulizia» dei dati è un’operazione chiave
per assicurare la qualità in PISA. Dati dubbi
possono infatti influenzare l’analisi e rendere i risultati meno attendibili e di conseguenza meno utili. Considerata la natura
pubblica dei rapporti, nei file non devono restare dati dubbi, anche se non influenzano
i risultati dell’analisi.
Esistono varie fonti di dati ambigui. Nella
maggior parte dei casi sono dovuti a errori
di immissione dei dati o a errori dei partecipanti, che hanno scritto un valore impossibile o sbagliato nel questionario. È soprattutto su questo che verte il processo di «pulizia» dei dati. Talvolta vi sono anche errori
di traduzione o di stampa. A scanso di questi errori, PISA ha elaborato rigorose procedure di adattamento, traduzione e verifica.
Ciononostante, questo tipo di errore può
capitare ed essere identificato attraverso
l’analisi statistica durante l’appuramento dei
dati.
Il modo più semplice per trattare i dati ambigui sarebbe quello di eliminare l’intero record contenente valori dubbi. Ciò è però
inaccettabile perché i record eliminati sarebbero considerati allievi assenti, il che ridurrebbe il tasso di partecipazione del Paese.
L’International Study Centre presso l’ACER1
cerca quindi di correggere il maggior numero possibile di incoerenze nella banca
dati. E lo fa in varie tappe.
Innanzitutto, i dati devono essere immessi
nel KeyQuest, uno speciale software fornito
dall’ACER, che produce un messaggio d’errore ogni volta che viene immessa un’informazione sbagliata. Dopo che i dati sono
stati immessi, il software produce anche dei
rapporti di validità che elencano le incoerenze tra i dati e i Centri nazionali sono tenuti a risolvere queste incoerenze prima di
inviare i dati all’ACER.
Dopo l’invio dei dati all’ACER sono svolti
controlli supplementari. Durante il processo
di «pulizia» dei dati, l’ACER invia ai Centri
1
Australian Council for Educational Research
PISA.ch Info
nazionali dei rapporti contenenti i risultati
delle procedure di controllo, invitandoli a
chiarire eventuali incoerenze nella loro
banca dati. Le serie di dati nazionali sono poi
aggiornate man mano in base alle informazioni fornite dai Centri nazionali.
Dopo che l’ACER ha ricevuto tutti i rapporti
di controllo dai Centri nazionali e inserito
tutte le modifiche nella banca dati, alle incoerenze irrisolte nella banca dati PISA (generalmente non più di qualche caso e/o variabile per Paese) si applicano le seguenti regole generali:
− Le incoerenze irrisolte concernenti l’identificazione di allievi o scuole portano
all’eliminazione del record dalla banca
dati.
− I dati di eventuali errori sistematici irrisolti
per un determinato aspetto cognitivo
sono sostituiti dal codice non applicabile.
Se un Paese segnala ad esempio un errore di traduzione o di stampa per un
esercizio nella versione nazionale di un
opuscolo cognitivo, i dati per questo
esercizio sono ricodificati come non applicabili e non saranno utilizzati nelle analisi.
− Se il Paese ha eliminato una variabile nel
questionario sul background, questa è
sostituita dal codice non applicabile.
− Se una variabile nel questionario sul
background è stata modificata dal Paese
e non è ricodificabile nel formato internazionale, deve essere rinominata e la variabile internazionale è sostituita dal codice
non applicabile.
− Tutte le variabili concernenti il background aggiunte o modificate sono trasferite in un file separato, che i Paesi potranno utilizzare per i loro scopi.
Alla Routitsky, ACER
(http://www.acer.edu.au)
Ponderazione
Per capire la ponderazione dei dati di un’indagine bisogna capire la natura e lo scopo
del campionamento. Nella maggior parte
dei casi, quando vogliamo apprendere qualcosa su una popolazione, vari limiti impon-
Agosto 2004
gono l’osservazione di un campione di unità
della popolazione (gli allievi di 15 anni, nel
caso di PISA) e non di tutte le unità. Ma anche se l’osservazione si limita a un campione, il nostro scopo resta quello di dire
qualcosa sulle caratteristiche rappresentative dell’intera popolazione. A permetterci di
farlo è la ponderazione del campione. Se
ogni unità della popolazione aveva una probabilità ben definita di essere selezionata, a
ogni unità del campione è associato un
peso. Il peso, che indica quante unità dell’intera popolazione rappresenta l’unità inclusa
nel campione, è semplicemente l’inverso
della probabilità di selezione. Mettiamo ad
esempio che la popolazione degli allievi sia
composta da 1000 allievi. Se selezioniamo
casualmente 200 dei 1000 allievi, ogni allievo ha una probabilità di selezione di 1/5.
Per ogni allievo selezionato il peso è quindi
di 5. Se sommiamo il peso di tutti i 200 allievi inclusi nel campione, il risultato è 1000,
pari alla popolazione totale. La somma dei
pesi di tutte le unità del campione mostra
che attraverso la ponderazione le unità del
campione rappresentano l’intera popolazione.
In PISA, gli allievi non hanno tutti lo stesso
peso come nell’esempio precedente. Benché pesi uguali siano auspicabili e corrispondano al caso ideale nella concezione di PISA,
per vari motivi si impone una ponderazione
non uniforme. In PISA, infatti, gli allievi non
sono semplicemente selezionati direttamente da un elenco nazionale di tutti i quindicenni. Dapprima sono invece selezionate
le scuole, con le loro probabilità in funzione
del numero di quindicenni iscritti al momento in cui l’elenco della scuola è presentato per il campionamento. Nelle scuole incluse nel campione, all’avvicinarsi del momento della valutazione sono poi selezionati
gli allievi. In circostanze ideali, in questo caso
gli allievi avrebbero tutti lo stesso peso.
Spesso, tuttavia, il numero di quindicenni
per scuola in base all’elenco della popolazione scolastica differisce dal numero effettivo di allievi nella scuola al momento del
campionamento. Siccome le probabilità finali di selezione dell’allievo sono il prodotto
della probabilità di selezione della scuola e
della probabilità di selezione dell’allievo all’interno della scuola selezionata, questa discrepanza nel numero di quindicenni è il
primo motivo per cui il peso degli allievi può
variare. Il secondo motivo principale per cui
la probabilità di selezione degli allievi, e
2
quindi il loro peso, può variare è il sotto o
sovracampionamento intenzionale di particolari gruppi della popolazione di allievi allo
scopo di soddisfare requisiti operativi e/o nazionali. In PISA, spesso gli allievi delle scuole
piccole sono sottorappresentati perché la
loro valutazione presuppone una quantità
elevata di risorse per allievo. Sono invece sovrarappresentati particolari sottogruppi
come le regioni linguistiche o i Cantoni, in
cui è importante raggiungere una grandezza adeguata del campione per ogni sottogruppo. Sono quindi necessarie opportune ponderazioni per garantire che questi
campioni rispecchino effettivamente la popolazione generale.
Oltre alle probabilità di selezione, vi sono altri fattori che fanno variare i pesi. Tra questi,
in PISA quello principale è la mancata risposta delle scuole e degli allievi: le ponderazioni degli allievi inclusi nel campione finale
sono adeguate allo scopo di compensare
eventuali lacune nel campione derivanti
dalle mancate risposte.
Sheila Krawchuk, WESTAT
(http://www.westat.com)
Calcolo dei punteggi PISA
Alle risposte di ogni allievo agli esercizi di valutazione di PISA sono assegnati dei punteggi, utilizzati poi per la classificazione e
l’analisi dei dati PISA allo scopo di valutare
la capacità degli allievi e di ricavarne una misura della competenza nell’ambito di PISA.
Ma come sono determinati questi punteggi?
Gli esercizi PISA sono concepiti per generare
indicatori della competenza. Richiedono dagli allievi risposte classificabili in modo tale
da quantificare la competenza variabile di
base corrispondente all’esercizio. Applicando il metodo della item response theory
(IRT) è possibile stimare sia il grado di difficoltà dell’esercizio che la capacità dell’allievo
di risolvere un determinato esercizio.
La preparazione degli esercizi PISA comprende l’identificazione di tutte le risposte
possibili per ogni esercizio e il raggruppamento di queste risposte in categorie che
presentino un legame razionale con la competenza variabile di base. Gli esercizi a scelta
multipla sono facili da inquadrare – una
PISA.ch Info
delle risposte è quella corretta o la migliore
tra quelle disponibili. Altri esercizi possono
chiedere agli allievi di svolgere un calcolo o
scrivere qualcosa in risposta allo stimolo dell’esercizio. Per questi esercizi, sono stati effettuati test pilota e ampie sperimentazioni
sul terreno per identificare e prevedere la
maggior gamma di possibili risposte degli allievi. Queste risposte prevedibili sono poi assegnate dagli autori dell’esercizio a distinte
categorie, in modo tale che le categorie definite colgano qualitativamente vari tipi di risposta. In alcuni casi, se le risposte sono facilmente identificabili come corrette o sbagliate, può essere definita una dicotomia. In
altri esercizi possiamo considerare corretta
una serie di risposte differenti. In altri casi
ancora può essere identificata una serie di
risposte differenti, alcune chiaramente migliori di altre. Qui possiamo definire varie categorie di risposte, classificate secondo il
grado di correttezza – un tipo di risposta è
chiaramente migliore, una seconda categoria non è altrettanto buona, ma è pur sempre migliore di una terza categoria e così
via.
Le categorie di risposte definite sono descritte nelle guide alla codifica di PISA, che
accompagnano ogni esercizio. In ogni Paese
partecipante a PISA, centri nazionali assumono e formano dei codificatori specializzati, incaricati di attribuire le risposte date
dagli allievi alle categorie di risposte predefinite.
L’analisi dei dati PISA include un’analisi empirica dettagliata di ogni categoria di risposte, per ogni esercizio. In particolare, si stima
la capacità media degli allievi in ogni categoria definita e si paragonano le capacità
medie di tutte le categorie dell’esercizio.
Esperti di statistica verificano che le categorie di risposte siano effettivamente formate
nel modo previsto dagli autori del test – verificano cioè che gli allievi attribuiti a una categoria di risposte «superiore» presentino
una competenza media superiore rispetto a
quelli attribuiti alle categorie «più basse».
Oltre alla classificazione corretta delle risposte, è importante che i gruppi siano effettivamente distinti – e cioè che la capacità media degli allievi di ogni categoria sia chiaramente differente da quella degli allievi delle
altre categorie. Talvolta, se non sono sufficientemente distinte, le categorie possono
essere combinate nella fase di attribuzione
dei punteggi finali.
Agosto 2004
Quando sia gli analisti dei dati che gli autori
dell’esercizio sono convinti che tutte le categorie di risposte restanti sono distinte e classificate correttamente, a ogni categoria
sono assegnati i punteggi finali. Per gli esercizi dicotomici (quelli per i quali sono ammessi due soli valori) alla categoria superiore
(ossia quella della risposta ritenuta corretta)
è assegnato il punteggio «1» e all’altra il
punteggio «0». Per gli esercizi politomici
(quelli con tre o più categorie distinte) alla
categoria più bassa è assegnato il punteggio
«0», alla seguente il punteggio «1» e così
via fino a che a ogni categoria di risposte è
attribuito un punteggio. Nell’ambito dell’analisi dei dati, questi punteggi sono poi
rappresentati in scala per permettere una
valutazione delle difficoltà dell’esercizio e
delle competenze degli allievi. Gli allievi capaci di svolgere correttamente solo gli esercizi più facili ottengono valutazioni più
basse. Agli allievi che risolvono correttamente anche gli esercizi più difficili sono riconosciute competenze superiori.
Per generare gli indici complessi si segue lo
stesso procedimento che si utilizza anche
per calcolare i risultati dei test (item response
theory, IRT). L’agiatezza economica della famiglia è un esempio di indice complesso.
Deriva dalle domande volte a sapere se a
casa si dispone di una lavastoviglie, una
stanza propria, software per l’apprendimento e l’accesso ad internet, come pure il
numero di telefoni cellulari, apparecchi tv,
computer, automobili e bagni.
Il Consorzio internazionale verifica l’attendibilità dell’indice con l’ausilio di modelli di
equazione strutturale e verifica la validità di
ciascun indice tra i Paesi. Gli indici vengono
infine rappresentati in scale ove la media
OCSE corrisponde allo zero e i due terzi degli allievi siano compresi tra -1 e +1 (deviazione standard = 1). I valori negativi – tornando all’esempio – non significano che una
famiglia è povera ma che il suo livello di benessere economico è inferiore alla media
OCSE.
Ross Turner, ACER
(http://www.acer.edu.au)
Costruzione dell’indice
Un indice è una misura statistica, che di
norma si compone di diverse grandezze e
spesso presenta un punto di riferimento (ad
es. indice dei prezzi al consumo). Nel caso di
PISA i dati grezzi dei questionari per gli allievi e dei questionari per le scuole sono trasformati in diversi indici. Le domande che
vanno a formare l’indice sono scelte in base
a riflessioni di natura teorica e precedenti lavori di ricerca. Gli indici PISA – diversamente
da altri progetti – non sono valori sintetici direttamente interpretabili ma sono utilizzati
come fattori per spiegare l’esito del test
PISA. PISA opera una distinzione tra indici
semplici e complessi. I primi derivano da ricodifiche di una o più risposte dei questionari mentre i secondi sono stimati con metodi statistici complessi.
Un esempio di indice semplice PISA è il Paese
di origine. Nel questionario i giovani hanno
dovuto indicare in quale Paese sono nati essi
stessi, la madre e il padre. Raggruppando e
ricodificando queste tre domande si costruisce una nuova variabile che distingue tra
giovani autoctoni, giovani di seconda generazione e allievi stranieri.
3
PISA 2003 – Presto
si conosceranno i risultati …
I risultati delle competenze in lettura e
scienze naturali di PISA 2000 sono stati poco
soddisfacenti per la Svizzera. In particolare
– più che in tutti gli altri Paesi – è emerso che
l’origine sociale e culturale influenza molto
le prestazioni degli allievi.
Questo risultato ha scosso ed ha animato il
dibattito sugli obiettivi e i contenuti formativi ma anche sull’efficacia del nostro sistema formativo, sia nell’opinione pubblica
che tra i responsabili del settore.
Si attendono ora con grande interesse gli
esiti del secondo ciclo, incentrato sulla matematica. E’ nuovamente in programma
un’indagine sul ruolo esercitato dal background personale. Questa volta però sarà la
rilevanza delle istituzioni e del sistema dell’istruzione ad essere al centro delle pubblicazioni nazionali su PISA 2003. Il grande
campione di classi in Svizzera consente di effettuare analisi complesse sui tre livelli rappresentati dall’individuo, dalla classe e dalla
scuola.
PISA.ch Info
Un primo rapporto nazionale sarà pubblicato in concomitanza col primo rapporto
internazionale dell’OCSE il 7 dicembre
2004. Un secondo e più lungo rapporto
nonché una sintesi sono previsti per
l’aprile del 2005.
Oltre agli ambiti tradizionali della lettura,
della matematica e delle scienze naturali,
ora si possono anche dimostrare le prestazioni degli allievi in termini di competenza
nella risoluzione di problemi (problem solving).
Il primo rapporto, di circa 60 pagine, contiene principalmente i risultati della Svizzera
raffrontati a livello internazionale. Nel capitolo tematico incentrato sulle influenze del
sistema scolastico e dell’istruzione sulle prestazioni individuali, invece, si analizza in maniera più dettagliata il campione nazionale
del nono anno e lo si presenta confrontando
le regioni linguistiche.
Nel secondo rapporto si confrontano prevalentemente le tre regioni linguistiche nonché i 14 Cantoni (o loro parti) con un campione supplementare2 e il Principato del
Liechtenstein. In questo raffronto cantonale
interessa valutare il tema centrale «matematica» sulla base dei piani di studio cantonali.
Oltre al capitolo dedicato al rapporto tra i
fattori sistemici e le prestazioni individuali,
questo secondo rapporto contiene un capitolo sull’apprendimento autonomo (e cioè
le strategie di apprendimento, la motivazione e la percezione di sé) e uno sulle valutazioni dei giovani delle proprie conoscenze
e capacità informatiche.
PISA 2003 – Informazioni
alle scuole, per ringraziarle
La partecipazione delle scuole – estratte a
sorte per PISA – non è obbligatoria, per lo
meno in Svizzera. A maggior ragione dunque ci ha fatto piacere anche questa volta
costatare la grande partecipazione delle
scuole (si veda Bulletin PISA.ch del gennaio
2004). Per ringraziarle dell’impegno e della
2
(AG, BE-d, BE-f, FR, GE, JU, NE, SG, TI, TG, VD, VS-d,
VS-f, ZH )
Agosto 2004
fiducia dimostrata, le scuole che hanno partecipato con classi del nono anno a PISA
2003 riceveranno nella primavera del 2005
un’informazione circa i propri risultati.
Termini di paragone per la scuola
PISA 2006 – Preparazione
Estate 2004
Proposta per i campioni cantonali nella
Svizzera tedesca
Questa informazione alle scuole non rappresenta una loro valutazione ma intende presentare i risultati degli allievi testati presso
una scuola e la posizione che questa occupa
(sulla base dei valori medi delle scuole) nella
relativa regione linguistica. Si prevede di presentare i risultati delle scuole in relazione ai
temi matematica, lettura, scienze naturali e
risoluzione dei problemi.
Settembre 2004
Selezione delle scuole per il test
preliminare 2005
PISA 2000 – Rapporto sull’attuazione delle misure in materia di
politica dell’istruzione
Aprile – maggio 2005
Svolgimento del test preliminare 2005
Dopo che il 12 giugno 2003 la Conferenza
svizzera dei direttori cantonali della pubblica
educazione (CDPE) ebbe approvato il piano
d’azione contenente provvedimenti conseguenti a PISA 2000,3 i singoli Cantoni hanno
verificato quali misure attuare nel loro ambito sulla base dei piani esistenti e dei progetti in corso. Si sono avviati lavori analoghi
anche a livello nazionale svizzero (CDPE) e
presso le istituzioni e organizzazioni che sostengono il piano di azione.
I risultati di PISA 2000 hanno dato luogo a
vari dibattiti sulla politica dell’istruzione.
Con un rapporto ad hoc si verificherà in
quale misura le conclusioni di politica dell’istruzione abbiano portato a concreti cambiamenti e il grado di attuazione del piano
d’azione relativo ai provvedimenti conseguenti a PISA 2000. A questo scopo è in
corso attualmente un ampio sondaggio tra
i Cantoni. Il rapporto terrà conto anche delle
misure prese a livello nazionale e quelle attuate dalle istituzioni partner. La pubblicazione del rapporto è prevista per l’inizio di
novembre del 2004.
Heinz Rhyn, Segretariato generale della
CDPE, Direttore del settore di coordinamento sviluppo della qualità.
3
Piano d’azione «PISA 2000-Folgemassnahmen»:
http://www.edk.ch/d/EDK/Geschaefte/framesets/
mainMonitoring_d.html
4
Gennaio 2005
Decisione dei Cantoni della Svizzera
tedesca per un campione cantonale
supplementare
Febbraio 2005
Selezione degli allievi per il test
preliminare 2005
Aprile – maggio 2006
Terza indagine PISA
PISA 2006 – Opzioni nazionali
Sono in corso i preparativi per la prossima indagine PISA-OCSE . I test di scienze, matematica e lettura saranno completati da un
questionario destinato agli allievi (di 15 anni
e/o del 9° anno) e da un questionario destinato alle scuole partecipanti.
Gli istituti di ricerca e gli studiosi che desiderano proporre un modulo supplementare
nell’ambito di questa indagine sono pregati
di contattare al più presto la direzione nazionale del progetto ([email protected],
tel. 032 713 66 42).
Per maggiori informazioni, si può consultare
il documento http://www.pisa.admin.ch
>Français >News.
Le domande devono essere presentate entro l’8 ottobre 2004.
Info
Il comunicato stampa del 7 dicembre 2004
sostituisce il bollettino informativo PISA.ch
del gennaio 2005. Il prossimo bollettino
uscirà nell’agosto 2005.
PISA.ch Info
Indirizzi e pagine Web
Direzione nazionale del progetto
Huguette McCluskey
Ufficio federale di statistica
10, Espace de l’Europe
2010 Neuchâtel
Tel. +41 (0) 32 713 62 41
Fax +41 (0) 32 713 68 57
[email protected]
Segretariato:
Tel.: +41 (0) 32 713 66 42
[email protected]
Homepage:
http://www.pisa.admin.ch
Coordinazione Svizzera tedesca (1)
(AI, AR, BE-d, FL, FR-d, GL, GR-d, SG, SH,
TG)
Christian Brühwiler & Horst Biedermann
Alta scuola pedagogica, San Gallo
Servizio della ricerca
Notkerstrasse 27
9000 San Gallo
Tel. +41 (0) 71 243 94 80
Fax +41 (0) 71 243 94 91
[email protected]
[email protected]
http://www.phsg.ch
Agosto 2004
Coordinamento Svizzera italiana
Myrta Mariotta & Manuela Nicoli
Ufficio studi e ricerche
Viale S. Franscini 32
Stabile Torretta
6501 Bellinzona
Tel. ++41 91 814 63 73
Fax ++41 91 814 63 79
[email protected]
[email protected]
http://www.ti.ch/usr
Tutte le pagine Web collegate direttamente a PISA sono accessibili dalla pagina della direzione nazionale
del progetto
http://www.pisa.admin.ch
I vostri contributi e commenti per le prossime edizioni del bollettino PISA saranno
benvenuti. Vogliate rivolgervi direttamente
alla direzione nazionale del progetto.
Questo bollettino è disponibile anche in
tedesco e francese.
Editore:
Direzione nazionale del progetto PISA.ch
Coordinazione Svizzera tedesca (2)
(AG, BL, BS, LU, NW, OW, SO, SZ, UR, VS-d,
ZG, ZH)
Urs Moser & Simone Berweger
Kompetenzzentrum f. Bildungsevaluation
und Leistungsmessung (KBL)
Wilfriedstrasse 15
8032 Zurigo
Tel. +41 (0) 43 268 39 61
Fax +41 (0) 43 268 39 67
[email protected]
[email protected]
http://www.kbl.unizh.ch
Coordinamento Svizzera francese
Christian Nidegger
Consortium romand PISA
Servizio della ricerca in educazuione
Quai du Rhône 12
1205 Ginevra
Tel. +41 (0) 22 327 74 19
Fax +41 (0) 22 327 57 18
[email protected]
http://www.geneve.ch/sred
5