Indagine TIMSS 2007
Trends in International Mathematics and
Science Study
di
Anna Maria Caputo
IEA
International Association for the Evaluation of
Educational Achievement
• associazione internazionale indipendente di centri di
ricerca (circa 62 paesi);
• fondata nel 1958 da un gruppo di studiosi (Bloom,
Thorndike, Husén, ecc…);
• associazione legale nel 1966 (T. Husén) alla quale
partecipavano 15 paesi;
• con lo scopo di condurre ricerche comparative
internazionali nel campo della valutazione.
2
Ricerche IEA
• The Six-subject Study (1970-1971);
• Written composition (1983-1984);
• Comprensione della lettura: Reading Literacy
(1985), PIRLS (2001, 2006);
• Educazione Civica (1999, 2009);
• Information Technology: Comped (1989, 1992),
SITES (1999-2009);
• Matematica e Scienze.
3
Indagini IEA Matematica e Scienze
passato...
• prima indagine sulla Matematica (FIMS) nel 1964 (12
paesi);
• prima indagine sulle Scienze (FISS) nel 1973-’74 (19 paesi);
• seconda indagine sulla Matematica (SIMS) nel 1980-’82 (20
paesi);
• seconda indagine sulle Scienze (SISS) nel 1983-’84 (26 paesi);
• terza indagine sulla Matematica e le Scienze (TIMSS) nel 1994’95 (45 paesi);
• TIMSS-Repeat nel 1998-’99 (38 paesi (26 paesi al TIMSS));
• TIMSS 2003 nel 2002-2003 (49 paesi complessivamente).
4
presente e futuro...
• TIMSS 2007 (elaborazione ed analisi dei dati
nazionali) & TIMSS Advanced 2008 (elaborazione ed
analisi dati internazionale);
• TIMSS 2011 (revisione framework, costruzione
strumenti);
• ciclo quadriennale di indagini: 1995, 1999, 2003, 2007,
2011, 2014, …;
• livelli scolastici indagati...
5
TIMSS
Anno
1995
1999
2003
2007
2011
…
Anno di scolarità per il trend
Ultimo anno
4
8
8
4
8
Ultimo anno
4
8
(2008)
4
8
PIRLS
6
TIMSS 1995 - Obiettivi ambiziosi
• definizione di un curricolo ‘virtuale internazionale’;
• analisi curricolare ambiziosa;
• prove di matematica e di scienze a largo raggio che
comprendevano anche prove in laboratorio;
• questionari per studenti, insegnanti e dirigenti
scolastici (1500 domande);
• studio dei casi (video) in Giappone, Stati Uniti,
Svizzera.
7
TIMSS 1999 (TIMSS-R)
• prima indagine di trend della IEA;
• scopo più mirato:
– enfasi sulle misure di trend;
– soltanto l’ottavo anno di scolarità (8/8, 4/8);
– definizione di indicatori rilevanti per la politica
scolastica;
• finanziata dal governo USA e dalla World Bank.
8
TIMSS 2003 – Indagine di trend
• popolazioni indagate: due (quarto ed ottavo anno di
scolarità);
• ridefinizione framework matematica e scienze per
entrambe le dimensioni (domini dei contenuti e domini
cognitivi);
• misure di trend per tutte le variabili (apprendimento,
contesto);
• definizione di benchmark teorici anche per le prossime
indagini: avanzato (625), alto (550), intermedio (475),
basso;
• finanziata dalla World Bank per i paesi del terzo mondo.
9
TIMSS 2007
• misurare l’andamento dell’apprendimento in
matematica e scienze di due popolazioni:
– gli studenti frequentanti il 4° anno di scuola (il
maggiore numero di studenti di 9 anni);
– gli studenti frequentanti l’8° anno di scuola (il
maggiore numero di studenti di 13 anni);
• studiare gli indicatori al passare del tempo
• monitorare i curricoli dei paesi partecipanti.
10
Ciclo Indagine IEA
•
•
•
•
•
•
domande;
quadro di riferimento concettuale;
piano di campionamento e campionamento;
raccolta dati;
elaborazioni ed analisi;
conclusioni.
11
Domande guida
•
•
•
•
•
•
•
Che cosa gli studenti dovrebbero apprendere?
Chi fornisce istruzione?
Come è organizzata l’istruzione?
Dove ha luogo l’istruzione?
Quando ha luogo l’istruzione?
Che cosa hanno appreso gli studenti?
Cambiamenti fra il 1994-’95, 1998-’99, 2002-’03 e
2006-’09.
12
Scopo del TIMSS
• comparare i sistemi educativi dei paesi
partecipanti in termini di…
– curricoli,
– insegnamento (contenuti, pratiche didattiche, ecc.),
– apprendimento (contenuti ed abilità);
• che cosa gli studenti apprendono e il contesto
dove avviene.
13
TIMSS 2007
• esaminare e valutare le differenze nel
rendimento scolastico in Matematica e Scienze
(comparazioni orizzontali, verticali e
longitudinali) ;
• popolazione: scuola primaria (IV), scuola
secondaria di I grado (III);
• raccolta dati nell’a.s. 2006-’07 (maggio);
• prova sul campo nell’a.s. 2005-’06 (aprile).
14
Definizione popolazione 1 italiana
TIMSS 2007
• Tutti gli studenti che frequentano la classe IV della
scuola primaria, la quale ha la maggiore presenza di
studenti di 9 anni a maggio (popolazione: 555.976
studenti, nessuna esclusione).
16
Definizione popolazione 2 italiana
TIMSS 2007
• Tutti gli studenti che frequentano la classe III della
scuola secondaria di I grado, la quale ha la maggiore
presenza di studenti di 13 anni a maggio (popolazione:
602.185, nessuna esclusione).
17
Organizzazione TIMSS 2007
• coordinamento internazionale (International
Study Center) al Boston College (staff di circa
20 persone con due direttori);
• coordinamento nazionale affidato al centro
nazionale (per l’Italia INValSI con uno staff di
4 persone con il NRC);
• commissioni .
18
Relazione fra gli strumenti TIMSS 2007
e la mappa concettuale
Questionari a
livello di Sistema
Contesto
sociale generale ed
educativo
Curricolo
proposto
1. Analisi curricolare
2. Questionari esperti
3. Rassegna item
Questionario
Scuola
Contesto locale,
di territorio e
di scuola
Curricolo
attuato
1. Questionario
insegnanti
Questionario
Studente
Background personale
Curricolo
raggiunto
1. Fascicoli test
19
Mappe concettuali del curricolo
• 2 mappe: una per la matematica e una per le
scienze;
• definite attraverso 2 dimensioni:
– dimensione dei contenuti specifici per disciplina
(domini di contenuti) e per livello indagato;
– dimensione cognitiva, ovvero prestazioni attese
descritto in termini di tipi di prestazioni o
comportamenti che ci si potrebbero aspettare dagli
studenti a scuola (domini cognitivi).
20
Matematica – Domini dei contenuti
4° anno di scolarità
• Numero (numeri naturali, frazioni e decimali,
espressioni numeriche, sequenze e relazioni);
• Figure geometriche e misure (rette ed angoli, figure
piane e solidi, posizione (sistemi non formali di
coordinate) e movimento (assi di simmetria, riflessione
e rotazione));
• Visualizzazione dati (lettura ed interpretazione,
organizzazione e rappresentazione).
21
Matematica – Domini dei contenuti
8° anno di scolarità
• Numero (numeri naturali, frazioni e decimali, interi,
rapporto, proporzione, percentuale);
• Algebra (sequenze, espressioni algebriche,
equazioni/formule e funzioni);
• Geometria (figure geometriche, misure geometriche,
posizioni (piano cartesiano) e movimento (simmetria,
traslazione, riflessione e rotazione));
• Dati e probabilità (organizzazione e rappresentazione
dei dati, interpretazione dei dati, probabilità
(incertezza)).
22
Matematica – Domini cognitivi
• conoscenza (ricordare, riconoscere, eseguire calcoli,
recuperare, misurare, classificare/ordinare);
• applicazione (scegliere, rappresentare, modellizzare,
implementare, risolvere problemi di routine);
• ragionamento (analizzare, generalizzare,
sintetizzare/integrare, giustificare, risolvere problemi
non di routine).
23
Scienze – Domini dei contenuti
4° anno di scolarità
• Scienze della vita (caratteristiche e processi degli esseri
viventi; cicli di vita, riproduzione ed ereditarietà;
interazioni con l’ambiente; ecosistemi; salute dell’uomo);
• Scienze fisiche (classificazione e proprietà della materia;
fonti di energia, calore e temperatura; luce e suono;
elettricità e magnetismo; forze e moto);
• Scienze della Terra (struttura, caratteristiche fisiche e
risorse della Terra; processi, cicli e storia della Terra; la
Terra nel sistema solare).
24
Scienze – Domini dei contenuti
8° anno di scolarità
• Biologia (caratteristiche, classificazione e processi degli
organismi; cellule e loro funzioni; cicli di vita, riproduzione ed
ereditarietà; diversità, adattamento e selezione naturale;
ecosistemi; salute dell’uomo);
• Chimica (classificazione e composizione della materia;
trasformazione chimica);
• Fisica (stati fisici e trasformazione della materia; trasformazioni
di energia, calore e temperatura; luce; suono; elettricità e
magnetismo; forze e moto);
• Scienze della Terra (struttura e caratteristiche fisiche della
Terra; processi, cicli e storia della Terra; risorse della Terra, uso
e conservazione; la Terra nel sistema solare e nell’Universo).
25
Scienze – Domini cognitivi
• conoscenza (ricordare/riconoscere, definire, descrivere,
illustrare con esempi, uso di strumenti e procedure);
• applicazione (confrontare/contrapporre/classificare, utilizzare
modelli, mettere in relazione, interpretare informazioni, trovare
soluzioni, spiegare);
• ragionamento (analizzare/risolvere problemi, integrare/
sintetizzare, ipotizzare/prevedere, progettare/ pianificare, trarre
conclusioni, generalizzare, valutare, giustificare).
 Indagine scientifica (aspetti: formulare domande e ipotesi,
progettare indagini, rappresentare dati, analizzare e interpretare
dati; trarre conclusioni e svolgere spiegazioni).
26
Strumenti per misurare l’apprendimento (1)
• 14 fascicoli di prove ’07 + 4 fascicoli per trend ’06,
ma ogni studente completa un solo fascicolo;
• ogni fascicolo suddiviso in due parti;
• stesso tempo di risposta per ogni fascicolo:
– per la IV primaria, 72 minuti (36+36+intervallo),
– per la III media, 90 minuti (45+45+intervallo);
• item suddivisi in 28 blocchi (14 di matematica e 14 di
scienze);
27
Strumenti per misurare l’apprendimento (2)
• in ogni blocco item per 22,5 minuti di valutazione per la III
media e 18 minuti di valutazione per la IV primaria;
• 4 blocchi per fascicolo (2 blocchi di matematica e 2 di scienze);
• nei fascicoli dispari i quesiti di matematica precedono quelli di
scienze, viceversa nei fascicoli pari;
• 2 blocchi per fascicolo contengono item dei precedenti TIMSS
(non resi pubblici) per consentire le misure di trend mentre 2
blocchi per fascicolo contengono nuovi item di rimpiazzo;
28
Strumenti per misurare l’apprendimento (3)
• I blocchi sono combinati in modo che gli studenti
rispondono a sufficienti item per ottenere misure affidabili
di trend in ambedue le discipline;
• in III media permesso l’uso della calcolatrice tascabile;
• ogni fascicolo contiene item: a scelta multipla e a risposta
aperta circa nella stessa proporzione;
• i fascicoli presentano le stesse difficoltà;
• i fascicoli contengono sia item di matematica che di
scienze;
29
Strumenti per misurare l’apprendimento (4)
• ogni fascicolo è composto da:
– da item “sicuri” delle precedenti indagini TIMSS;
– da item nuovi e innovativi di problem solving;
– da item di rimpiazzo (equivalenti) degli item delle precedenti
indagini resi pubblici;
• gli item di problem solving prevedono l’uso di
materiale di tipo manipolativo (carte con i numeri,
righello, carte con figurine geometriche, ecc.)
30
Strumenti per misurare l’apprendimento (5)
• i fascicoli per la IV primaria contengono
complessivamente 353 item:
– 179 item di matematica e 174 di scienze;
– riuniti in 28 gruppi diversi;
• I fascicoli per la III media contengono
complessivamente 429 item:
– 215 item di matematica e 214 di scienze;
– riuniti in 28 gruppi diversi.
31
Questionari di contesto (1)
• intendono raccogliere informazioni nei vari sistemi
scolastici:
– sulle modalità di organizzazione dell’insegnamento
di matematica e scienze;
– sulle relazioni possibili fra intervento della scuola e
prestazione degli studenti.
32
Questionari di contesto (2)
• Questionario Scuola (rivolto al Dirigente
scolastico) fornisce informazioni sul personale,
sulle risorse, sugli studenti e sui loro
comportamenti, sulle attività didattiche e sul
clima nella scuola.
33
Questionari di contesto (3)
• Questionario Insegnante
– per la scuola primaria rivolto all’insegnante di matematica e
di scienze;
– per la scuola media rivolto agli insegnanti di Scienze
matematiche, chimiche, fisiche e naturali
fornisce informazioni sulla formazione (scolastica e
professionale), sui metodi di insegnamento e
sull’atteggiamento verso l’insegnamento della
matematica e delle scienze.
34
Questionari di contesto (4)
• Questionario Studente fornisce variabili di sfondo
rispetto alle quali analizzare la misura
dell’apprendimento (punteggio);
• è suddiviso in sezioni riguardanti il background dello
studente (età, sesso, livello culturale e socioeconomico
della famiglia, storia scolastica, ecc.), opinioni ed
atteggiamenti riguardo alla matematica e alle scienze;
• esamina in particolare i fattori di successo, la
percezione dell’importanza del successo, l’influenza
dei compagni di classe e degli insegnanti.
35
36
Matematica 4° grado- distribuzione livelli
italiani apprendimento per area geografica
• cinque livelli: nord ovest (508 (4,4)); nord est (525 (5,9)); centro
(507 (6,3)); sud (508 (8,6)); sud e isole (483 (8,9))
• livello medio migliori: 659 (10,5);
• livello medio peggiori: 362 (6,4) (tra Colombia e Algeria);
• livello massimo nel sud (792 (20,2)) seguito dal nord est (759
(18,2));
• differenza migliori - peggiori minore (303 (21,3)) nel sud e
isole;
• tre livelli medi: nord est; no, centro e sud; sud ed isole;
• unico curricolo dal 1985 rivisto nel 2002 (Indicazioni
nazionali) (nuova revisione settembre 2007)
37
38
Matematica 8° grado- distribuzione livelli
italiani apprendimento per area geografica
• cinque livelli: nord ovest (491 (5,2)); nord est (506 (7,5)); centro
(489 (3,2)); sud (468 (6,9)); sud e isole (446 (8,4));
• livello medio migliori: 651 (5,0);
• livello medio peggiori: 357 (6,0) (fra Kuwait e Botswana);
• livello massimo nel nord ovest (734 (6,5)) seguito dal nord est
(625 (5,1));
• differenza migliori - peggiori minore (299 (7,8)) nel sud e isole;
• quattro livelli medi variabili;
• unico curricolo dal 1979 rivisto nel 2002 (Indicazioni
nazionali) (nuova revisione settembre 2007).
39
40
Scienze 4° grado- distribuzione livelli
italiani apprendimento per area geografica
• cinque livelli: nord ovest (541 (4,9)); nord est (556 (5,4)); centro
(536 (5,8)); sud (532 (8,8)); sud e isole (507 (8,7))
• livello medio migliori: 662 (9,5);
• livello medio peggiori: 444 (7,0) (tra Ucraina e Iran);
• livello massimo nel centro (776 (22,8)) seguito dal sud (773
(19,4));
• differenza migliori - peggiori minore (222 (23,5)) nel sud;
• tre livelli medi: nord est; no, centro e sud; sud ed isole;
• unico curricolo dal 1985 rivisto nel 2002 (Indicazioni
nazionali) (nuova revisione settembre 2007)
41
42
Scienze 8° grado- distribuzione livelli
italiani apprendimento per area geografica
• cinque livelli: nord ovest (509 (4,5)); nord est (527 (7,1)); centro
(506 (3,7)); sud (477 (6,1)); sud e isole (462 (8,0));
• livello medio migliori: 658 (5,4);
• livello medio peggiori: 356 (6,3) (Botswana);
• livello massimo nel nord est (746 (6,8)) seguito dal sud (726
(5,5));
• differenza migliori - peggiori minore (290 (7,9)) nel sud e isole;
• quattro livelli medi variabili;
• unico curricolo dal 1979 rivisto nel 2002 (Indicazioni
nazionali) (nuova revisione settembre 2007).
43
44
45
46
47
48
49
50
51
52
53