Lettura ed interpretazione dei dati
del campione
Progetto Pilota 2
di
Anna Maria Caputo
Progetto pilota 2: quali obiettivi?
• Stimare i livelli di conoscenza ed abilità in
specifiche aree disciplinari per specifici livelli
scolastici a livello nazionale attraverso un
campione statistico;
• dare la possibilità alle scuole di determinare la
loro posizione relativa (scuola nel complesso,
singole sezioni) rispetto alla media nazionale;
• permettere alle scuole e all’amministrazione
centrale di riflettere sulle attività avviate su
specifici aspetti del servizio scolastico.
Caratteristica principale PP2
• Avere coniugato una indagine campionaria
nazionale (arricchita anche da una indagine
campionaria regionale) con una indagine a
partecipazione volontaria.
Altre caratteristiche del PP2 (1/2)
• Costruzione di strumenti ad hoc (test a scelta
multipla e questionario di sistema);
• rilevazioni in classi prefiguranti la riforma
(valutazione formativa, sommativa e di
sistema);
• anticipazione della somministrazione
(seconda metà di marzo);
Altre caratteristiche del PP2 (2/2)
• continuazione della sperimentazione
informatica;
• organizzazione centralizzata dell’INValSI
con incremento delle risorse;
• organizzazione decentrata della formazione
e dei controlli di qualità affidata alle Dr.
Chi ha partecipato al PP2?
• Un campione probabilistico nazionale di 589 scuole
(18.384 studenti);
• un campione probabilistico regionale (Lombardia)
di 218 scuole (217 scuole hanno portato a termine il
percorso con la partecipazione di 6.925 studenti);
• un gruppo di scuole aderenti volontariamente
(7.025 scuole, di cui 6.680 concluso indagine);
• complessivamente: 1.033.358 studenti, 49.317
classi, 150.149 insegnanti.
Popolazioni Progetto Pilota
• Popolazione 1: tutti gli studenti che frequentano la IV
elementare (554.811 studenti in 7.504 scuole );
• Popolazione 2: tutti gli studenti che frequentano la I
media (603.071 studenti in 5.749 scuole);
• Popolazione 3:
– 3a: tutti gli studenti che frequentano la I superiore
(631.800 studenti in 3.943);
– 3b: tutti gli studenti che frequentano la III superiore
(517.508 studenti in 3.943 scuole).
Piano di campionamento
• Campione complesso;
• campione probabilistico stratificato a tre
stadi (scuole, classi, studenti).
Stadi di campionamento
• I stadio
– le scuole sono selezionate, eventualmente entro gli
strati (sottopopolazioni), con probabilità proporzionale
al numero di studenti della popolazione target nella
scuola;
• II stadio
– le classi sono selezionate casualmente all’interno delle
scuole campionate;
• III stadio
– tutti gli studenti delle classi campionate.
Standard progetto pilota 2
(scuola elementare e media)
• Campione nazionale con stratificazione implicita
per regioni;
• errori di campionamento a livello di popolazione
–
–
–
–
intervallo di confidenza al 95%;
medie: m ± 0,1s;
percentuali: p ± 5%;
correlazioni: r ± 0,1;
• 172 scuole elementari (172 classi, 3.504 studenti)
e 172 scuole medie (172 classi, 3.828 studenti).
Standard progetto pilota 2
(scuola superiore)
• Campione per tipo di scuola (stratificazione
esplicita per tipo, 5 campioni);
• limite imposto dalle scuole dell’istruzione artistica
(169 scuole);
• errori di campionamento per ogni popolazione
–
–
–
–
intervallo di confidenza al 95%;
medie: m ± 0,2s;
percentuali: p ± 10%;
correlazioni: r ± 0,2;
• 49 scuole per tipo, complessivamente 245 (245
classi e 5.860 studenti di I superiore, 245 classi e 5.192
studenti di III superiore).
Strumenti progetto pilota 2
• Prove oggettive con quesiti a scelta multipla
costruiti da un gruppo di esperti esterni
coordinati dal GdL e con la collaborazione
dell’INValSI per gli aspetti docimologici;
• questionario di sistema.
Quali criteri si sono adottati per le
prove?
• Uniformità della struttura, solo item a scelta multipla (4 o 5
risposte);
• durata non superiore ai 60 minuti (ad esclusione di
matematica per la III superiore 70 minuti);
• una sola prova per disciplina e per livello per semplificare
la procedura di somministrazione;
• numero limitato di obiettivi (contenuti ed abilità), scelti
all’interno del programma ministeriale dell’anno
precedente tenendo conto anche dei piani di studio in
preparazione (scuola elementare e secondaria inferiore);
• taratura delle prove (scelta degli item dopo la prova sul
campo) su indici di difficoltà medi (0,4 - 0,6).
Criteri per elaborazione dati
• Rapidità nel fornire i singoli esiti alle scuole
volontarie (punteggi normalizzati, media,
deviazione standard, ecc.) (primi risultati fine
giugno);
• funzionalità, ovvero costruzione riferimento
nazionale (dati scuole campione) per scuole
volontarie.
Analisi dei dati del campione
• Calcolo dell’Indice di facilità medio per singola
prova e per area di contenuto e abilità per
analizzare prove;
• calcolo del livello medio di apprendimento degli
studenti per disciplina utilizzando l’IRT su una
scala la cui media è 500 e la deviazione standard
100;
• calcolo del punteggio medio normalizzato per
prova, per area geografica, per regione, ecc. come
riferimento per le scuole volontarie.
Considerazioni sulle prove PP2
• Prove della I media danno informazioni sulla
scuola elementare e sul passaggio elementare –
media;
• prove della I superiore danno informazioni sulla
scuola media e sul passaggio media – superiore;
• prove della III superiore danno informazioni sul
biennio e sul passaggio biennio – triennio;
• prove della IV elementare danno informazioni su
tre anni e sei mesi di scuola.
Classe IV elementare
Indice facilità delle prove
Area
geografica
Nord ovest
Italiano
Matematica
Scienze
(30 quesiti)
%
(24 quesiti)
%
(25 quesiti)
%
62 (1,4)
67 (1,7)
65 (1,5)
Nord est
61 (1,2)
66 (1,9)
65 (1,4)
Centro
68 (2,6)
73 (2,2)
70 (2,5)
Sud
66 (2,5)
76 (2,4)
72 (2,3)
Sud ed isole
65 (3,5)
73 (3,0)
71 (3,2)
Italia
65 (1,1)
71 (1,0)
69 (1,0)
Classe IV elementare – risultati (1/3)
• Italiano
– differenza significativa fra nord est e centro;
– diminuzione delle prestazioni passando dalla
comprensione del testo (74 ± 0,9) alle conoscenze
grammaticali (59 ± 1,5);
– migliori prestazioni nel brano narrativo che
informativo;
– nessuna differenza fra maschi e femmine;
– differenze significative fra chi è regolare e chi è in
ritardo.
Classe IV elementare – risultati (2/3)
• Matematica
– differenza significativa fra nord e sud;
– quattro aree di contenuto, alcune con numero basso di
quesiti;
– punto debole geometria se confrontato con il dato
globale, con aritmetica (4 ± 1,5) e logica (7 ± 1,5);
– nessuna differenza fra maschi e femmine;
– differenze significative fra chi è regolare e chi è in
ritardo (11 ± 3,7).
Classe IV elementare – risultati (3/3)
• Scienze
– differenza significativa fra nord e sud (-7 ±
2,7);
– cinque aree di contenuto con 5 quesiti ciascuna;
– quesiti riferiti a “esseri viventi” hanno la più
alta percentuale di risposte corrette (74 ± 1,0);
– nessuna differenza fra maschi e femmine;
– differenze significative fra chi è regolare e chi è
in ritardo (12 ± 3,7).
Classe I media
Indice facilità delle prove
Area
geografica
Nord ovest
Italiano
Matematica
Scienze
(30 quesiti)
%
(28 quesiti)
%
(25 quesiti)
%
56 (1,4)
51 (0,3)
61 (1,1)
Nord est
54 (1,1)
50 (0,4)
61 (0,9)
Centro
55 (1,0)
51 (0,2)
58 (1,2)
Sud
58 (2,2)
57 (0,8)
61 (2,3)
Sud ed isole
53 (2,1)
50 (1,2)
57 (2,3)
Italia
56 (0,9)
52 (0,2)
60 (0,8)
Classe I media – risultati (1/3)
• Italiano
– Nessuna differenza significativa tra aree geografiche;
– diminuzione delle prestazioni passando dalla
comprensione del testo (62 ± 0,8) alle conoscenze
grammaticali (52 ± 1,2) (nord est 48 ± 1,3);
– migliori prestazioni nel brano narrativo che
informativo;
– differenza significativa fra maschi e femmine (-3 ±
1,3);
– differenze significative fra chi è regolare e chi è in
anticipo oltre a chi è in ritardo.
Classe I media – risultati (2/3)
• Matematica
– Differenza significativa fra nord e sud;
– punto debole geometria se confrontato con numero (5 ±
0,2) (non considerata la categoria altro);
– nessuna differenza fra maschi e femmine;
– differenze significative fra chi è in regola e chi è in
anticipo (-9 ± 4,4), fra chi è in anticipo e chi è in ritardo
(22 ± 4,4) e fra chi è regolare e chi è in ritardo (13 ±
0,5).
Classe I media – risultati (3/3)
• Scienze
– Nessuna differenza significativa fra aree geografiche;
– prestazioni più elevate in “esseri viventi”, differenze
significative con tutte le altre aree tematiche (in
particolare con “uomo e ambiente” 13 ± 2,9);
– nessuna differenza fra i sessi ad esclusione di “uomo e
ambiente” (differenza femmine – maschi = 3 ± 1,6);
– differenze significative fra chi è regolare o in anticipo e
chi è in ritardo.
Classe I superiore
Indice facilità delle prove
Italiano
Matematica
Scienze
(36 quesiti)
%
(25 quesiti)
%
(25 quesiti)
%
60 (1,3)
53 (1,8)
63 (1,0)
Professionale
37 (1,4)
33 (1,7)
48 (1,7)
Artistica
45 (1,4)
39 (1,3)
57 (1,2)
Tecnica
50 (1,3)
48 (1,7)
61 (1,0)
Ist. Superiori
48 (1,6)
46 (1,6)
59 (1,3)
Italia
51 (0,7)
46 (0,8)
59 (0,5)
Tipo
Istruzione
Classica
Classe I superiore – risultati (1/3)
• Italiano
– Le prestazioni variano al variare del tipo d’istruzione;
– le prestazioni dell’istruzione classica sono differenti in
modo significativo da quelle degli altri tipi d’istruzione;
– migliori prestazioni nel brano narrativo che informativo
(eccetto l’istruzione classica);
– nessuna differenza significativa fra maschi e femmine;
– differenze significative fra chi è regolare e chi è in
ritardo (11 ± 1,4) (eccetto istruzione classica).
Classe I superiore – risultati (2/3)
• Matematica
– Le prestazioni variano al variare del tipo d’istruzione
(differenza fra istruzione classica e professionale 19 ± 2,5);
– migliori prestazioni nell’area “rappresentazione dei dati”
(53 ± 1,0), più bassa in geometria (36 ± 1,1);
– nessuna differenza significativa fra maschi e femmine nei
dati globali (differenza significativa maschi – femmine (8
± 2,7) nell’istruzione classica);
– differenze significative fra chi è regolare e chi è in ritardo
(13 ± 2,8).
Classe I superiore – risultati (3/3)
• Scienze
– Le prestazioni variano al variare del tipo d’istruzione
(differenza fra istruzione classica e professionale 15 ± 2,0);
– migliori prestazioni nell’area “esseri viventi” (63 ± 0,8),
più bassa in “uomo e ambiente” (54 ± 0,5);
– nessuna differenza significativa fra maschi e femmine nei
dati globali (differenza significativa maschi – femmine (4
± 1,7) nell’istruzione classica).
Classe III superiore
Indice facilità delle prove
Italiano
Matematica
Scienze
(40 quesiti)
%
(28 quesiti)
%
(24 quesiti)
%
56 (1,1)
50 (3,0)
58 (1,5)
Professionale
38 (1,4)
29 (2,1)
43 (2,2)
Artistica
44 (1,8)
34 (2,6)
49 (1,6)
Tecnica
44 (1,4)
44 (2,0)
52 (1,7)
Ist. Superiori
49 (2,0)
41 (3,0)
53 (1,6)
Italia
48 (0,8)
42 (1,3)
53 (0,9)
Tipo
Istruzione
Classica
Classe III superiore – risultati (1/3)
• Italiano
– Le prestazioni variano al variare del tipo d’istruzione;
– le prestazioni dell’istruzione classica sono differenti in
modo significativo da quelle degli altri tipi d’istruzione;
– le prestazioni più basse in “comprensione particolare”
(37 ± 0,7) seguita da “conoscenze grammaticali” (46 ±
1,1);
– differenza significativa fra maschi e femmine nei dati
globali (-4 ± 1,3);
– differenze significative fra chi è regolare e chi è in
ritardo (8 ± 1,2).
Classe III superiore – risultati (2/3)
• Matematica
– Le prestazioni variano al variare del tipo d’istruzione
(istruzione classica – istruzione professionale: 21 ±
3,7);
– le prestazioni più basse in “geometria” (34 ± 1,3)
seguita da “rappresentazione dei dati e probabilità” (37
± 2,7);
– differenza significativa fra maschi e femmine
nell’istruzione classica (9 ± 4,3);
– differenze significative fra chi è regolare e chi è in
ritardo (12 ± 3,1).
Classe III superiore – risultati (3/3)
• Scienze
– Le prestazioni variano al variare del tipo d’istruzione
(istruzione classica – istruzione professionale: 15 ±
2,7);
– le prestazioni più elevate in “uomo e ambiente” (57 ±
1,0) e differenze significative con le altre aree
tematiche;
– nessuna differenza significativa fra sessi;
– nessuna differenza significativa fra chi è in anticipo,
chi è regolare e chi è in ritardo.
Dati PP2 restituiti scuole (1/2)
• Per ogni materia e per ogni livello scolastico
vengono forniti 3 schemi riassuntivi:
– il 1° relativo ai punteggi totali (ottenuti da tutte
le classi partecipanti) e alle percentuali degli
studenti nelle fasce;
– il 2°che entra nello specifico della materia e che
fornisce i dati relativi alle Tipologie di contenuto
e al Punteggio medio nel Percentile;
Dati PP2 restituiti scuole (2/2)
– il 3° è relativo alle singole classi della scuola
individuate mediante il codice identificativo
(suddiviso in Punteggi e Percentuale degli
studenti nelle fasce). Non vuole essere uno
strumento per classificare le classi di una scuola
dalla migliore alla peggiore, ma un dato iniziale
per capire se nel corso dell’a.s. si sia verificato
un efficace recupero.