Servizio Nazionale Valutazione
Anno Scolastico 2008 - 2009
La Qualità dei Dati del
Campione
Analisi del Cheating
Ufficio Scolastico Regionale - Abruzzo
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
Disegno Campionario
Primo Stadio
* Estrazione
Sistematica
Scuole
Ufficio Scolastico Regionale - Abruzzo
* Campionamento
Casuale Semplice
Classi
2
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
Disegno Campionario
Secondo Stadio
* Prima Fase:
* Seconda Fase:
Calcolo Peso
Calcolo Peso
Livello Scuola
Livello Classe
* Terza Fase:
Calcolo Peso
Livello Alunno
Ufficio Scolastico Regionale - Abruzzo
3
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
Disegno Campionario
Peso di Scuola
* Viene Ricavato in rapporto a:
* Numero Scuole Campionate nella Regione
* Numero Totale Scuole della Regione
* Numeri di Alunni nella Scuola
Ufficio Scolastico Regionale - Abruzzo
4
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
Disegno Campionario
Peso Livello Classe
* Viene Ricavato in rapporto a:
* Numero Classi Campionate nella Scuola
* Numero Classi Presenti nella Scuola
Ufficio Scolastico Regionale - Abruzzo
5
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
Disegno Campionario
Peso Livello Alunno
* Viene Ricavato in rapporto a:
* Numero Alunni Effettivamente Partecipanti
nella Classe
* Numero Alunni non Partecipanti alla Prova
nella Classe
Ufficio Scolastico Regionale - Abruzzo
6
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
Disegno Campionario
Peso Complessivo
* Viene Ricavato dal Prodotto:
* Numero Scuole Campionate
* Numero Classi Campionate nella Scuola
* Numero Alunni Effettivamente Partecipanti
nelle Classi
Ufficio Scolastico Regionale - Abruzzo
7
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
Accuratezza dei Dati - Analisi del Cheating
► Controllo Accuratezza Dati
► Scelta Opportuni Indicatori:
Punteggi Medi Classe
Variabilità Rispetto Punteggi
Tassi Non Risposta
Omogeneità Risposte
► Analisi Congiunta Indicatori (Analisi Componenti
Principali)
► Calcolo Coefficienti Cheating per tutta la
Popolazione (Fuzzy Logic)
Ufficio Scolastico Regionale - Abruzzo
8
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
La Qualità dei Dati del Campione
Comportamenti Opportunistici Evidenti
Passaggio Fondamentale
Procedura Correzione Dati: Editing Statistico
Eliminazione Effetto Distorsivo Dati Anomali
Correzione Dati Anomali
Effettuazione Analisi Dati Netti
Ufficio Scolastico Regionale - Abruzzo
9
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
La Qualità dei Dati del Campione
Controllo Preventivo Accuratezza
Passaggio Fondamentale
Reale Valore Informativo Analisi Proposte
Individuazione Dati Anomali
Correzione Dati Anomali
Ufficio Scolastico Regionale - Abruzzo
1
0
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
La Qualità dei Dati del Campione
Individuazione /Correzione Dati Anomali
Passaggio Fondamentale
Definizione Sistema Pesi di Correzione
Valore Originario: Un Punteggio
Coefficiente
Correzione
Attenuazione Effetto Presenza Dati Anomali
Ufficio Scolastico Regionale - Abruzzo
11
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
La Qualità dei Dati del Campione
Procedure di Correzione
Passaggio Fondamentale
Individuazione Gruppi di Rispondenti
con Caratteristiche Particolari
Stima lncidenza Risultati Rispetto Esiti
Complessivi Prova (Hard Clustering)
Ufficio Scolastico Regionale - Abruzzo
12
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
La Qualità dei Dati del Campione
Procedure di Correzione
* Fuzzy Logic *
Attribuzione Alunno Rispondente
Punteggio Compreso tra 0 ed 1
Forte Attenuazione Incidenza
Comportamenti Opportunistici
Ufficio Scolastico Regionale - Abruzzo
13
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
La Qualità dei Dati del Campione
Fase I: Indicatori a Livello Scuola
1. Calcolo Punteggio Medio
(p j)
(Media dei Punteggi di Ciascun Alunno
espressi in termini di Risposte Corrette
fornite)
2. Calcolo Scarto Quadratico Medio (σ j)
(Indicatore di Variabilità del Punteggio Medio)
Ufficio Scolastico Regionale - Abruzzo
14
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
La Qualità dei Dati del Campione
Fase I: Indicatori a Livello Scuola
3. Calcolo Tasso Mancata Compilazione per
Classe (MJ)
(Valutazione Tasso Medio Adesione Classe alla Prova)
4. Indice Medio Relativo Omogeneità Risposte (E j)
(Indice Eterogeneità/Omogeneità Risposta su
Ciascuna delle Domande)
Ufficio Scolastico Regionale - Abruzzo
15
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
La Qualità dei Dati del Campione: Fase I
Tavola 1. Valori Medi per Regione Indicatori p j , MC j , E j
pj
σj
MC j
Ej
I M I M I M I M
Abruzzo
Totale
28,58 19,38 5,48
3,79
0,01
0,02
0,50
0,50
28,37 19,34 5,60
3,82
0,01
0,02
0,51
0,50
Ufficio Scolastico Regionale - Abruzzo
16
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
La Qualità dei Dati del Campione
Fase II: Sintesi Indicatori Livello di Scuola
I quattro indicatori
individuati nella prima fase di analisi
devono essere opportunamente applicati a ciascuna scuola per
individuare la presenza di eventuali dati anomali. Come noto nella
letteratura statistica, è quindi necessario operare un’opportuna
sintesi, se possibile, dei quattro indicatori tale da ottenere
un’informazione di facile utilizzo ed interpretazione, ma che, al
contempo, consenta di rappresentare nella misura massima possibile
la variabilità insita nel fenomeno stesso.
L’analisi delle componenti principali (ACP) permette di conseguire i
suddetti obiettivi operando una riduzione delle dimensioni oggetto
d’interesse.
Ufficio Scolastico Regionale - Abruzzo
17
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
La Qualità dei Dati del Campione: Fase II
Tavola 4. Valori Medi Coefficienti di Cheating
ITALIANO
MATEMATICA
Media
Media
Abruzzo
0,0734
0,089
ITALIA
0,0458
0,091
Ufficio Scolastico Regionale - Abruzzo
18
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
Indici di Cheating nelle diverse Regioni: ITALIANO
Ufficio Scolastico Regionale - Abruzzo
19
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
Indici di Cheating nelle diverse Regioni: MATEMATICA
Ufficio Scolastico Regionale - Abruzzo
20
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
Codici Identificativi Regione
CODICE
REGIONE
CODICE REGIONE
1
2
3
4
51
54
6
Valle d’Aosta
Friuli Venezia
Giulia
Piemonte
Liguria
Lombardia
Bolzano (It)
Trento
Veneto
Ufficio Scolastico Regionale - Abruzzo
7
8
9
10
11
12
13
Emilia
Romagna
Toscana
Umbria
Marche
Lazio
Abruzzo
CODICE
REGIONE
14
15
16
17
18
19
20
Molise
Campania
Puglia
Basilicata
Calabria
Sicilia
Sardegna
21
SNV
Classe Seconda Scuola Primaria
Anno Scolastico 2008 - 2009
Indici di Cheating nelle diverse Regioni: ITALIANO
Ufficio Scolastico Regionale - Abruzzo
22
SNV
Classe Seconda Scuola Primaria
Anno Scolastico 2008 - 2009
Indici di Cheating nelle diverse Regioni: MATEMATICA
Ufficio Scolastico Regionale - Abruzzo
23
SNV
Classe Quinta Scuola Primaria
Anno Scolastico 2008 - 2009
Indici di Cheating nelle diverse Regioni: ITALIANO
Ufficio Scolastico Regionale - Abruzzo
24
SNV
Classe Quinta Scuola Primaria
Anno Scolastico 2008 - 2009
Indici di Cheating nelle diverse Regioni: MATEMATICA
Ufficio Scolastico Regionale - Abruzzo
25
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
CHEATING: Nota Tecnica “Invalsi”
Indicatore di Propensione al Cheating
Valore compreso tra 0 e 1 che determina il grado di similarità
della Classe considerata al profilo tipico che caratterizza un
comportamento ritenuto opportunistico, cioè un
comportamento che potrebbe aver alterato
il corretto svolgimento della prova.
Effetto del mancato controllo da parte dei Docenti sul
rispetto del Protocollo di Somministrazione e/o l’insieme
delle azioni, che questi ultimi possono mettere in atto,
per facilitare il compito degli Alunni.
Ufficio Scolastico Regionale - Abruzzo
26
Prova Nazionale
Esame Conclusivo Primo Ciclo
Anno Scolastico 2008 - 2009
CHEATING: Nota Tecnica “Invalsi”
Indicatore di Propensione al Cheating
Calcolato per Classe, viene riportato a livello di Scuola tenendo
conto del numero delle classi al’interno di ciascuna Scuola e della
propensione al Cheating per ciascuna disciplina (Italiano e
Matematica). Il risultato finale consiste in un grado di Rischio
Complessivo di Cheating compreso tra 0 e 5.
0 = Nessun Rischio
1 = Rischio Basso
2 = Rischio Medio - Basso
3 = Rischio Medio
4 = Rischio Medio - Alto
5 = Rischio Alto
Ufficio Scolastico Regionale - Abruzzo
27