Leggere, interpretare ed utilizzare i risultati delle prove del Servizio Nazionale di Valutazione e della Prova Nazionale dell’esame di stato del primo ciclo Chieti, 19 marzo 2010 Un compito difficile: far parlare i numeri Dare significato a dati numerici Per quali ragioni analizzare attentamente i risultati della propria scuola? Le prove del Servizio Nazionale costituiscono per la singola istituzione scolastica un adempimento (una seccatura...) o piuttosto una risorsa? Una preziosa risorsa per l’autovalutazione d’istituto Non l’unica risorsa, ma un punto di partenza Una preziosa risorsa per l’autovalutazione d’istituto Non l’unica risorsa, ma un punto di partenza Quali informazioni possono fornirci? Il “valore aggiunto” fornito dalla scuola Cosa ci dicono le ricerche nazionali ed internazionali? Il ruolo del contesto appare determinante negli esiti degli apprendimenti Non interessano perciò i dati “grezzi”: non sono significativi Occorre centrare invece l’attenzione sulle differenze e sugli scarti Quali dati ci forniscono le prove Invalsi? Quali dati ci forniscono le prove Invalsi? •Valori medi •Distribuzione per livello Qualche termine tecnico... Campionamento, stima e intervallo di confidenza Limite inferiore è il limite inferiore dell’intervallo di confidenza all’interno del quale è contenuto il valore della media con probabilità pari al 95%. Limite superiore è il limite superiore dell’intervallo di confidenza all’interno del quale è contenuto il valore della media con probabilità pari al 95% Qualche termine tecnico... Distribuzione per livelli, indici di posizione, decili e quartili Il decile superiore è il punteggio al di sotto del quale si trova il 90% dei punteggi di una distribuzione, mentre il decile inferiore è il punteggio sotto il quale si trova solo il 10% dei punteggi. I quartili (primo, secondo, terzo, quarto) sono invece rispettivamente i punteggi al di sotto dei quali si situa il 25%, il 50%, il 75% dei punteggi e il 100% dei punteggi. L1 L2 L3 L4 L5 L6 Italiano X ≤ 30 30 < X <48 48 < X <68 68 < X <80 80 < X <89 X ≥89 Matematica X ≤ 30 30 < X <42 42 < X <52 52 < X <67 67 < X <80 X ≥80 Qualche indicazione operativa Qualche indicazione operativa Qualche indicazione operativa Qualche indicazione operativa •Ordinare gli items per risultati – dal più alto al più basso •Quali quesiti sono risultati difficili che, invece, erano risultati semplici a livello nazionale e viceversa? •La “difficoltà” Qualche indicazione operativa •Differenziare Italiano da Matematica •Raggruppare per aree Qualche indicazione operativa •Differenziare Italiano da Matematica •Raggruppare per aree Qualche indicazione operativa •Quali differenze tra i dati delle II e quelli delle V? •Quali differenze tra le valutazioni dei docenti e i risultati delle prove? Qualche indicazione operativa •Quale incidenza delle mancate risposte, specie nelle ultime domande? •Quali risposte errate sono più frequenti? •Importanza dell’analisi degli errori Qualche indicazione operativa •Quale incidenza delle mancate risposte, specie nelle ultime domande? •Quali risposte errate sono più frequenti? •Importanza dell’analisi degli errori Qualche indicazione operativa •Quale distribuzione degli alunni in livelli – in quartili? •Quale distribuzione deviazione? •Quali differenze tra i vari sottogruppi? Qualche indicazione operativa •Quali ipotesi sulle cause dei risultati? •Quali altri dati eventualmente raccogliere? Parametri per la segnalazione di rischio “cheating” 1. Punteggio medio della classe 2. Deviazione standard 3. Indice di adesione alla prova (Questo indice assume valore 0 se tutti gli studenti hanno fornito una risposta valida e valori che tendono ad 1 tanto più è elevato il numero di risposte non valide o mancanti) 4. Indice medio relativo di omogeneità delle risposte