Restituzione
Daniele Pitturelli
Pavia – 24 aprile 2007
Ferrari (2004, p. 62), per
quanto riguarda la
valutazione di un
contesto educativo,
sottolinea l’importanza
dell’intersoggettività
del percorso e chiarisce
che l’analisi si svolge su
tre piani che si
intersecano tra loro:
•i punti di vista tra i
diversi valutatori,
•l’idea di qualità che è
presente nello strumento
proposto e in coloro che
lo utilizzano
Da questa
riflessione
nasce, a livello
metodologico,
la centralità della fase di
restituzione degli esiti di un
processo valutativo,
elemento fondamentale per
la riuscita di un’indagine.
 Uno degli scopi principali di una ricerca in un
contesto educativo è, infatti, riuscire a modificare la
situazione di partenza, creando le condizioni per
introdurre significativi cambiamenti e per attivare
processi di innovazione (Beeby, 1977; Wolf, 1987).
 Il momento della restituzione non si limita a una
verifica dei punteggi assegnati tramite lo
strumento, ma consiste nel mettere in relazione
differenti punti di vista e nel favorire una
discussione in grado di far emergere le motivazioni
e le ragioni più profonde del proprio valutare, alla
ricerca dei significati espliciti e impliciti del nostro
modo di intendere la realtà.
•All’interno della
fase di restituzione
che, come si è
visto, è punto di
arrivo e di
partenza di un
processo
valutativo,
coesistono e si
intrecciano temi
complessi quali:
a) le relazioni tra le scelte degli
individui e le esigenze proprie
dell’istituzione;
b) la tensione, all’interno di un
contesto formativo, tra ‘essere’ e
‘dover essere’ , tra un’immagine
di scuola ideale e la scuola reale,
così come si definisce nel suo agire
e farsi concreto;
c) la ricerca delle motivazioni che
spingono gli attori coinvolti ad
operare determinate scelte che
avvengono sulla base di complessi
processi di mediazione, di
negoziazione e di condivisione.
Dewey e il
percorso
transattivo
(Dewey 19291951)
Assunto di base:
Conoscenza è
transazione, un processo
a spirale senza fine che
coinvolge tutti gli attori
nella presa di decisioni.
Il percorso transazionale
(Dewey 1929-1951)
 Coinvolgimento dei diversi attori sociali nel
processo di crescita e di confronto
 Riorientamento delle scelte e delle decisioni
circa l’organizzazione di un dato contesto
 Negoziazione tra diversi saperi di differenti
soggetti che giocano ruoli non omogenei sulla
scena
Valutazione di quarta generazione
(Guba e Lincoln, 1989)
“Una forma di valutazione in cui le
dichiarazioni, le preoccupazioni e le
questioni degli stakeholders fungono da
fuochi organizzativi” (Guba e Lincoln, 1989)
• Richiamo a un paradigma costruttivistico che
orienta l’azione del valutare a partire dagli
stakeholders coinvolti nel processo.
Valutazione di quarta generazione
(Guba e Lincoln, 1989)
Assunto di base:
Nel processo valutativo tutti gli attori sono
chiamati a co-costruire conoscenza e sapere
circa un dato fenomeno che si definisce e ridefinisce nel confronto.
Processo valutativo
(Guba e Lincoln, 1989)
• Identificare con precisione gli stakeholders
• Far emergere i diversi punti di vista dei diversi
attori/gruppi circa l’oggetto della valutazione
• Creare un contesto di dialogo/interazione
• Valorizzare i diversi punti di vista
• Negoziare circa gli aspetti poco condivisi
• Raccogliere e fornire informazioni utili al processo
di negoziazione
• Stimolare la discussione circa gli esiti della
valutazione
• Trovare accordi e soluzioni condivise
• Valutazione come percorso a spirale aperta/
Continua negoziazione di significato
Le relazioni presentate alle scuole: schemi
interpretativi.
Durante la fase di restituzione è utile fornire
alcuni schemi interpretativi ai gruppi che
hanno partecipato alla valutazione.
Gli incontri, di volta in volta verbalizzati,
offrono una preziosa serie di informazioni. Si
tratta, anzitutto, di dati “qualitativi” che
emergono dalle relazioni elaborate per le
scuole.
Le relazioni, elaborate sulla base di uno
schema comune, sono comprensive anche dei
dati di natura “quantitativa” che si analizzano
al fine di discutere le questioni relative
all’affidabilità dello strumento, ma che non
escludono ulteriori riflessioni di tipo
comparativo.
A ciascun istituto può essere restituita una
relazione dettagliata con l’analisi delle misure di
tendenza centrale e una serie di grafici in linea
capaci di visualizzare l’andamento, così come si è
indicato nelle tabelle che seguono e che
concernono gli indicatori per la valutazione e dei
criteri interpretativi.
Indicatori per la valutazione della scuola
1
2
3
4
5
6
7
8
Punteggi Medi
Deviazione Standard.
Moda
Media Aree
Grafici in linea - Valutazione della scuola (generale)
Grafici in linea - Confronto valutazione della
scuola/dv.st..
Grafici in linea - Confronto valutazione della scuola
item Area/dv.st
Commento analitico delle carenze (item/area)
espresse dai valutatori
Punti di forza e punti di debolezza
di una scuola
Ai valutatori può essere fornita inoltre una tabella
utile per individuare i punti di forza e i punti di
debolezza di una scuola, sulla falsariga di altre
ricerche di valutazione formativa compiute dal
gruppo pavese (Gusmini , 2004, pp. 223-253)
Situazione
Media Val.
item
Dv. St.
Commento
Punti di forza ALTA
(riconosciuti da
tutti)
BASSA
I valutatori riconoscono i punti di
forza della scuola
in modo
condiviso. Si attribuiscono capacità
di offrire buona qualità nell’ambito
di contenuto definito dall’item.
Punti di forza
ALTA
(non riconosciuti
da tutti)
ALTA
Una parte dei valutatori non
condivide la buona qualità attribuita
dagli altri. La qualità dell’offerta
non è riconosciuta in modo
condiviso.
Punti
di BASSA
debolezza
(carenze
non
riconosciute da
tutti)
ALTA
La scarsa qualità offerta non è
riconosciuta in modo condiviso.
Esiste una frammentazione nelle
percezioni della qualità, prevale una
visione negativa.
Punti
debolezza
(carenze)
BASSA
I valutatori riconoscono, in modo
condiviso, carenze nella qualità
offerta nell’ambito di contenuto
definito dall’item.
di BASSA
Un esempio di restituzione.
• La restituzione comporta una relazione dettagliata
circa gli esiti della valutazione condotta dagli
insegnanti e tutte le scuole che hanno partecipato
hanno ricevuto un documento costruito secondo il
seguente schema.
• Si riporta, a titolo di esempio di un lavoro svolto in
un gruppo di scuole, lo schema di una relazione dopo
l’uso dello strumento SASI-S (II).
La prima parte
della relazione:
uno sguardo
d’insieme
A) Il verbale del I incontro, elaborato
in forma sintetica, riporta le principali
informazioni che sono state
comunicate nel corso della riunione:
la presentazione dello strumento, le
procedure per l’operazione di testing
(attribuzione del punteggio, raccolta
dei fogli di risposta, restituzione dei
risultati).
B) La lettura dei
dati: la relazione,
fornisce una prima
chiave interpretativa
sulla base di alcune
indicazioni tratte
dal lavoro di ricerca
di Gusmini (2004,
pp. 223-253). Si
sottolineano, in
particolare, i punti
di forza e i punti di
debolezza della
scuola.
C) La composizione e il
comportamento valutatorio del
gruppo: si indica il numero delle
persone che hanno valutato la
scuola, specificando la qualifica e il
ruolo che giocano all’interno
dell’organizzazione e si segnalano
gli item non valutati. È un primo
momento di riflessione circa l’uso
dello strumento e di verifica della
sua applicabilità.
D) L’analisi dei dati relativi alla valutazione della
scuola: mette in luce il punteggio medio espresso dal
gruppo e sottolinea l’omogeneità o la difformità di
valutazione al suo interno. I punteggi medi del
gruppo per ciascuna area sono riportati, secondo un
ordine decrescente, in una tabella.
I grafici in linea, come si può vedere nel grafico
seguente, permettono il confronto tra il punteggio
medio degli item e la deviazione standard.
Esempio: analisi dei dati relativi alla valutazione
operata dal gruppo di insegnanti del Liceo XXX
punteggio medio espresso dal gruppo = 3.1.
Esiste una marcata differenziazione all’interno del
gruppo dei valutatori
 il punteggio medio dei singoli valutatori: [Val1,
(4.2); Val2, (2.4); Val3, (2.6); Val4, (3); Val.5, (2.7);
Val.6 (2.6); Val.7 (4.1)]
 4 valutatori assegnano un punteggio medio al di
sotto della situazione 3, mentre 3 valutatori
attribuiscono un punteggio abbastanza elevato che
varia da 3 a 4.2.
Un altro dato interessante riguarda i punteggi medi espressi
dal gruppo dei valutatori per ciascuna area dello strumento.
•Le aree dello strumento che ottengono i punteggi medi più
elevati sono: 9. Il sostegno (3.7) e 10. Rapporti con il
territorio (3.7), seguono l’area 8. I rapporti con gli alunni
con 3.6 e l’area 4. La progettualità (3.4).
•Le aree 1. Organizzazione e gestione della scuola (3.2), 3.
La valutazione (3.1) e 2. La professionalità docente (3)
ottengono un punteggio uguale o poco superiore al 3.
•Le aree che ottengono i punteggi medi meno elevati sono:
7. I rapporti con le famiglie (2.8), 6. Le relazioni interne
(2.6) e 5. La struttura e le risorse (2,4).
E) Si passano in
rassegna gli item
con i punteggi medi
più alti, punti di
forza, gli item con i
punteggi medi
meno elevati, punti
critici o di
debolezza della
scuola.
F) Particolare attenzione viene
prestata all’analisi della
deviazione standard.
Gli item con la deviazione
standard più elevata indicano
una difformità di giudizio tra i
soggetti che osservano la stessa
realtà.
Le cause
dell’emergere di
una valutazione
discrepante
all’interno del
gruppo, in
questo caso,
possono
dipendere da
molti fattori
quali:
un’analisi superficiale
delle situazioni indicate
dall’item,
 la scarsa chiarezza di
alcuni termini,
l’ambiguità del lessico o
delle situazioni presentate,
 le informazioni limitate
che un singolo valutatore
può avere circa l’argomento
trattato,
l’adesione non piena alla
filosofia di qualità proposta
dai diversi item dello
strumento (Bondioli, 2004,
p. 288).
Gli item con la
deviazione standard
meno elevata:
sottolineano una
omogeneità di
giudizio all’interno
del gruppo dei
valutatori.
Questo comune guardare alla stessa
realtà può dipendere da molti fattori
quali la partecipazione coerente e
convinta alle scelte operate, le
informazioni e le conoscenze
condivise circa l’argomento,
l’adesione ai criteri di qualità
intrinseci nello strumento.
G) Si discutono gli
item con i valori di
moda più e meno
elevati: la moda
rappresenta un
indice di posizione
che permette di
stabilire il valore che
appare più
frequentemente fra i
risultati della prova;
è facile da individuare e
permette di evidenziare con
immediatezza il punteggio
raggiunto dalla maggior
parte dei valutatori.
La presenza di item con
più mode (bimodali o
trimodali), a volte collocate
agli estremi del punteggio
previsto, permette di
riflettere sulla discrepanza
di giudizio all’interno del
gruppo.
La seconda parte della relazione:
analisi delle aree e delle carenze.
La seconda parte della relazione prosegue con
un’analisi approfondita delle aree sottoposte a
valutazione e un commento relativo alle carenze
individuate dai valutatori.
•Tali osservazioni
forniscono una base
di discussione per
altri incontri che il
gruppo può
svolgere
successivamente
allo scopo di
prendere decisioni,
operare
cambiamenti,
introdurre
innovazioni.
•Attraverso le tabelle e i grafici si
mettono in evidenza i punti di forza
e i punti di debolezza della scuola, si
possono presentare i risultati più
significativi e fare, utilizzando le
chiavi interpretative, le opportune
considerazioni circa il
comportamento valutatorio e i valori
di media registrati.
•Una serie di grafici in linea, sul modello del grafico
qui riportato, visualizza l’andamento della valutazione
nelle dieci aree dello strumento e permette di stabilire
confronti tra la valutazione della scuola e la deviazione
standard.
Valutazione area 4. La progettualità
6
5
4
Media item Area 4
Dv. St. item Area 4
3
2
1
0
21. I progetti
22. Le programmazioni 23. Fare ricerca nella
scuola
24. Sviluppo e
promozione
dell’immagine della
scuola
La terza parte della relazione:
dalla valutazione dello strumento alle proposte di
riflessione
I risultati della valutazione criteriale sono
esposti in una relazione che segue le
indicazioni fornite in precedenza e che mette in
luce gli aspetti più significativi.
Anche per quanto riguarda la valutazione
criteriale, come si può vedere dalla tabella, si
tiene conto degli stessi indicatori utilizzati per
la valutazione della scuola.
Indicatori per la valutazione criteriale
1
2
3
4
5
6
7
8
Punteggi Medi
Deviazione Standard.
Moda
Media Aree
Grafici in linea - Valutazione dello strumento
(generale)
Grafici in linea - Confronto valutazione dello
strumento/dv.st..
Grafici in linea - Confronto valutazione dello
strumento item Area/dv.st
Commento analitico delle carenze (item/area)
espresse dai valutatori
Ai valutatori può essere fornita questa
tabella utile per individuare la capacità
degli item di riscontrare la qualità del
servizio del contesto scolastico.
Situazione
Media Val.
item
Dv. St.
Pertinenza
ALTA
riconosciuta e
condivisa
BASSA
Pertinenza
non
riconosciuta
BASSA
BASSA
Pertinenza
ALTA
riconosciuta
ma
non
condivisa da
tutti
ALTA
Commento
I valutatori riconoscono a
questi item alta valenza nella
loro rilevanza ai fini della
costruzione di una qualità
educativa.
I valutatori non riconoscono a
questi item capacità di rilevare
una qualità educativa.
Vi sono percezioni diverse tra
i valutatori sull’importanza da
attribuire a questi item ai fini
della costruzione di una
qualità educativa.
•Si è quindi
proceduto, come
consigliato dagli
autori del QUAFES
e dell’ASEI (Darder,
Mestres, 1994-2000),
mettendo a confronto
la valutazione del
servizio e la
valutazione criteriale
•Ai valutatori sono state date delle
indicazioni utili, così come riportato
nella tabella seguente.
• Cfr. il lavoro di Darder e Mestres per lo
strumento ASEI, in Gusmini, 2004, nota 6, p. 248.
•Si è fornita, inoltre, una
visualizzazione grafica che
pone a confronto la
valutazione del servizio e la
valutazione criteriale.
Situazione
A
Manteni
mento
Punteggio
+
attribuito al
servizio
Punteggio
+
attribuito
all’item
(Valutazione
criteriale)
B
C
D
Revisione dei
Piano
Sensibilizza
criteri assunti d’intervento
zione e
formazione
+
-
-
+
-
•Situazione A + +: esiste coerenza perché il punteggio
attribuito al servizio è alto, così come quello assegnato
agli item
•Situazione B + -: il punteggio attribuito al servizio è alto,
la valutazione criteriale è bassa; occorre che i valutatori
riflettano circa i valori attribuiti agli item e nei confronti
degli assunti di base sottesi alla costruzione degli item.
Una maggiore sensibilizzazione, un’opera di motivazione
del gruppo dei valutatori può modificare l’atteggiamento e
limitare le difficoltà in un piano d’intervento migliorativo
del servizio.
•Situazione C - +: il punteggio attribuito al servizio è basso,
mentre la valutazione criteriale è alta. Si può pensare che
esista una certa predisposizione dei valutatori al
cambiamento e all’innovazione e che si possa predisporre in
modo condiviso un piano di miglioramento.
•Situazione D - -: il punteggio attribuito al servizio è basso,
così come la valutazione criteriale. Sembra necessaria una
riflessione più approfondita e una strategia di
sensibilizzazione e di formazione dei valutatori circa i
contenuti trattati. La modifica del proprio atteggiamento nei
confronti degli aspetti considerati è la premessa per poter
programmare iniziative di miglioramento.
La valutazione delle singole scuole: la media delle aree
Cod. Id. Scuola
Area 1
Area 2
Area 3
Area 4
Area 5
1
3,9
3,2
3,7
3,6
2,8
2
4,5
3,4
3,6
4
4,4
3
3,7
2,3
2,5
2,6
1,7
4
2,8
2,4
2,7
2,3
2,4
5
3,4
2,4
3
2,8
2,7
6
3,2
2,1
2,5
3
3,5
7
3,2
3
3,1
3,4
2,4
8
3,8
3,5
4,1
4
2,8
9
2,6
2,1
2,3
2,8
2,1
10
3,4
3,4
3,4
3,6
2,8
11
3,9
3,6
2,9
3,7
3
12
4,4
3,8
4,4
4,4
3,2
13
4,7
4,3
3,5
4,5
3,6
14
3,5
3,4
2,3
3,5
2,5
15
3,2
2,9
1,9
2,6
2,4
Cod. Id. Scuola
Area 6
Area 7
Area 8
Area 9
Area 10
1
3,6
3
3,3
4
3,6
2
4,3
3,6
4
*
4
3
2,7
*
3,3
*
3,6
4
2,8
2,7
3,3
3,8
3,3
5
3
3
2,8
*
2,5
6
2,5
2,1
2,9
*
3,3
7
2,6
2,8
3,6
3,7
3,7
8
3,7
4
4,4
*
4,4
9
2,6
2,6
2,7
3,4
2,8
10
3,4
3,6
3,9
*
4,2
11
3,7
3,5
3,6
4
3,8
12
4,5
3,6
4,3
4
4,1
13
4,2
4,2
4,3
4,8
3,9
14
3,5
3,7
3,6
4,3
3,2
15
3
3
3,6
3,8
2,8
* La scuola (Cod.id.3) non ha valutato l’area 7. I rapporti con le famiglie perché gli studenti sono per la maggior parte stranieri (circa 80%), in genere adulti,
senza la famiglia in loco.
* Le scuole 2, 3, 5, 6, 8, 10 non hanno valutato, come concordato, l’area 9. Il sostegno perché non ci sono mai state esperienze a riguardo.
* In grassetto sono evidenziati i punteggi medi più elevati e quelli meno elevati
Valutazione Scuole/Aree e punteggi più elevati
• il gruppo di valutatori della scuola 13 assegna il
punteggio medio più elevato a 5 aree dello strumento:
1. Organizzazione e gestione della scuola (4.7), 2. La
professionalità docente (4.3), 4. La progettualità
(4.5), 7. I rapporti con le famiglie (4.2), 9. Il
sostegno (4.8).
• Seguono le scuole 8 e12 che attribuiscono il
punteggio più elevato rispettivamente alle aree 8. I
rapporti con gli alunni e 10. Rapporti con il territorio
(4.4) e alle aree 3. La valutazione (4.4) e 6. Le
relazioni interne(4.5).
• La scuola 2, infine, assegna il punteggio più alto
all’area 5. La struttura e le risorse (4.4).
Valutazione Scuole/Aree e punteggi più elevati
• Due scuole assegnano, invece, il punteggio medio
più basso a tre aree.
 La scuola 6 indica le aree 2. La professionalità
docente (2.1), 6. Le relazioni interne (2.5), 7. I
rapporti con le famiglie (2.1),
 mentre la scuola 9 segnala le aree 1. Organizzazione
e gestione della scuola (2.6), 8. I rapporti con gli
alunni (2.7), 9. Il sostegno (3.4); seguono quattro
scuole con un’area.
La valutazione delle scuole: la media generale delle aree 1-5
Area 1
Area 2
Area 3
Area 4
Area 5
Media
Mediana
3,6
3,5
3
3,2
3
3
3,3
3,5
2,8
2,8
Moda
Deviazione
standard
3,2
3,4
2,5
3,6
2,8
0,6
0,7
0,7
0,7
0,7
Conteggio
15
15
15
15
15
La valutazione delle scuole: la media generale delle aree 6-10
Area 6
Area 7
Area 8
Area 9
Area 10
Media
Mediana
Moda
3,3
3,4
3
3,2
3,2
3
3,6
3,6
3,6
4
4
4
3,5
3,6
3,6
Deviazione
standard
Conteggio
0,7
15
0,6
14
0,5
15
0,4
9
0,6
15
I punteggi medi espressi dalle scuole
per ciascuna area dello strumento
Posiz.
Aree dello Strumento
Media
1
Area 9. Il sostegno
4
2
Area 1. Organizzazione e gestione della 3.6
scuola
2
Area 8. I rapporti con gli alunni
3.6
3
Area 10. I rapporti con il territorio
3.5
4
Area 4. La progettualità
3.4
5
6
7
Area 6. Le relazioni interne
Area 7. I rapporti con le famiglie
Area 2. La professionalità docente
3.3
3.2
3
7
8
Area 3. La valutazione
Area 5. La struttura e le risorse
3
2.8
Valutazione Scuole/Aree e punteggi meno elevati
• L’area 5. La struttura e le risorse ottiene il punteggio medio
più basso (2.8), in questo caso bisogna considerare che
esistono fattori esterni, dipendenti dagli enti locali che si
occupano della manutenzione e dell’organizzazione degli spazi
degli edifici scolastici.
• L’area 9 Il sostegno, valutata da 9 realtà scolastiche, ottiene il
punteggio medio più alto (4), ciò significa che le scuole
interessate non solo prestano molta attenzione circa gli aspetti
e le dimensioni legate all’inserimento e alla partecipazione di
soggetti portatori di handicap, ma hanno investito molto in
formazione e aggiornamento del personale specializzato,
strutture e servizi di rete e di accompagnamento delle
situazioni e dei singoli casi.
• Le dispersioni risultano abbastanza basse e oscillano tra 0.4 e
0.7, segno di un comportamento valutatorio omogeneo da
parte del gruppo di insegnanti delle scuole prese in esame.
Comportamento valutatorio
Dall’analisi dei punteggi medi emergono:
• i punti di forza e i punti di debolezza della scuola in
rapporto alle diverse aree dello strumento.
• L’atteggiamento del gruppo (coeso, unito, punti di
vista molto differenziati, ecc.)
Comportamento valutatorio
• Circoli  in 2 circoli il gruppo dei valutatori mostra
una sostanziale omogeneità quanto ai punteggi medi
attribuiti alle diverse aree, mentre in un circolo  una
parte del gruppo esprime punti di vista differenti.
• Scuola media e Comprensivo  i risultati
confermano una sostanziale condivisione all’interno
del gruppo dei valutatori.
Comportamento valutatorio
Scuole medie superiori 
• in 6 scuole lo staff di dirigenza appare unito e mostra
un orientamento comune
• stabilisce un confronto costante circa i modi per
affrontare i problemi che si presentano
• In 4 scuole  il gruppo mostra, al suo interno,
differenti valutazioni, soprattutto per quanto riguarda
il giudizio relativo ad alcune dimensioni
organizzative e gestionali della scuola