FINVALI 2005 - Progetto 032
IL SISTEMA SCOLASTICO COME
SISTEMA COMPLESSO: QUALITÀ
DELLE RILEVAZIONI E MODELLI DI
INTERPRETAZIONE DEI RISULTATI
PARTECIPANTI
Istituto per le Applicazioni del Caclolo ‘Mauro Picone’ CNR
Sede di Napoli
Umberto Amato, Claudia Angelini, Silvia Razzano
Università degli Studi di Napoli ‘Parthenope’
Dipartimento di Statistica e Matematica per la Ricerca Economica
Claudio Quintano, Sergio Longobardi
Università degli Studi di Milano ‘Bicocca’
Dipartimento di Statistica
Marco Fattore
Università degli Studi di Napoli ‘Federico II’
Dipartimento di Geofisica e Vulcanologia
Adriano Mazzarella
Seminario FINVALI 2005
-2-
Frascati, 9 luglio 2007
MOTIVAZIONI

Il miglioramento del sistema scolastico rappresenta
un importante obiettivo per l’intera società. La
valutazione del sistema scolastico messa in atto da
INVALSI è il primo passo fondamentale. Il passo
naturale successivo consiste nello spiegare la
capacità di apprendimento di uno studente (abilità)
in termini di parametri socio-economici e strutturali
dell’Istituto che frequenta
Seminario FINVALI 2005
-3-
Frascati, 9 luglio 2007
OBIETTIVI



Studiare la qualità del dato rilevato (le risposte
ai questionari fornite dagli studenti e dagli
Istituti scolastici)
Mettere a punto modelli statistici che colleghino
l’abilità media di uno studente ai parametri
socio-economici e strutturali ed individuino quelli
che incidono in misura più significativa
sull’abilità
Sviluppare modelli innovativi di descrizione del
Sistema Scolastico come Sistema Complesso
Seminario FINVALI 2005
-4-
Frascati, 9 luglio 2007
Seminario FINVALI 2005
-5-
Frascati, 9 luglio 2007
Seminario FINVALI 2005
-6-
Frascati, 9 luglio 2007
FINVALI 2005 – Progetto 032
Modello di
qualità dei dati
Fattori strutturali
e socio-economici
Questionario di sistema
Seminario FINVALI 2005
Modello
statistico
-7-
Abilità dello
studente
Questionario di apprendimento
Frascati, 9 luglio 2007
FINVALI 2005 – Progetto 032
Modello di
qualità dei dati
Fattori strutturali
e socio-economici
Questionario di sistema
Dati ancillari
Modello
statistico
Abilità dello
studente
Questionario di apprendimento
Modello basato sui
Sistemi Complessi
Dati invisibili
Seminario FINVALI 2005
-8-
Frascati, 9 luglio 2007
FINVALI 2005 – Progetto 032
Fattori strutturali
e socio-economici
Abilità dello
studente
Questionario di sistema
Dati ancillari
Questionario di apprendimento
Modello basato sui
Sistemi Complessi
Dati invisibili
Teoria dei frattali
Seminario FINVALI 2005
-9-
Frascati, 9 luglio 2007
OBIETTIVI




Qualità dei dati del Sistema Nazionale di
Valutazione
Modelli statistici che legano il questionario di
apprendimento a quello di sistema
Modelli di descrizione del Sistema Scolastico come
Sistema Complesso
Analisi frattale dell’abilità degli studenti
Seminario FINVALI 2005
- 10 -
Frascati, 9 luglio 2007
OBIETTIVI




Qualità dei dati del Sistema Nazionale di
Valutazione
Modelli statistici che legano il questionario di
apprendimento a quello di sistema
Modelli di descrizione del Sistema Scolastico come
Sistema Complesso
Analisi frattale dell’abilità degli studenti
Seminario FINVALI 2005
- 11 -
Frascati, 9 luglio 2007
OBIETTIVI




Qualità dei dati del Sistema Nazionale di
Valutazione
Modelli statistici che legano il questionario di
apprendimento a quello di sistema
Modelli di descrizione del Sistema Scolastico come
Sistema Complesso
Analisi frattale dell’abilità degli studenti
Seminario FINVALI 2005
- 12 -
Frascati, 9 luglio 2007
Modello di regressione
Abilità vs. parametri di sistema
Riduzione dei parametri (selezione di variabili,
componenti principali)
ANOVA
Cluster analysis
Seminario FINVALI 2005
- 13 -
Frascati, 9 luglio 2007
1-way ANOVA su Tipo - Abilità Italiano-Matematica-Scienze
Privato
Pubblico
1-way ANOVA su Regione - Abilità Italiano-Matematica-Scienze
0.05
0.1
0.15
0.2
Abilità Italiano-Matematica-Scienze
Seminario FINVALI 2005
0.25
- 14 -
Sardegna
Sicilia
Calabria
Basilicata
Puglia
Campania
Molise
Abruzzo
Lazio
Marche
Umbria
Toscana
Emilia
Friuli
Veneto
Trentino
Lombardia
Liguria
Piemonte
Valle d'Aosta
-0.3
-0.2
-0.1
0
0.1
0.2
Abilità Italiano-Matematica-Scienze
0.3
Frascati, 9 luglio 2007
1-way ANOVA su Ordine - Abilità Italiano-Matematica-Scienze
Superiore
Media I grado
Elementare
1-way ANOVA su Sesso - Abilità Italiano-Matematica-Scienze
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
Abilità Italiano-Matematica-Scienze
0.08
0.1
Maschi
Femmine
0.03
Seminario FINVALI 2005
- 15 -
0.04
0.05
0.06
0.07
Abilità Italiano-Matematica-Scienze
0.08
0.09
Frascati, 9 luglio 2007
elementari - 0405-0506 - 7 groups
82
Calabria
Campania
Basilicata
Puglia
Sicilia
80
Molise
78
Lazio
Abruzzo
2005-2006
76
Umbria
Marche
Liguria
Piemonte
Emilia
Friuli Toscana
Sardegna
74
Trentino
Veneto
Lombardia
72
70
68
66
68
Seminario FINVALI 2005
Valle d'Aosta
70
72
74
76
78
2004-2005
- 16 -
80
82
84
Frascati, 9 luglio 2007
medie - 0405-0506 - 7 groups
60
Trentino
59
Friuli
Veneto
Lombardia
Piemonte
Marche
Emilia
58
Liguria
Toscana
Basilicata
2005-2006
57
Valle d'Aosta
56
Abruzzo
Umbria
Lazio
55
Molise
Puglia
Calabria
54
Sardegna
53
52
58
Seminario FINVALI 2005
Campania
Sicilia
59
60
61
62
63
2004-2005
- 17 -
64
65
66
Frascati, 9 luglio 2007
superiori - 0405-0506 - 7 groups
52
Valle d'Aosta
Friuli
Marche
Lombardia
Trentino
Piemonte
Umbria
Veneto
Emilia
Basilicata
Toscana
50
2005-2006
48
Calabria
PugliaAbruzzo
Liguria
Sicilia
Molise
Lazio Campania
46
44
42
Sardegna
40
45
50
55
60
2004-2005
Seminario FINVALI 2005
- 18 -
Frascati, 9 luglio 2007
OBIETTIVI




Qualità dei dati del Sistema Nazionale di
Valutazione
Modelli statistici che legano il questionario di
apprendimento a quello di sistema
Modelli di descrizione del Sistema Scolastico come
Sistema Complesso
Analisi frattale dell’abilità degli studenti
Seminario FINVALI 2005
- 19 -
Frascati, 9 luglio 2007
MOTIVAZIONI
In termini generali, la ricerca ha l’obiettivo di indagare la
possibilità e l’utilità di descrivere, rappresentare e studiare
il sistema scolastico come sistema adattativo complesso,
individuando:

Gli strumenti concettuali necessari alla descrizione del
sistema scolastico come sistema complesso;

I possibili modelli formali in grado di rappresentare il
sistema scolastico come sistema complesso;

Le conseguenze della “complessità” sugli schemi di
misura e valutazione del sistema scolastico e delle sue
prestazioni.
Seminario FINVALI 2005
- 20 -
Frascati, 9 luglio 2007
OBIETTIVI DELLA PRIMA FASE
La prima fase della ricerca si è concentrata su due aspetti
principali:


Analisi della letteratura esistente, relativa alla descrizione
del sistema scolastico in termini di sistema adattativo
complesso;
Identificazione degli strumenti concettuali e dei modelli
più adatti per la descrizione del sistema scolastico come
sistema adattativo complesso.
Seminario FINVALI 2005
- 21 -
Frascati, 9 luglio 2007
ANALISI DELLA LETTERATURA
I contributi legati alla nozione di complessità nell’ambito del
sistema scolastico rintracciabili in letteratura sono di tre
tipi:



Testi e articoli genericamente orientati alla descrizione di
sistemi organizzativi (tipicamente aziendali) come sistemi
adattativi complessi;
Testi e articoli che discutono la rilevanza di “educare alla
complessità”, cioè di inserire la complessità negli obiettivi
della formazione, attraverso modalità didattiche differenti;
Testi e articoli che, tentativamente, cercano di guardare al
sistema scolastico da un punto di vista sistemico,
riconoscendone la natura di “learning organization”.
Seminario FINVALI 2005
- 22 -
Frascati, 9 luglio 2007
ANALISI DELLA LETTERATURA
I testi che possono essere di qualche utilità per i nostri obiettivi
potrebbero ricadere nella prima e nella terza categoria;
occorre però fare le seguenti osservazioni:



L’approccio seguito è genericamente sistemico e, di fatto,
non sempre viene fatto esplicito riferimento alla nozione di
complessità;
Spesso l’attenzione è concentrata sulla riforma del sistema
scolastico e sul problema del “change management”;
Solo occasionalmente si rintracciano riferimenti all’esistenza,
all’interno del sistema scolastico, di processi di feedback, di
reti di comunicazione, di sistemi di interazione fra agenti…
cioè degli elementi che potrebbero configurare la
complessità del sistema.
Seminario FINVALI 2005
- 23 -
Frascati, 9 luglio 2007
ANALISI DELLA LETTERATURA
In definitiva, manca una descrizione
strutturata, consolidata e formale del
sistema scolastico come sistema complesso.
Spesso il richiamo alla complessità rimane a
livello metaforico.
Seminario FINVALI 2005
- 24 -
Frascati, 9 luglio 2007
Il sistema scolastico come rete sociale
Nella letteratura scientifica, la “complessità” (intesa come
impossibilità di ridurre la fenomenologia macroscopica del sistema ad
una “sovrapposizione” dei comportamenti microscopici degli agenti
che lo compongono) è stata descritta con innumerevoli approcci e
modelli diversi fra loro.
Il punto di vista assunto in questo progetto è quello della rete sociale:
il sistema scolastico viene visto come insieme di agenti (studenti,
insegnanti, istituti…) in interazione fra loro mediante relazioni di
natura diversa, che configurano flussi informativi e, quindi, fenomeni
di correlazione e coerenza in grado di dar luogo ad effetti sistemici.
L’assunto fondamentale che viene qui formulato è che l’emergere
della complessità dipenda sostanzialmente dalla topologia della rete di
interazioni, cioè dalla struttura dei legami che si instaurano tra gli
agenti del sistema.
Seminario FINVALI 2005
- 25 -
Frascati, 9 luglio 2007
Il sistema scolastico come rete sociale
Se si accetta questa assunto, si ha come conseguenza
principale il fatto che lo studio della complessità del sistema
scolastico passa attraverso lo studio e la rappresentazione
della struttura topologica del sistema di relazioni che si
instaurano al suo interno. Questo approccio comporta,
metodologicamente, i seguenti passi:
 Individuare gli agenti presenti nel sistema scolastico e i tipi
di interazione che essi possono stabilire fra loro;
 Individuare gli strumenti formali per la descrizione della
struttura relazionale del sistema;
 Individuare quali siano le caratteristiche topologiche che la
rete deve possedere perché possano manifestarsi al suo
interno effetti “di tipo complesso”.
Seminario FINVALI 2005
- 26 -
Frascati, 9 luglio 2007
Gli agenti del sistema
Il primo punto è di competenza di esperti del funzionamento del
sistema scolastico, ai vari livelli a cui questo può essere osservato.
L’unica osservazione che possiamo fare è che all’interno del sistema
si possono individuare diversi livelli con agenti specifici e interazioni
particolari (es. la classe con le interazioni fra scolari e fra di essi e
gli insegnanti, l’insieme degli insegnanti di una istituto e le
interazioni fra loro, l’istituti scolastico stesso, comprendente tutte le
classi e il corpo docente, con tutte le interazioni fra essi e, per
esempio, con le famiglie…).
Individuare questi livelli, insieme ai tipi di relazione che si
instaurano al loro interno, è un passo essenziale per la
rappresentazione concreta del sistema scolastico come rete sociale.
Seminario FINVALI 2005
- 27 -
Frascati, 9 luglio 2007
Metodi e strumenti formali
Gli strumenti formali per la descrizione e la rappresentazione
di una rete sociale sono sostanzialmente riconducibili a due
teorie matematiche relativamente recenti:
Teoria dei grafi;
Teoria dei Reticoli e degli insiemi parzialmente ordinati
(poset).
Si tratta di strumenti di natura algebrica, per loro natura,
particolarmente adatta alla rappresentazione strutturale di
insiemi e relazioni.
Seminario FINVALI 2005
- 28 -
Frascati, 9 luglio 2007
Teoria dei grafi
Rappresentando una rete sociale come insieme di nodi (gli agenti del
sistema) e di archi (le relazioni presenti fra gli agenti) si costruisce un
oggetto matematico noto come grafo. Ciò permette di ricorrere
all’apparato formale della Teoria dei Grafi per analizzare le caratteristiche
topologiche e strutturali delle interazioni che si stabiliscono fra gli agenti
del sistema scolastico.
In particolari, la Teoria dei Grafi permette di caratterizzare diversi tipi di
topologie mediante opportuni indicatori. Poiché ipotizziamo che sia la
topologia relazionale a determinare la complessità del sistema, è ovvio
che lo studio di questi indicatori rivesta particolare importanza per i nostri
scopi.
Fra le possibili topologie di un grafo, alcune rivestono un ruolo particolare
dal punto di vista dello studio della complessità:
 topologie small-world;
 topologie scale-free.
Seminario FINVALI 2005
- 29 -
Frascati, 9 luglio 2007
Grafi small world
Le topologie small-world caratterizzano grafi che, secondo
recenti studi, sarebbero in grado di generare fenomeni
sistemici su larga scala nell’insieme di agenti che li
costituiscono.
In questo tipo di grafo, l’esistenza di particolari link tra
agenti appartenenti a cluster differenti permette al sistema
di generare comportamenti coerenti e a lungo raggio.
Pertanto, accertare l’esistenza di queste topologie all’interno
del sistema relazionale scolastico permetterebbe di rendere
conto, almeno in parte, del manifestarsi di comportamenti
sistemici nei dei diversi livelli ai quali il sistema stesso può
essere osservato.
Seminario FINVALI 2005
- 30 -
Frascati, 9 luglio 2007
Grafi scale-free
Le topologie scale-free caratterizzano grafi che evolvono nel
tempo e al cui interno siano presenti particolari meccanismi di
generazione di link fra nodi.
Se un agente tende a creare nuovi link preferibilmente con
altri agenti già ricchi di link, si genera una particolare
topologia dove alcuni nodi (chiamati hub) hanno un ruolo
privilegiato, perché su di essi convergono molte relazioni. In
termini sociali, nodi di questo tipo hanno molta possibilità di
influenza e la loro identificazione permette di determinare i
punti critici della rete e di individuare i meccanismi di
preferenza, attivi nella generazione delle relazioni fra gli
agenti.
Seminario FINVALI 2005
- 31 -
Frascati, 9 luglio 2007
Reticoli e poset
Le relazioni presenti tra gli agenti definiscono, sull’insieme dei nodi del
grafo, la struttura di poset, cioè di insieme sul quale sia possibile stabilire
se due elementi siano ordinabili o meno, secondo una relazione di tipo
“maggiore” o “minore” (naturalmente, il significato concreto di “maggiore”
o “minore” dipende dal contesto).
La Teoria dei Reticoli e dei poset permette di rappresentare la struttura di
questi insiemi e delle relazioni presenti su di essi. In particolare, essa
permette di effettuare due tipi di analisi particolarmente interessanti:
 Decomporre il grafo parzialmente ordinato in un insieme di componenti
“elementari”, realizzando, così, una completa analisi della struttura
relazionale del sistema
 Confrontare la struttura relazionale parzialmente ordinata di reti
differenti o di una rete nel tempo. In questo modo è possibile confrontare
tra loro le strutture relazionali di sistemi scolastici diversi, nel tempo o
nello spazio (cioè in ambiti territoriali diversi).
Seminario FINVALI 2005
- 32 -
Frascati, 9 luglio 2007
Fonti di dati
Per poter dare un seguito operativo alle linee che abbiamo indicato
nelle slide precedenti, è necessario generare e raccogliere un insieme
di dati adeguato. Benché questo problema non rientri propriamente
negli obiettivi del progetto, indichiamo due possibili fonti:
 Analisi statistiche aventi l’obiettivo specifico di analizzare la struttura
relazionale del sistema scolastico o di parti di esso. Si tratta di indagini
che potrebbero essere svolte in completa analogia con quanto viene
effettuato in ambito sociologico, dove le analisi relazionali hanno ormai
una lunga storia
 Utilizzo di eventuali fonti amministrative che possano fornire
informazioni relative alla struttura relazionale (ad esempio, dati
riguardanti gli insegnati e le loro “traiettorie” fra istituti diversi). A
questo riguardo, sarebbe assai interessante censire le fonti informative
del Ministero e degli Uffici Scolastici locali, per valutare il tipo di
informazione presente, la sua qualità e la sua rilevanza.
Seminario FINVALI 2005
- 33 -
Frascati, 9 luglio 2007
Misura e valutazione del sistema scolastico
La rappresentazione del sistema scolastico come rete sociale e lo studio
della struttura relazionale che si instaura al suo interno sono state le
direttrici lungo le quali si è mossa la ricerca.
Da un punto di vista metodologico, la scelta della rete come strumento
concettuale per la modellizzazione della complessità è una fra le
possibili scelte di schemi concettuali per affrontare questo tipo di
problema.
Essa, però, ha un aspetto che ci sembra favorirne l’utilizzo nel contesto
scolastico. L’esistenza di una rete di relazioni e di flussi informativi tra
gli agenti del sistema induce l’insorgere di correlazioni tra le variabili
statistiche ad essi associate, in fase di misura e valutazione del sistema
e delle sue prestazioni.
Per impostare una sistema di statistiche corrette ed efficienti,
l’esistenza di questa rete di correlazioni deve essere tenuta in adeguata
considerazione
Seminario FINVALI 2005
- 34 -
Frascati, 9 luglio 2007
Misura e valutazione del sistema scolastico
Per esempio, in fase di analisi campionaria, la rappresentatività del
campione è più facilmente (in termini di dimensioni e quindi di costi e
di tempi) garantita se la struttura relazionale è tenuta presente quando
si imposta il piano di campionamento.
In generale, poi, tutte le tecniche statistiche sfruttano l’esistenza di
correlazioni fra le variabili per migliorare la propria efficienza e
garantire risultati statisticamente più precisi; pertanto, lo studio della
struttura relazionale sottostante il sistema scolastico può svolgere un
ruolo critico non solo nella rappresentazione del sistema in quanto tale,
ma anche nella costruzione di un efficiente sistema statistico di misura
e valutazione.
Per questo motivo, le seguenti fasi del progetto saranno dedicate allo
studio delle ripercussioni che l’esistenza di una rete di relazioni fra gli
agenti del sistema ha sui metodi statistici da utilizzare in fase di
descrizione, misura e valutazione del sistema scolastico.
Seminario FINVALI 2005
- 35 -
Frascati, 9 luglio 2007
OBIETTIVI




Qualità dei dati del Sistema Nazionale di
Valutazione
Modelli statistici che legano il questionario di
apprendimento a quello di sistema
Modelli di descrizione del Sistema Scolastico come
Sistema Complesso
Analisi frattale dell’abilità degli studenti
Seminario FINVALI 2005
- 36 -
Frascati, 9 luglio 2007
Frattali
Fenomeni semplici: predicibili
Fenomeni complessi: impredicibili
Seminario FINVALI 2005
- 37 -
Frascati, 9 luglio 2007
Frattali
Modellizzare la complessità dei fenomeni
Teoria del Caos: casualità generata da sistemi
deterministici, anche di tipo semplice, e dovuta
alla sensitività che mostrano i sistemi a
variazioni delle condizioni iniziali.
Un fenomeno apparentemente
irregolare e senza ordine presenta una struttura
ben precisa, proprio perché frutto di un
sistema deterministico
Seminario FINVALI 2005
- 38 -
Frascati, 9 luglio 2007
Frattali
Da sempre la trattazione dei sistemi dinamici è
stata indissolubilmente associata alla geometria
frattale sin dalla sua formalizzazione
(Mandelbrot, 1977).
Il concetto più importante su cui si basa la Teoria
è costituito dalla dimensione frattale.
Seminario FINVALI 2005
- 39 -
Frascati, 9 luglio 2007
Frattali
Misurare la lunghezza della costa
di un’isola: la lunghezza misurata dipende dal
“righello” (unità di misura) utilizzato, vale a dire dalla
risoluzione spaziale a cui vediamo la costa.
Se l è la lunghezza del righello (unità di misura) e N
è la lunghezza della costa in unità l, considerando la
relazione
log N vs. log l
se risulta lineare per un’ampio range di l, allora
sussiste un andamento frattale e la pendenza della
retta fornisce la dimensione frattale
Seminario FINVALI 2005
- 40 -
Frascati, 9 luglio 2007
Frattali - SNV
Consideriamo la funzione 1 - P(a), con P(a) la
funzione cumulativa della densità di probabilità delle
abilità a degli studenti (vale a dire la funzione che
restituisce la frazione di studenti aventi un’abilità
minore di a) e ne tracciamo il grafico
in scala logaritmica su ambedue gli assi
log [1− P(a)] vs. log(a)
Un siffatto modello è concettualmente simile a quello
visto per la stima della dimensione frattale di una
curva.
Seminario FINVALI 2005
- 41 -
Frascati, 9 luglio 2007
Tutte le scuole
SNV 2004-2005
Non si riscontra un
comportamento
frattale apprezzabile
Seminario FINVALI 2005
- 42 -
Frascati, 9 luglio 2007
Scuole elementari
SNV 2004-2005
Seminario FINVALI 2005
Scuole medie inferiori
SNV 2004-2005
- 43 -
Frascati, 9 luglio 2007
Seminario FINVALI 2005
- 44 -
Frascati, 9 luglio 2007
Seminario FINVALI 2005
- 45 -
Frascati, 9 luglio 2007
Seminario FINVALI 2005
- 46 -
Frascati, 9 luglio 2007
Seminario FINVALI 2005
- 47 -
Frascati, 9 luglio 2007
Frattali - SNV
Comportamento frattale presente per le scuole
medie inferiori, particolarmente visibile per le scuole
del Centro-Nord
Comportamento frattale presente per le scuole
elementari SOLO per le scuole del Centro-Nord
L’analisi è consistente anche per i dati del SNV
2005-2006
Seminario FINVALI 2005
- 48 -
Frascati, 9 luglio 2007
Sito Web dedicato: http://www.na.iac.cnr.it/finvali
Seminario FINVALI 2005
- 49 -
Frascati, 9 luglio 2007