Voices from the Blogs
We capture the sentiment of the net
Analisi del sentiment attorno
alle prove INVALSI
Committente: INVALSI
30 Giugno 2013
Voices from the Blogs S.r.l.
Sede Legale: Via Edmondo De Amicis 49, 20123 Milano
Numero 1999899 del R.E.A.
P.IVA: 08046080969 C.F.: 08046080969
Url: www.voicesfromtheblogs.com
Email: [email protected]
Twitter: @blogsvoices
DETTAGLI TECNICI SULL’ANALISI
Periodo considerato: L’analisi è stata svolta in tre fasi:
a) pre-test: nella settimana dal 10/06 al 16/06 è stato analizzato il sentiment nazionale;
b) test: il 17/06, giorno della somministrazione dei test, è stato analizzato il sentiment
nazionale e quello disaggregato per macroaree;
c) post test: nella settimana dal 18/06 al 25/06 è stato analizzato il sentiment nazionale e
disaggregato per macroaree.
Dati analizzati: per l’analisi nazionale sono stati utilizzati post provenienti da Twitter, da
Facebook (circa 5% dei post) e testi di blog (circa 1% dei post); per le disaggregazioni locali sono
stati utilizzati i soli post provenienti da Twitter.
Complessivamente sono stati analizzati 37.803 testi. In dettaglio:
Indagine nazionale pre-test: 12.480 tweet
Area Nord:
7.802 tweet
Area Centro:
7.093 tweet
Area Sud:
8.473 tweet
Cui vanno aggiunti posr Facebook e blog nella misura sopra riportata.
In Appendice sono riportati i dati relativi alle macroaree PON (Calabria, Campania, Sicilia,
Puglia) e PONB (PON e Basilicata).
RISULTATI
La prima evidenza è che, nelle conversazioni in rete, i test Invalsi sono raccontati come
“difficili”. E la difficoltà percepita è addirittura superiore alle attese: se circa il 50% sostiene che
i test siano difficili o molto difficili nella settimana precedente all’esame, il giorno della prova e
nella settimana seguente la percentuale supera il 75%.
1. SONO DIFFICILI I TEST INVALSI?
ITALIA
PRE
Url: www.voicesfromtheblogs.com
Email: [email protected]
Twitter: @blogsvoices
TEST
NORD
POST
-1-
TEST
POST
CENTRO
TEST
POST
SUD
TEST
POST
molto difficili
29.3
16.5
18.4
26.1
20.7
13.7
17
16.4
19.4
difficili
19.6
58.9
58.2
57.1
9.1
6.3
7.0
55.8
53.6
non più difficili del
resto dell’esame di
terza media
9.5
1.3
2.6
4.3
10.1
11.6
11.2
1.6
3.5
facili
18.8
8.9
8.7
5.3
51
55.0
53.1
10.5
7.9
molto facili
22.8
14.4
12.1
7.2
9.1
13.4
11.7
15.7
15.6
La differenza di percezione tra le macroaree, tuttavia, è assai rilevante: al Nord la difficoltà del
test smette di essere un tema di discussione una volta trascorso il giorno dell’esame; al Centro il
tema non è mai all’ordine del giorno: i test Invalsi sono percepiti come “facili” dalla
maggioranza assoluta dei commenti a partire dal giorno della prova; al Sud, al contrario, la
dichiarazione di difficoltà riguarda la maggioranza dei post e rimane il principale tema di
conversazione anche nella settimana successiva.
A livello interpretativo, il dato va accostato alla preoccupazione – più viva al Sud – che la prova
Invalsi comporti un peggioramento della valutazione complessiva dell’esame di terza media (cfr.
Tabella 6): in sostanza, se i timori per la difficoltà del test sono trasversali, l’insistenza sul tema
che si registra nelle regioni meridionali non sembra motivata da una percezione di minore
preparazione, anch’essa piuttosto trasversale al territorio, ma piuttosto dall’attesa di un
maggiore effetto depressivo sulla votazione finale.
(nb: si deve notare che, nella rilevazione nazionale, l’estensione dell’analisi a Facebook e ai blog
accresce la percezione di difficoltà delle prove).
2. TI SENTI PREPARATO PER I TEST INVALSI?
ITALIA
PRE
Url: www.voicesfromtheblogs.com
Email: [email protected]
Twitter: @blogsvoices
TEST
NORD
POST
-2-
TEST
POST
CENTRO
TEST
POST
SUD
TEST
POST
per niente
31.2
30.1
27.7
42.2
75.1
76.5
75.5
17.7
16.3
troppo poco
42.9
29.6
34.5
21.0
9.6
8.0
10.3
48.0
55.5
come per il resto
dell'esame
18.8
17.2
15.6
11.4
6.9
6.9
6.4
17
17.9
abbastanza
7.1
23.1
22.2
25.4
8.4
8.6
7.8
17.3
10.3
La sensazione di non essere adeguatamente preparati per questo tipo di prova accompagna i
commenti e non cambia in modo sostanziale nelle diverse fasi della rilevazione: gli
“impreparati” passano dal 74.1% della settimana precedente al 60% circa il giorno dell’esame e
nella settimana seguente.
I valori più alti di quanti si scoprono adeguatamente preparati alla prova il giorno dell’esame si
registrano al Nord, ma riguardano poco più di un quarto dei testi analizzati.
Va comunque sottolineato che la dichiarazione di impreparazione è – almeno in parte –
preventiva o scaramantica: solo il 7.1% dei post dichiara un’adeguata preparazione al tipo di
esame prima della prova, ma questa percentuale più che triplica il giorno dell’esame e nei giorni
successivi.
3. COME GIUDICHI I CONTENUTI DELLA PROVA?
ITALIA
non hanno nulla a
che fare con quello
che viene insegnato
in classe
sono piuttosto diversi
dai contenuti/metodi
cui sono abituato in
classe
NORD
CENTRO
SUD
PRE
TEST
POST
TEST
POST
TEST
POST
TEST
POST
44.7
65.7
67.5
52.7
75.0
73.6
74.7
64.6
63.3
27.9
19
18.9
30.9
6.1
5.3
7.7
19.3
23.4
Url: www.voicesfromtheblogs.com
Email: [email protected]
Twitter: @blogsvoices
-3-
non so
9.2
4.1
5
9.5
10.7
12.2
9.7
4.0
3.8
sono abbastanza
simili ai
contenuti/metodi cui
sono abituato in
classe
18.2
11.2
8.6
6.9
8.2
8.9
7.9
12.1
9.5
I test sono giudicati, a larghissima maggioranza, lontani – per metodo e contenuti – da quanto
normalmente osservato in classe. E in questo caso il superamento dell’evento-esame
addirittura accresce questa percezione: il complesso di quanti dichiarano i contenuti dei test
lontani dall’insegnamento quotidiano crescono progressivamente dal 72.6% della settimana
precedente all’86.4% della settimana successive all’esame.
Va chiarito che in questo tipo di giudizo gioca una parte non banale il divertente sarcasmo,
probabilmente di maniera, con cui gli studenti descrivono – al termine della prova - i testi, le
domande e i problemi che sono stati loro sottoposti.
Va altresì rilevato che, in questo caso, si registra nelle regioni meridonali una quota maggiore
della media nazionale di quanti dichiarano una sufficiente familiarità con i contenuti dei test.
4. COME GIUDICHI L’INIZIATIVA DI INTRODURRE I TEST INVALSI ALL’ESAME DI TERZA MEDIA?
ITALIA
NORD
CENTRO
SUD
PRE
TEST
POST
TEST
POST
TEST
POST
TEST
POST
boicottiamola
8.9
9.5
8.0
7.4
11.9
12.1
12.3
12.1
11.6
è disorganizzata
6.2
3.0
2.1
2.3
2.4
2.8
2.4
1.9
2.4
è ingiusta
19.2
14.5
15.4
14.7
14.4
14.2
14.8
14.6
13.1
è inutile
23.4
20.9
20.0
22.2
15.8
17.8
14.5
22
25.2
favorisce il merito
8.0
10.6
11.8
9.8
14.5
12.1
12.8
12.2
9.1
Url: www.voicesfromtheblogs.com
Email: [email protected]
Twitter: @blogsvoices
-4-
è moderna
16.4
20.2
21.9
21.2
23.0
26.4
25.4
18.6
17.4
è nozionistica
18.1
21.3
20.8
22.4
18.0
14.6
17.8
18.6
21.2
Un giudizio positivo sulla prova Invalsi è espresso da una percentuale dei commenti che cresce
da un quarto (prima della prova) a un terzo (dopo la prova) dei commenti, e su questo tema –
accanto ai post degli studenti - si sono registrati anche pronunciamenti di insegnanti e adulti. In
particolare, due terzi di questi commenti positivi sostengono che il test sia una modalità
moderna di verificare o incentivare l’apprendimento; un terzo argomenta a favore dei test
perché consentirebbero di verificare l’apprendimento effettivo, premiando così il merito.
Tra i detrattori della prova, la maggioranza la reputa troppo nozionistica o inutile all’interno del
nostro sistema scolastico. Circa il 15% dei post stigmatizzano la prova come ingiusta ai fini della
corretta valutazione dell’apprendimento (ma rientrano qui anche i confronti che gli studenti
compiono circa la difficoltà relativa delle prove in anni diversi).
Poco meno di un decimo dei post vorrebbe evitare il ripetersi dell’esperienza. La percentuale è
lievemente maggiore al Centro-Sud.
5. AI TEST INVALSI SI COPIA?
ITALIA
NORD
CENTRO
SUD
PRE
TEST
POST
TEST
POST
TEST
POST
TEST
POST
in altre classi / scuole
3.7
4.4
4.9
7.0
4.0
3.4
3.3
2.6
3.5
i docenti aiutano
5.9
11.8
9.3
12.4
12.7
10.3
11.8
7.8
8.6
no
1.8
10.7
9.2
7.1
6.7
7.7
6.5
7.2
9.9
si
88.6
73.1
76.6
73.5
76.6
78.6
78.4
82.4
78.1
Url: www.voicesfromtheblogs.com
Email: [email protected]
Twitter: @blogsvoices
-5-
Ma alla prova Invalsi si riesce a suggerire, a farsi aiutare, a copiare? Oppure lo svolgimento e la
natura della prova sono tali per cui l’andamento dell’esame è radicalmente differente da quello
degli esami tradizionali?
Le dichiarazioni degli studenti dicono che all’esame non è impossibile comunicare:
l’impressione preventiva è molto elevata e non del tutto confermata successivamente alla
prova, ma rimane confortata da oltre i tre quarti dei commenti. La percezione che alla prova
Invalsi sia possibile “cooperare” sembra lievemente più diffusa al Centro-Sud, ma non in modo
particolarmente significativo.
Qualche commento, invece, allude alla possibilità che siano gli insegnanti a fornire un qualche
aiuto durante la prova, persino più del previsto. E in questo caso la percentuale dei post è più
elevata nelle regioni settentrionali (oltre il 12%).
Una quota limitata segnala episodi di collaborazione, ma li attribuisce ad altre classi o ad altre
scuole.
6. COMPLESSIVAMENTE, SEI SODDISFATTO DI AVER SOSTENUTO LA PROVA INVALSI?
ITALIA
NORD
CENTRO
SUD
PRE
TEST
POST
TEST
POST
TEST
POST
TEST
POST
24.7
20.8
23.2
44.6
21.1
20.9
22.1
18.1
23.9
25.9
37.4
30.6
15.6
19.1
13.6
16.5
36.2
29.3
solo una fatica
(inutile) in più
26.5
23.6
26.7
16
25.4
31.8
29.5
30.1
32.3
un’occasione per
dimostrare quello
che so
19.1
12.8
12.5
15.3
16.3
15.8
15.5
8.6
8.2
una sfida, stimolano
l’apprendimento
3.8
5.4
7.0
8.5
18.1
17.9
16.4
7.0
6.3
deprimenti: non
riesco a risolverli e mi
sento stupido
un danno (perché
influiscono sul voto
finale dell’esame)
Il giudizio complessivo sulla prova Invalsi è piuttosto variegato. Si va da quanti considerano la
prova una circostanza che mette in crisi la consapevolezza nelle proprie capacità a quanti - ma
Url: www.voicesfromtheblogs.com
Email: [email protected]
Twitter: @blogsvoices
-6-
sono solo il 17.5%, e in qualche misura più presenti al Centro-Nord - la considerano
un’occasione stimolante per un ulteriore apprendimento, o quantomeno un’opportunità per
dimostrare le conoscenze apprese e le abilità sviluppate.
In mezzo, circa il 30% dei post vedono il test come un danno per lo studente: la prova
contribuisce a determinare il voto finale dell’esame e – nella misura in cui appare estranea al
metodo e ai contenuti tradizionali – rischia di abbassare le valutazioni anche degli studenti più
brillanti. Questo timore sembra avere maggiore ospitalità al Sud.
Altri, e rappresentano circa un quarto del totale, la considerano una fatica addizionale in fase
d’esame, non particolarmente utile ai fini dell’apprendimento
EMOZIONI ATTORNO ALLA PROVA INVALSI
Dai dati dell’osservatorio sulla Twitter-Felicità di Voices from the Blogs emergerebbe come il
giorno della prova INVALSI, 17/6/2013, ci sia stato un brusco calo di dell’indice iHappy di
Twitter Happyness. L’indice iHappy è costruito come segue:
iHappy = (numero di post felici / numero di post felici & infelici ) * 100 %
L’indice iHappy è passato da 51.8% del giorno precedente l’esame, a 42.3% (-9.5%) per poi
risalire a 51.7% il giorno successivo alla prova. La Tabella sottostante riporta il valore medio
regionale dell’indice iHappy nella scala di colori Giallo – Rosso (0% -- 100%). Per quanto non
sia possibile imputare direttamente il fenomeno al solo stress da esame o addirittura alla “paura”
per le prove Invalsi - perché anche altri fenomeni si candidano a spiegare le variazioni di umore
registrate: si pensi, ad esempio, che il 17 giugno è uno dei primi giorni dell’ondata di calura e al
fatto che le condizioni climatiche influenzano non poco il valore dell’indicatore - è comunque
interessante rimarcare l’effetto.
15/6
61.4%
16/6
51.8%
17/6
42.3%
18/6
51.7%
NOTA TECNICA SULL’INDICE IHAPPY
Url: www.voicesfromtheblogs.com
Email: [email protected]
Twitter: @blogsvoices
-7-
19/6
58.9%
Per ognuna delle 110 province italiane, Voices from the Blogs categorizza i tweet nelle
due classi: “felici”, “infelici” più una classe residuale “altro”. I post classificati come “altro”
vengono però esclusi dal calcolo dell’indice di Twitter-felicità IHAPPY(ness)
Ciò che rende unico l’indice IHAPPY di VfB è il suo essere basato interamente sulle
reazioni istantanee dei singoli individui agli avvenimenti che accadono nella vita di
ciascuno e che possono incidere positivamente o meno sul proprio livello di felicità.
Per maggiori dettagli si può far riferimento a http://voicesfromtheblogs.com/twitter-felicita
DISTRIBUZIONE TEMPOR ALE DEI POST DURANTE LA GIORNATA DEL TEST
E’ stata analizzata anche la distribuzione temporale dei post a livello nazionale. Si noti come il
picco si ottiene proprio durante le ore del test. Nel grafico ogni barra rappresenta il numero di
post nell’intervallo temporale di 10 minuti.
APPENDICE 1: ANALISI AREE PON E PONB
Url: www.voicesfromtheblogs.com
Email: [email protected]
Twitter: @blogsvoices
-8-
Vengono presentati di seguito i risultati per le seguenti macroaree:
a) PON: Calabria, Campania, Sicilia, Puglia;
b) PONB: PON e Basilicata.
A1. SONO DIFFICILI I TEST INVALSI?
PON
TEST POST
PONB
TEST POST
molto difficili
17.5
24.3
15.7
17.3
difficili
54.7
50.3
55.6
56.6
non più difficili del
resto dell’esame di
terza media
2.1
2.4
2.1
2.2
facili
11.2
8.5
10.8
8.5
molto facili
14.5
14.5
15.7
15.4
A2. TI SENTI PREPARATO PER I TEST INVALSI?
PON
TEST POST
PONB
TEST POST
per niente
17.5
19.1
18.3
14.7
troppo poco
46.3
52.5
42.5
46.1
come per il resto
dell’esame
14.1
18.1
16.9
14.3
abbastanza
22.1
10.3
22.3
24.9
Url: www.voicesfromtheblogs.com
Email: [email protected]
Twitter: @blogsvoices
-9-
A3. COME GIUDICHI I CONTENUTI DELLA PROVA?
PON
TEST POST
PONB
TEST POST
59.6
64.4
57.3
68.8
22.8
21.3
23.7
17.8
non so
5.8
4.2
5.2
3.2
sono abbastanza
simili ai
contenuti/metodi cui
sono abituato in
classe
11.8
10.1
13.8
10.2
astrusi, non hanno
nulla a che fare con
quello che viene
insegnato in classe
sono piuttosto diversi
dai contenuti/metodi
cui sono abituato in
classe
A4. COME GIUDICHI L’INIZIATIVA DI INTRODURRE I TEST INVALSI ALL’ESAME DI TERZA MEDIA?
PON
TEST POST
PONB
TEST POST
boicottiamola
12.8
12.9
11.9
12.9
è disorganizzata
2.3
3.1
2.2
2.5
è ingiusta
15.6
11.9
13.6
15.9
è inutile
19.7
24.6
19.2
23.7
Url: www.voicesfromtheblogs.com
Email: [email protected]
Twitter: @blogsvoices
- 10
-
favorisce il merito
12.2
8.4
13.1
9.1
è moderna
17.9
17.4
18.8
16.2
è nozionistica
19.5
21.7
21.2
19.7
A5. AI TEST INVALSI SI COPIA?
PON
TEST POST
PONB
TEST POST
in altre classi / scuole
3.8
3.1
4.4
2.2
I 11ocent aiutano
8.7
6.2
9.2
7.5
no
5.4
9.2
8.1
10.5
si
82.1
81.5
78.3
79.8
A6. Complessivamente, sei soddisfatto di aver sostenuto la prova
Invalsi?
deprimenti: non
riesco a risolverli e mi
sento stupido
un danno (perché
influiscono sul voto
finale dell’esame)
solo una fatica
(inutile) in più
Url: www.voicesfromtheblogs.com
Email: [email protected]
Twitter: @blogsvoices
PON
TEST POST
PONB
TEST POST
15.5
26.1
18.5
19.5
34.2
32.4
33.3
37.9
32.2
25.3
31.9
28.2
- 11
-
un’occasione per
dimostrare quello
che so
11.3
10.7
9.2
9.7
una sfida, stimolano
l’apprendimento
6.8
5.5
7.1
4.7
APPENDICE 2: LA TECNICA DI CLASSIFICAZIONE INDIVIDUALE
Sia D= (D1,D2, … Dk) l’insieme delle diverse opinioni espresse. Sia S l’insieme delle parole
utilizzate in un testo per esprimere un concetto semantico o un’opinione Dj, j=1, …, k.
Immaginiamo di dividere l’insieme dei testi in due gruppi: il training set e il test set.
Un gruppo di codificatori umani legge i testi del training set e codifica manualmente questi testi
assegnando una delle categorie Dj, j=1, …, k. In questa fase di training del classificatore
statistico, vengono associate le parole S ai contenuti D e tale operazione non è affetta da errore
statistico.
Sulla base del training set, l’algoritmo, o classificatore statistico, stima il modello:
P(Dj|S) che corrisponde alla probabilità con la quale l’opione Dj viene espressa dato l’utilizzo di
una particolare sequenza di parole S. Quindi, sulla base del modello stimato, il classificatore
predice la categoria Dj per tutti i testi del test set (che non sono stati letti dai codificatori).
Questa stima P(D|S) è invece affetta da errore statistico, ma in genere ammonta a pochi
punti percentuali. Ovvero, il classificatore assegna un testo ad un categoria con una probabilità
che ciò sia vero attorno al 95-98% (nel migliore dei casi, come per il classificatore Random
Forest, vedi sotto).
Ottenuta una distribuzione di opinioni (reali e stimate) si procede all’aggregazione per
ottenere il seguente risultato
P(D) = P(D|S)*P(S)
Dove P(D) è la distribuzione aggregata delle opinioni.
Mentre non vi è problema (errore attorno al 3-5%) nella previsione individuale della categoria
Dj, una volta che le opinione stimate vengono aggregate per ottenere P(D) l’errore di ogni
singola predizione prodotto dal classificatore statistico può amplificarsi ed arrivare anche
attorno al 20%.
LA TECNICA UTILIZZATA DAL VFB
Url: www.voicesfromtheblogs.com
Email: [email protected]
Twitter: @blogsvoices
- 12
-
La tecnica usata da VfB (Voices from the Blogs) è derivata da un’idea di Hopkins and King, 2010.
Sia P(S) la distribuzione delle parole dell’intero insieme di dati (training set e test set).
Vale la seguente formula
P(S) = P(S|D) P(D)
nota la quantità P(S), cioè la distribuzione delle parole dell’intero data set, si può ricavare P(D)
tramite la formula seguente:
P(D) = P(S|D)-1 P(S)
P(S|D)-1 è la matrice inversa di P(S|D). Questa stima di P(D) ha un errore massimo attorno al 23%. Con questa tecnica non è possibile prevedere la categoria dei singoli testi del test set.
RIFERIMENTI BIBLIOGR AFICI
Breiman, L. (2001), Random Forests, Machine Learning, 45(1), 5-32.
Hopkins DJ and King G (2010) A Method of Automated Nonparametric Content Analysis for
Social Science. American Journal of Political Science, 54(1): 229–247.
CONTATTI
Luigi Curini, Prof. PhD
Stefano M. Iacus, Prof. PhD
Andrea Ceron, PhD
Giuseppe Porro, Prof. PhD
CEO VfB
Vice President VfB
Senior Officer VfB
Scientific Advisor
[email protected]
[email protected]
[email protected]
[email protected]
Cell: +39 366 1652058
Cell: +39 366 1652064
Cell: +39 366 1652061
Per altre informazioni, richieste di preventivi e ulteriori contatti: [email protected]
Url: www.voicesfromtheblogs.com
Email: [email protected]
Twitter: @blogsvoices
- 13
-