Tecniche basate
sul giudizio di esperti
VERSIONE MAGGIO 2014
[email protected]
Prima parte - Set e setting delle
tecniche basate su gruppi
[email protected]
Cosa sono le tecniche basate sul giudizio di
esperti
 Sono tecniche di ricerca (non di
partecipazione, di empowerment, di cittadinanza
attiva, ...);
 utilizzano un piccolo gruppo di informatori
(generalmente da 6 a 12) scelti con criteri non
casuali;
 hanno una finalità 'comprensiva', e non
esplicativa, quindi i loro risultati non sono
generalizzabili né traducibili in indici statistici.
[email protected]
Le tecniche basate su gruppi nel quadro
metodologico complessivo
Esperimento
Ricerca
valutativa
Multicriteri /
Tecniche miste
Non
esperimento
Criterio
unico
Standard
Dati di secondo livello
Non
standard
[email protected]
basate sull’interrogazione di
Dati di
primo
livello
individui
basate sull’
interrogazione
di gruppi
Gruppi
reali
Focus group
Brainstorming
Gruppi
nominali
Analisi
Delphi
N.G.T.
Chi è l'“esperto”
 L'esperto è un individuo che:
ha “esperienza” dell'oggetto indagato;
 competenza verbale, capacità di lavorare in gruppo,
disponibilità di tempo.

 L'esperto non è necessariamente:
uno studioso, un professore (anche se è possibile che
uno studioso sia invitato nel gruppo);
 un decisore, un individuo gerarchicamente importante
(anche se è possibile che un decisore sia invitato nel
gruppo).

[email protected]
Di quanti esperti è composto un gruppo
(la figura si basa sul caso del brainstorming)
Da evitare
assolutamente.
Non è possibile
alcun gruppo
2
3
Molto difficile.
Possibili fallimenti
della sessione
4
[email protected]
5
Dipende.
Ci sono
rischi
6
Situazione generalmente
ottimale per tutti i casi
7
8
9
General.
senza
problemi
10
Gestibile da
conduttori esperti
11
12
Difficile anche per
conduttori esperti.
Oltre i 14 rischio
di fallimento
13
14 o +
Il set delle sessioni con gruppi
 Ambiente facilmente raggiungibile e senza
barriere;
 comfort, sedie comode;
 illuminazione adeguata;
 evitare rumori esterni, telefoni, persone che
entrano ed escono;
 in relazione alle diverse tecniche, disposizione che
favorisca lo scambio di opinioni e la chiara visione
reciproca dei partecipanti.
[email protected]
Set del focus e dell’N.G.T.
A
C
B
D
E
LEGENDA:
C = sedia disponibile per il segretario o tutor
A = disposizione dei partecipanti
D = tavolinetto per acqua, bicchieri e altro
B = sedia disponibile per il conduttore
E = lavagna
[email protected]
Set del brainstorming
A
D
B
C
LEGENDA:
C = lavagna
A = disposizione dei partecipanti
D = tavolinetto per acqua, bicchieri e altro
B = sedia disponibile per il conduttore
E = muri o pannelli per disporre i fogli con le stringhe
[email protected]
Seconda parte – Brainstorming e
SPO (Scala delle Priorità
Obbligate)
[email protected]
Alex Osborn, inventore del
brainstorming
I due più
importanti
libri di
Osborn
[email protected]
[email protected]
Una sessione di brainstorming presso la
BBDO – la società presieduta da Osborn
– a New York alla fine degli anni ’50.
Affisse sul muro a destra le regole
fondamentali, e in basso la stenotipista
che registra le idee prodotte
www.valutazione.it
Fasi e regole del brainstorming classico - 1
• Definizione del
problema (su cosa
dobbiamo
concentrarci);
• Regole del setting;
• Produzione di idee;
• Analisi successiva e
separata delle idee
prodotte
[email protected]
•E’ un problema reale
(generalmente di
natura commerciale o
industriale);
•La soluzione viene
proposta dal
management (che
costituisce il gruppo);
•Il facilitatore è un
manager (o un
professionista esterno)
Fasi e regole del brainstorming classico - 2
• Definizione del
problema (su cosa
dobbiamo
concentrarci);
• Regole del setting;
• Produzione di idee;
• Analisi successiva e
separata delle idee
prodotte
[email protected]
• Libero corso alle idee
(non censurarsi);
• Non censurare gli altri;
• Ricercare la quantità;
• Migliorare le idee
prodotte (sfruttando il
processo di
associazione delle
idee).
Fasi e regole del brainstorming classico - 3
• Definizione del
problema (su cosa
dobbiamo
concentrarci);
• Regole del setting;
• Produzione di idee;
• Analisi successiva e
separata delle idee
prodotte
[email protected]
• Si parla di “idee” nel
senso di possibili
soluzioni al problema;
• La produzione di idee
può avvenire in vari
modi:
• bigliettini (lavoro
individuale);
• Round Robin (a turni);
• Pop Corn (parla chi
vuole).
Fasi e regole del brainstorming classico - 4
• Definizione del
problema (su cosa
dobbiamo
concentrarci);
• Regole del setting;
• Produzione di idee;
• Analisi successiva e
separata delle idee
prodotte
• E’ il punto debole del
brainstorming
classico;
• In genere vengono
indicate soluzioni
generiche:
• E’ il manager a
scegliere;
• E’ un gruppetto che
compie una cernita
improntata alla
fattibilità;
• Etc.
[email protected]
Il brainstorming valutativo
• Si sviluppa in tre fasi (più un’interfase fra la
seconda e la terza)
• Non produce ‘idee’ ma ‘stringhe’, di valore
semantico e pragmatico
• Sviluppa un processo specifico di analisi delle
stringhe prodotte
• Il risultato finale è la costruzione del concetto o del
programma messo al centro dell’analisi
[email protected]
Numero partecipanti al brainstorming
Da evitare
assolutamente.
Non è possibile
alcun gruppo
Molto difficile.
Dipende.
Possibili fallimenti Ci sono
della sessione
rischi
[email protected]
2
3
4
5
6
Situazione generalmente
ottimale per tutti i casi
7
8
9
General.
Gestibile da
senza
conduttori esperti
problemi
10
11
12
Difficile anche
per esperti. Oltre
i 14 rischio di
fallimento
13
14 o +
Set del brainstorming
A
D
C
B
LEGENDA:
C = lavagna
A = disposizione dei partecipanti
D = tavolinetto per acqua, bicchieri e altro
B = sedia disponibile per il conduttore
E = muri o pannelli per disporre i fogli con le stringhe
[email protected]
Le regole della prima fase
Sono le medesime del brainstorming classico…
• Libero corso alle idee (non censurarsi)
• Non censurare le idee altrui
• Ricercare la quantità
• Migliorare le idee altrui (sfruttare il processo di
associazione delle idee)
… e possono essere ridotte alle due essenziali:
1. Non censurare se stessi (esprimere la stringa
senza chiedersi se sia originale, buona, etc.)
2. Non censurare gli altri
[email protected]
I diversi modi per produrre le stringhe
 Bigliettini, tipo Post-it®:



Evita l’interazione fra i partecipanti
Può essere utile in gruppi con prevedibili gravi problemi di
interazione, ma è macchinoso da gestire
Può essere utilizzato per fasi di riscaldamento
 Round robin, ovvero a turni (parla uno alla volta, con possibilità
di ‘passare’):



Limita molto l’interazione fra partecipanti
Può essere utile in contesti particolari per gestire il gruppo; oppure se
il gruppo è troppo numeroso
Può essere utilizzato come fase dei riscaldamento
 Pop corn (non ci sono regole: ciascuno parla quando vuole):



Massima interazione fra i partecipanti
Crea un clima giocoso solitamente molto gradito, salvo rare
controindicazioni
Più difficile da gestire, inadatto per gruppi numerosi
[email protected]
Natura delle stringhe
‘Concetto’ come evaluando,
oggetto della ricerca messo
al centro del brainstorming
Concetto 1
Dimensione 1
Sottodimensione 1
Dimensione 2
Dimensione 3
Dim. ?
Sottodimensione 2
Indicatore ?
Indicatore 5
Indicatore 6
Indicatore 1
‘Dimensioni’, ovvero parti,
settori dell’evaluando, suoi
principali elementi distintivi:
saranno evidenti alla fine
della seconda fase –
classificatoria – del
brainstorming
Indicatore 7
Indicatore 8
‘Indicatori’: sono il risultato
finale del brainstorming, e
appariranno a conclusione
dell’ultima fase (sintetica)
Indicatore 4
Indicatore 2
Indicatore 3
Stringhe prodotte durante la fase creativa del brainstorming
[email protected]
‘Stringhe’: sono il prodotto
della prima fase ‘creativa’
del brainstorming; rinviano
a specifici indicatori, ma per
capire quali dobbiamo
prima passare per la fase
classificatoria, che mostra
le dimensioni di
appartenenza
Regole della seconda fase
 Le regole della seconda fase sono completamente
diverse: non vale più il divieto di censurare gli altri e
se stessi, e si invita a un confronto fra i partecipanti
in merito alle decisioni sull’attribuzione di una
stringa a una determinata classe
[email protected]
Il processo di classificazione
Prima
stringa
Seconda
stringa
Terza
stringa
Altre
stringhe
[email protected]
Cosa avviene nella seconda fase - 1
Partecipante 3
Partecipante 2
Partecipante 1
B
B
B
A
C
[email protected]
A
C
C
A
Cosa avviene nella seconda fase - 2
2: la discussione
aiuta a una
comprensione
pragmatica condivisa
Partecipante 3
Partecipante 2
Partecipante 1
A
A
1: il lavoro di
classificazione
mostra diversità
semantiche
Parte condivisa
3: ri-negoziazione di
un campo semantico
condivisibile
[email protected]
Esempio di restituzione
S
i
g
l
aT
i
t
o
l
o
d
e
g
l
i
i
n
d
i
c
a
t
o
r
i
e
d
e
s
e
m
p
l
i
f
i
c
a
z
i
o
n
i
S
T
R
A
Z
N
Le sigle
S
t
r
a
t
e
g
i
e
i
n
f
r
a
i
n
t
e
r
i
s
t
i
t
u
z
i
o
n
a
l
i
(
R
e
t
e
d
e
l
l
e
i
s
t
i
t
u
z
i
o
n
i
;
c
o
l
l
a
b
o
r
a
z
i
o
n
e
p
u
b
b
l
i
c
o
p
r
i
v
a
t
o
;
p
r
o
g
e
t
t
a
z
i
o
n
e
c
o
m
u
n
e
f
r
a
i
s
t
i
t
u
z
i
o
n
i
e
s
e
r
v
i
z
i
;
c
o
n
d
i
v
i
s
i
o
n
e
d
i
u
n
l
i
n
g
u
a
g
g
i
o
)
O
r
g
a
n
i
z
z
a
z
i
o
n
e
e
p
r
o
g
e
t
t
o
d
e
l
l
’
A
z
i
e
n
d
a
S
a
n
i
t
a
r
i
a
(
P
r
o
g
r
a
m
m
a
z
i
o
n
e
g
e
n
e
r
a
l
e
;
l
a
r
e
t
e
f
r
a
i
s
e
r
v
i
z
i
;
l
a
f
o
r
m
a
z
i
o
n
e
d
e
l
p
e
r
s
o
n
a
l
e
e
g
l
i
i
n
c
e
n
t
i
v
i
;
l
e
r
i
s
o
r
s
e
;
…
)
serviranno
O
r
g
a
n
i
z
z
a
z
i
o
n
e
e
p
r
o
g
e
t
t
o
d
e
l
S
e
r
v
i
z
i
o
a
l
c
o
l
o
g
i
c
o
per S
E
R
(
O
r
g
a
n
i
z
z
a
z
i
o
n
e
d
e
l
l
a
v
o
r
o
n
e
l
s
e
r
v
i
z
i
o
;
s
t
r
u
m
e
n
t
i
p
e
r
g
l
i
o
p
e
r
a
t
o
r
i
;
l
a
v
o
r
o
d
i
g
r
u
p
p
o
;
r
e
t
e
e
f
o
r
m
a
z
i
o
n
e
;
successive
c
o
n
f
r
o
n
t
o
c
o
n
o
p
.e
s
t
e
r
n
i
;
t
r
a
s
p
a
r
e
n
z
a
;
…
)
elaborazioni
O
r
g
a
n
i
z
z
a
z
i
o
n
e
e
p
r
o
g
e
t
t
o
n
e
i
s
i
n
g
o
l
i
O
p
e
r
a
t
o
r
i
O
P
R
C
U
L
R
E
T
Nome
(
P
r
o
g
r
a
m
m
a
z
i
o
n
e
d
e
l
l
a
v
o
r
o
;
c
o
l
l
o
q
u
i
o
;
p
r
o
t
o
c
o
l
l
i
o
p
e
r
a
t
i
v
i
;
…
)
A
s
p
e
t
t
i
s
o
c
i
o
c
u
l
t
u
r
a
l
i
(
R
i
g
u
a
r
d
a
l
a
s
o
c
i
e
t
à
n
e
l
s
u
o
c
o
m
p
l
e
s
s
o
:
g
l
i
s
t
i
l
i
d
i
v
i
t
a
c
h
e
i
m
p
o
n
e
;
i
l
p
r
e
g
i
u
d
i
z
i
o
s
u
l
l
’
a
l
c
o
l
i
s
m
o
;
g
l
i
a
t
t
e
g
g
i
a
m
e
n
t
i
v
e
r
s
o
l
a
s
a
l
u
t
e
e
v
e
r
s
o
l
’
a
l
c
o
l
;
l
a
s
o
l
i
t
u
d
i
n
e
d
e
l
l
’
a
l
c
o
l
i
s
t
a
e
l
’
i
s
o
l
a
m
e
n
t
o
d
e
l
l
a
s
u
a
f
a
m
i
g
l
i
a
;
…
)
Q
u
a
l
i
t
à
d
e
l
l
a
r
e
t
e
Stringhe
originali
(
R
e
t
e
d
e
i
s
e
r
v
i
z
i
e
l
o
r
o
i
m
p
r
e
p
a
r
a
z
i
o
n
e
;
d
i
f
f
i
c
o
l
t
à
o
p
e
r
a
t
i
v
e
f
r
a
m
e
d
i
c
o
e
p
a
z
i
e
n
t
e
,e
d
e
n
t
r
o
l
’
o
s
p
e
d
a
l
e
;
dell’indicatore
(per connotare
d
i
f
f
i
c
o
l
t
à
d
e
l
l
’
o
p
e
r
a
t
o
r
e
;
f
a
r
c
o
n
o
s
c
e
r
e
l
e
r
i
s
o
r
s
e
;
s
e
n
s
i
b
i
l
i
z
z
a
z
i
o
n
e
d
e
i
s
e
r
v
i
z
i
a
l
p
r
o
b
l
e
m
a
;
s
t
i
l
i
d
i
v
i
t
a
;
(come definito
l’indicatore e
a
m
m
u
f
f
a
m
e
n
t
o
d
e
l
p
r
o
b
l
e
m
a
)
nella terza c
fase)
evocarne i sensi)
[email protected]
La Scala delle Priorità Obbligate
[email protected]
Scala delle Priorità Obbligate
La logica ordinale
Migliore, Necessario, Principale, Indispensabile, …
Gli intervalli
della scala
sono sempre
pari al numero
di ‘oggetti’ da
collocare
La scala è
autoancorata;
negli intervalli
non c’è alcuna
indicazione
Peggiore, Superfluo, Secondario, Inutile, …
[email protected]
Griglia e gadget SPO
per raccogliere individualmente i pareri
Problemi del sistema formativo xxx
che rappresentano più grave ostacolo
all’efficacia didattica e alla promozione professionale dei partecipanti
===================================================
1
_________________________________________________________
2
_________________________________________________________
3
_________________________________________________________
4
_________________________________________________________
5
_________________________________________________________
6
_________________________________________________________
7
_________________________________________________________
8
_________________________________________________________
9
_________________________________________________________
10
_________________________________________________________
11
_________________________________________________________
12
_________________________________________________________
===================================================
Problemi del sistema formativo xxx
che non sono di particolare ostacolo
all’efficacia didattica e alla promozione professionale dei partecipanti
[email protected]
Eccessiva attenzione al corso in sé, piuttosto che al reale
inserimento professionale
Scarsa attenzione alla formazione che incrementa l’autoimprenditorialità
Scarsa attenzione alla formazione per operai specializzati a favore
di livelli ‘alti’ non sempre utili
Difficoltà a vedere approvati corsi per impiegati
Due ordinamenti creano un piano
Massimo
Seconda logica ordinale
La matrice è sempre
quadrata, dove trovano
collocazioni gli oggetti
che hanno ricevuto un
doppio ordinamento
Massimo
Minimo
Prima logica ordinale
[email protected]
Lo spazio semantico
Giudizio sull’efficacia interna
o sull’efficienza
Massimo
Quadrante della
migliore
combinazione delle
due dimensioni
Quadrante della
peggiore
combinazione delle
due dimensioni
Minimo
Massimo
Giudizio sull’efficacia esterna
[email protected]
Possibili distribuzioni e ‘pesi’ dei quadranti
1,5
1
1,5
Dimensione B
[email protected]
1,7
2
1,5
1
1,3
Dimensione B
1,5
2
1,5
1
1,5
Dimensione B
Caso D
Dimensione A
2
Caso C
Dimensione A
1,5
Caso B
Dimensione A
Dimensione A
Caso A
1,7
2
1,5
1
1,3
Dimensione B
Esempio 1 restituzione SPO
(Equal Artemis, 2004)
[email protected]
Esempio 2 restituzione SPO
(Servizi sociali Dolianova, CA, 2008)
[email protected]
[email protected]
Esempio 3 restituzione SPO
(Parco tecnologico della Calabria, 2001)
[email protected]