TEORIA E TECNICHE DELLA VALUTAZIONE
MODELLI DI ANALISI DELLA QUALITA’ DELLE
ORGANIZZAZIONI FORMATIVE
Mario Castoldi
GLI INGREDIENTI
AMBITI DI INDAGINE
“componenti di un concetto generale su cui
raccogliere dati e informazioni”
DOMANDA
CHIAVE
Boudon, 1969
SU QUALI ASPETTI
posso rilevare la qualita’ di ....?
concetto
generale
ambiti di
indagine
SERVIZIO SCOLASTICO
RISORSE
PROCESSI
si riferiscono ad un costrutto teorico
sono neutri sul piano valoriale
ESITI
GLI INGREDIENTI
CRITERI DI QUALITA’
“referenti concettuali
in base a cui esprimere
un giudizio di valore”
DOMANDA
CHIAVE
Barbier, 1977
GIUDIZIO
DI VALORE
IN BASE A COSA
posso stabilire la qualita’ di ....?
concetto
generale
criteri di
qualita
REFERENTI
CONCETTUALI
DATI DI
RIFERIMENTO
SERVIZIO SCOLASTICO
ADEGUATEZZA
RISORSE FINANZIARIE
DIFFERENZIAZIONE
PROCESSI FORMATIVI
si riferiscono ad un’idea di qualità
sono connotati sul piano valoriale
SUCCESSO
SCOLASTICO
GLI INGREDIENTI
INDICATORI DI QUALITA’
“evidenze osservabili che mi segnalano
la presenza di un determinato criterio di qualità”
DOMANDA
CHIAVE
Nuttall, 1994
criterio
di qualità
indicatori
di qualità
CHE COSA mi permette
di accertare la presenza di ....?
DIFFERENZIAZIONE
PROCESSI FORMATIVI
presenza di attivita’
didattiche per fasce di livello
n. medio ore settimanali
con gruppi mobili
grado di diversificazione
degli obiettivi di apprendimento
GLI INGREDIENTI
INDICATORI: LIVELLI DI MISURA
NOMINALE: classificazione di oggetti
(presenza/assenza di un fenomeno)
A
* presenza di schemi di sintesi
* tipo di apparato didattico:
- prove di comprensione
- definizione vocaboli
- schemi di analisi testuale
- evidenziaz. concetti chiave
B
D
F
C
E
G
H
A = B
F = C
ORDINALE: ordinamento di oggetti
(intensità di un fenomeno)
F
* leggibilità caratteri di stampa
A B
C D E
G
* congruenza immagini-testo
* accuratezza apparato iconografico
A<B
G>D
E=F
METRICO: misurazione distanza tra oggetti
(quantità di un fenomeno)
* n. esercizi proposti x
argomento
* indice di leggibilità
* anno prima edizione
A
B
C
D
E
D - A = 3
F
GLI INGREDIENTI
STANDARD DI QUALITA’
“soglia di accettabilità in base a cui interpretare
le evidenze raccolte”
DOMANDA
CHIAVE
Nuttall, 1994
IN RIFERIMENTO A QUALE SOGLIA
attribuisco significato ai dati raccolti ?
MODALITA’ DI DEFINIZIONE
DEGLI STANDARD
ASSOLUTO
(prestazione ottimale)
RELATIVO NEL TEMPO
(prestazione pregressa)
RELATIVO TRA PIU’ SOGGETTI
(prestazione media)
MODELLI BASE
PROCONTESTO
GRAMMA SOCIALE
CRITERI DI QUALITA’ DI UN PROGETTO FORMATIVO
BISOGNI/
PROBLEMI
IMPATTI
RISULTATI
(outcome)
OBIETTIVI
REALIZZAZIONI
RISORSE REALIZZAZIONI
(input)
(output)
esiti diretti e immediati del programma
RISULTATI
effetti dell’azione sui destinatari del programma
IMPATTI
effetti dell’azione sul contesto sociale
(attesi ed inattesi)
MODELLI BASE
LIVELLI DI RISULTATO DI UN PROGETTO FORMATIVO
ESITI
E diretti
S
I indiretti
T
I
attesi
OUTPUT
OUTCOME
inattesi
IMPATTO
FORMATIVO
IMPATTO
ORGANIZZATIVO
MODELLI BASE
LIVELLI DI RISULTATO
APPRENDIMENTI
REAZIONI
PARTECIPANTI
INDIVIDUALI
Quale grado di soddisfazione dell’esperienza formativa?
Quali modificazioni nelle conoscenze/abilità/atteggiamenti?
Quale trasferibilità nei comportamenti professionali?
Quale ricaduta sul contesto organizzativo?
MODELLI BASE
PROCONTESTO
GRAMMA SOCIALE
CRITERI DI QUALITA’ DI UN PROGETTO FORMATIVO
BISOGNI/
PROBLEMI
IMPATTI
RISULTATI
(outcome)
OBIETTIVI
RISORSE REALIZZAZIONI
(input)
(output)
EFFICACIA
EFFICACIA
In che misura gli obiettivi del programma sono
stati raggiunti?
MODELLI BASE
PROCONTESTO
GRAMMA SOCIALE
CRITERI DI QUALITA’ DI UN PROGETTO FORMATIVO
BISOGNI/
PROBLEMI
IMPATTI
RISULTATI
(outcome)
OBIETTIVI
RISORSE REALIZZAZIONI
(input)
(output)
EFFICIENZA
EFFICACIA
EFFICIENZA
Gli obiettivi sono stati raggiunti al minor costo?
MODELLI BASE
PROCONTESTO
GRAMMA SOCIALE
CRITERI DI QUALITA’ DI UN PROGETTO FORMATIVO
BISOGNI/
PROBLEMI
IMPATTI
RISULTATI
(outcome)
OBIETTIVI
RISORSE REALIZZAZIONI
(input)
(output)
EFFICIENZA
EFFICACIA
UTILITA’
UTILITA’
Gli esiti attesi e inattesi soddisfano i bisogni dei
destinatari diretti o indiretti?
MODELLI BASE
PROCONTESTO
GRAMMA SOCIALE
CRITERI DI QUALITA’ DI UN PROGETTO FORMATIVO
BISOGNI/
PROBLEMI
IMPATTI
RISULTATI
(outcome)
OBIETTIVI
RISORSE REALIZZAZIONI
(input)
(output)
EFFICIENZA
RILEVANZA
EFFICACIA
UTILITA’
RILEVANZA
In che misura gli obiettivi del programma sono
giustificati rispetto ai bisogni?
MODELLI BASE
PROCONTESTO
GRAMMA SOCIALE
CRITERI DI QUALITA’ DI UN PROGETTO FORMATIVO
BISOGNI/
PROBLEMI
IMPATTI
RISULTATI
(outcome)
OBIETTIVI
RISORSE REALIZZAZIONI
(input)
(output)
EFFICIENZA
RILEVANZA
EFFICACIA
UTILITA’
EQUITA’
EQUITA’
La distribuzione dei costi e dei benefici del
programma produce discriminazioni?
MODELLI BASE
AMBITI DI INDAGINE DI UN SISTEMA FORMATIVO
CONTESTO
RISORSE
PROCESSI DI
SCUOLA
PROCESSI DI
CLASSE
ESITI
APPLICAZIONI DEL CIPP MODEL
IL MODELLO DI SHAVELSON et alii (1987)
Input
Processi
Output
Risorse
finanziarie e
strutturali
Qualità del
curriculum
Risultati
Qualità dell’
insegnante
Ambiente
per lo
studente
Qualità della
scuola
Partecipazione
Qualità dell’
istruzione
Qualità dell’
insegnamento
Attitudini,
aspirazioni
APPLICAZIONI DEL CIPP MODEL
IL PROFILO DI AUTOVALUTAZIONE DEL PROGETTO PILOTA EUROPEO
RISULTATI
• rendimento scolastico (apprendimenti)
• sviluppo personale e sociale
• orientamento degli allievi
PROCESSI A LIVELLO DI CLASSE
• il tempo come risorsa per l’apprendimento
• qualità dell’apprendimento e dell’insegnamento
• sostegno per le difficoltà di apprendimento
PROCESSI A LIVELLO DI ISTITUTO
• la scuola come luogo dell’apprendimento
• la scuola come luogo di socializzazione
• la scuola come luogo professionale
AMBIENTE
• la famiglia e la scuola
• la collettività e la scuola
• la scuola e il mondo del lavoro
APPLICAZIONI DEL CIPP MODEL
IL MODELLO DELLA RETE AIR
E’ relativo alle modalità
di interazione tra scuola
e ambiente esterno
IL CRUSCOTTO
CONTESTO
1. Capacità di attrazione dell’utenza
2. Integrazione servizi scolastici/extrascolastici.
E’ relativo alle condizioni
alimentazione del processo
di
formativo (risorse e
strumenti di cui dispone
scuola all'inizio della
la
attività, ivi compresa la
sua
"materia prima" su
cui lavora)
1.
INPUT
Caratteristiche
dell’utenza
uutdell'utenza.Adegua
2. Adeguatezza
tezza delledelle
risorse materiali
.3. Adeguatezza delle
risorse umane
4. Funzionalità dello
sviluppo professionale.
E’ l'attività svolta dalla scuola nel ciclo
scolastico
annuale e nel ciclo della formazione
completa di uno studente, sia dal punto di
scolastica
vista
delle condizioni organizzative e gestionali, sia
quanto riguarda le modalità di insegnamentoper
apprendimento a livello di
classe
PROCESSI
A. Condizioni organizzative
gestionali:
A.1. Leadership efficace
A.2. Coesione e collegialità del
personale.
A.3. Comunicazione efficace.
A.4. Partecipazione e
coinvolgimento dell'utenza.
A.5. Ricerca e sviluppo
B. Processo di insegnamento/
apprendimento:
B.1. Differenziazione processi
formativi.
B.2. Integrazione esperienze
formative.
B.3. Clima di accoglienza e
benessere
B.4. Strutturazione efficace
dell’azione didattica
B.5.Monitoraggio sistematico
degli apprendimenti
E’ relativo ai risultati
formativi a breve e a
lungo termine (le caratteristiche del “prodotto
finito", gli esiti del
programma di lavoro
relazione
a bisogni/
in
risorse / aspettative
presenti all'inizio)
OUTPUT e
e OUTCOME
1. Successo scolastico
interno degli studenti.
2. Valore aggiunto offerta
formativa.
3. Inserimento lavorativo e
proseguimento scolare.
DIREZIONI DI SVILUPPO
PROSPETTIVA GESTIONALE: LE VISION 2000
MIGLIORAMENTO CONTINUATIVO
RESPONSABILITA’ DELLA
DIREZIONE
MISURAZIONE, ANALISI,
MIGLIORAMENTO
REALIZZAZIONE DEL
PRODOTTO/SERVIZIO
Soddisfazione cliente
Requisiti cliente
GESTIONE DELLE
RISORSE
DIREZIONI DI SVILUPPO
PROSPETTIVA GESTIONALE: IL MODELLO EFQM
FATTORI
RISULTATI
GESTIONE DEL
PERSONALE
(9%)
RISULTATI
RELATIVI AL
PERSONALE
(9%)
LEADERSHIP
(10%)
PROCESSI
(14%)
POLITICHE E
STRATEGIE
(8%)
PARTNERSHIP
RISORSE
(9%)
RISULTATI
RELATIVI AI
CLIENTI
(20%)
E
RISULTATI
RELATIVI ALLA
SOCIETÀ
(6%)
INNOVAZIONE E APPRENDIMENTO
RISULTATI
CHIAVE DI
PERFORMANCE
(15%)
DIREZIONI DI SVILUPPO
PROSPETTIVA GESTIONALE: IL BALDRIGE NATIONAL QUALITY PROGRAM
PROGETTAZIONE
STRATEGICA (85)
FOCUS SUGLI
STUDENTI (85)
FOCUS SUL
PERSONALE (85)
GESTIONE PROCESSI
EDUCATIVI (85)
INFORMAZIONE E ANALISI (85)
RISULTATI CHIAVE
ORGANIZZATIVI (450)
LEADERSHIP
(125)
PIANI D’AZIONE E STRATEGIE
DIREZIONI DI SVILUPPO
PROSPETTIVA CULTURALE: IL MODELLO DI NORMANN
CONCETTO DI
SERVIZIO
DOMANDA
SOCIALE
CULTURA
SISTEMA DI
EROGAZIONE DEL
SERVIZIO
IMMAGINE DEL
SERVIZIO
DIREZIONI DI SVILUPPO
PROSPETTIVA STRATEGICA: IL MODELLO DI HOPKINS
ORGANIZZAZIONE
• Strutture d’azione (procedure,
processi decisionali e comunicativi)
• Chiarimento ruoli e responsabilità
• Modalità di lavoro comune
• Coinvolgimento genitori e
comunità
SCUOLA
LINEE DI CONDOTTA E PRATICHE
CURRICOLARI
• Tempo dedicato all’istruzione
• Tattiche didattiche (approccio strutturato
all’istruzione)
• Modelli di insegnamento (diversificazione
degli approcci)
• Qualità del rapporto studente-insegnante
STRATEGIE DI MIGLIORAMENTO
• Programmazione
• Formazione del personale
• Revisione della scuola
• Sostegno esterno
CULTURA
• Alte aspettative
• Clima di incoraggiamento e
ordinato
• Sistema comune di valori
• Autostima dell’insegnante
• Impegno dell’insegnante
• Collaborazione dell’insegnante
DIREZIONI DI SVILUPPO
PROSPETTIVA ETICA: IL MODELLO DELLA COMMISSIONE EUROPEA
SCELTE VALORIALI
RELAZIONE CON L’ESTERNO
CONDIZIONI STRUTTURALI
RELAZIONE EDUCATIVA
ATTIVITA’ DI APPRENDIMENTO
VALUTAZIONE BAMBINI
AC
SISTEMA DELLE RELAZIONI
CE
SS
TE
ACCETTAZIONE DIVERSITA’
IB
N
IE
IL
GE
B
I
TA
’
NI
AM
’
TO
TA
I
RAPPORTO COSTI/BENEFICI
RI
UN
M
CO
VALORI ETICI
VISIONI ORGANIZZATIVE DELLA SCUOLA
IMMAGINE RAZIONALE-BUROCRATICA
IMMAGINI
VALORI
PROCESSI
ORGANIZZATIVI
RAZIONALE
BUROCRATICA
Uniformità
Standardizzazione
Centralità della
norma
Rispetto delle regole
Controllo gerarchico
Suddivisione del
lavoro
IDEA DI INSEGN./
APPRENDIMENTO
Prevedibile
Standardizzato
Finalizzato
VISIONI ORGANIZZATIVE DELLA SCUOLA
IMMAGINE PROFESSIONALE-COLLEGIALE
IMMAGINI
VALORI
PROFESSIONALE
COLLEGIALE
Competenza
Sviluppo
professionale
Responsabilità
PROCESSI
ORGANIZZATIVI
IDEA DI INSEGN./
APPRENDIMENTO
Discrezionalità
Legami tra pari
Individualismo
Complesso
Individualizzato
Situato
VISIONI ORGANIZZATIVE DELLA SCUOLA
IMMAGINE SOCIO-TECNICA
IMMAGINI
VALORI
PROCESSI
ORGANIZZATIVI
SOCIO-TECNICA
Interdipendenza
Apprendimento
organizzativo
Condivisione
Problem-solving
Collaborazione
Comunicazione
aperta
IDEA DI INSEGN./
APPRENDIMENTO
Coinvolgente
Flessibile
Democratico
VISIONI ORGANIZZATIVE DELLA SCUOLA
IMMAGINE POLITICA
IMMAGINI
VALORI
PROCESSI
ORGANIZZATIVI
POLITICA
Conflitto di interessi
Gestione del potere
Disintegrazione
Negoziazione
Sistemi di alleanze
Resistenze
IDEA DI INSEGN./
APPRENDIMENTO
Ambiguo
Contestuale
Conflittuale
VISIONI ORGANIZZATIVE DELLA SCUOLA
IMMAGINE NATURALE
IMMAGINI
VALORI
NATURALE
Libertà individuale
Pragmaticità
Casualità
PROCESSI
ORGANIZZATIVI
IDEA DI INSEGN./
APPRENDIMENTO
Decentralizzazione
Scarso
coordinamento
Decisioni "ad hoc"
Creativo
Imprevedibile
Differenziato
VISIONI ORGANIZZATIVE DELLA SCUOLA
IMMAGINI
VALORI
PROCESSI
ORGANIZZATIVI
Uniformità
Rispetto delle regole
Valorizzazione
Controllo gerarchico
Centralità della
Suddivisione del
norma
lavoro
PROFESSIONALE
Competenza
Discrezionalità
COLLEGIALE
Sviluppo
Legami tra pari
(studio
professionale
Individualismo
professionale)
Responsabilità
SOCIO-TECNICA
Interdipendenza
Problem-solving
(organismo sociale)
Apprendimento
Collaborazione
organizzativo
Comunicazione
Condivisione
aperta
POLITICA
Conflitto di interessi
Negoziazione
(arena)
Gestione del potere Sistemi di alleanze
Disintegrazione
Resistenze
NATURALE
Libertà individuale
Decentralizzazione
(bidone della
Pragmaticità
Scarso
spazzatura)
coordinamento
Casualità
Decisioni "ad hoc"
RAZIONALE
BUROCRATICA
(organigramma)
IDEA DI INSEGN./
APPRENDIMENTO
Prevedibile
Standardizzato
Finalizzato
Complesso
Individualizzato
Situato
Coinvolgente
Flessibile
Democratico
Ambiguo
Contestuale
Conflittuale
Creativo
Imprevedibile
Differenziato
MODELLI DI ANALISI DELLA QUALITA’
“Immaginate di essere l’arbitro, l’allenatore, il giocatore o lo spettatore di una partita
di calcio molto particolare: il campo di gioco è rotondo; ci sono parecchie porte
disposte casualmente attorno al campo circolare; le persone possono entrare e uscire
dal gioco a loro piacere; possono tirare la palla in qualsiasi direzione; possono dire.
“Ho fatto goal!” quando e quante volte lo desiderano; l’intera partita avviene su un
campo inclinato ed è giocata come se avesse senso. Se voi sostituite in questo esempio i
capi di Istituto con gli arbitri, gli insegnanti con gli allenatori, gli studenti con i
giocatori, i genitori con gli spettatori e l’attività scolastica con il calcio avrete una
descrizione non convenzionale dell’organizzazione scolastica.”
(K. Weick, “Educational Organizations and Loosely Coupled Systems”, Administrative
Science Quarterly, n. 21, pp. 1-19)