imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
Titolo originale: Learning from Our Experience. Human Rights Education Monitoring and Evaluation
Toolkit
© 2010 Amnesty International Publications
International Secretariat
Peter Benenson House
1 Easton Street
London WC1X ODW
United Kingdom
www.amnesty.org
Index: POL 32/009/2010
© 2012 Edizione italiana
Amnesty International Sezione Italiana
Tutti i diritti di riproduzione riservati. Questa pubblicazione, che è protetta dal diritto d’autore,
può essere riprodotta gratuitamente, con qualsiasi procedimento, a scopo di sensibilizzazione, di
campagna o d’insegnamento, ma non a scopo commerciale. I titolari dei diritti d’autore chiedono di
essere informati di qualsiasi utilizzo di questo documento per valutarne l’impatto. Ogni riproduzione
in altre circostanze, o riutilizzo in altre pubblicazioni, o traduzione, o adattamento richiedono la
previa autorizzazione scritta degli editori, che potranno esigere il pagamento di un diritto. Per
qualsiasi richiesta d’informazione o d’autorizzazione, si prega di contattare [email protected].
indice
Introduzione
p. 04
capitolo 1
Monitoraggio e valutazione nell’educazione ai diritti umani:
i principi fondamentali
L’Educazione ai diritti umani per Amnesty International
p. 06
Principi–chiave e definizioni
p. 09
La logica del cambiamento
p. 14
capitolo 2
Monitoraggio e valutazione di un progetto
Introduzione
Integrare il piano di monitoraggio e valutazione
sin dalla fase della concezione del progetto
Elaborare un piano di monitoraggio e valutazione
Effettuare il monitoraggio e la valutazione
Analisi dell’impatto
capitolo 3
Monitoraggio e valutazione edu: esempi pratici
Introduzione
Formazioni singole e laboratori di sensibilizzazione
Formazioni multiple/laboratori di capacity building
(sviluppo delle capacità)
Reti edu
Materiali scritti, risorse e altri prodotti edu
Educazione ai diritti umani integrata nei programmi didattici
Programmi esperenziali
Organizzazioni e istituzioni partner per l’Educazione ai diritti umani
Contenuti degli allegati
Note
Riferimenti bibliografici
p. 20
p.
p.
p.
p.
22
29
42
47
p. 49
p. 50
p.
p.
p.
p.
p.
p.
52
55
56
58
63
64
p. 69
p. 70
p. 72
4
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
introduzione
Il monitoraggio e la valutazione sono parte integrante di ogni attività di Educazione ai diritti umani
(EDU). Ci aiutano a comprendere il nostro lavoro, che impatto ha e come contribuisce alla creazione di una cultura in cui i diritti umani siano protetti e rispettati. Inutile aggiungere poi come il
monitoraggio e la valutazione contribuiscano a migliorare il nostro operato, garantendo che quanto
facciamo risponda ai bisogni e alle aspettative dei partecipanti e tenga in conto il loro background
e le sfide, in tema di diritti umani, che potrebbero incontrare.
Lo scopo di questo manuale
Questo manuale è stato sviluppato con l’obiettivo di rafforzare la capacità di Amnesty International
di inserire il monitoraggio, la valutazione e la misura dell’impatto nelle attività e nei programmi
EDU, per migliorarne efficacia e impatto. È uno strumento pratico e di facile uso che ci aiuterà a
strutturare la pianificazione EDU e a elaborare dei piani per monitorare e valutare i nostri risultati.
Non abbiamo bisogno di essere “specialisti” per portare avanti questo tipo di lavoro. Le attività e
gli approcci contenuti in questo manuale sono facili da capire e da mettere in atto e, attraverso i
vari passaggi, sarà semplice procedere attraverso tutte le fasi. Con l’aiuto della pratica e dell’esperienza poi, questi diventeranno di volta in volta più semplici e parte naturale della pianificazione e
realizzazione dei nostri progetti EDU.
Il presente manuale si basa su risorse e strumenti di monitoraggio e valutazione che Amnesty International ha sviluppato e già utilizzato (come il quadro sulla “Dimensione del cambiamento”), o
disponibili al di fuori del Movimento. Nasce quindi da buone pratiche che ben si adattano al lavoro
EDU.
Tiene inoltre in considerazione i diversi tipi di pianificazione EDU già esistenti in Amnesty. Per
esempio, la maggior parte dei programmi comportano processi educativi volti a rafforzare conoscenze e abilità, attitudini e valori, e infine comportamenti (sia privati/ individuali che pubblici/sociali).
Ogni valutazione dovrà cercare le “prove di cambiamento” in queste aree.
Tuttavia, dovremo guardare anche ai risultati che si legano non solo alla sfera dell’apprendimento
ma anche a obiettivi EDU più ampi all’interno del Movimento, come la crescita della membership,
la crescita dell’attivismo e lo sviluppo delle capacità dei rights holders1.
Se esaminiamo questi diversi livelli di risultati, è facile comprendere come il tempo e l’energia
dedicati al monitoraggio e alla valutazione costituiscono un investimento sicuro per la programmazione strategica, per i valori di partecipazione e di trasparenza e l’impegno per un continuo miglioramento dei programmi.
Chi dovrebbe usare questo manuale?
Chiunque gestisca progetti e programmi EDU in Amnesty dovrebbe utilizzare questo manuale per
garantire che il monitoraggio e la valutazione siano integrati nel processo di gestione progettuale, al
fine di migliorare efficacia e impatto del proprio lavoro.
Sebbene il contenuto di questa guida sia scritto specificamente in un contesto che attiene al lavoro
1. Tutti i trattati sui diritti umani, a partire dalla Dichiarazione universale sui diritti umani del 1948, pongono al centro la persona come titolare di diritti (rights holder) nella
sua relazione con chi ha (porta) il dovere di rispettarli e promuoverli (duty bearer). I duty bearers (governi, istituzioni, famiglia e individui) sono vincolati a rispettare, proteggere
e promuovere i diritti umani. I rights holders hanno il diritto di reclamare i propri diritti dai duty bearers, ma devono anche rispettare i diritti degli altri. L’essere titolare di diritti
comporta infatti delle responsabilità prima di tutto verso se stessi e di conseguenza verso gli altri. (Save the Children Italia Onlus, Verso una pedagogia dei diritti, 2007, pag. 10)
5
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
e all’approccio di Amnesty, potranno trovarlo utile anche coloro che, al di fuori del Movimento, siano impegnati in attività EDU o vogliano esplorare approcci diversi al monitoraggio e alla valutazione
in altri campi.
Presentazione del manuale
La guida si compone di vari capitoli e da una serie di allegati a titolo di esempio (in inglese).
•Il primo capitolo presenta una panoramica del lavoro EDU di Amnesty, i principi essenziali e le
definizioni inerenti il monitoraggio e la valutazione. Introduce inoltre i fondamenti della logica del
cambiamento.
•Il secondo capitolo descrive i passi da intraprendere per integrare il monitoraggio, la valutazione e
la misura dell’impatto nella pianificazione EDU.
•Il terzo capitolo fornisce esempi di attività EDU realizzate all’interno di Amnesty e suggerisce i
metodi di valutazione più adatti.
•Il manuale include inoltre una bibliografia completa (compresi alcuni link) e ulteriori riferimenti sul
monitoraggio e la valutazione.
•Gli allegati presentano una serie di esempi pratici – in inglese – con strumenti e risorse che facilitano il monitoraggio e la valutazione, ben adattabili ai programmi EDU.
•Questa pubblicazione è parte del lavoro di Amnesty International sul monitoraggio, la valutazione e la
misura dell’impatto EDU, diretto dallo Human Rights Education Team del Segretariato Internazionale.
Ringraziamenti
Il Segretariato Internazionale tiene a ringraziare tutte le persone che hanno dedicato il loro tempo e la
loro esperienza alla preparazione di questa guida. Ringraziamo in particolare Felisa Tibbitts che l’ha
redatta. Desideriamo, inoltre, esprimere la nostra riconoscenza alle persone che hanno generosamente contribuito al suo sviluppo rivedendone le bozze o fornendo commenti e risorse: Vibeke Eikás (AI
Norvegia), Anne Molloy (AI Irlanda), Sandra Reitz (AI Germania), Judit Kende (AI Ungheria), Maneesh
Pradhan (ILU – Segretariato Internazionale), Sneh Aurora (HRE Team – Segretariato internazionale),
Helen Trivers (HRE Team – Segretariato Internazionale) e Dariusz Grzemny (HRE Team – Segretariato
Internazionale).
L’edizione italiana è stata curata da Francesca Cesarotti e Flavia Citton, per la traduzione si ringrazia
la rete traduttori di Amnesty International Sezione Italiana.
Lista delle abbreviazioni utilizzate in questa guida
GPS: Global Priority Statement
EDU: Educazione ai diritti umani
IS: Segretariato Internazionale
ISP: Piano Strategico Integrato
ONG: Organizzazione Non Governativa
PEST: (analisi dei fattori) Politici, Economici, Sociali e Tecnologici
REAP: Rights Education Action Programme
SWOT: (analisi dei fattori di) Forza, Debolezza, Opportunità, Rischi
UNESCO: Organizzazione delle Nazioni Unite per l’educazione, la scienza e la cultura
DUDU: Dichiarazione universale dei diritti umani
6
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
capitolo 1
Monitoraggio e valutazione nell’educazione
ai diritti umani: i principi fondamentali
L’Educazione ai diritti umani per Amnesty
International
Definizione di Educazione ai diritti umani
La missione di Amnesty International è quella di svolgere attività di ricerca e azioni finalizzate a prevenire ed eliminare gravi abusi dei diritti umani e pretendere giustizia per coloro i cui diritti siano stati
violati. Lavorando con e per le persone in tutto il mondo, Amnesty International lavora affinché ciascuno
possa godere di tutti i diritti umani contenuti nella Dichiarazione universale dei diritti umani del 1948
(DUDU). Lo stesso diritto all’Educazione ai diritti umani è esplicitamente menzionato nella DUDU:
L’Assemblea Generale proclama la presente Dichiarazione universale dei diritti umani… al fine che ogni
individuo e ogni organo della società, avendo costantemente presente questa Dichiarazione, si sforzi di
promuovere, con l’insegnamento e l’educazione, il rispetto di questi diritti e di queste libertà...
L’articolo 26 della DUDU precisa ulteriormente il contenuto dell’educazione:
2) L’istruzione deve essere indirizzata al pieno sviluppo della personalità umana ed al rafforzamento del
rispetto dei diritti dell’uomo e delle libertà fondamentali. Essa deve promuovere la comprensione, la
tolleranza, l’amicizia fra tutte le Nazioni, i gruppi razziali e religiosi, e deve favorire l’opera delle Nazioni
Unite per il mantenimento della pace.
Nella sua strategia internazionale sull’EDU2, Amnesty International definisce l’EDU come segue:
L’EDU è una pratica intenzionale e partecipativa vòlta a favorire la presa di coscienza (empowerment)
di individui, gruppi e comunità mediante la crescita e lo sviluppo di conoscenze, abilità e attitudini
coerenti coi principî riconosciuti a livello internazionale in materia di diritti umani.
In quanto processo di medio–lungo termine, l’EDU mira a sviluppare e ad integrare le dimensioni cognitiva, affettiva e attitudinale delle persone, incluso il pensiero critico, in relazione ai diritti umani. La sua
finalità è la costruzione di una cultura del rispetto, dell’azione in difesa e della promozione dei diritti
umani per tutti.
Questa strategia stabilisce come Amnesty promuova l’intero spettro dei diritti umani così come contenuti nella DUDU, nelle convenzioni internazionali e in ogni altro patto, trattato o convenzione internazionalmente riconosciuta, e come consideri l’EDU come una delle sue attività centrali e ne voglia sviluppare la crescita, su scala mondiale, in modo coerente e pianificato.
Una definizione generalmente usata dagli “specialisti” descrive l’EDU come un’educazione sui diritti
umani (conoscenza e comprensione delle norme, leggi e concetti relativi ai diritti umani), un’educazione attraverso i diritti umani (apprendimento e insegnamento secondo metodi rispettosi di chi insegna e
di chi apprende) e un’educazione per i diritti umani (dando così alle persone la capacità di esercitare i
diritti propri o di altre persone).
2. Amnesty International, Human Rights Education: Buiding a Global Culture of Human Rights, (Indice: POL 32/006/2005).
7
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
L’importanza dell’EDU per Amnesty International
L’EDU in Amnesty International è considerata un approccio fondamentale nella costruzione di una
cultura di rispetto dei diritti umani e di prevenzione delle violazioni. Nel corso degli anni, l’EDU ha
assunto un’importanza crescente nei diversi documenti strategici del Movimento.
Nei suoi documenti recenti, Amnesty International ha rafforzato ulteriormente il ruolo dell’EDU e,
oggi, è parte integrante del GPS 2010–20113 proprio in relazione al suo ruolo trasversale di promuovere la partecipazione attiva, anche in relazione alla campagna (((IO PRETENDO DIGNITÀ))).
A parte questi riferimenti formali all’EDU, è evidente che essa sia fondamentale per la realizzazione
di programmi volti alla riduzione della povertà attraverso un approccio basato sui diritti umani, che
Amnesty International priorizza nel suo Piano strategico integrato (ISP) 2010–20164. Questo approccio rivendica l’empowerment (il rafforzamento delle capacità) dei titolari di diritti (rights holders) ad
attivarsi per il rispetto dei loro diritti e richiedere che quanti hanno il dovere di rispettarli e promuoverli (duty bearers), come i governi, le istituzioni, la famiglia e gli individui adempiano ai loro obblighi. Lo sviluppo di queste capacità passa inevitabilmente attraverso l’educazione, la formazione e la
sensibilizzazione. è anche possibile considerare l’EDU come uno strumento essenziale per raggiungere gli altri obiettivi dell’ISP, inclusi la crescita e lo sviluppo del movimento mondiale dei diritti umani,
la promozione della partecipazione attiva dei/delle soci/e e dei/delle sostenitori/sostenitrici; e l’investimento nei/nelle volontari/e, nel personale, nei/nelle dirigenti e nei sistemi.
In breve, l’EDU è un elemento indispensabile ad Amnesty International.
La pratica dell’EDU in seno ad Amnesty International
IL VALORE INTRINSECO E operativo DELL’EDU
Attualmente, il posto che l’EDU occupa in seno ad Amnesty International le conferisce un valore sia
intrinseco che operativo.
Il modo di “insegnare i diritti umani” ai membri di Amnesty International, ai volontari, ai rights
holders e ai diversi partner aggiunge valore al lavoro di sensibilizzazione e di “rafforzamento delle capacità” volti a promuovere una cultura dei diritti umani. Lavorando con le scuole e le comunità locali,
l’EDU in Amnesty ha permesso di sensibilizzare e di “ispirare” cambiamenti sociali e politici. è stata
inoltre determinante per aver favorito e rafforzato le relazioni con i suoi membri e i suoi partner, consentendo di portare avanti campagne e di organizzare mobilitazioni. Per Amnesty International, questi
valori non si escludono a vicenda, sono complementari.
LA VARIETÀ DEI PROGRAMMI EDU
Da anni, le Sezioni e le Strutture di Amnesty conducono una vasta gamma di programmi di educazione, di formazione e di sensibilizzazione. I programmi educativi a più lungo termine sono stati pensati
per stimolare un più profondo coinvolgimento che, orientato al cambiamento, ha avuto luogo sia nelle
scuole sia in contesti non formali, portando avanti un lavoro con i gruppi di base delle comunità e le
popolazioni vulnerabili. Amnesty International ha inoltre condotto programmi di formazione professionale a breve e a lungo termine, rivolti ad esempio alle forze di polizia e agli insegnanti, affinché
potessero integrare i valori dei diritti umani nel loro lavoro. Ha inoltre organizzato programmi interni
di aggiornamento professionale legati a diverse campagne. Le Sezioni, come pure il Segretariato
Internazionale di Amnesty International, hanno sviluppato una grande varietà di strumenti e di risorse
educativi. Molto del lavoro di Amnesty International nelle campagne educative, per esempio, può
essere considerato, in virtù dell’”uso” dei media, come lavoro di sensibilizzazione. Queste le tante
differenze che caratterizzano in generale il campo dell’EDU, in cui, come abbiamo visto, molteplici
possono essere gli approcci.
Nella presente guida, tutte queste diverse esperienze saranno raggruppate sotto il termine EDU. Tut3. Amnesty International, Global Priority Statement (GPS) 2010 & 2011. Transition into the New ISP, 2009 (Indice: POL 50/012/2009).
4. Amnesty International, 29º International Council Meeting, Circular n. 45: ISP 2010–2016, adottato all’IEC nel 2009 (Indice: ORG 52/004/2009).
8
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
tavia, al momento di elaborare un piano di monitoraggio e valutazione, non si dovrà dimenticare che
gli obiettivi e le caratteristiche di questi particolari programmi sono diversi.
l’importanza della valutazione EDU
per Amnesty International
Inutile dire che, considerato che l’EDU si è diffusa sempre più in seno ad Amnesty International e
che la si considera ormai uno strumento chiave nel successo dell’ISP, si rende indispensabile seguire
e valutare correttamente i suoi programmi. “La valutazione è necessaria, poiché ci permette di essere
trasparenti non solo con i rights holders e i donatori ma anche, internamente, con il Movimento, con
i nostri obiettivi e valori; di imparare e di migliorare; di promuovere l’EDU sia nell’ambito di Amnesty
International che all’esterno5”. I processi di monitoraggio, valutazione e di misura dell’impatto di
Amnesty International dovrebbero riflettere i nostri valori basati sui diritti umani ossia, in altri termini,
dovrebbero essere partecipativi, inclusivi e trasparenti.
In linea generale, il monitoraggio e la valutazione:
•permettono di formare e di responsabilizzare i rights holders e gli altri soggetti interessati;
•permettono di “render conto” (accountability) alle parti interessate;
•stimolano la cultura dell’apprendimento;
•costituiscono un meccanismo di controllo della qualità;
•spingono a pianificare in modo più mirato e documentato;
•aiutano a far conoscere il lavoro EDU nell’ambito di Amnesty International ed anche all’esterno del
Movimento;
•permettono di sistematizzare la documentazione;
•permettono di “istituzionalizzare” l’autoriflessione;
•favoriscono gli scambi tra colleghi/e e all’interno dell’organizzazione.
In altri termini, se valutiamo correttamente le nostre attività EDU, ne possiamo trarre numerosi vantaggi.
5. KERN Brian, International Projects: Human Rights Education Evaluation and Impact Assessment Project, presentato all’International Human Rights Education Forum, 23
febbraio 2008.
9
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
Principi–chiave e definizioni
Principi relativi al monitoraggio e alla valutazione EDU
Il monitoraggio e la valutazione, come ogni altra attività progettuale legata ai diritti umani, devono
rispettare alcuni principi che ci aiuteranno a porre le “persone” al centro del nostro lavoro.
1. La nostra valutazione dovrebbe essere partecipativa, in grado di favorire l’empowerment, il più trasparente possibile e dovrebbe inoltre incentivare la realizzazione di programmi EDU di qualità. In altri
termini, il processo conta quanto i risultati.
L’ingrediente chiave per l’organizzazione di questo processo è la partecipazione degli attori interessati. Quando concepiamo un programma EDU e sviluppiamo il suo piano di monitoraggio, valutazione
e di misura dell’impatto, dobbiamo necessariamente coinvolgere le parti interessate e non possiamo
presumere di conoscere le priorità di altri in materia di EDU. Le attività EDU dovrebbero riflettere
non soltanto la nostra “capacità” interna e le strategie verso le persone e il Movimento, ma anche le
vere necessità di coloro con cui lavoriamo. L’approccio partecipativo ci assicurerà che ognuno faccia
propria la pianificazione e che i programmi possano risultare efficaci.
Avviare un processo partecipativo con le parti interessate potrebbe significare facilitare scambi che
non abbiamo avuto in passato. Potreste formare dei focus group di potenziali beneficiari in cui condividere i loro punti di vista in relazione a una nuova campagna ed esprimere loro necessità e priorità.
Questi focus group potrebbero essere costituiti da persone più direttamente coinvolte nel lavoro EDU
di Amnesty International, come per esempio insegnanti, studenti o responsabili di altre ONG che, in
collaborazione con Amnesty, potrebbero ideare attività EDU in grado non solo di contribuire ad una
iniziativa specifica, ma anche all’insieme delle attività educative e al rafforzamento delle capacità
stesse della Sezione. Questi gruppi potrebbero inoltre formulare suggerimenti che permettano di semplificare e di rendere accessibili gli strumenti per la raccolta dei dati.
Se durante la fase di elaborazione di un programma EDU riuscissimo ad avviare anche una consultazione più ampia, potremmo costituire un gruppo ristretto di stakeholder o “gruppo consultivo” che
lavori durante l’intero svolgimento del progetto. Tale gruppo potrà contribuire all’elaborazione del
piano di monitoraggio e di valutazione, lavorare con voi per rivedere i risultati intermedi e promuovere
la partecipazione attiva dei partecipanti (educatori e partecipanti) durante il processo di valutazione.
DIAGRAMMA 1: PROCESSO DI PARTECIPAZIONE DURANTE LO SVOLGIMENTO DEL PROGRAMMA
Consultazione ampia: gruppi
di discussione che coinvolgono
le parti interessate essenziali
per pianificare il programma
Consultazione permanente: il
gruppo consultivo delle parti
interessate si esprime sui
programmi, il monitoraggio e la
valutazione
Apprendere e condividere:
riflessione critica e diffusione
dei risultati del programma
tra le parti interessate
10
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
Durante la fase di pianificazione, la partecipazione di persone che non sono degli esperti presenta
una vantaggio indiretto: ci aiuterà a realizzare valutazioni pertinenti e comprensibili e, dunque, potenzialmente più utili. Non dimenticate che, affinché i partecipanti e le altre parti interessate possano
essere coinvolti nel processo di valutazione, dovrete sviluppare un po’ le loro capacità sulle “basi”,
sui “principi fondamentali”. Questo manuale vi sarà probabilmente utile anche in questo senso.
2. Le nostre valutazioni dovrebbero essere sviluppate per guidare l’apprendimento e migliorare la pianificazione. Questa osservazione può sembrare ovvia ma ha diverse conseguenze pratiche.
Una prima implicazione è che vorremo comprendere il processo che conduce al cambiamento, non
solo i risultati. Questo ci porterà a chiederci in continuazione “perché?” e “come?” quando guarderemo al nostro lavoro.
Altra implicazione è che non dovremo esitare a porci nessuna domanda, anche se la risposta potrebbe rivelare che i nostri programmi non sono così buoni come appaiono. Per esempio, spesso, quando
facciamo formazione, somministriamo un questionario finale i cui risultati sono generalmente ottimi.
Che cosa accadrebbe se lo facessimo sei mesi dopo? Che cosa scopriremmo rispetto a quanto i partecipanti ricordano? Se i risultati non fossero quelli previsti, questo ci aiuterebbe a ridisegnare i nostri
programmi, sia dal punto di vista del contenuto che della forma, affinché in futuro i risultati della
valutazione siano allineati con quelli che volevamo.
Ultima implicazione è che abbiamo bisogno di essere attenti e flessibili quando formuliamo dei programmi. Dobbiamo impegnarci personalmente per migliorare di continuo la qualità del nostro lavoro,
anche a rischio di scoprire, talvolta, che abbiamo commesso un errore. Non è sempre facile poiché,
naturalmente, vorremmo che i programmi facessero una buona impressione e il loro fallimento potrebbe riflettersi negativamente su di noi.
Tuttavia, più ampie saranno le consultazioni e maggiore il livello di pensiero strategico all’inizio di un
programma, più quel programma avrà le possibilità di essere pianificato correttamente fin dall’inizio.
Inoltre, la documentazione relativa al processo di pianificazione ci aiuterà a capire, eventualmente, le
ragioni per cui il nostro lavoro è stato meno efficace del previsto.
3. Il monitoraggio e la valutazione devono essere condotti con professionalità. Vogliamo che le nostre
valutazioni siano efficaci, fornendoci risposte attendibili sui risultati dei programmi EDU. Ciò significa
che, con le risorse materiali e umane a disposizione, dovremo effettuare valutazioni quanto più possibile metodiche e rigorose, che rispettino gli standard in materia6. Tali regole sono illustrate operativamente nel paragrafo “Elaborare un piano di monitoraggio e di valutazione”.
Valutazione: concetti e definizioni.
Se avete già partecipato a lavori di monitoraggio e di valutazione, non avrete forse bisogno di soffermarvi sulla seguente lista di concetti e di definizioni. In questo manuale useremo queste definizioni
in maniera prettamente operativa; la maggior parte di esse sono tratte da un documento del novembre
2006 di Amnesty International intitolato “Evaluation of HRE (Human rights education) Work within
the IS (International Secretariat) and the Movement”.
QUALI ATTIVITÀ POSSIAMO ORGANIZZARE PER MISURARE I NOSTRI PROGRESSI?
Il monitoraggio è la regolare e metodica raccolta di informazioni per verificare i risultati forniti da un
progetto in rapporto con gli obiettivi, il budget e il piano di lavoro fissati. Si basa in generale sui mezzi, le attività e i prodotti ed è parte integrante dell’attuazione del progetto. Le informazioni regolarmente raccolte saranno anche utilizzate per valutare l’impatto e produrre relazioni (report).
La valutazione è lo studio analitico e sistematico di un progetto in corso o concluso per determinarne
6. Si veda: American Evaluation Association, Guiding Principles for Evaluators, Fairhaven, MA: American Evaluation Association 2004.
11
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
la pertinenza, l’efficacia e la sostenibilità. Include gli insegnamenti tratti e le raccomandazioni. La valutazione è differente dal monitoraggio perché viene effettuata a intervalli regolari – mentre il monitoraggio è continuo – e richiede un atteggiamento critico. Misura l’efficacia e l’efficienza di un progetto
o di un programma, le risorse impiegate e i risultati.
La valutazione formativa serve a produrre programmi migliori. Avviene durante la fase di elaborazione o di attuazione di un programma. Le informazioni raccolte nel corso di questo tipo di
valutazione sono usate per apportare cambiamenti al progetto prima che abbia termine e migliorarne, così, l’efficacia.
La valutazione finale viene effettuata alla fine del programma o del progetto. Due forme tipiche
di questo tipo di valutazione sono la valutazione dei risultati e la misura dell’impatto.
La valutazione dei risultati consiste nel comparare i risultati del programma o del progetto con
quelli attesi.
La misura dell’impatto è l’analisi sistematica dei cambiamenti duraturi o significativi – positivi o
negativi, attesi o inattesi – nelle vite o nell’ambiente dei partecipanti al programma o al progetto. Di conseguenza, l’impatto rappresenta molto più dei prodotti attesi o dei risultati. Esso
indica le conseguenze globali sul mondo esterno, a medio e a lungo termine, e non deve limitarsi a giudicare quanto fatto ma deve essere usato anche come strumento per prevedere eventuali
futuri risultati, sulla base di differenti scenari e opzioni. La misura dell’impatto dovrebbe essere
pianificata sin dall’elaborazione del progetto ed essere associata a un adeguato sistema di monitoraggio.
CHE COSA DOBBIAMO MISURARE?
I prodotti sono i prodotti o le attività concrete e quantificabili legate al progetto o al programma. Normalmente non riflettono gli scopi finali di un progetto, ma sono dei mezzi che permettono di raggiungere un altro obiettivo. Per esempio, un programma EDU può richiedere l’organizzazione di sessioni di
formazione (prodotto), ma il risultato atteso è quello di favorire l’apprendimento dei diritti umani e la
capacità di attivarsi per essi (risultati).
I risultati sono i frutti del programma. Nell’immediato, si tratterà dei vantaggi che ne traggono i
partecipanti o gli attori coinvolti e dei cambiamenti che vivono. La pianificazione del programma
comporta generalmente una lista dei risultati previsti. Questi ultimi possono prodursi a diversi livelli:
individuali, organizzativi, collettivi, sociali, ecc. Sono più difficili da quantificare dei prodotti, perché
sono spesso meno tangibili e andrebbero articolati proprio partendo dal punto di vista dei partecipanti. I risultati di un programma oggetto di valutazione sono generalmente quelli che riguardano il breve
termine (meno di un anno) e il medio termine (da uno a tre anni). È importante che la valutazione
non si limiti agli input, alle attività e ai prodotti, ma che s’interessi anche degli effetti concreti del
programma.
L’impatto consiste nei risultati sostenibili, duraturi e significativi. La misura o la valutazione dell’impatto si effettua con metodi più rigorosi rispetto alla valutazione dei programmi. Per quanto riguarda
i programmi EDU di Amnesty, cerchiamo tutte le “prove” che i nostri sforzi abbiano contribuito al
processo di cambiamento. Essi, tuttavia, potrebbero non essere stati i soli a dare vita ai risultati che
osserviamo.
CON QUALI STRUMENTI MISURARE?
Con strumenti e metodologie definiamo tutto ciò che usiamo per effettuare il monitoraggio e la valutazione e poi per misurare l’impatto.
12
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
Per esempio, i test effettuati prima e dopo una formazione sono strumenti che servono a valutare
l’acquisizione delle conoscenze e i cambiamenti di atteggiamento.
La valutazione iniziale è un metodo utilizzato per definire la situazione attuale, a partire dalla quale
saranno elaborati gli indicatori di successo. In altri termini, serve a misurare dove siamo, dove vogliamo andare e il cammino da percorrere.
La metodologia indica un insieme di metodi e la filosofia che ha portato alla loro scelta e al loro utilizzo. Quindi, gli strumenti e la metodologia EDU indicano ciò che usiamo per effettuare il monitoraggio
e la valutazione, per poi misurarne l’impatto.
STUDIO DI CASO 1: INTEGRARE IL MONITORAGGIO E LA VALUTAZIONE IN UN PROGRAMMA DI
FORMAZIONE FORMATORI
Una Sezione di Amnesty International sta conducendo una “formazione formatori” rivolta agli attivisti che permetta loro
di lavorare come “moltiplicatori” nelle scuole e nelle ONG. La formazione ha luogo durante tre week–end nell’arco di sei
mesi. Dopo la seconda sessione di formazione, i partecipanti devono elaborare il loro proprio piano di attività EDU per
l’anno seguente.
Il programma di formazione è stato elaborato dopo una consultazione con gli attivisti di Amnesty International che hanno
espresso il desiderio di occuparsi maggiormente di EDU. Questa formazione fa parte di un più vasto programma pensato
per promuovere le attività educative in generale, per rafforzare l’attivismo in Amnesty International, e per promuovere la
partecipazione alle azioni.
Il gruppo di Amnesty incaricato del progetto ha definito le principali attività da condurre durante la “formazione formatori” e ha elaborato un piano di monitoraggio. Quest’ultimo si concentra attorno allo sviluppo delle attività–chiave
(prodotti) così come progettate, vale a dire i tre week–end di formazione e il piano di attività EDU che i partecipanti
dovranno elaborare. Il monitoraggio sarà effettuato in modo informale dal gruppo, ma riguarderà, tra l’altro, il calendario
delle formazioni, la selezione dei formatori e dei partecipanti, le caratteristiche dei partecipanti, la loro partecipazione
durante i tre week–end, il budget e altri dettagli pratici.
Accanto ad esso, il gruppo di progetto ha elaborato un piano di valutazione con elementi della valutazione formativa
e di quella finale. Per quanto riguarda la prima, il gruppo sottoporrà la bozza di agenda della prima sessione a diverse
persone prima di stabilirne la versione definitiva. Prima della formazione, chiederà ai partecipanti di compilare un questionario per determinare le loro necessità personali, le loro aspettative, per valutare il livello di conoscenze relative ai
diritti umani e le competenze da facilitatori; per sapere inoltre se si sentano a loro agio nel fare EDU e le loro motivazioni.
Gli stessi questionari (strumenti) saranno distribuiti alla fine del primo week–end. Il gruppo, inoltre, chiederà ai partecipanti di esprimere dei commenti su alcuni aspetti della formazione.
I risultati di questi questionari, come pure le osservazioni dei formatori di Amnesty International sul primo week–end,
costituiranno il primo gruppo di dati della valutazione formativa. Tali dati, raccolti in modo formale e informale, permetteranno di procedere ad aggiustamenti prima della seconda sessione.
Quest’operazione di raccolta dati si ripeterà nella seconda e nella terza sessione. Dopo il secondo week–end, la valutazione formativa si rivolgerà, in più, al piano di attività EDU elaborato da ognuno degli partecipanti. In seguito, ci sarà
l’ultima sessione.
Dopo la conclusione della sessione finale, il gruppo di progetto di Amnesty passerà alla valutazione finale. Per quest’ultima si useranno i dati di monitoraggio raccolti durante lo svolgimento del programma e i dati provenienti dalle valutazioni formative di ogni seduta. Nel corso dei sei mesi successivi all’ultima sessione, il gruppo di progetto invierà un
questionario alle/ai partecipanti per verificare come valutano gli effetti che il programma ha avuto sulle loro conoscenze,
competenze e comportamenti, nonché l’andamento delle loro attività. Il gruppo di progetto potrà anche condurre dei
colloqui, fare osservazioni e parlare con esperti di Amnesty per sapere se la formazione ha prodotto dei risultati a livello
locale. Nell’ambito della valutazione finale, si vorrà capire anche se i partecipanti che hanno frequentato le sessioni
hanno “provocato” un aumento delle iscrizioni ad Amnesty International o alla partecipazione ad azioni.
13
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
Se poi questa Sezione di Amnesty International porterà avanti il suo programma di “formazione formatori” per diversi
anni e si prevede che la sua portata e qualità avranno effetti duraturi sui partecipanti e sull’ambiente in cui vivono,
potrà allora decidere di misurarne l’impatto. La misura dell’impatto si basa sui dati raccolti durante il monitoraggio e
la valutazione fino a quel momento, inclusa la valutazione iniziale. Di conseguenza, i dati raccolti per misurare l’impatto
riveleranno informazioni precise sui partecipanti che permetteranno di determinare se si sono prodotti cambiamenti importanti e duraturi (impatto) per loro e nella vita delle persone con cui sono entrati in contatto attraverso l’EDU. Occorrerà
anche ricercare se vi sono elementi che dimostrano che il programma di formazione a lungo termine ha portato ad altri
tipi di cambiamenti, con particolare riguardo all’attivismo e alla mobilitazione per Amnesty International.
Come illustra questo esempio, il monitoraggio, la valutazione e la misura dell’impatto sono strettamente collegati. I dati relativi alla misura dell’impatto derivano dal monitoraggio e dalla valutazione,
così come il lavoro di valutazione si basa sui dati del monitoraggio. Dobbiamo integrare tutte queste
attività nel programma fin dalla sua creazione e iscriverle nel piano iniziale di monitoraggio e valutazione. Questo aspetto sarà trattato in un paragrafo successivo, intitolato “Elaborare un piano di
monitoraggio e di valutazione”.
14
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
La logica del cambiamento
I progetti come catalizzatori di cambiamenti
I progetti sono attività che Amnesty International lancia per generare cambiamenti positivi, ad esempio, in termini di lavoro sui diritti umani o in altre aree legate alla crescita organizzativa, alla formazione del personale, ecc...
Ogni volta che elaboriamo la struttura di un progetto, realizziamo di fatto un modello che fa “crescere” il nostro lavoro. Lo facciamo esprimendo semplicemente le nostre idee sul modo in cui i cambiamenti si presentano (basandoci su presupposti argomentati) durante le varie tappe di un progetto e
definendo gli obiettivi da raggiungere.
Questa sezione presenta i diversi modi di affrontare i processi di cambiamento all’interno dei progetti
EDU. I presupposti da noi formulati sui processi di cambiamento si ritroveranno nei piani di monitoraggio, di valutazione e di misura dell’impatto presentati nel capitolo 2 della presente guida.
Quale catena di eventi può produrre i risultati desiderati?
Tra gli altri vantaggi, i lavori di monitoraggio e valutazione impongono agli ideatori dei programmi di
riflettere non solo sui risultati che un progetto deve produrre, e sulla forma che questi assumeranno,
ma anche sulla serie di avvenimenti che condurranno a questi risultati. Ovviamente non possiamo
sempre prevedere tutti i risultati che saranno dati da un programma, così come tutti i risultati raggiungibili non saranno necessariamente legati al nostro lavoro EDU.
Tuttavia, nell’elaborare i nostri programmi educativi, ci faremo un’idea di “causa – effetto” e questa
orienterà inevitabilmente le nostre decisioni.
In materia di valutazione, esistono diversi modi di definire o di rappresentare la “logica del cambiamento”. Quando definiremo un piano di monitoraggio e valutazione, potremo utilizzare alcuni dei
seguenti modelli per esplicitare tutte quelle idee che probabilmente sono implicite nell’elaborazione
dei programmi EDU e i loro potenziali risultati. Qui di seguito sono presentati cinque modelli, che
troverete nuovamente nel Capitolo 3.
LE DIMENSIONI DEL CAMBIAMENTO DI AMNESTY INTERNATIONAL: AMBITI IN CUI È POSSIBILE
AVERE UN IMPATTO
Amnesty International ha definito quattro “Dimensioni del cambiamento” per strutturare i diversi
ambiti in cui i progetti potrebbero produrre dei cambiamenti.
Le “Dimensioni del cambiamento” non sono state create per predeterminare i nostri obiettivi o per
orientare le nostre attività, ma per aiutarci ad analizzare l’impatto positivo (o negativo) prodotto dal
lavoro di Amnesty sui principali beneficiari e per individuare le persone o i gruppi che potrebbero
trarre vantaggio dal lavoro svolto nel quadro di un progetto.7
La principale “Dimensione del cambiamento” all’interno di questo quadro è “il cambiamento nella
vita delle persone”. Il cuore dei progetti e delle campagne di Amnesty International è quello di voler
fare la differenza nella vita dei principali beneficiari della nostra azione. Le persone a cui è rivolto il
nostro lavoro non subiscono passivamente i cambiamenti. Amnesty International tiene a sottolineare
che la loro capacità d’azione autonoma è un fattore decisivo del processo di cambiamento e che gli
interventi promossi sono orientati in tal senso.
7. Amnesty International, AI’s Dimensions of Change, 2008 (indice AI: POL 50/010/2008).
15
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
Tuttavia, sebbene tutti gli interventi di Amnesty International abbiano la finalità di produrre dei cambiamenti nella vita degli individui, non sempre l’accento viene messo direttamente sugli individui in
questione. Nel suo insieme, il lavoro di Amnesty International ha come oggetto quello di influenzare
le azioni di coloro che hanno il potere di fare qualcosa affinché la vita degli individui coinvolti cambi,
o di far evolvere il contesto giuridico o sociale in cui si trovano i principali beneficiari della nostra
azione. La presente guida comprende un documento sulle “Dimensioni del cambiamento” definite
dall’IS per essere utilizzato da tutto il Movimento.
Quando pensiamo all’EDU, immaginiamo dei risultati nelle quattro “Dimensioni del cambiamento”.
Tali risultati dipendono dagli obiettivi e dalla portata di ogni programma. Come già indicato all’inizio
di questo capitolo, Amnesty International ha iscritto l’EDU nella lista delle priorità mondiali del GPS
2010–2011. Vi è presente con gli obiettivi relativi alla partecipazione attiva e alla campagna (((Io
pretendo dignità))). Tali obiettivi figurano anche nell’ISP 2010–2016, così come gli obiettivi
relativi alla costituzione di un Movimento mondiale dei diritti umani e l’investimento nei volontari,
lo staff, la leadership e i sistemi. Per misurare l’impatto dei programmi EDU, sarà necessario tener
conto delle “Dimensioni del cambiamento”.
DIAGRAMMA 2: LE DIMENSIONI DEL CAMBIAMENTO DI AMNESTY INTERNATIONAL
Fonte: Le dimensioni del cambiamento di Amnesty International (indice: POL 50/010/2008)
DUE
Cambiamento
nell’attivismo
e nella mobilitazione
UNO
Cambiamento
nella vita delle persone
TRE
Cambiamento
nelle politiche
QUATTRO
Cambiamento
nell’obbligo di rendere
conto (accountability)
ANALISI DELLA CATENA CAUSALE: SCHEMA DEI CAMBIAMENTI NEI PROGRAMMI EDU
Un sistema semplice per analizzare la relazione causa–effetto è quello di sviluppare uno schema di
analisi causale. Lo schema può presentarsi sotto diverse forme, ma il modo più semplice è quello
di cominciare disegnando un cerchio che rappresenti l’”allievo – partecipante” o l’istituzione che si
cerca di influenzare con il nostro programma EDU.
16
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
DIAGRAMMA 3: ESEMPIO DI CATENA CAUSALE PER UN GRUPPO SCOLASTICO DI AMNESTY
INTERNATIONAL
input
oggetto primario
di cambiamento
oggetti secondari
di cambiamento
risultati
Studenti nei gruppi
Sviluppo delle capacità
degli insegnanti a guidare/
animare i gruppi
Visite dei
membri e staff
di Amnesty
Altri studenti, altri
insegnanti, lo staff
scolastico
Empowerment degli alunni
Risorse
educative
Genitori membri della
comunità
Crescita dell’interesse per i
diritti umani della comunità
Laboratori con
gli insegnanti
Rete EDU
Insegnanti che guidano/
animano i gruppi
Partecipazione alle azioni di
Amnesty International
Newsletter
EDU
Aggiungiamo al programma EDU le componenti (attività, materiali, altri supporti) che utilizzeremo per
influenzare il partecipante o un altro “oggetto del cambiamento”. Anche se nel diagramma le attività e gli strumenti figurano negli input, noi li consideriamo come prodotti nell’ambito del progetto.
Questo esempio ci mostra come il linguaggio tecnico della valutazione può indurre a confusione, ma
tenete presente che per il momento stiamo parlando della catena causale e non della valutazione del
programma.
Utilizzate delle frecce per rappresentare gli “input”. Dall’altro lato dell’“oggetto del cambiamento”,
una freccia conduce verso i risultati attesi. Alcuni risultati possono essere immediati, altri possono
“risultare dai risultati” La catena causale deve rappresentare al meglio la vostra idea di catena degli
avvenimenti e cominciare con il vostro intervento iniziale e le serie di risultati potenziali.
Lo schema della catena causale può diventare abbastanza complicato. Potremmo, per esempio, decidere di inserire altri elementi che influenzano l’ambiente e che consideriamo come risultati desiderati. Nell’effettuare la misura dell’impatto, vorremmo poi vedere se i risultati si spiegano in un’altra
maniera. Inoltre, potremmo avere la necessità di rivedere e adattare la nostra catena causale affinché
rappresenti i numerosi interventi effettuati nel corso del tempo o gli eventuali risultati a doppio senso
(per esempio, i partecipanti possono arrivare ad influenzare la riflessione dell’HRE Team dell’IS di
Amnesty International). Possiamo adattare questo schema alle nostre necessità, ma dovrà sempre
rappresentare le relazioni tra le parti coinvolte, le attività, il materiale e i processi.
Un’ultima osservazione. Lo schema della catena causale è uno strumento destinato a facilitare la
riflessione. Ha dunque una finalità pratica. Non potrà mai essere esaustivo. Tuttavia, deve essere concepito in modo da aiutarci a costruire un quadro che illustri il modo in cui si svolge il nostro programma.
QUADRI LOGICI: MODELLI PER ORGANIZZARE I NOSTRI PIANI DI MONITORAGGIO E VALUTAZIONE
I quadri logici, o “log – frames”, sono dei modelli che prevedono, di solito, spazi per l’analisi, indicatori di prodotti e risultati e mezzi di verifica. Questi quadri sono molto utili quando si prepara un piano di monitoraggio e valutazione e in genere vengono utilizzati quando si effettua un’analisi orientata
17
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
ai risultati. A volte i dati sono inseriti nel quadro che, per questo, si trasforma in uno strumento di
analisi. Esistono diversi quadri logici. Il diagramma 4 ne è un esempio.
I quadri logici derivano dalle catene causali. Possono illustrare la “teoria del cambiamento” e rappresentare i rapporti tra gli input e i prodotti o tra i prodotti e i risultati immediati. Questi quadri hanno
un punto debole: non permettono di tenere conto dei fattori complessi che avranno un’incidenza sui
risultati e dell’impatto oltre i limiti del progetto. Inoltre, un quadro non è di per sé uno strumento
di analisi che permette di dimostrare la causalità. Anche se il modo in cui i dati sono presentati in
un quadro logico può dare l’impressione di causalità, bisognerebbe ricorrere a un metodo molto più
rigoroso per stabilire questo legame. Il quadro logico è dunque principalmente uno strumento di aiuto
alla riflessione e alla pianificazione.
DIAGRAMMA 4: PARTI DEL QUADRO LOGICO DI UN DOCUMENTO DI PIANIFICAZIONE SULLA
VIOLENZA DOMESTICA
Riepilogo
Scopo
Ridurre la violenza
domestica contro le
donne in tre province
rurali.
Obiettivi
Dare alle donne,
attraverso l’EDU, il
potere di difendersi
dalla violenza
domestica.
Dotare i duty bearers
della possibilità di
realizzare/offrire servizi
contro la violenza
domestica grazie
ad attività EDU e di
sensibilizzazione.
indicatori
strumenti
di verifica
Riduzione del numero di Analisi delle statistiche
donne ferite o uccise dal provinciali.
coniuge/partner.
Analisi delle statistiche
degli ospedali.
rischi/
presupposti
Le statistiche
pubbliche sugli atti
di violenza domestica
registrati saranno
complete.
Analisi della
documentazione delle
organizzazioni della
società civile e dei
registri dei servizi
sociali.
Le statistiche
pubbliche
mostreranno le
tendenze generali
sugli atti di violenza
domestica.
I gruppi di sostegno
alle donne vittime della
violenza domestica sono
attivi e funzionanti.
Colloqui con gruppi
locali di donne, con
organizzazioni della
società civile.
Vengono applicate
delle politiche che
considerano gli atti di
violenza contro le donne
reati gravi.
Colloqui con i duty
bearers.
Le donne si
sentiranno
sufficientemente
sicure sul piano
psicologico e fisico
per difendersi in
caso di violenza
domestica.
Analisi delle politiche
governative.
I duty bearers
avranno la volontà
di agire a favore
della riduzione della
violenza contro le
donne.
18
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
Risultati previsti
Le donne riconoscono
che la violenza
domestica costituisce
una violazione dei
diritti umani.
Numero delle denunce
effettuate presso i
gruppi locali di donne,
le organizzazioni della
società civile, i servizi
sociali, la polizia.
Analisi dei registri dei
servizi interessati.
Attività
Fornire alle donne dei
corsi di formazione
EDU, principalmente
in merito alla
presentazione
delle denunce,
la negoziazione e
all’advocacy.
Numero di corsi
di formazione, di
partecipanti coinvolti e
di ore erogate.
Dati del programma di
Amnesty International.
Le donne
svilupperanno la
capacità di sporgere
Colloqui con il personale denuncia per atti di
dei servizi interessati.
violenza domestica
grazie a una
Sondaggi effettuati sulle formazione EDU.
Aumento del numero
Qualità dei servizi forniti donne prima e dopo una
delle denunce di
dai gruppi locali di
formazione e relativo
Le istituzioni
violenza domestica
donne, le organizzazioni follow up dopo sei mesi. renderanno
effettuate da donne.
della società civile,
disponibili i loro
i servizi sociali e la
Colloqui con un
registri sulle
Aumento del numero
polizia alle donne che
campione di donne che denunce per violenza
di casi di violenza
denunciano violenza
ha frequentato un corso domestica e i servizi
domestica regolati da
domestica. Stima in
di formazione.
forniti.
mediatori locali.
base al numero di casi
ricevuti e casi risolti.
Controllo dei registri dei Le statistiche del
Aumento del numero di
tribunali.
governo saranno
procedimenti intentati
Numero di casi di
affidabili e complete.
contro partner violenti. violenza domestica
giudicati dai tribunali.
Aumento del
numero dei centri di
accoglienza e di altri
servizi riservati alle
donne.
Fornire corsi di
formazione EDU a
gruppi e duty bearers
che hanno il compito
di far rispettare i diritti
delle donne.
Organizzare una
campagna di
sensibilizzazione che
chiami la società civile
a lottare contro la
violenza sulle donne.
Qualità delle sedute di
formazione: in termini
di contributi forniti per
il raggiungimento degli
obiettivi.
Numero delle
persone “raggiunte”
dalla campagna di
sensibilizzazione.
Sondaggi effettuati sui
partecipanti alla fine dei
corsi.
Numero di persone che
partecipano alle azioni
di sensibilizzazione e di
raccolta firme.
Sostegno da parte delle
personalità di rilevanza
pubblica / testimonials.
19
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
MODELLO A QUATTRO LIVELLI DI KIRKPATRICK: IL CAMBIAMENTO ATTRAVERSO LA FORMAZIONE
Per valutare le formazioni si utilizza spesso il modello di Kirkpatrick8 che classifica i risultati in quattro livelli:
•reazioni dei partecipanti – le loro riflessioni e impressioni sulla formazione;
•apprendimento – conoscenze o competenze migliorate al termine della formazione;
•comportamento/transfert – il grado o la portata del miglioramento del comportamento e delle capacità e la loro implementazione/realizzazione;
•risultati – ripercussioni delle azioni del partecipante all’interno del suo contesto quotidiano.
Il modello di Kirkpatrick è un modo di applicare la catena causale al particolare contesto di un programma di formazione. Nel capitolo 3 della presente guida troverete alcuni esempi che illustrano il
modo in cui vengono misurati questi livelli di risultati.
MAPPA DEI RISULTATI: ELABORARE PROGRAMMI EDUCATIVI RELATIVI ALLO SVILUPPO DI QUELLE CAPACITÀ IN GRADO DI PROVOCARE DEI CAMBIAMENTI
Per tener conto della complessità dei processi di cambiamento legati ai risultati a lungo termine, la
mappa dei risultati è orientata, durante la fase di elaborazione del programma, ai modi di provocare i
cambiamenti piuttosto che alla ricerca di indicatori di risultati. La mappa dei risultati è un approccio
di valutazione che utilizziamo quando ci troviamo ad elaborare programmi di sviluppo delle capacità
dei, e con, i nostri partner. Gli indicatori del lavoro dei partner possono essere sviluppati durante lo
svolgimento di un progetto, e lo stesso lavoro di Amnesty potrebbe essere visto come un “contributo”
e non come l’unica causa dei risultati osservati. Amnesty International può anche integrare la mappa
dei risultati dei quadri logici dei suoi progetti inserendo una colonna sullo sviluppo delle sue capacità
organizzative.
Più ci impegniamo nell’elaborazione dei programmi EDU, più sarà facile identificare i numerosissimi
risultati positivi che potrebbero esserne i prodotti. Se torniamo allo schema della catena causale,
forse ci accorgeremo che i programmi EDU non solo possono influenzare diversi destinatari e istituzioni (compresa Amnesty International), ma che nel tempo prenderanno forma ulteriori “Dimensioni del
cambiamento”. Lavoriamo in un ambiente complesso che comporta numerosi “oggetti del cambiamento” e contributi e che, con il tempo, ci offriranno le possibilità di produrre un impatto.
8. KIRKPATRICK, D.L. e altri, Evaluating Training Programs: The Four Levels, III edizione, San Francisco, Berrett–Koehler Publishers, citato da Equitas e l’Alto Commissariato
delle Nazioni Unite per i diritti umani (in uscita), Evaluating Human Rights Education Activities: A Handbook for Human Rights Educators, bozza, Giugno 2009, Ginevra, Alto
Commissariato delle Nazioni Unite per i Diritti Umani, p. 34.
20
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
capitolo 2
Monitoraggio e valutazione
di un progetto
Introduzione
In questo capitolo spiegheremo, fase per fase, come integrare il monitoraggio e la valutazione nella
pianificazione di un progetto.
Passi chiave
Fase
Fase
Fase
Fase
Fase
Fase
Fase
Fase
Fase
Fase
Fase
Fase
Fase
Fase
Fase
Fase
Fase
Fase
1: Si comincia!
2: Integrate il monitoraggio e la valutazione nella proposta di progetto
3: Raccogliete i dati di contesto durante l’elaborazione del progetto
4: Fissate le finalità e gli obiettivi del progetto
5: Stabilite il programma delle attività e i processi
6: Definite l’approccio iniziale per la raccolta dei dati
7: Elaborate un budget per il monitoraggio, la valutazione e la misura dell’impatto
8: Organizzate consultazioni partecipative
9: Precisate i presupposti relativi ai “processi di cambiamento”
10: Catalogate le attività che seguirete e valuterete
11: Catalogate i risultati che valuterete
12: Definite gli indicatori che rappresenteranno i risultati
13: Stabilite i metodi di raccolta dei dati
14: Decidete chi eseguirà le attività di monitoraggio e valutazione
15: Catalogate gli aspetti tecnici del monitoraggio e della valutazione
16: Stilate un piano di monitoraggio e valutazione
17: Pensate bene alle modalità di comunicazione relative al monitoraggio e alla valutazione
18: Pensate alla misura dell’impatto
Principali processi
IL LAVORO DI MONITORAGGIO E VALUTAZIONE, PARTE INTEGRANTE DEL NOSTRO PERCORSO DI
RIFLESSIONE CRITICA
Il monitoraggio e la valutazione sono parte integrante della pianificazione e della realizzazione di un
progetto. Essi saranno presenti dal momento in cui cominceremo a sviluppare un progetto e ci accompagneranno in tutte le fasi dello stesso, soprattutto nella fase in cui misureremo l’impatto alla fine
delle attività.
A nostro avviso, il monitoraggio e la valutazione possono giocare il ruolo di “amico critico”. La riflessione che bisogna condurre per effettuare una valutazione aiuterà Amnesty e i beneficiari a capire se
un programma si svolge come previsto, permettendoci così di migliorarlo man mano che procede, per
poi misurare l’ampiezza dei cambiamenti che siamo stati in grado di portare nella vita delle persone,
nelle politiche, così come nell’attivismo e nella nostra capacità di dare conto di quanto fatto (accountability).
IL LAVORO DI MONITORAGGIO E VALUTAZIONE COME PARTE INTEGRANTE DEI NOSTRI METODI
DI PIANIFICAZIONE
In questo capitolo, tratteremo il piano di monitoraggio e di valutazione come una componente fondamentale del progetto. Verranno presentate le principali attività e decisioni nelle varie fasi dello stesso:
l’ideazione, la pianificazione, la realizzazione, la reportisitica e gli ulteriori sviluppi. Poiché questo
capitolo non tratta nel dettaglio tutte le fasi dell’elaborazione e della realizzazione di un progetto, è
importante che abbiate già un’idea del suo svolgimento. Non esitate a consultare il “Friendly Project
21
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
Management Manual”9, un documento molto utile sul tema.
IL LAVORO DI MONITORAGGIO E VALUTAZIONE COME PARTE DEI NOSTRI PROCESSI PARTECIPATIVI
L’approccio basato sui diritti umani prevede che i beneficiari partecipino realmente alle decisioni e a
tutte le attività di pianificazione di un progetto. Al momento dell’elaborazione di un programma (così
come durante le altre fasi dello stesso), dovrebbero avere la possibilità di partecipare allo sviluppo
del piano di monitoraggio e di valutazione, alla raccolta dei dati, alla produzione delle conclusioni e
alla formulazione delle raccomandazioni che potrebbero produrre risultati migliori. La partecipazione
contribuisce alla qualità del programma e permette a ognuno di condividerne il senso di paternità.
Gli attori che partecipano al piano di monitoraggio e valutazione trarranno insegnamenti e vantaggi da
questa esperienza, poiché ne rinforzerà le capacità a livello collettivo e individuale. I processi partecipativi sono utili ma richiedono del tempo. Ciò nondimeno, bisogna prevederli in tutte le fasi del piano
di monitoraggio e valutazione.
9. Amnesty International, Friendly Project Management Manual, 2006.
22
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
Integrare il piano di monitoraggio e valutazione
sin dalla fase della concezione del progetto
Fase1: Si comincia!
TROVARE UN’IDEA DI PROGETTO EDU
Le varie Sezioni e Strutture di Amnesty International non adottano gli stessi metodi per elaborare un
progetto EDU. Qualche volta il Segretariato Internazionale propone loro nuove tematiche, ad esempio
nel quadro di programmi educativi o di campagne a livello internazionale. L’idea di un programma
EDU può nascere anche dai bisogni o dalle opportunità che emergono – nel contesto locale – grazie a
un’analisi rigorosa di quest’ultimo.
Il più delle volte, è presente nell’organico un/a collaboratore/trice responsabile dell’EDU incaricato/a
dell’elaborazione di nuovi progetti sul tema. Nella prima fase dell’elaborazione, questa persona di
solito sviluppa un’idea consultando degli esperti, ad esempio volontari o altri collaboratori di Amnesty
International, oppure alcuni beneficiari.
SOTTOPORRE LA VOSTRA IDEA AGLI ALTRI
Se vi è possibile, l’ideale sarebbe condurre una fase di consultazione rigorosa prima di cominciare a
elaborare la proposta di progetto. Con questo intendiamo scambi con le principali parti interessate
ma anche con una fetta più ampia di esse. Tuttavia, se alcuni ostacoli ve lo impediscono (ad esempio
problemi di tempo), potete effettuare consultazioni ridotte al momento dell’elaborazione del progetto
ed estenderle nella fase di pianificazione (una volta che un eventuale finanziamento è assicurato).
Poiché i donatori preferiscono le proposte derivanti da consultazioni, se vi è possibile, sarebbe meglio
organizzarle prima di presentare la proposta.
Fase 2: Integrate il monitoraggio e la valutazione nella proposta di progetto
Le proposte di progetti EDU devono prevedere una fase di monitoraggio e valutazione. Devono essere
abbastanza elaborate se si tratta di un grande progetto che si svilupperà su diversi anni e necessiterà di risorse importanti. Nel caso di programmi più piccoli, sarà sufficiente un rapido riferimento al
piano di monitoraggio e valutazione. A titolo esemplificativo, riportiamo di seguito una richiesta di
finanziamento interno di una Sezione.
STUDIO DI CASO 2: esempio di VALUTAZIONE tratto da una proposta di progetto edu
Il metodo di valutazione della Sezione consisterà in:
•uso di un questionario specifico per ciascuno degli incontri di formazione;
•valutazione “a caldo” dopo ogni sessione o attività;
•utilizzo dei rapporti di valutazione su: programma, partecipanti, presentazioni e svolgimento dei laboratori;
•realizzazione di una valutazione a metà percorso, (18 mesi dopo l’inizio del progetto), con il coordinatore del progetto
e i membri della rete EDU coinvolti;
•realizzazione di una valutazione finale alla fine dei tre anni di progetto. Questa verterà su tutte le attività sviluppate e sarà condotta dal coordinatore e dalle persone che hanno partecipato alla sua realizzazione.
Questo esempio si riferisce alla raccolta dei dati chiave e ai metodi, ma tralascia la finalità del progetto o gli obiettivi connessi che devono essere valutati. Non c’è nulla di strano in questo. Tuttavia,
23
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
anche quando la parte sul monitoraggio e valutazione è così breve, è possibile integrarvi le nostre idee
sulle finalità e gli obiettivi che andremo a valutare.
Potremmo quindi riscriverla così:
STUDIO DI CASO 3: esempio di VALUTAZIONE tratto da una proposta di progetto edu
Il metodo di valutazione della Sezione consisterà in:
•uso di un questionario specifico per ciascuno degli incontri di formazione;
•valutazione “a caldo” dopo ogni sessione o attività;
•utilizzo dei rapporti di valutazione su: programma, partecipanti, presentazioni e svolgimento dei laboratori;
•realizzazione di una valutazione a metà percorso, (18 mesi dopo l’inizio del progetto), con il coordinatore del progetto
e i membri della rete EDU coinvolti;
•realizzazione di una valutazione finale alla fine dei tre anni di progetto. Questa verterà su tutte le attività sviluppate e sarà condotta dal coordinatore e dalle persone che hanno partecipato alla sua realizzazione.
La Sezione effettuerà un monitoraggio continuo degli incontri di formazione, una valutazione formativa del
progetto a metà percorso e, alla fine dei tre anni di progetto, una valutazione finale. I beneficiari, soprattutto i partecipanti al programma, saranno coinvolti nella valutazione di metà percorso e nella valutazione finale.
Per effettuare il monitoraggio della realizzazione delle formazioni, faremo ricorso a valutazioni informali e continue che si terranno durante i laboratori e che ci permetteranno di modificare il programma a metà percorso. Distribuiremo inoltre dei questionari alla fine dei laboratori. Questi questionari documenteranno l’autovalutazione dei partecipanti rispetto al loro apprendimento su [indicare qui gli obiettivi dei formandi] e ai loro piani.
La valutazione formativa e la valutazione finale ricercheranno eventuali elementi che indichino, da un lato, che l’acquisizione delle conoscenze e delle competenze ha rafforzato la capacità di agire dei partecipanti, dall’altro, che c’è stato un evidente rafforzamento dell’attivismo (in Amnesty International e in altre ONG associate) e della capacità di “rendere conto” (da parte delle istituzioni).
L’ultimo paragrafo esamina i livelli di cambiamento richiesti dai programmi EDU di Amnesty International. Possiamo non fornire dettagli sui metodi utilizzati per effettuare le valutazioni (formativa e
finale), ma dobbiamo prevederne il costo nel budget. Di conseguenza, bisogna comunque riflettere su
certi dettagli anche se non sono presenti nella proposta.
Fase 3: Raccogliete i dati di contesto durante l’elaborazione del progetto
ANALISI PEST E SWOT
I progetti EDU di Amnesty International prevedono, come tutti i progetti o programmi, una fase
dedicata all’analisi. Amnesty International raccomanda di effettuare due tipi di analisi al momento
dell’elaborazione del progetto: le cosiddette analisi PEST e SWOT. In entrambi i casi, dovrete raccogliere i dati di base, alcuni dei quali potranno essere inclusi nella valutazione formativa e in quella
finale. Questi dati possono anche essere reperiti in alcuni rapporti, come i “Rapporti – paese” di
Amnesty International o nelle statistiche governative. In alcuni casi, potremmo dover mettere insieme
da soli questi dati, attraverso consultazioni con le parti interessate.
L’analisi PEST tiene in considerazione le grandi tendenze politiche, economiche, sociali e tecnologiche di un particolare contesto e dovrebbe essere in relazione con gli obiettivi dell’ISP. Sono le condizioni in cui lavoriamo e sulle quali non abbiamo un controllo diretto. Di conseguenza, probabilmente
non useremo questi dati nella nostra valutazione finale, poiché non possiamo prevedere se il nostro
programma influenzerà direttamente queste macro–condizioni.
L’analisi SWOT ci permette di definire i punti di forza e di debolezza di Amnesty International e del
suo programma EDU, individuando anche le opportunità e i rischi collegati ad essi. Questo tipo di
24
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
analisi ci spinge a risolvere i problemi che ci vengono posti dall’ambiente in cui lavoriamo10. Alcuni
dei dati raccolti durante questo tipo di esercizio potranno poi essere utilizzati durante le valutazioni
formativa e finale e per l’analisi dell’impatto. L’analisi SWOT può essere condotta piuttosto informalmente, fidandoci del giudizio del personale esperto di Amnesty International e dei beneficiari. Tuttavia, raccoglieremo con particolare attenzione le statistiche sui “punti di debolezza” e sulle “opportunità” (gli ambiti verso i quali potrebbe orientarsi il nostro programma) al fine di poterle utilizzare
successivamente.
ANALISI LEGATE ALL’APPROCCIO BASATO SUI DIRITTI UMANI
Le analisi legate all’approccio basato sui diritti umani completano quelle dei fattori PEST e SWOT.
Esse ci chiedono di:
•analizzare le cause profonde dei problemi relativi ai diritti umani che toccano il paese o l’ambiente
in cui lavoriamo al fine di individuare le violazioni e di definire gli obiettivi da raggiungere per porvi
un rimedio a lungo termine;
•identificare rights holders e duty bearers interessati dal tema dei diritti umani sul quale sarà improntato il nostro progetto, includendo un’analisi della “mancanza di capacità” che i rights holders
possono avere nel reclamare i propri diritti o i duty bearers nell’adempiere i propri obblighi.11
Analisi sulla mancanza di capacità. In un programma EDU in cui viene adottato un approccio basato
sui diritti umani si considera che il programma debba avere l’obiettivo di “colmare le carenze” che
minacciano la capacità dei rights holders e dei duty bearers. In alcuni casi, questo ci permetterà di
orientare in una nuova direzione i risultati dell’analisi SWOT e di creare un collegamento con le “Dimensioni del cambiamento” che Amnesty International ha definito per il suo lavoro. Se riprendiamo
l’esempio precedente, il potenziamento della capacità interna di realizzare programmi EDU (e di tutte
le altre organizzazioni associate con le quali potremmo lavorare) va di pari passo con:
•i cambiamenti a livello individuale: cambiamenti nella vita delle persone e potenziamento delle
capacità dei rights holders.
•i cambiamenti a livello istituzionale: cambiamenti nell’attivismo e nella mobilitazione.
Analisi delle cause profonde: se durante la fase di elaborazione del progetto volessimo condurre
un’analisi delle cause profonde (un insieme di metodi di problem solving per identificare le radici
dei problemi abituali o straordinari), raccoglieremmo tutte quelle informazioni relative al godimento
o alla privazione dei diritti umani nel nostro contesto. Se queste informazioni riguardano l’insieme
del paese, mentre il nostro programma EDU è di portata locale, non sarà affatto realistico consultare
le statistiche nazionali per sapere se il nostro lavoro ha delle ripercussioni a questo livello. Al contrario, se raccogliamo informazioni su scala locale o su un ambito particolare e il nostro programma è
orientato su questo livello di intervento, le informazioni saranno utili per la nostra analisi. Questi gli
elementi su cui dobbiamo riflettere quando effettuiamo dei lavori di analisi.
Analisi degli attori coinvolti: la nostra mappa iniziale dei rights holders e dei duty bearers deve includere gli stakeholders, con l’analisi degli interessi in gioco e delle relazioni di potere.12 In questo tipo
di analisi, identifichiamo le persone, i gruppi o le istituzioni chiave che potrebbero avere una particolare influenza sul nostro progetto, o beneficiarne. Le persone, gruppi o organizzazioni a cui si rivolgerà
il programma saranno gli “attori primari”. Gli altri rights holders e duty bearers, distinguendo quelli
che saranno coinvolti indirettamente nel nostro lavoro EDU da quelli che potrebbero esserne coinvolti
ma per i quali i risultati del nostro lavoro potrebbero contare enormemente, saranno i nostri “attori secondari”. Rappresentanti di queste due categorie parteciperanno alle consultazioni relative al nostro
progetto.
10. Troverete ulteriori dettagli sulle analisi PEST o SWOT: in Amnesty International, Friendly Project Management Manual, 2006, pp. 7–11.
11. Troverete ulteriori informazioni sull’analisi della situazione tramite un approccio basato sui diritti umani sul sito www.ohchr.org/Documents/Publications/FAQfr.pdf e più
precisamente, per quanto riguarda le analisi da condurre nel quadro di un programma sui diritti dei minori, sul sito (in inglese) www.crin.org/docs/Child_Rights_Situation_Analysis_Final%5B1%5D.pdf.
12. Si veda: Amnesty International, Friendly Project Management Manual, 2006, capitolo “Project Management Tools: Stakeholder Analysis”, che fornisce linee guida sull’analisi
degli attori coinvolti.
25
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
Poiché sarà l’analisi sulla “mancanza di capacità” dei rights holders e dei duty bearers che ci permetterà di elaborare verosimilmente il nostro programma EDU, le informazioni ottenute da questa analisi
dovranno essere particolarmente rilevanti per la nostra valutazione formativa e quella finale. Il messaggio è: approfittate dell’analisi della situazione per raccogliere informazioni che vi serviranno come
dati di base nella valutazione formativa e nella valutazione finale.
Fase 4: Fissate le finalità e gli obiettivi del progetto
Per trovarsi nella condizione di elaborare un piano di monitoraggio e valutazione orientato ai risultati
piuttosto che alla modalità di raccolta delle informazioni, dovremo definire in maniera precisa gli scopi e gli obiettivi del progetto EDU. Se questi sono stati stabiliti con cura, ci permetteranno di riflettere in anticipo sulla misura dell’impatto.
OBIETTIVO GENERALE DEL PROGETTO
L’obiettivo generale di un progetto o di un programma EDU è la sua “ambizione” globale a lungo termine, per esempio “stimolare il godimento dei diritti umani nelle persone che vivono in condizioni di
estrema povertà nel nostro paese”.
OBIETTIVI DEL PROGETTO
Gli obiettivi del progetto EDU sono i risultati che vogliamo ottenere in un lasso di tempo stabilito,
con un budget determinato, per esempio “il potenziamento della capacità di agire di X rights holders
attraverso l’acquisizione di conoscenze sui diritti umani, l’applicazione del sistema di difesa dei diritti
umani all’analisi dei problemi locali, e i meccanismi che permettono di esigere che i duty bearers
rispettino i diritti di queste X persone”.
Al momento della valutazione e della misura dell’impatto, dovremo passare in rassegna gli obiettivi
generali e specifici del programma EDU.
I risultati saranno trattati nella parte del progetto riservata al piano di monitoraggio e valutazione, o
durante la fase di ideazione. Probabilmente non sarà necessario definire immediatamente gli indicatori, ma dovremo farlo quando elaboreremo il piano di monitoraggio e valutazione. È quindi importante utilizzare un linguaggio preciso sin dalla fase di elaborazione degli obiettivi. I criteri che sono
stati applicati nell’elaborazione degli obiettivi di qualità corrispondono agli obiettivi SMART: specifici,
misurabili, accessibili, realistici e raggiungibili in un dato arco temporale (time bound)13. Una volta
determinati gli obiettivi SMART, sarà più semplice identificare gli indicatori associati.
Fase 5: Stabilite il programma delle attività e i processi
RISULTATI E PROCESSI DI CAMBIAMENTO
Durante la definizione dei progetti, cominceremo naturalmente a identificare le attività concrete da
portare avanti. Vorremo altresì voler chiarire i processi legati al cambiamento che cercheremo di determinare grazie al nostro programma EDU.
Ogni attività sarà associata a risultati specifici che inseriremo nel programma di monitoraggio e valutazione. All’interno del programma sarà inclusa anche una valutazione dei processi di cambiamento,
poiché questo strumento ci permetterà di stabilire se il lavoro EDU raggiunge i risultati previsti e in
che modo. Gli argomenti relativi al programma di monitoraggio e valutazione saranno affrontati più
avanti all’interno del capitolo.
13. Si veda: Amnesty International, Friendly Project Management Manual, 2006, capitolo “Definitions of terms – project planning and management” p.5.
26
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
Fase 6: Definite l’approccio iniziale per la raccolta dei dati
Per fissare il programma di monitoraggio e valutazione dovremo riflettere accuratamente sui metodi
di raccolta dei dati. Ecco perché può essere utile iniziare a pensarci fin dalla fase di elaborazione del
progetto.
RICERCA QUALITATIVA
Non è possibile concepire una valutazione EDU senza ricorrere a una ricerca qualitativa che comprenda interviste, osservazioni e sondaggi con domande aperte. Tale strumento è indispensabile poiché
il processo di apprendimento è qualcosa di complesso e personale. Per riuscire a comprenderlo è
dunque essenziale avere il punto di vista dei partecipanti.
RICERCA QUANTITATIVA
Una valutazione EDU può includere anche un’analisi quantitativa effettuata non solo sugli esiti del
progetto ma anche sulla presentazione dei risultati dei questionari, qualora essi contengano delle
domande chiuse.
La soluzione ideale è una valutazione dell’EDU in cui i dati ricavati dai due metodi di ricerca, qualitativa e quantitativa, siano accostati gli uni agli altri e in cui si tenga conto dei punti forti di entrambi. I
metodi di raccolta dei dati verranno specificati nella fase 13.
QUADRI LOGICI
Molti donatori esigono che la richiesta di finanziamento sia accompagnata da un quadro logico, per
dimostrare che il progetto è ben strutturato e orientato al cambiamento. Dovremo dunque costruire
un quadro logico che descriva l’obiettivo finale del progetto e i mezzi per riuscire a raggiungerlo, se
possibile. Una volta ottenuto il finanziamento, inizieremo a perfezionare il programma di monitoraggio
e di valutazione.
Di seguito viene riportato un esempio di quadro logico da includere in una proposta di progetto. Lo
schema è tratto dal documento di Amnesty International How to raise Millions Toolkit:14
DIAGRAMMA 5: esempio di quadro logico
spiegazione
esempio
obiettivo generale del
progetto
L’intenzione generale del
progetto
Ottenere una maggiore
autonomia sessuale per le donne
e una riduzione delle violenze
sessuali.
Obiettivi del progetto
Il cambiamento che intendete
ottenere attraverso il progetto.
Gli obiettivi del progetto
devono derivare esattamente
dalle necessità delle persone a
cui esso è rivolto. Gli obiettivi
devono essere inoltre concreti
e misurabili.
Denunciare i comportamenti
dell’ambiente sociale e della
famiglia, e la “sorveglianza
sessuale” a cui le donne sono
sottoposte.
14. Amnesty International, How to raise Millions Toolkit, 2008 (AI Index: FIN 21/002/2008).
Accrescere la reazione della
polizia di fronte agli atti di
violenza sessuale inflitti alle
donne, e ridurre la frequenza di
simili violenze.
27
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
spiegazione
attività
prodotti del progetto
risultati del progetto
Si tratta di quello che
intendete fare per raggiungere
gli obiettivi del progetto. È
importante spiegare ai donatori
la metodologia che intendete
utilizzare. Le attività proposte
sono state già testate e provate
o sono nuove? In quest’ultimo
caso, cosa vi spinge a ritenere
che funzioneranno?
Sono i risultati quantificabili
delle attività.
esempio
Organizzare corsi di formazione
e laboratori con i leader della
comunità.
Organizzare corsi di formazione
per giovani attivisti impegnati
nella lotta alla violenza contro le
donne.
Ricerche pubblicate, laboratori
svolti, opuscoli stampati e
distribuiti.
Sono costituiti dai
Politica approvata e attuata dal
cambiamenti veri e propri
governo.
generati dalle attività svolte.
A volte, sono meno facili da
quantificare rispetto ai prodotti
perché sono meno tangibili.
Devono rispecchiare il punto di
vista dei beneficiari.
I risultati possono essere
ulteriormente definiti in termini
di cambiamento in relazione
alle persone, alle famiglie, alle
comunità, alle organizzazioni.
impatto del progetto
Quando riflettete sui risultati
attesi, pensate a quei
cambiamenti che vi indurranno
ad affermare: «Ce l’abbiamo
fatta, perché abbiamo davvero
cambiato le cose.»
L’impatto può essere
La violenza sessuale verso le
considerato un cambiamento
donne si riduce.
a lungo termine. Se il risultato
indica un cambiamento
derivante dai prodotti del
progetto, l’impatto indica un
cambiamento di ampia portata,
a lungo termine, e corrisponde
al vostro obiettivo generale. A
volte, quando si sta svolgendo
un progetto a breve termine,
può essere difficile valutare
quale sarà il suo impatto a
lungo termine.
28
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
spiegazione
esempio
indicatori di successo
del progetto
L’intenzione generale del
progetto
Ottenere una maggiore
autonomia sessuale per le donne
e una riduzione delle violenze
sessuali.
Obiettivi del progetto
Un indicatore di successo
vi permette di determinare
se avete raggiunto o meno i
risultati del progetto e se si
sono verificati dei cambiamenti
nella vita delle persone. Gli
indicatori di cambiamento si
possono misurare in:
Aumenti (ad esempio del numero
di persone aventi accesso a
centri di assistenza e servizi).
Riduzioni (del numero di persone
vittime di discriminazioni e
violenze).
Cambiamenti politici (le autorità
riconoscono il desiderio di
cambiamento della popolazione
e modificano la legislazione e le
politiche).
Cambiamenti ambientali
(miglioramento della qualità
dell’acqua).
Fase 7: Elaborate un budget per il monitoraggio, la valutazione e la misura dell’impatto
DESTINATE AL CONTROLLO E ALLA VALUTAZIONE IL 5–10% DEL VOSTRO BUDGET
L’ultima domanda da porsi in merito all’elaborazione della proposta riguarda i mezzi che pensiamo di
destinare al monitoraggio e alla valutazione, questo perché il lavoro si ripercuoterà sul nostro budget.
La regola d’oro, in questo caso, è destinare il 5–10% del budget del progetto al monitoraggio e alla
valutazione, tenendo bene a mente che questa percentuale varierà in base a molteplici fattori, quali
la portata della valutazione finale, l’eventuale ricorso a un esperto esterno e la decisione di procedere
o meno alla misura dell’impatto.
LINEE DI BILANCIO
Al fine di procedere alle operazioni di monitoraggio e valutazione è importante, inizialmente, prevedere le seguenti voci di bilancio:
TABELLA 1: VOCI DI SPESA GENERALMENTE PRESENTI IN UN BILANCIO DI VALUTAZIONE E
MONITORAGGIO
•personale;
•una percentuale delle spese di funzionamento di Amnesty International (telefono, fax, Internet);
•mobilità (trasporto, spese di vitto e alloggio) quando la raccolta dei dati avviene in altro luogo
rispetto agli uffici di Amnesty International;
•attrezzature/materiali didattici (carta per fotocopiare i questionari, registratore per le interviste);
•software (se ad esempio è necessario acquistare un software per facilitare il lavoro di analisi);
•impaginazione e stampa dei rapporti.
Alcuni di questi costi rientreranno nelle spese generali della sede Amnesty. Altre potranno essere
distinte da quelle d’ufficio (ad esempio il software per le statistiche).
Se ricorrerete alla collaborazione di personale esterno, una parte del budget andrà destinato a questa
voce e alle spese a essa connesse. A questo tipo di lavoro possono partecipare diverse tipologie di
29
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
personale:
•Il coordinatore EDU o il responsabile di progetto. Sarà dunque necessario iscrivere a bilancio la
durata dell’attività del personale che prende parte al progetto.
•La Sezione può destinare al progetto EDU un valutatore interno, se ne esiste uno, e può anche
assumere una persona a tempo pieno o part–time.
•La Sezione può anche appaltare determinati lavori, come ad esempio l’inserimento e l’analisi dei
dati. A volte può essere di grande aiuto affidare questo tipo di lavoro a capaci laureati delle università locali.
•In alcuni casi, la Sezione selezionerà dei valutatori esterni per ottenere supporto relativamente ad
alcuni aspetti tecnici della valutazione, o nella raccolta di nuove informazioni specifiche. Alcuni
donatori possono inoltre richiedere il ricorso ad un valutatore esterno per eseguire le valutazioni
conclusive, in modo da limitare il rischio di parzialità. Un valutatore esterno, tuttavia, non conoscerà nei minimi dettagli la struttura del progetto e dovrà dunque lavorare a stretto contatto con
il responsabile e, qualora fosse necessario, con il valutatore interno. Se pensate di ricorrere ad un
valutatore esterno, la spesa da sostenere andrà iscritta nel bilancio previsionale.
ELABORARE UN PIANO DI MONITORAGGIO E VALUTAZIONE
La fasi descritte di seguito riguardano l’elaborazione di un programma di monitoraggio e valutazione
che mette in evidenza il rapporto tra gli obiettivi, le finalità, i risultati, gli indicatori e gli strumenti di
verifica del progetto.
Lo studio di caso 4 è tratto da un programma di monitoraggio e valutazione predisposto sotto forma di
quadro logico. Potrete trovare altri due esempi dettagliati di quadri logici di monitoraggio e di valutazione utilizzati nei progetti EDU di Amnesty International tra gli allegati (in inglese) (➔01.REAP
Logframe e ➔02. Africa HRE Log Frame).
STUDIO DI CASO 4: QUADRO LOGICO DI MONITORAGGIO E DI VALUTAZIONE PER PARTECIPANTI
A UNA FORMAZIONE DI TRE GIORNI
Obiettivo 3: Rafforzamento della capacità di agire (empowerment) dei rights holders, sia a livello
individuale che collettivo, a favore della promozione dei diritti umani in ambito pubblico e privato.
prodotti
risultati
indicatori
strumenti di
verifica
Partecipazione a una
sessione di formazione
di tre giorni.
I partecipanti conducono diverse attività
per promuovere i diritti
umani in ambito pubblico, inclusi il saper
esprimere i propri punti
di vista, l’organizzazione di attività di sensibilizzazione; l’organizzazione di campagne
congiunte per quanti
sono privati delle
libertà e dei diritti;
pressione sui principali
responsabili politici.
I partecipanti conducono laboratori, corsi di
formazione o sessioni
formative strutturati sui
diritti umani e sull’EDU
rivolte ad “esterni”.
Partecipazione alle
azioni di Amnesty
International (nuova
attività).
Partecipazione all’assunzione di decisioni
politiche della comunità locale (nuova attività).
Questionario distribuito
sei mesi dopo la fine
della formazione.
Intervista con focus
group.
30
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
Il contenuto fondamentale dei quadri logici è composto dai seguenti elementi: prodotti, risultati,
indicatori relativi e strumenti di verifica. Da notare come il prodotto del progetto (la formazione) possa
essere anch’esso considerato un input dal punto di vista dei partecipanti.
I risultati saranno raccolti in modo da rispecchiare le diverse tipologie di attività del progetto, la
cronologia degli eventi pianificati o le “Dimensioni del cambiamento”. In qualità di responsabili del
progetto EDU, potremo scegliere liberamente come disporre gli elementi e aggiungere nuove categorie di dati (ad esempio i “presupposti”) da inserire nel quadro logico, a seconda dei destinatari cui il
progetto è rivolto e delle necessità del caso.
Fase 8: Organizzate consultazioni partecipative
I DIVERSI ATTORI COINVOLTI
L’elaborazione di un programma di monitoraggio e valutazione dovrebbe essere un processo partecipativo che coinvolga il responsabile del progetto EDU, gli altri membri del gruppo e tutti gli attori
coinvolti, sia primari che secondari. Queste diverse parti interessate possono includere altre persone
(potenziali partecipanti e formatori chiave), altre ONG o organizzazioni della società civile, istituzioni
educative e il governo. Il gruppo di progetto EDU avrà già avuto modo di lavorare sulla proposta di
progetto, probabilmente consultando un piccolo gruppo di beneficiari.
LABORATORIO DI CONSULTAZIONE DELLA DURATA DI UN GIORNO
Un più vasto processo di consultazione, ad esempio sotto forma di laboratorio della durata di un giorno, può permettere di riflettere sui dettagli specifici e i problemi logistici collegati al monitoraggio e
alla valutazione del progetto. Questa consultazione potrà inoltre favorire anche lo sviluppo di una cultura e di un processo di “riflessione critica” sul progetto. Tutti i punti contenuti nel presente capitolo
possono essere affrontati durante la consultazione tra le parti interessate, anche se alcuni dettagli
pratici potranno dover essere rivisti più avanti dal gruppo del progetto EDU.
RICORSO A UN VALUTATORE
Se la Sezione o la Struttura di Amnesty International decide, nell’ambito del progetto, di ricorrere a
un valutatore interno o esterno, quest’ultimo dovrà partecipare a partire da questa fase, in modo da
avere la possibilità di prendere parte all’elaborazione del piano di monitoraggio e valutazione. Dovrà
essere coinvolto e lavorare assieme alle parti interessate in tutte le fasi al fine di ottimizzare il loro
contributo, il suo ruolo dovrà quindi includere competenze in materia di facilitazione e sviluppo del
gruppo, oltre che capacità di negoziazione.
SVILUPPO DELLE CAPACITÁ DI MONITORAGGIO E VALUTAZIONE
Questo laboratorio di pianificazione partecipata permetterà non solo di elaborare un piano di monitoraggio e valutazione, ma anche di facilitarne il senso di “paternità” e l’impegno a vederlo realizzato.
Andrà inoltretenuto in considerazione che non tutte le parti interessate possono avere una grande
esperienza pratica di monitoraggio e valutazione. Potrà dunque rivelarsi indispensabile rafforzare le
loro capacità per quanto concerne le “basi” e proporre assistenza e formazione continua per tutta la
durata del progetto. Spetterà a noi coltivare le capacità delle parti interessate affinché il loro impegno
nella pianificazione del monitoraggio e della valutazione, e nella loro successiva realizzazione, sia
utile e proficuo.
GRUPPO CONSULTIVO
Da questo ampio gruppo di attori potremmo selezionare un sottogruppo di persone disponibili a collaborare con noi in modo più stretto e continuativo alla realizzazione del programma. Si potrà optare
per l’elaborazione di termini di riferimento che permettano di definire i ruoli delle parti interessate e
la misura della loro partecipazione. Queste ultime dovranno poter svolgere ruoli utili e proficui ed essere anche disposte a dedicare tutto il tempo e le energie necessarie a ricoprire appieno il loro ruolo
nell’ambito della valutazione. Il budget di progetto dovrà naturalmente includere una stima del costo
per la partecipazione dei diversi attori interessati.15
15. Canadian International Development Agency, How to Perform Evaluations – Participatory Evaluations. Quebec: CISA, 2001, pp. 3–4.
31
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
Fase 9: Precisate i presupposti relativi ai “processi di cambiamento”
I NOSTRI PROCESSI DI CAMBIAMENTO
Prima di entrare nelle questioni logistiche riguardanti la raccolta dei dati, dobbiamo fare un passo
indietro e riflettere sui presupposti correlati al modello di “cambiamento” per il nostro programma
EDU.
Tenendo conto degli obiettivi del progetto, quali processi di cambiamento ci proponiamo di fissare? In
che modo le fasi del programma EDU potranno favorire il cambiamento? Quale sarà il metodo in base
al quale il cambiamento potrà essere valutato? Per rispondere a queste domande si può fare riferimento alla “Logica del cambiamento” descritta nel primo capitolo di questo manuale.
È importante che la nostra riflessione poggi su questi elementi, perché alla fine del progetto non valuteremo solo i risultati delle nostre attività, ma anche i presupposti stessi sui quali si fonda l’ideazione
stessa del progetto.
STUDIO DI CASO 5: PROCESSI DI CAMBIAMENTO IN RAPPORTO ALL’UTILIZZO DI UN NUOVO
STRUMENTO EDUCATIVO
Il progetto EDU può comportare lo sviluppo di uno strumento educativo (o di una risorsa). Le attività svolte includeranno
l’elaborazione di tale strumento (tenendo conto delle necessità e delle situazioni locali dei diritti umani) nonché la sua
distribuzione durante i corsi di formazione. Potremmo proporre ai partecipanti dei corsi di formazione di organizzare
delle attività tratte da questo strumento per lavorare con i giovani all’interno delle scuole o in contesti di educazione
non formale. Desideriamo che l’utilizzo di questa risorsa permetta ai giovani di rafforzare le loro capacità in materia di
diritti umani.
Questo elemento del progetto presume l’esistenza di una serie di presupposti. Bisogna partire dal fatto che gli educatori
partecipino ai corsi di formazione e che abbiano una certa familiarità con il materiale educativo: (a) che siano sufficientemente motivati per utilizzarlo, (b) che siano in grado di usare e svolgere le attività in esso contenuto, (c) che abbiano
la possibilità di farlo. Bisogna anche supporre (e sperare) che i giovani che prendono parte alle attività organizzate da
questi educatori acquisiscano le capacità in materia di diritti umani (ed esistono diversi metodi per verificarlo).
Definire in modo chiaro questi presupposti ci aiuterà a individuare quei fattori interni ed esterni in grado di influire sui
risultati (ad esempio le caratteristiche generali degli educatori, la possibilità di “insegnare” i diritti umani nelle scuole o
in contesti non formali e la situazione politica del paese). Potremo altresì affidarci alle analisi da noi effettuate sui fattori
PEST, SWOT e su quelle realizzate attraverso l’approccio basato sui diritti umani per individuare altri elementi ambientali
in grado di sostenere o ridurre l’efficacia degli elementi del programma.
Questi fattori, strettamente connessi ai nostri presupposti, dovrebbero poi essere integrati nel programma di monitoraggio e valutazione. Seguendo lo stesso principio, cercheremo di verificare quanto gli educatori siano motivati all’“insegnamento” dei diritti umani sia prima che dopo la loro partecipazione al corso di formazione. Cercheremo di comprovare la
loro capacità di utilizzare metodologie partecipative e di “seguirli” così da verificare se sono riusciti a realizzare inziative
EDU con giovani. I nostri presupposti vanno verificati con regolarità.
Questi presupposti contribuiranno allo sviluppo del piano di monitoraggio e valutazione, in particolare per quanto riguarda il contenuto dei questionari da somministrare ai partecipanti ai corsi di formazione, e il follow up. Quando il progetto
sarà giunto a metà percorso, dovremo rivedere i nostri presupposti nella fase di valutazione formativa. Se necessario,
potremo rettificare sia i presupposti che le strategie progettuali ad essi associate.
Fase 10: Catalogate le attività che seguirete e valuterete
•Le proposte di progetto e le questioni affrontate nelle fasi 4 e 5 ci hanno permesso di determinare
lo scopo generale, gli obiettivi, le strategie e le attività connesse.
•Questi elementi sono già organizzati secondo uno schema gerarchico e logico.
32
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
•Abbiamo individuato partner e principali beneficiari, di cui vogliamo osservare e capire i processi di
cambiamento.
•Abbiamo identificato le altre parti interessate.
•Abbiamo ulteriormente chiarito i nostri presupposti relativamente ai processi di cambiamento.
Tutto ciò costituisce il “cosa” del nostro monitoraggio e valutazione.
PRODOTTI
La prima fase di elaborazione di un piano completo di monitoraggio e valutazione può consistere
nell’individuare i prodotti connessi alle attività che intendiamo svolgere.
Qui di seguito viene elencata una serie di prodotti comuni ai programmi EDU:
•numero di lezioni o di corsi di formazione;
•numero di partecipanti alle lezioni o ai corsi di formazione;
•numero di pubblicazioni e loro qualità;
•numero di attivisti nella rete EDU di Amnesty International;
•numero di organizzazioni partner;
•numero di incontri di consultazione con i beneficiari e loro qualità;
•attività di lobby rivolte ai Ministeri dell’Istruzione;
•risorse utilizzate per i programmi;
•produzione di relazioni annuali.
Fase 11: Catalogate i risultati che valuterete
DIMENSIONI DEL CAMBIAMENTO DI AMNESTY INTERNATIONAL
Qualora le iniziative non fossero già organizzate in questo senso, forse sarà necessario rivedere gli
obiettivi e le attività inserite nel piano di monitoraggio e valutazione per poterli inserire nel quadro
relativo alle “Dimensioni del cambiamento” di Amnesty International. Le Dimensioni del cambiamento sono descritte nel capitolo 1, il quadro, invece, è tra gli allegati.
Il seguente elenco ha valore puramente indicativo e non è esaustivo, sarà quindi probabilmente necessario adattarlo al nostro progetto. In teoria, sarebbe comunque opportuno riprodurre ognuno dei tre
livelli di seguito proposti (derivati da 4 livelli originali delle “Dimensioni del cambiamento”).16
CAMBIAMENTI NELLA VITA DELLE PERSONE (l’“unità di analisi” è l’individuo)
•Empowerment dei rights holders derivante dalle nuove conoscenze sulla natura dei diritti umani,
sull’applicazione del sistema di tutela dei diritti umani per l’analisi dei problemi locali e sull’applicazione dei meccanismi che permettono di esigere il rispetto dei diritti da parte dei duty bearers;
•Empowerment derivante dai cambiamenti di valori, di comportamenti e di competenze in relazione
ai diritti umani e alla capacità di promuoverli tramite azioni individuali e collettive;
•Empowerment derivante dalle azioni dei rights holders, a livello individuale e collettivo, per la promozione dei diritti umani nella sfera pubblica e privata;
•Accrescimento del godimento dei diritti umani per le persone e i gruppi.
CAMBIAMENTI NELL’ATTIVISMO E LA MOBILITAZIONE (l’“unità di analisi” sono le ONG)
•Cambiamenti nelle competenze o nella capacità di mobilitazione e di attivismo dei gruppi organizzati che rappresentano i rights holders (ad esempio ONG, organizzazioni della società civile e
movimenti sociali);
•Numero di organizzazioni che operano a favore dei diritti umani;
16. I livelli 3 e 4 delle “Dimensioni del cambiamento” di Amnesty International (“render conto” e politiche), entrambi riguardanti i duty bearers, sono stati raggruppati in un unico
punto per maggiore semplicità.
33
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
•Cambiamenti a livello della collaborazione e della sinergia strategica tra le suddette organizzazioni;
•Livello di partecipazione delle organizzazioni ai processi decisionali dei duty bearers;
•Numero di persone impegnate nella mobilitazione, nelle campagne e nell’advocacy di Amnesty
International;
•Numero di persone che fanno parte di Amnesty International in qualità di soci e/o appartengono
alla sua rete di collaboratori.
•CAMBIAMENTI NELLE POLITICHE E NELL’ACCOUNTABILITY (l’“unità di analisi” sono gli organi
governativi, le organizzazioni intergovernative e altri attori non statali)
•Accrescimento della capacità di “dare conto” attraverso le conoscenze dei duty bearers in materia
di diritti umani e dell’obbligo, che compete loro, di rispettarli;
•Elaborazione di nuovi programmi/leggi/politiche connessi ai diritti umani o all’EDU;
•Realizzazione di nuovi programmi/leggi/politiche connessi ai diritti umani o all’EDU;
•Livello di impegno istituzionale nella realizzazione di politiche/programmi EDU (dibattiti, risposte,
finanziamenti);
•Livello di accoglienza dei diritti umani o dell’EDU da parte dei gruppi della società civile;
•Livello di trasparenza dei processi istituzionali;
•Misura dei mezzi di partecipazione delle organizzazioni della società civile nei processi decisionali;
•Cambiamento nel dibattito e nell’opinione pubblica.
UNITÁ DI ANALISI
Come avrete notato l’“unità di analisi” è diversa per ognuna delle “Dimensioni del cambiamento”.
Quando effettuiamo la raccolta dei dati per la prima “Dimensione del cambiamento” (cambiamenti
nella vita delle persone), il nostro interesse si focalizza sui risultati per i singoli partecipanti ai quali
sono destinati i programmi EDU. Questi risultati si possono dimostrare attraverso cambiamenti quali,
ad esempio, l’acquisizione di nuove conoscenze in materia di diritti umani, il rafforzamento dell’attivismo e un maggiore godimento dei diritti umani. Nell’ambito della seconda “Dimensione”, “cambiamenti nell’attivismo e la mobilitazione”, questi vengono studiati in relazione alle capacità delle ONG
come Amnesty International. Per quanto riguarda l’ultima “Dimensione del cambiamento”, invece,
procediamo all’esame dei risultati in rapporto alle politiche e alla capacità di “rendere conto” di un
insieme di istituzioni, ma in particolar modo dei duty bearers.
Raggruppando i risultati in base a questi tre tipi di cambiamenti e di unità di analisi, possiamo riscontrare delle sovrapposizioni tematiche. A titolo di esempio, la motivazione e il comportamento delle persone che cerchiamo di coinvolgere nell’attivismo andrebbero registrate nel primo livello (“cambiamenti nella vita delle persone”) poiché si tratta di risultati ottenuti in ambito individuale. Tuttavia,
questi elementi possono essere interpretati anche come cambiamenti nella capacità di Amnesty International di mobilitare le reti EDU. I risultati andrebbero, in questo caso, rubricati nei “cambiamenti
nell’attivismo e la mobilitazione”. Sarà quindi necessario acquisire una progressiva familiarità con i
livelli di cambiamento e con il modo in cui i risultati dei nostri programmi EDU si inseriscono in essi.
SVILUPPO DELLE CAPACITÁ DEI PARTNER
Nell’ambito di alcuni progetti EDU, Amnesty International può cercare di sviluppare le capacità delle
ONG partner. Se siamo in grado di prevedere i risultati dei nostri partner all’interno del progetto, allora avremo anche la capacità di elaborare un programma di monitoraggio e valutazione che inserisca
questi risultati nella categoria “Cambiamenti nell’attivismo e la mobilitazione”, riguardante il settore
della società civile.
Quando, invece, non siamo in grado di prevedere i risultati dello sviluppo delle capacità dei nostri
partner, ma auspichiamo di riuscire a capire questi processi di cambiamento, possiamo creare una
sottosezione separata all’interno del nostro programma di monitoraggio e valutazione. La sezione conterrà le strategie di supporto rivolte ai nostri partner e, con il progredire delle loro capacità, i prodotti
e i risultati specifici riferiti al loro lavoro. Questa parte del programma di monitoraggio e valutazione
sarà messa a punto in collaborazione con i nostri partner, così come il programma di monitoraggio e
valutazione più ampio sarà elaborato consultando un più ampio gruppo di attori interessati.
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
STUDIO DI CASO 6: SVILUPPO DELLE CAPACITÁ DI INSEGNANTI E DI PARTNER MINISTERIALI
Un progetto EDU di Amnesty International condotto nelle scuole secondarie di secondo grado, ad esempio, può avere
l’obiettivo di migliorare la comprensione e l’impegno degli studenti nella promozione di una cultura dei diritti umani,
coinvolgendoli anche nella partecipazione alle campagne e alle azioni di Amnesty International. Questo sarebbe il
risultato generale del progetto.
diagramma
6:DIesempio
di mappa dei risultati
SCHEMA 6: ESEMPIO
MAPPA DEI RISULTATI
MODELLO LOGICO DI MAPPATURA
DEI RISULTATI
Risultati:
cambiamento nelle
prassi dei partner
come risultato delle
azioni dell’agente di
cambiamento
Azioni dell’agente
di cambiamento
che condurranno ai
risultati
Partner A
“Mission” dell’agente
di cambiamento
Partner B
Partner C
Marcatori di
progresso che:
Marcatori di
progresso che:
Amerei
vedere
Amerei
vedere
Amerei
vedere
Mi piacerebbe
di vedere
Mi aspetto
di vedere
Obiettivo
Mi piacerebbe
di vedere
Indicatori di
obiettivo (e fonti)
Salto di
attribuzione
Marcatori di
progresso che:
Risultato
Difficoltà
Le prassi cambiate
nei partner
contribuiscono al
raggiungimento della
visione
APPROCCIO DEL QUADRO LOGICO
“Vision”
del partner
Risultato
Difficoltà
35
Come parte di questo progetto, Amnesty International lavorerà in contatto con il Ministero dell’Istruzione in modo da
permettere agli insegnanti di utilizzare in classe i materiali EDU. Di conseguenza, esisteranno due gruppi di attori le
cui attività influiscono sui risultati del progetto: i funzionari del Ministero dell’Istruzione e gli insegnanti che, oltre a
ricevere i materiali da Amnesty, seguiranno anche delle sessioni di formazione. Per ognuno degli attori succitati, possiamo creare una sottosezione nel piano di monitoraggio e valutazione ed elaborare strategie interne atte a sviluppare
le loro capacità. La parte riguardante il monitoraggio e valutazione del lavoro con il Ministero dovrebbe includere: le
attività svolte da Amnesty International (prodotti), come ad esempio incontri e laboratori con i funzionari ministeriali, e
IMPARARE DALL’ESPERIENZA
i risultati
pereilvalutazione
Ministero come, ad esempio, un protocollo d’intesa che autorizza l’uso nelle scuole dei materiali EDU di
Guida
al monitoraggio
nell’Educazione ai diritti umani
Amnesty International.
Risultato
Difficoltà
34
Indicatori di
risultato
Risultato
Indicatori di
prodotto 1
Prodotto 1
Mi piacerebbe
di vedere
Mi aspetto
di vedere
Mi aspetto
di vedere
Strategia per
il partner B
Strategia per
il partner C
Indicatori di
prodotto 2
Prodotto 2
Prodotto 3
Strategia per
il partner A
Attività 1
Presupposti a
livello di risultato
Attività 2
Presupposti a
livello di prodotto
Indicatori di
prodotto 3
Attività 3
Presupposti a
livello delle attività
Prassi organizzative dell’agente di cambiamento
Formulazione della situazione
desiderata così come delle prassi e
dei comportamenti dei partner
Obiettivo generale/Vision (i beneficiari)
Indicatori di obiettivo
Risultato di progetto
Indicatori di risultato
Descrizione dei cambiamenti
concreti cui il progetto mira
Descrizione dei compiti e delle
attività dei partner
(le loro responsabilità)
Definizione di compiti e ruoli del
gruppo di progetto nonché dei
prodotti che saranno forniti ai
partner
Mission: definire il supporto
generale da parte dell’agente di
cambiamento esterno
Partner A
Difficoltà nel raggiungimento
dei risultati
Input
Partner B
Difficoltà nel raggiungimento
dei risultati
Presupposti a livello di
risultato
Marcatori di progresso
Input
Indicatori di prodotto
Attività di progetto
Attività di progetto
Mission dell’agente di cambiamento e project management (budget, risorse umane, prassi organizzative)
Fonte: D. Roduner, W. Schlappi e W. Egli, Logical Framework Approch and Outcome Mapping. A Construcitve Attempt at Synthesis.
Zurigo, AGRIDEA e NADEL, 2008, p. 18.
Il diagramma 6 rappresenta un sistema di sviluppo di monitoraggio e valutazione, una sorta di mappa
dei risultati illustrati nel capitolo 1 che offre i seguenti vantaggi:
•Si focalizza sui risultati misurabili, grazie a una chiara rappresentazione delle responsabilità, dei
ruoli e delle tappe misurabili.
•Si focalizza sull’apprendimento e la partecipazione, tramite un processo continuativo di programmazione partecipativa, di gestione del processo orientato all’apprendimento e alla gestione delle
Fonte:
D. Roduner, W. Schlappi e
W. Egli, Logical Framework
Approch and Outcome
Mapping. A Construcitve
Attempt at Synthesis.
Zurigo, AGRIDEA e
NADEL, 2008, p. 18.
35
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
informazioni con il coinvolgimento di tutte le parti interessate.
•Si caratterizza per trasparenza, “paternità” e obbligo di “rendere conto”, in relazione allo sviluppo
delle capacità dei partner, con una “paternità condivisa” del monitoraggio e valutazione, responsabilità chiaramente definite, e rispetto della trasparenza e dell’obbligo di “rendere conto”.17
Dopo aver inserito le nostre attività di progetto nelle varie categorie riguardanti le “Dimensioni del
cambiamento”, possiamo ricavare i risultati e le misure specifiche.
ILLUSTRAZIONE DEL METODO DI INDIVIDUAZIONE DEI RISULTATI PER I RIGHTS HOLDERS IN
UN PROGRAMMA EDU
Il seguente esempio potrebbe essere utilizzato come esercizio per lo sviluppo delle capacità in un
laboratorio di pianificazione consultiva con le parti interessate.
Gli obiettivi riguardanti i rights holders in un programma EDU sono tre:
1.Empowerment dei rights holders derivante dalle nuove conoscenze sulla natura dei diritti umani,
sull’applicazione del sistema di tutela dei diritti umani per l’analisi dei problemi locali e sull’applicazione dei meccanismi che permettono di esigere il rispetto dei diritti da parte dei duty bearers;
2.Empowerment derivante dai cambiamenti di valori, di comportamenti e di competenze in relazione
ai diritti umani e alla capacità di promuoverli tramite azioni individuali e collettive;
3.Empowerment derivante dalle azioni dei rights holders, a livello individuale e collettivo, per la
promozione dei diritti umani nella sfera pubblica e privata;
Questi obiettivi evidenziano già in modo diretto alcuni risultati specifici che possono diventare oggetto
di analisi. Di conseguenza, il prossimo compito che andremo ad affrontare consisterà nel suddividere
questi obiettivi di vasta portata in risultati di portata più ridotta, dopodiché distingueremo le misure
associate a ognuno dei suddetti risultati.
Obiettivo 1: Empowerment dei rights holders derivante dalle nuove conoscenze sulla natura dei
diritti umani, sull’applicazione del sistema di tutela dei diritti umani per l’analisi dei problemi locali
e sull’applicazione dei meccanismi che permettono di esigere il rispetto dei diritti da parte dei duty
bearers;
Risultati (non esaustivi18):
•Conoscenze relative alla DUDU e al sistema internazionale di tutela dei diritti umani;
•Conoscenze relative ai trattati internazionali ratificati dal paese;
•Conoscenze relative ai meccanismi dei trattati e sull’obbligo di “rendere conto” degli stati;
•Conoscenze relative alla situazione dei diritti umani nel paese;
•Conoscenze relative ai motivi per i quali le violazioni dei diritti umani hanno luogo;
•Presa di coscienza riguardo al fatto che i duty bearers hanno l’obbligo di rispettare, tutelare e applicare i diritti umani;
•Conoscenze relative ai metodi per far valere i propri diritti quando i duty bearers vengono meno ai
loro obblighi.
Obiettivo 2: Empowerment derivante dai cambiamenti di valori, di comportamenti e di competenze in
relazione ai diritti umani e alla capacità di promuoverli tramite azioni individuali e collettive;
Risultati (non esaustivi):
•Consapevolezza che i principi dei diritti umani sono applicabili alla vita quotidiana;
•Volontà di saperne di più sui diritti umani;
•Desiderio di contribuire alla promozione dei diritti umani;
17. D. Roduner, W. Schläppi e W. Egli, Logical Framework Approach and Outcome Mapping. A Constructive Attempt at Synthesis. Zurigo, AGRIDEA e NADEL, 2008, p.16.
18. Sul sito dello Human Rights Education Associates: www.hrea.org/index.php?base_id=104&language_id=1&erc_doc_id=5452&category_id=2&category_type=3&group, è disponibile un elenco delle potenziali competenze riguardanti l’EDU a cura di L. Davies e altri, Human Rights Education Core Competencies, 2010.
36
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
•Desiderio di agire su quei comportamenti contrari ai diritti umani (come ad esempio il bullismo);
•Sensazione di essere in grado di cambiare le cose, magari anche da soli;
•Altruismo/empatia nei confronti di coloro che subiscono violazioni dei diritti umani (in particolare i
gruppi più vulnerabili);
•Desiderio di collaborare con altre persone al fine di promuovere i diritti umani.
Obiettivo 3: Empowerment derivante dalle azioni dei rights holders, a livello individuale e collettivo,
per la promozione dei diritti umani nella sfera pubblica e privata;
Risultati (non esaustivi):
•Trovare le informazioni e le fonti sui diritti umani corrispondenti alle necessità e agli interessi personali e professionali;
•Partecipare attivamente al dibattito sui diritti umani;
•Utilizzare il sistema di tutela dei diritti umani per porre fine ai conflitti interpersonali; applicare le
conoscenze sui diritti di ciascuno per difenderli nelle situazioni in cui altre persone ve ne privano;
•Dimostrare sicurezza, motivazione e capacità direzionali, oltre che competenze nel costruire e mantenere il lavoro collaborativo;
•Condurre azioni diverse atte alla promozione dei diritti umani nella sfera pubblica. Saper esprimere
il proprio punto di vista e organizzare attività di sensibilizzazione; organizzare campagne a favore
delle persone private dei loro diritti e delle loro libertà o partecipare alle stesse; esercitare pressione sui principali responsabili politici.
Fase 12: Definite gli indicatori che rappresenteranno i risultati
A questo punto bisogna riflettere su come misurare i nostri risultati. Molto spesso, a questo scopo, si
fa ricorso all’uso di indicatori, ma esistono altri metodi per svolgere tale compito.
INDICATORI
Un indicatore è una descrizione degli elementi che possono essere misurati per determinare fino a
che punto sono stati raggiunti gli obiettivi e i risultati.
Un indicatore non può rispecchiare l’insieme dei cambiamenti, ma contribuisce a dimostrare che
qualcosa è avvenuto.
Se utilizzato nell’ambito di un programma di monitoraggio e valutazione, un indicatore offre una base
valutativa dei progressi, dei cambiamenti o delle prestazioni.
Durante la fase di programmazione, è importante definire diversi indicatori per ognuno dei nostri
risultati.19
DATI QUALITATIVI E QUANTITATIVI
Sebbene i dati degli indicatori dovranno essere presentati in forma numerica, i dati di partenza possono anche essere qualitativi. Per fare un esempio, uno dei risultati da noi evidenziati è il seguente:
Condurre azioni diverse atte alla promozione dei diritti umani nella sfera pubblica. Saper esprimere il proprio punto di vista e organizzare attività di sensibilizzazione; organizzare campagne a
favore delle persone private dei loro diritti e delle loro libertà o partecipare alle stesse; esercitare
pressione sui principali responsabili politici.
L’indicatore connesso, abbastanza probabile per un programma EDU:
Condurre laboratori, corsi di formazione o sessioni di apprendimento strutturati sui diritti umani o
sull’EDU per altri.
19. Si veda: Amnesty International, Guidance on Developing Your National Amnesty International Human Rights Education Monitoring and Evaluation Plan. Il capitolo 3 di questa
guida contiene alcuni esempi di indicatori adatti ai programmi EDU.
37
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
PRECISIONE E AFFIDABILITÁ DELLE FONTI DI DATI
La misurazione dell’indicatore può limitarsi semplicemente alla parola “sì” o “no”. Perché allora non
procedere a una quantificazione più dettagliata? I partecipanti al programma forse non si ricorderanno esattamente il numero di laboratori, di corsi di formazione o le discussioni ai quali hanno preso
parte. Ma è altamente probabile che si ricordino del loro coinvolgimento in un programma EDU rivolto
ad altri beneficiari. Potremmo dunque includere nel nostro indicatore la percentuale di partecipanti
che hanno indicato di aver preso parte a laboratori, corsi di formazione o sessioni di apprendimento
destinati ad altri.
Se vogliamo davvero ottenere informazioni più precise, possiamo chiedere ai partecipanti che hanno risposto affermativamente di specificare il numero di sessioni di formazione da loro facilitate nel
corso degli ultimi sei mesi (i loro ricordi relativi agli ultimi sei mesi saranno sicuramente più affidabili
di quelli sugli ultimi due anni). Possiamo inoltre proporre una scelta tra diverse fasce numeriche (da
una a due sessioni, da tre a cinque, ecc.) in modo da formarci un’idea più precisa del livello educativo proposto.
INDICATORI COMPLEMENTARI CON PARTE NARRATIVA
Potremo poi cercare di capire il processo di cambiamento che ha indotto un determinato partecipante
a coinvolgersi in prima persona in un programma di formazione, e in seguito a diventare un “moltiplicatore” nel suo ambiente. In questo caso, potremo completare i dati dell’indicatore con le testimonianze dei partecipanti riguardo le loro esperienze e il modo in cui il loro cambiamento comportamentale è stato relazionato al programma EDU.
MARCATORI DI PROGRESSO
Dopo aver svolto questo esercizio, e supponendo di aver stabilito degli indicatori per ognuno dei nostri
risultati, andremo ora a definire i marcatori di progresso per il progetto, il cui scopo sarà quello di
servire da tappe e da punti di riferimento. Ci aiuterà a verificare se si sono generati dei cambiamenti
e se essi determinano i risultati e l’impatto che ci aspettiamo.
Fase 13: Stabilite i metodi di raccolta dei dati
MEZZI DI VERIFICA
I mezzi di verifica rappresentano i metodi utilizzati e le fonti disponibili per verificare se gli indicatori
dei cambiamenti potenziali si sono realizzati. Devono essere definiti nella fase della pianificazione,
contemporaneamente agli indicatori e costituiscono essenzialmente le fonti dei dati.
TRIANGOLAZIONE
La triangolazione è una tecnica di raccolta dati che mira a verificare i risultati in “maniera incrociata”
utilizzando fonti di dati diverse o metodologie di ricerca diverse per lo stesso ambito della ricerca. Ad
esempio, se prevediamo che il programma EDU possa portare alcuni partecipanti a cambiare comportamento, chiederemo a questi di indicare i cambiamenti nelle loro attività, allo stesso modo, però,
consulteremo altre fonti per confermare questo risultato.
È necessario utilizzare questo sistema di convalida qualora pensassimo che una fonte di dati non
fornisca elementi affidabili o sufficienti. Ad esempio, se vogliamo documentare che il bullismo è
diminuito negli istituti scolastici, potremmo esaminare i rapporti degli istituti relativi a tali episodi
(approccio quantitativo). Tuttavia, per comprendere i processi di cambiamento suscettibili di avere
causato questa diminuzione (ad esempio, il fatto che gli allievi abbiano partecipato a dei programmi
EDU), sarà necessario intervistare anche gli alunni e gli insegnanti (approccio qualitativo).
Procederemo a “triangolare” le fonti di dati o le metodologie per gli scopi, i risultati e gli obiettivi
chiave del progetto, al fine di poter essere sicuri delle nostre conclusioni.
38
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
ELEMENTI DA PRENDERE IN CONSIDERAZIONE NELLA SELEZIONE DEI METODI DI RACCOLTA
DATI
Dovremo selezionare i metodi di raccolta dati più idonei a cogliere i risultati del programma EDU,
tenendo conto del tempo, delle risorse finanziarie e delle capacità tecniche a nostra disposizione.
Una volta elaborato il piano di monitoraggio e valutazione, sarà necessario verificare che le risorse
richieste siano compatibili con il budget di monitoraggio e valutazione stabilito nella fase di sviluppo
del progetto. Se il budget previsto non fosse più adeguato, dovremmo rivederlo o modificare il nostro
piano di monitoraggio e valutazione.
La presentazione che segue sui metodi quantitativi e qualitativi si basa essenzialmente sul documento Friendly Project Management Manual di Amnesty International, pagg. 63–65.
METODI QUANTITATIVI
I metodi quantitativi sono utilizzati per raccogliere informazioni che possano essere analizzate in
forma numerica. Ci permettono di rispondere a domande del tipo «quanto»:
•Quante persone hanno preso parte a un laboratorio?
•Quanti rapporti sono stati inviati?
•Quanti visitatori hanno consultato il sito web?
•Quanti soci nuovi conta Amnesty International?
Le informazioni quantitative si esprimono in modi diversi: numeri assoluti, percentuali o proporzioni
(ad esempio, un membro del personale del Segretariato Internazionale su tre ha ricevuto una formazione sul Friendly Project). Le informazioni quantitative sono ottenute contando e misurando.
I metodi quantitativi sono utili qualora dobbiamo:
•fornire dei dati precisi ed esatti;
•disporre di una visione generale dell’insieme della popolazione;
•individuare le principali differenze nelle caratteristiche di una popolazione e determinare i settori
della popolazione “più toccati”;
•verificare se esista un rapporto statistico tra un problema e una causa apparente;
•fornire elementi di prova per confermare o confutare che determinati problemi esistono e spiegare
particolari strategie adottate con le parti interessate chiave (ad esempio, donatori, governi e aziende);
•disporre di informazioni iniziali che possano essere utilizzate in seguito per misurare l’impatto.
METODI QUALITATIVI
I metodi qualitativi sono utilizzati per raccogliere delle informazioni che possano essere analizzate
senza un approccio numerico. Ci permettono di rispondere a domande del tipo «come» e «perché». Ci
forniscono informazioni sul modo in cui le persone percepiscono la propria situazione, rivelando i loro
punti di vista e priorità, dando indicazioni su quello che provano.
•Perché le persone hanno deciso di assistere a un laboratorio?
•Cosa si aspettavano dalla formazione?
•In che modo è cambiato il loro comportamento in seguito alla partecipazione al programma?
I metodi qualitativi si basano principalmente sulle osservazioni e sulle testimonianze. Talvolta, questi
elementi possono essere codificati e presentati sotto forma numerica. Le informazioni qualitative sono
ottenute interrogando, osservando e interpretando.
I metodi qualitativi possono essere utili quando:
•un progetto viene definito e pianificato e per comprendere le implicazioni relative al cambiamento
sociale (ad esempio, per servire da base al «modello del cambiamento»);
39
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
•è necessaria una panoramica dettagliata di un contesto particolare;
•abbiamo bisogno di sapere quello che le persone pensano di una situazione specifica e quali sono
le loro priorità;
•stiamo selezionando gli indicatori più appropriati per misurare un cambiamento qualitativo;
•mancano tempo e denaro.
COMBINAZIONE DI METODI QUALITATIVI E QUANTITATIVI
I metodi qualitativi e quantitativi non sono incompatibili e spesso sono utilizzati insieme. Includeremo metodi qualitativi nell’ambito della valutazione dei programmi EDU, perché ci permetteranno di
capire i processi di cambiamento e le prospettive dei partecipanti e delle parti interessate secondarie.
I metodi più comunemente usati per la raccolta dei dati qualitativi sono i questionari (comprese le
domande a risposta aperta), le interviste con i focus group, i colloqui con persone particolarmente informate ed esperte, le osservazioni (comprese le registrazioni video) e l’esame dei documenti.
Nell’ambito della programmazione educativa, l’esame dei documenti può includere l’analisi delle
risorse EDU, dei test di profitto e degli indicatori di tipo scolastico (frequenza, incidenti di tipo violento o comportamenti di disturbo).
Numerose sono le risorse disponibili che ci permettono di definire e illustrare come usare questi
metodi di raccolta dati. Troverete di seguito delle considerazioni generali relative a metodi di raccolta
diversi nel contesto della programmazione EDU.
QUESTIONARI
I questionari permettono di raccogliere informazioni da un gran numero di persone. Nella realizzazione di programmi EDU, possono essere somministrati a tutte le persone che hanno partecipato alla
formazione, permettendoci di avere i loro commenti. Se non fosse fattibile distribuirli a tutti, dovremmo definire un chiaro e preciso criterio di scelta delle persone e/o gruppi cui decideremo di somministrarlo.
È importante includere domande pertinenti, che ci permettano di comprendere i processi di cambiamento e i risultati. Le domande a risposta aperta sono le più idonee, tuttavia, anche le domande chiuse, che possono facilmente essere presentate sotto forma di tabelle, possono rivelarsi altrettanto utili,
specialmente per confrontare i diversi risultati pervenuti. Per questa ragione, potremmo voler includere una combinazione di domande a risposta aperta e chiusa, tenendo conto dei tempi e dell’attenzione necessari per leggere tutte le risposte e analizzare quelle aperte. È essenziale che le domande
poste siano chiare e senza alcuna ambiguità e il vocabolario utilizzato semplice per evitare qualsiasi
equivoco. Prima di coinvolgere i partecipanti, è utile testare i questionari su un campione per individuare e correggere, in anticipo, tutte le domande che possono generare confusione.
INTERVISTE
Le interviste sono il mezzo migliore per ottenere informazioni dettagliate su ciò che le persone contattate pensano, così come sui loro valori e comportamenti. Nell’ambito delle attività EDU, potremo
organizzare interviste con focus group composti dai partecipanti e chiedere a persone informate di
intervistare i principali beneficiari. La forma più efficace è quella del colloquio semi–strutturato; la
persona che fa il colloquio dispone di una lista di domande preparate in precedenza, ma è autorizzata
ad adattarle spontaneamente in funzione delle risposte della persona intervistata. Al contrario, non
è permessa alcuna variazione nel caso di colloqui strutturati (i protocolli), che sono utilizzati qualora
molte persone siano incaricate di svolgere i colloqui, per ottenere una maggiore omogeneità tra le
risposte.
FOCUS GROUP (GRUPPI DI DISCUSSIONE)
I gruppi di discussione (o focus group) offrono possibilità di scambio tra i partecipanti e di confronto
dei diversi punti di vista. Per condurre i focus group, sono necessarie buone capacità di facilitazione
in modo che tutti possano fare sentire la propria voce e non solo quelli “con la voce più alta”. In seno
a tali gruppi, è facile fare risaltare i terreni di intesa e i motivi di disaccordo e da queste discussioni
possono anche nascere nuovi spunti di riflessione. Come per i questionari, anche in questo caso le
40
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
domande poste devono essere testate prima di operare su vasta scala.
OSSERVAZIONI
La pratica dell’osservazione ci permette di assistere ad alcune attività del progetto, come le formazioni, con lo scopo di comprendere meglio i processi di cambiamento essenziali per l’EDU. I responsabili
di progetti osserveranno le diverse attività in modo informale, come parte di un processo continuo
di monitoraggio. Le osservazioni possono servire da base per le valutazioni, per confermare le informazioni raccolte tramite altri metodi o per “triangolarle”. I nostri formatori potranno, ad esempio,
riportarci in un’intervista che i partecipanti hanno preso parte attivamente, e l’osservazione di parte
della formazione ci permetterà di saperne di più sul grado e la qualità di tale partecipazione. Le osservazioni costituiscono una tecnica insostituibile per misurare la capacità dei partecipanti di applicare il contenuto e le metodologie EDU nei propri metodi di insegnamento. Nell’ambito del processo di
osservazione possono anche essere utilizzate registrazioni video.
STUDI DI CASO
In alcuni casi, i diversi metodi di raccolta dati sono combinati per creare degli “studi di caso” che
integrano diverse fonti di informazione per presentare un contesto complesso e multidimensionale
nel quale hanno luogo l’intervento, i processi di cambiamento e i risultati. Gli studi di caso possono
aiutarci a comprendere il “perché” dei nostri programmi. L’unità d’analisi dello studio di caso, che si
tratti di una persona, di un’istituzione o di un paese, deve essere pertinente al contesto del progetto
EDU. Lo studio di caso non deve essere né troppo ristretto (con pochi dettagli), perché non potremmo
trarne lezioni generali, né troppo vasto (e superficiale), perché non potremmo misurare l’impatto del
nostro lavoro. Gli studi di caso sui diritti umani condotti da Amnesty International in Brasile e in Albania, così come nell’ambito del Programma di educazione e azione per i diritti umani (REAP), sono
inclusi tra gli allegati.
VALUTAZIONI PARTECIPATIVE
In questo caso, i partecipanti sono invitati a prendere parte attivamente alla raccolta dati. A seconda
del programma EDU cui si fa riferimento, potremo in particolare chiedere ai partecipanti di tenere un
diario di bordo delle esperienze durante tutta la durata del programma, riportando nei particolari le
proprie riflessioni. I partecipanti potrebbero inoltre organizzare delle interviste tra di loro. È possibile
prevedere tale coinvolgimento dei partecipanti già durante la fase di pianificazione del monitoraggio e
valutazione, a condizione di fornire loro la preparazione necessaria sulle tecniche di intervista.
CAMPIONATURA
Per una presentazione più dettagliata dei metodi di raccolta dei dati, inclusa la campionatura, si veda
il capitolo “Data Collection and analysis” della pubblicazione di Amnesty del 2006 “Friendly Project
Management Manual”, pp. 53 – 62.
Fase 14: Decidete chi eseguirà le attività di monitoraggio e valutazione
ATTORI DEL MONITORAGGIO E DELLA VALUTAZIONE
In questo stadio della pianificazione, conosciamo il/la responsabile del progetto, gli altri membri del
gruppo di progetto, così come gli attori, principali e secondari. Più specificatamente, al termine della
riunione di consultazione, dovremmo cominciare a sapere quali, tra questi ultimi, dovremo coinvolgere nel processo di monitoraggio e valutazione, e come farlo. Ad esempio, alcuni di essi potranno sia
fornire dei dati (in particolare i partecipanti alle formazioni) sia fungere da fonti di analisi e riflessione
sulle conclusioni. Altri, infine, potranno essere consultati solo occasionalmente (ad esempio, i funzionari di alto livello del Ministero dell’Educazione).
RUOLI DEGLI ATTORI
Dovremo definire chiaramente le aspettative riguardanti il ruolo dei partecipanti al processo di monitoraggio e valutazione. Questi ruoli dovranno essere formalizzati e, se necessario, rivisti nel corso del
progetto.
41
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
SVILUPPO DELLE CAPACITÀ DEGLI ATTORI
Dovremo anche pensare al rafforzamento delle loro capacità. Se alcune delle parti interessate partecipano alla raccolta dati, ci occuperemo di prepararle e di assegnare loro i compiti che potranno portare
a termine. Più le metodologie utilizzate saranno complesse, più sarà difficile fare ricorso a persone
non esperte nella valutazione. Tuttavia, alcuni tipi di raccolta dati potranno essere gestite direttamente da loro, come le interviste “peer to peer”, per le quali potranno produrre informazioni pertinenti e
di ottima qualità.
PIANO DI MONITORAGGIO E VALUTAZIONE
Una volta attribuiti i compiti e i ruoli, dovremo stabilire un piano di monitoraggio e valutazione. Questo ci porta al capitolo successivo.
42
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
EFFETTUARE IL MONITORAGGIO E LA VALUTAZIONE
Il nostro programma EDU segue ormai il proprio corso; dobbiamo soffermarci sulla fase dell’attuazione. È il lavoro che non vediamo l’ora di fare!
Fase 15: Catalogate gli aspetti tecnici del monitoraggio e della valutazione
COMPITI
Il piano teorico di monitoraggio e valutazione include una sezione sulle “fonti di verifica” che riguarda
i metodi di raccolta dati necessari. Il piano operativo comprenderà informazioni più dettagliate sui
compiti associati a ogni metodo e la tempistica connessa.
Quando si effettueranno le attività di monitoraggio e valutazione, dovranno essere eseguiti numerosi
compiti, tra cui:
TABELLA 2: COMPITI–TIPO IN UN PIANO DI MONITORAGGIO E VALUTAZIONE
•preparazione, test e finalizzazione degli strumenti di raccolta dei dati;
•individuazione dei partecipanti che costituiranno le fonti di dati;
•prima raccolta dati, riflessione sul processo e revisione, se necessaria;
•organizzazione continua delle attività di monitoraggio e valutazione;
•immagazzinamento dei dati;
•analisi dei dati;
•elaborazione di rapporti nelle tappe chiave (ad esempio, rapporto annuale, valutazione formativa di
metà periodo, valutazione finale e analisi dell’impatto).
In questa guida, non troveremo necessariamente delle risposte esaustive per risolvere qualsiasi questione pratica, ma saremo preparati a capire quando andranno gestite e se allocare altre risorse per
orientarci su compiti tecnici, come la preparazione di un questionario o di una campionatura.
ANALISI DEI DOCUMENTI
Prima di somministrare questionari e interviste, dovremo scegliere le domande da porre. A tal fine,
analizzeremo i documenti e reperiremo gli strumenti che sono stati già utilizzati e che potremmo
adattare ai nostri programmi EDU. Il capitolo precedente presentava alcune caratteristiche chiave dei
metodi di raccolta dati e faceva riferimento ad altre risorse di valutazione utili per poterci orientare
ulteriormente. Parte di queste risorse si trovano negli allegati. Inoltre, il capitolo 3 presenta diversi
modelli ed esempi.
ELABORAZIONE E REVISIONE DEI QUESTIONARI E DEI PROTOCOLLI
Fate attenzione alla formulazione delle domande e tenete conto dell’ambiente e della cultura delle
persone che saranno intervistate. Dopo aver prodotto una prima versione dei questionari, del materiale per le interviste e dei protocolli di osservazione, questi verranno passati in rassegna dagli altri
membri dello staff e dalle diverse parti interessate con cui collaboriamo assiduamente nelle attività di
monitoraggio e valutazione. L’ideale sarebbe testare le domande del questionario o dell’intervista su
“veri” partecipanti e, alla luce del test e prima di utilizzare questo strumento su vasta scala, apportare le modifiche necessarie. I problemi messi in luce dal test potrebbero infatti riguardare domande
mal formulate o troppo complesse o che suggeriscano determinate risposte. Al contempo, potremmo
renderci conto che la somministrazione di questi strumenti necessita molto più tempo di quanto
previsto. È naturalmente nel nostro interesse individuare queste difficoltà sin dalle prime fasi della
raccolta dei dati.
CAMPIONATURA
Solitamente, tutti i partecipanti a formazioni EDU rispondono a dei questionari almeno una volta.
Tuttavia, sarà probabilmente impossibile coinvolgere tutti i partecipanti e partner con altri metodi di
raccolta dati, come, ad esempio, le interviste. Dovremo allora decidere di selezionare i partecipanti in
modo casuale o meno. Se procediamo in maniera non casuale, dovremo prendere in considerazione le
43
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
caratteristiche più rilevanti per la nostra analisi. Cercheremo di ottenere un campione rappresentativo
di caratteristiche diverse, come il numero di ore di partecipazione, la formazione specifica, la collocazione geografica, il sesso, l’età e la professione. Queste dipenderanno dagli obiettivi e dall’organizzazione del programma EDU.
AUTORIZZAZIONE E RISERVATEZZA DELLE FONTI DEI DATI
Ogni metodo di raccolta dati presuppone l’ottenimento di un’autorizzazione a registrare e utilizzare i
dati. Prima di condurre le interviste, dovremo ottenere l’autorizzazione a utilizzare le informazioni e
concordare con la persona intervistata il grado di confidenzialità che utilizzeremo nel colloquio. Ad
esempio, dovremo accordarci sulla possibilità di utilizzare il nome dell’intervistato, così come le sue
citazioni dirette, e sapere se la sua previa approvazione sarà necessaria anche in seguito. Riguardo
ai questionari, è certamente possibile realizzarli in forma anonima. Tuttavia, i partecipanti dovranno
essere informati di come utilizzeremo le informazioni, anche se il loro nome non sarà direttamente
associabile alle stesse. Se non chiedessimo i nomi dei partecipanti che rispondono all’inchiesta,
dovremmo trovare un altro sistema che ci permetta di sapere chi vi ha preso parte. Questo aspetto
è particolarmente importante qualora siano previste interviste di controllo (o follow up) e si vogliano
confrontare le prime risposte con quelle successive.
GESTIONE DEI DATI
Dovremo poi decidere come gestire i dati (ad esempio, manualmente e/o con un sistema informatico).
I sistemi manuali richiedono uno spazio più grande e, inoltre, l’elaborazione e l’analisi dei dati prenderà molto tempo. D’altro canto, i sistemi informatici di controllo necessitano di software e di persone
che li sappiano utilizzare, ma tuttavia costituiscono il mezzo migliore per supervisionare i progetti e si
rivelano assolutamente necessari per gestire i dati dei questionari. Esistono diversi tipi di software, disponibili su molti computer, che possono facilitare il processo di monitoraggio e valutazione (software
di database, fogli di calcolo, di videoscrittura e di gestione di progetti).
Una volta raccolti e organizzati i dati, passeremo alla fase d’analisi. I metodi di analisi dei dati dipenderanno dal tipo di informazioni che abbiamo raccolto.
ANALISI QUALITATIVA
L’analisi qualitativa viene condotta sulle risposte aperte ottenute dalle interviste, dai focus group e
dalle osservazioni. In alcuni studi, i dati delle interviste vengono registrati, trascritti e poi “codificati” in modo da mettere in evidenza tematiche e modelli presenti nel testo. Potremmo poi decidere di
contare, “raggruppare” o individuare determinati modelli. Una simile analisi è spesso necessaria per i
programmi EDU, perché solo le informazioni qualitative fornite dai partecipanti e dalle parti interessate secondarie potranno permetterci di capire il processo di cambiamento e i suoi risultati.
Tra gli allegati è disponibile in inglese un passaggio del manuale Friendly Project Management Manual, che spiega, passo dopo passo, come classificare le informazioni qualitative in “gruppi” e in “categorie”. È assolutamente necessario non perdere mai di vista le domande chiave alle quali desideriamo rispondere, perché potrebbero emergere dai dati temi inattesi e interessanti. Per questo motivo, è
necessario avere elaborato in precedenza un piano di monitoraggio e valutazione che ci permetterà di
restare concentrati sugli elementi chiave della valutazione.
ANALISI QUANTITATIVA (STATISTICA)
L’analisi quantitativa (statistica) può essere fatta con l’aiuto di un software informatico. Le statistiche
descrittive presentano i totali, le medie e le percentuali relative alle informazioni raccolte (ad esempio, alle risposte di un questionario) in un semplice foglio di calcolo Excel. Poiché la maggior parte
dei programmi EDU include dei questionari, anche le statistiche sono parte di questi programmi.
Ovviamente non sarà necessario essere un esperto d statistica per produrne ma, comunque, dovremo
fare in modo che i dati siano inseriti correttamente e che l’analisi sia effettuata con cura.
INTERPRETAZIONE DEI RISULTATI
Una volta effettuata l’analisi dei dati, dovremo interpretarne i risultati. Quali sono i principali insegnamenti da trarre? Cosa abbiamo scoperto? Da questo momento, trarremo degli insegnamenti generali
44
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
ed elencheremo le possibili implicazioni per Amnesty e per le prossime attività EDU.20 A questo punto, organizzeremo una nuova riunione di consultazione con la squadra di progetto e le parti interessate, che lavoreranno alla produzione di un rapporto.
COMPILAZIONE DEI RAPPORTI
Diversi sono i tipi di rapporti di monitoraggio e valutazione che possono essere redatti relativamente
ai programmi EDU, in particolare quelli che si iscrivono naturalmente nel progetto (rapporti interni
di aggiornamento, rapporti semestrali e annuali) e quelli che seguono il ciclo di valutazione: rapporti
formativi (a inizio o a metà del progetto), rapporti finali (a fine del progetto) e che mirano alla misura
dell’impatto (dopo il progetto).
ALTRE FORME DI RACCOLTA DI INFORMAZIONI
Oltre alla compilazione di rapporti scritti, è anche possibile raccogliere informazioni relative ai programmi EDU tramite studi di caso, fotografie, videoriprese delle attività (o dei colloqui con le parti
interessate) ed altri elementi quali materiali educativi, poster, programmi di formazione e documenti
di lavoro. Al suo decimo anno di età, il progetto internazionale di Amnesty REAP ha fornito numerosi documenti di valutazione, tra cui un rapporto sulla misura dell’impatto, alcuni studi di caso e un
video. Questi mezzi di documentazione e comunicazione non devono essere dimenticati in quanto
completano i rapporti scritti.
I rapporti interni di monitoraggio e valutazione possono includere le seguenti informazioni:
•Alcune informazioni sulla performance: riassunto dei punti essenziali.
•Informazioni dettagliate sulla performance: dettagli sui risultati ottenuti, le attività svolte, le tappe
importanti, il numero di ore di lavoro e il budget dedicato al progetto.
•Problemi e difficoltà: permettono di annotare le difficoltà o i problemi incontrati e di proporre le
azioni necessarie per la loro risoluzione.
•Cambiamenti al piano approvato: lista di tutti i cambiamenti approvati rispetto al piano iniziale.
•Piano per il periodo successivo: riassunto dei compiti e delle principali “cose da fare” previste per
la fase successiva.
Potremo anche avere bisogno di preparare dei rapporti di valutazione rivolti ai donatori, alle parti
interessate e altri lettori esterni. Dovremo riflettere sulle aspettative dei diversi destinatari per scegliere con cura i tipi di rapporti o documenti da produrre. In senso generale, più il rapporto sarà lungo
e tecnico, minore sarà la probabilità che sia letto. Tuttavia, un rapporto dettagliato può essere utile
come riferimento per un progetto futuro o per altre persone. In questo senso, i rapporti molto accurati non sono necessariamente da escludere. Generalmente, i rapporti più diffusi non contano più di
30–35 pagine, esclusi gli allegati. Se i rapporti fossero più lunghi, potrebbe essere una buona idea
diffondere anche delle sintesi.
Qualsiasi siano le dimensioni del rapporto di valutazione completo, dovrà includere i seguenti elementi:
•Sintesi;
•Informazioni generali;
•Principali obiettivi;
•Metodologie e metodi di raccolta dati;
•Conclusioni;
•Analisi delle conclusioni/insegnamenti tratti e
•Raccomandazioni.
20. Amnesty International, Impact Assessment Methodology – step by step, 2009.
45
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
RACCOMANDAZIONI
Le raccomandazioni devono essere direttamente collegate alle conclusioni. Possiamo, ad esempio,
raccomandare di modificare alcuni elementi del programma, delle metodologie, dei gruppi di partecipanti o delle attività. Il rapporto finale deve includere un piano d’azione che tenga conto delle conclusioni e delle raccomandazioni.
COINVOLGIMENTO DELLE PARTI INTERESSATE
Le parti interessate devono essere coinvolte in questa fase finale del monitoraggio e della valutazione
attraverso un brainstorming sui potenziali prodotti della valutazione e la revisione del rapporto iniziale. Questo gruppo potrà anche contribuire alla condivisione dei risultati della valutazione e alla realizzazione delle attività di follow up come, ad esempio, utilizzare il rapporto di valutazione per ricercare
ulteriori forme di cooperazione con agenzie governative.
Fase 16: Stilate un piano di monitoraggio e valutazione
RUOLI E TEMPI DEGLI EVENTI
Un piano di monitoraggio e valutazione è un piano dettagliato che definisce il lavoro del progetto e
può essere utilizzato per controllarne l’andamento. I ruoli e la tempistica delle attività chiave saranno definiti in dettaglio e il formato somiglierà al piano operativo del progetto e, infatti, alcune parti
potranno esservi integrate.
Il diagramma 7 presenta un estratto da un piano di monitoraggio e valutazione che include solamente i compiti e uno schema temporale. Il Gantt è una rappresentazione grafica a barre orizzontali che
permette di visualizzare nel tempo le diverse attività di un progetto.
DIAGRAMMA 7: ESEMPIO DI PIANO OPERATIVO PER LA SOMMINISTRAZIONE DI UN QUESTIONARIO (GANTT)
Attività/eventi
Redazione del questionario e istruzioni
Test e revisione del questionario
Raccolta email dei partecipanti
Somministrazione del questionario
Sollecito via email e/o telefono
Acquisizione dei questionari
Tempo (settimane)
0
1
2
3
4
5
6
7
8
Dovremo definire chiaramente le attività e gli avvenimenti chiave da includere nel piano. Se il piano
comprendesse troppi dettagli, rischierebbe di essere poco maneggevole. Al contrario, se non includesse sufficienti informazioni, non ci permetterebbe di inquadrare le attività di monitoraggio e valutazione, di sapere quando una fase importante è riuscita o meno, quando e se un’attività ha avuto luogo.
ORE/PERSONA
Nell’ambito dei progetti EDU che coinvolgono più membri del personale, potremo prendere in considerazione l’utilizzo delle matrici di pianificazione di progetto per programmare e controllare i compiti
chiave in rapporto alle ore/persona.
46
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
DIAGRAMMA 8: ESEMPIO DI MATRICE RELATIVA ALLE RISORSE UMANE
Attività
Ripartizione del
lavoro – Voce
Personale (ore/persona)
Descrizione
D. Boaz
F. Jones
Analista
2.1.1
Sviluppo del questionario
32
0
24
2.1.2
Test del questionario
0
40
60
2.2.1
Preparazione delle istruzioni
40
24
10
Dovremo creare i documenti del piano operativo che ci saranno più utili, stabilendo almeno un piano
di monitoraggio e valutazione delle attività chiave e un calendario che lo accompagni.
Fase 17: Pensate bene alle modalità di comunicazione relative al monitoraggio e alla valutazione
COMUNICAZIONE DELLE ASPETTATIVE IN MATERIA DI MONITORAGGIO E VALUTAZIONE
Tutti i compiti previsti potranno essere eseguiti senza difficoltà se comunicheremo in modo efficace e
definiremo relazioni di lavoro chiare tra le persone coinvolte. Il responsabile del progetto farà in modo
che queste siano informate dei compiti e delle scadenze del proprio lavoro. Una delle nostre mansioni
principali consisterà nel confermare le attività assegnate e le date previste. Naturalmente, se si manifestassero problemi, potrebbero essere necessari degli aggiustamenti. Il responsabile del progetto
controllerà il buon svolgimento dei compiti assegnati per tutta la durata del progetto.
STRATEGIE PER UNA COMUNICAZIONE CONTINUA
Dovremo poi elaborare una strategia che definirà la comunicazione con le parti interessate, facendo
particolarmente attenzione al rispetto di quanto pianificato. A seconda del gruppo, l’approccio potrà
essere più o meno formale. Dovremo quindi definire i messaggi più appropriati, i metodi di contatto
e le procedure, tenendo sempre conto dell’obiettivo posto, della confidenzialità e dell’uso futuro dei
dati raccolti.21
TIPI DI COMUNICAZIONE
Le tecniche di comunicazione a nostra disposizione includono la posta elettronica, i comunicati stampa, le consultazioni e i rapporti d’attività. Gestiremo i processi partecipativi (interni ed esterni) nei
momenti chiave, integreremo i feedback informali e rifletteremo sui mezzi per gestire i problemi che
si dovessero verificare.
FASI DI COMUNICAZIONE NEL CICLO DEL PROGETTO
Per tutta la durata del processo di monitoraggio e valutazione, le parti interessate potranno aiutarci
a fare il punto sull’andamento del progetto e proporre soluzioni e percorsi per risolvere i problemi e
le difficoltà. Potranno inoltre aiutarci a analizzare i risultati, i problemi incontrati, le correzioni che
potrebbero essere apportate e, alla fine del progetto, i risultati di questi correttivi.
21. Amnesty International, Impact Assessment Methodology – step by step, 2009.
47
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
ANALISI DELL’IMPATTO
Fase 18: Pensate alla misura dell’impatto
OBIETTIVO DELLA MISURA DELL’IMPATTO
La misura dell’impatto va oltre gli immediati prodotti e risultati attesi delle attività EDU. Una misura
dell’impatto mira a mettere in evidenza:
•i cambiamenti durevoli e significativi secondo le “Dimensioni del Cambiamento”;
•gli altri cambiamenti (positivi, negativi, voluti o no) e
•i fattori e gli attori che hanno contribuito a questi cambiamenti.
RELAZIONI CON IL MONITORAGGIO E LA VALUTAZIONE
Ogni misura dell’impatto organizzata nell’ambito dei programmi EDU si baserà sull’insieme del lavoro
di monitoraggio e valutazione.
•Le aree di impatto saranno quelle già definite come “risultati” nel piano iniziale di monitoraggio e
valutazione.
•Ci serviremo dei dati base raccolti durante le prime fasi del progetto.
•Utilizzeremo i dati della valutazione formativa e della valutazione finale raccolti durante la durata
del progetto.
RACCOLTA DATI SUPPLEMENTARI
Di certo, la misura dell’impatto implicherà la raccolta di dati supplementari per determinare se esistano impatti durevoli, a lungo termine, in relazione al programma EDU e per individuare al meglio i
processi di cambiamento. Questo lavoro di riflessione sarà particolarmente utile nella pianificazione di
altri programmi.
Se le valutazioni finali avessero già messo in luce determinati risultati, potremmo voler raccogliere dei
dati supplementari per verificare se questi siano confermati una volta terminato il progetto.
•Potremo raccogliere dei dati da altre fonti (ad esempio gruppi di confronto) per verificare i primi
risultati.
•Potremo anche intervistare attori e beneficiari che hanno preso parte al progetto per avere le loro
impressioni sui processi di cambiamento.
VALUTATORE ESTERNO
Il gruppo di lavoro di Amnesty e un valutatore interno possono eseguire la maggior parte di questo
compito. Tuttavia, in certi casi, è opportuno richiedere l’intervento di un valutatore esterno.
•Un valutatore esterno può apportare competenze tecniche mancanti ai membri del gruppo di monitoraggio e valutazione.
•Un valutatore esterno può apportare un nuovo punto di vista, poiché più distaccato.
•I donatori, a volte, possono richiedere l’intervento di un valutatore esterno per l’analisi dell’impatto,
o anche nella valutazione finale, al fine di limitare i rischi di parzialità nell’esame dei risultati.
STUDIO DI CASO 7: MISURA DELL’IMPATTO DEL PROGRAMMA REAP
DI AMNESTY INTERNATIONAL
Nel quadro del programma REAP è stata condotta una analisi dell’impatto per le 10 Sezioni partecipanti. La metodologia
adottata ha previsto:
•somministrazione di questionari ai coordinatori EDU e ai formatori chiave, come pure a un campione di “moltiplicatori” e di beneficiari;
48
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
•elaborazione di studi di caso a partire dalle esperienze di 4 Sezioni partecipanti.
Questi includevano:
•un esame dei rapporti di monitoraggio di altri documenti educativi chiave;
•un esame dei materiali prodotti;
•un’analisi dei dati di Amnesty relativi al network educativo e alla membership;
•interviste al coordinatore EDU e agli altri membri del gruppo di lavoro, ai partner e a un campione di “moltiplicatori”
e beneficiari;
•osservazioni;
•somministrazione di questionari ai gruppi di confronto per i “moltiplicatori”.
La misura dell’impatto ha cercato di stabilire l’esistenza di cambiamenti durevoli secondo le “Dimensioni del cambiamento” di Amnesty International, compresi i cambiamenti nella vita dei beneficiari primari (“moltiplicatori” e partecipanti), i cambiamenti nell’attivismo e nella mobilitazione in Amnesty e per le ONG sue partner (per esempio, lo sviluppo
di una rete EDU attiva), i cambiamenti nelle politiche e nell’”accountability” di altre istituzioni (per esempio, politiche
del Ministero dell’Istruzione in relazione all’EDU).
Tra gli allegati è disponibile il quadro logico del programma REAP che integra i risultati attesi, gli ambiti di ricerca e le
fonti di dati (➔01.REAP Log Frame).
ULTERIORI RISORSE
Il capitolo intitolato “Riferimenti bibliografici” contiene risorse accessibili su Internet che offrono
indicazioni supplementari sul modo di misurare l’impatto delle attività EDU.
49
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
capitolo 3
Monitoraggio e valutazione edu:
esempi pratici
INTRODUZIONE
Il presente capitolo riguarda gli approcci e gli strumenti di valutazione che possono essere usati
nell’ambito di specifici programmi EDU in Amnesty International. Per progetti e programmi EDU più
vasti, potremmo utilizzare più di uno di questi strumenti. Di essi, nessuno ha la pretesa di essere
esaustivo.
Ci sforzeremo di selezionare e di adattare questi approcci e strumenti in funzione:
•dei bisogni specifici;
•delle priorità in termini di ricerca;
•della capacità di applicare delle metodologie particolari.
Questo capitolo e gli esempi contenuti tra gli allegati potranno inoltre servire come riferimento per
l’applicazione di un piano di monitoraggio e valutazione e di analisi dell’impatto.
AFFIDABILITÀ E PERTINENZA
Il monitoraggio e la valutazione sono dei compiti difficili che richiedono una minuziosa definizione
degli strumenti di raccolta di dati e delle metodologie per poter considerare le informazioni raccolte credibili. I dati devono essere affidabili nel senso che, se diversi valutatori fossero incaricati di
effettuare lo stesso studio, dovrebbero giungere alle medesime conclusioni. Allo stesso modo, i dati
devono essere pertinenti, ossia devono riflettere fedelmente la situazione che stiamo analizzando.
TRIANGOLAZIONE
Potremo strutturare la raccolta di dati in diversi modi per aumentare la probabilità che questi siano
pertinenti e affidabili. Uno di essi consiste nel raccogliere le informazioni grazie alle fonti più vicine
alla situazione reale (per esempio, possiamo chiedere direttamente ai partecipanti alle formazioni ciò
che queste hanno dato loro e i successivi sviluppi). Un altro modo ancora consiste nel ricorrere a diverse fonti e usare diversi approcci per la stessa ricerca al fine di poter confrontare i risultati. Questa
tecnica è chiamata “triangolazione” ed è stata illustrata nel capitolo 2.
In questo capitolo vengono illustrati esempi di “triangolazione” assieme ai modelli di valutazione.
Questa tecnica ci permette non solo di aver maggior fiducia nei nostri risultati (a condizione che le diverse fonti indichino lo stesso risultato!) ma anche di evitare che i risultati siano falsati da un “errore
sistematico”.
L’errore sistematico (che si verifica, ad esempio, quando la persona interrogata vuol far piacere al
ricercatore) è un fenomeno frequente di cui la metodologia dovrà tener conto ogni volta che procederemo a una valutazione.
L’ONESTÀ METODOLOGICA
I rapporti di valutazione dovranno focalizzarsi sull’affidabilità e la validità dei dati raccolti. Dovremo
riconoscere gli eventuali limiti delle nostre valutazioni, per esempio, nel caso di una debole partecipazione al nostro studio o di un questionario somministrato solamente dopo la fine di un progetto, senza
dimenticare i nostri stessi limiti come valutatori (ad esempio per la nostra poca conoscenza del contesto nazionale). Questa trasparenza aiuterà i lettori a misurare il valore che può avere ogni valutazione.
50
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
FORMAZIONI SINGOLE E LABORATORI
DI SENSIBILIZZAZIONE
(PER ESEMPIO PER GLI INSEGNANTI, GLI STUDENTI DEGLI ISTITUTI SECONDARI, LE ONG E I
GRUPPI PROFESSIONALI)
RISULTATI DEI LABORATORI DI SENSIBILIZZAZIONE E DELLE FORMAZIONI SINGOLE
Le “formazioni singole” sono probabilmente le più diffuse attività EDU. Nonostante le formazioni più
lunghe siano importanti per lo sviluppo delle competenze, i laboratori brevi (al massimo di un giorno) possono contribuire a sviluppare la sensibilizzazione, ad acquisire contenuti e ad aumentare la
motivazione in favore della difesa dei diritti umani. Quando animeremo dei laboratori di breve durata,
dovremo inserirli in un ambito di fini e di obiettivi EDU all’interno di Amnesty.
Se riprendiamo gli obiettivi delle “Dimensioni del cambiamento” fissati da Amnesty International,
possiamo vedere come i risultati dei laboratori “singoli” possano essere ricondotti alla categoria del
“cambiamento nella vita delle persone” (prendendo l’individuo come “unità di analisi”):
•Empowerment dei rights holders derivante dalle nuove conoscenze sulla natura dei diritti umani,
sull’applicazione del sistema di tutela dei diritti umani per l’analisi dei problemi locali e sull’applicazione dei meccanismi che permettono di esigere il rispetto dei diritti da parte dei duty bearers;
•Empowerment derivante dai cambiamenti di valori, di comportamenti e di competenze in relazione
ai diritti umani e alla capacità di promuoverli tramite azioni individuali e collettive;
•Empowerment derivante dalle azioni dei rights holders, a livello individuale e collettivo, per la promozione dei diritti umani nella sfera pubblica e privata;
•Accrescimento del godimento dei diritti umani per le persone e i gruppi.
ESEMPI DI MONITORAGGIO E VALUTAZIONE IN AMNESTY INTERNATIONAL
Il Programma EDU in Africa Occidentale fornisce utili indicazioni su come realizzare un piano di monitoraggio e valutazione incentrato sull’empowerment dei beneficiari. Potete trovare questo esempio
– in inglese – tra gli allegati (➔03.West Africa HRE Empowerment of Beneficiaries).
MODELLO DEL CAMBIAMENTO: I QUATTRO LIVELLI DI KIRKPATRICK
Per aiutarci nella riflessione sui diversi risultati delle formazioni EDU sui partecipanti, potremo
ispirarci al modello a quattro livelli di Kirkpatrick22 per organizzare il nostro lavoro, come indicato al
capitolo 1:
•reazioni dei partecipanti – le loro riflessioni e impressioni sulla formazione;
•apprendimento – conoscenze o competenze migliorate al termine della formazione;
•comportamento/transfert – il grado o la portata del miglioramento del comportamento e delle capacità e la loro implementazione/realizzazione;
•risultati – ripercussioni delle azioni del partecipante all’interno del suo contesto quotidiano.
METODOLOGIA DI RACCOLTA DEI DATI
•La metodologia di raccolta delle informazioni sui risultati delle formazioni in termini di “rafforzamento della capacità di azione”(empowerment), immediata e a lungo termine, nei partecipanti dovrà consistere per lo meno nell’intervistare gli stessi prima e dopo lo svolgimento della formazione.
Questi questionari potranno essere somministrati sia elettronicamente che di persona.
•È anche auspicabile intervistare nuovamente i partecipanti almeno sei mesi dopo la formazione,
per misurare i cambiamenti intervenuti.
•I dati raccolti al termine di queste interviste potranno essere completati con dei colloqui con i par-
22. KIRKPATRICK, D.L. e altri, Evaluating Training Programs: The Four Levels, 3a edizione, San Francisco, Berrett–Koehler Publishers, citato da Equitas e Alto Commissariato delle
Nazioni Unite per i Diritti Umani (in uscita), Evaluating Human Rights Education Activities: A Handbook for Human Rights Educators, bozza, giugno 2009. Ginevra, Alto Commissariato delle Nazioni Unite per i diritti umani, p.34.
51
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
tecipanti e con altre persone che possono dare il loro parere sui cambiamenti avvenuti nei comportamenti dei beneficiari.
•Se i partecipanti avessero preparato un piano d’azione nel corso della formazione, questo potrebbe
anche essere rivisto nell’ambito della valutazione finale e della misura dell’impatto.
Queste metodologie relative alla raccolta dei dati trovano applicazione tanto nei laboratori quanto
nelle formazioni più lunghe e nei laboratori “multipli” descritti nel paragrafo a pag. 52.
DIMENSIONI DEL CAMBIAMENTO
I risultati delle “Dimensioni del cambiamento” indicano un certo numero di risultati potenziali per
i partecipanti, in termini di conoscenze, di comportamento e di valori, di competenze in materia di
comunicazione (per esempio: empatia, ascolto attivo, cooperazione, partecipazione) e di capacità
critiche di riflessione. Una lista delle competenze essenziali in materia di diritti umani è stata redatta
da alcuni esperti e potrà rivelarsi utile per mettere in evidenza una serie completa di risultati.23
Le formazioni saranno inoltre adattate in funzione dei partecipanti e dovrà essere tenuto conto anche
di quest’aspetto. Così, le formazioni concepite per gruppi di professionisti – educatori, esperti di
diritti umani, agenti di polizia o altri – si focalizzeranno sulla creazione di competenze specifiche
per il loro lavoro (per esempio competenze in materia di mediazione, difesa in tribunale, ecc…) e le
valutazioni dovranno poter identificare i risultati propri di questi ambiti specifici. Per trasmettere delle
competenze ai partecipanti, in generale organizzeremo delle formazioni più lunghe o una serie di
laboratori piuttosto che un singolo incontro.
Al momento dell’elaborazione dei questionari per misurare i potenziali risultati delle formazioni,
dovremo essere realistici rispetto al “grado” di influenza esercitata sui partecipanti di una formazione
così breve.
Nell’ambito della valutazione delle attività educative, è sempre difficile misurare i cambiamenti di
atteggiamenti e valori. L’EDU non fa eccezione alla regola. In generale, i valutatori chiedono ai partecipanti di fare loro stessi un resoconto dei loro atteggiamenti e valori, una tecnica questa che dà i
migliori risultati quando il resoconto viene effettuato sia prima che dopo l’intero corso di formazione
(non solo dopo una singola sessione).
STRUMENTI DI AMNESTY INTERNATIONAL
Gli allegati comprendono alcuni esempi di strumenti utilizzati per studiare i risultati delle formazioni
sui partecipanti: (➔04.REAP beneficiary survey, ➔05.Amnesty International UK BIHR Teacher training evaluation questionnaire, ➔06.Measuring attitudes through hypotheticals).
Questi strumenti, incentrati sui risultati, spesso sono integrati in un questionario più ampio che mira
a conoscere le aspettative prima della formazione e altre informazioni di contesto che orienteranno gli
organizzatori nella definizione del programma. Il questionario realizzato dopo la formazione si concentrerà sullo svolgimento del laboratorio stesso: le aspettative dei partecipanti, le sessioni più proficue,
gli aspetti che potrebbero essere migliorati, i contenuti, la metodologia, i documenti consegnati, la
qualità dei facilitatori, ciò che si potrebbe fare in futuro. Il questionario di Amnesty International UK
a cui si fa riferimento sopra mira ad avere i commenti dei partecipanti sulla formazione.
23. Si veda: Davies, L. e altri Human Rights Education Competencies, bozza, gennaio 2010, www.hrea.org/index.php?base_id=104&erc_doc_id=5452&ca_category_id2&category_
type=3&group.
52
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
FORMAZIONI MULTIPLE / LABORATORI DI CAPACITY
BUILDING (SVILUPPO DELLE CAPACITÀ)
(PER ESEMPIO PER FORMATORI O “MOLTIPLICATORI”)
Le formazioni più lunghe (laboratori che si svolgono su 3–5 giorni) o le formazioni in più incontri (serie di formazioni in un dato periodo con gli stessi partecipanti) in generale hanno gli stessi obiettivi in
termini di contenuto e di valori di quelli dei laboratori di più breve durata, ma generalmente comprendono un elemento in più relativo alle competenze. Questa categoria di programmi EDU comprende la
“formazioni dei formatori” e la formazione dei gruppi professionali.
Le raccomandazioni dei paragrafi precedenti sulla misura dei risultati e gli strumenti disponibili, si
applicano pure a questa categoria di partecipanti. Se il nostro obiettivo è sviluppare competenze in
certi ambiti specifici – come ad esempio la formazione o il monitoraggio – bisognerà prestare attenzione affinché la valutazione finale o la misura dell’impatto raccolgano informazioni sullo sviluppo di
queste competenze e sulla loro applicazione.
ESEMPI E STRUMENTI USATI DA AMNESTY INTERNATIONAL E ALTRI
Il Programma EDU in Africa Occidentale di Amnesty International fornisce utili indicazioni su come
costruire un piano di monitoraggio e di valutazione sullo sviluppo delle capacità dei formatori. Potete
trovare questo esempio tra gli allegati (➔07.West Africa HRE capacity development of trainers).
Dato che lo sviluppo delle capacità dei formatori e dei “moltiplicatori” è stato determinante per la
riuscita del progetto REAP di Amnesty International, questo risultato è stato analizzato con modalità
diverse (“triangolato”). I “moltiplicatori” hanno completato un questionario che si incentrava sui risultati nelle diverse aree di: conoscenza e comprensione, valori e attitudini, competenze nella facilitazione e comportamento. Il questionario è stato somministrato solo dopo la fine del progetto, come
parte della misura dell’impatto del REAP. I dati sono stati poi completati da colloqui con focus group
nei quattro paesi selezionati come studi di caso e da rapporti stilati da formatori chiave e dal coordinatore EDU sulla loro percezione dell’impatto sui “moltiplicatori”. Inoltre, nei quattro casi, sono stati
raccolti anche dati relativi a un gruppo di confronto attraverso la somministrazione di questionari a
persone con lo stesso profilo dei “moltiplicatori” (➔08.REAP multiplier survey, comparison group
survey, instructions e ➔09.REAP key trainers survey and instructions).
Uno strumento di monitoraggio e valutazione messo a punto dall’Unesco, nel quadro del programma
Imparare a vivere assieme (che include l’EDU), comprende un dettagliato protocollo di intervista,
che può essere usato, con gli insegnanti che partecipano ai programmi di formazione, prima o dopo
lo svolgimento di quest’ultimi. Le domande riguardano le nuove competenze o conoscenze, i ragionamenti e le attitudini modificati, i nuovi comportamenti, il livello di preparazione necessario per
tenere i corsi e i modi secondo cui gli insegnanti ritengono che il corso sensibilizzerà i propri studenti
(applicando la “teoria del cambiamento” del partecipante)24.
“Equitas”, un’organizzazione specializzata nell’Educazione ai diritti umani con sede in Canada, utilizza una metodologia precisa per valutare i risultati dei suoi programmi di formazione intensiva di tre
settimane. I dati vengono raccolti attraverso:
•questionari compilati dai partecipanti al termine di ogni modulo del programma;
•questionari sul processo di valutazione in se stesso, compilati dai partecipanti all’inizio della formazione e seguiti da una discussione condotta da un facilitatore;
24.Si veda: SINCLAIR, M. e altri, Learning to live toghether: Design, Monitoring, and Evaluation of Education for Life Skills, Citizenship, Peace and Human Rights, Eschborn e Parigi,
Gtz e Unesco, 2008, pp. 113–115.
53
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
•questionario di valutazione finale, compilato al termine della formazione;
•sedute quotidiane di debriefing con i formatori;
•appunti dei formatori riguardanti l’apprendimento dei partecipanti;
•informazioni informali raccolte nel corso di discussioni con i partecipanti e altre persone chiave
(➔10.Equitas training evaluation methodology).
METODOLOGIA DI RACCOLTA DEI DATI
L’ideale sarebbe che ai partecipanti fossero somministrati dei questionari sei mesi dopo la formazione. Come menzionato nel precedente paragrafo, quest’indagine potrà essere completata da colloqui
semi–strutturati con un campione di partecipanti e con persone con cui lavorano o a cui si trovano
vicini in altri ambienti in cui sia presumibile che i partecipanti esprimano o “dimostrino” i risultati
del programma EDU. La valutazione potrà inoltre utilizzare delle osservazioni come anche dei documenti redatti dai partecipanti (piani d’azione, nuove lezioni, ecc.) che potranno servire come prova
d’impatto.
Lo schema sotto riportato è tratto da una valutazione fatta per l’ufficio regionale di Amnesty International Medio Oriente e dell’Africa del Nord su un progetto sullo sviluppo delle capacità25. Possiamo
osservare la gamma di fonti utilizzate e la raccolta di dati.
DIAGRAMMA 9: ESEMPIO DI PIANO DI MONITORAGGIO E VALUTAZIONE: FONTI DELLE INFORMAZIONI RACCOLTE, AMBITI DI RICERCA, METODI DI RACCOLTA DI DATI
da chi
a) partecipanti
(difensori dei diritti umani e ONG)
b) attivisti di Amnesty International
c) organizzazioni
d) facilitatori
su cosa
grazie a
a) pianificazione e realizzazione
a) questionari semi strutturati
b) efficacia della formazione
(conoscenze/attitudini/pratica)
b) colloqui personali
c) effetto sulla sensibilizzazione e la
creazione di un sistema di valori
relativo ai diritti umani
c) documenti
d) facilitatori
Gli allegati comprendono un questionario di follow up sullo sviluppo delle capacità somministrato ai
difensori dei diritti umani e ai rappresentati delle ONG che hanno partecipato alla formazione, come
pure un questionario somministrato ai rappresentanti delle organizzazioni dei partecipanti (➔11.
Beirut follow–up capacity building questionnaire).
L’organizzazione dei laboratori di sviluppo delle capacità rappresenta un’attività che le Sezioni e le
Strutture di Amnesty International organizzano per loro. Di conseguenza, potremo effettuare valutazioni formative sulla base di informazioni fornite non solo dai partecipanti, ma anche dai nostri stessi
formatori. Il programma sloveno EIP ha messo a punto una procedura per l’auto–valutazione dei
formatori e dei loro colleghi. (➔12.EIP peer and self–evaluation of teacher trainers).
MODELLO DI CAMBIAMENTO
Come abbiamo precedentemente ricordato, dovremo essere chiari riguardo ai nostri “modelli di cambiamento” al momento dello studio dei risultati ottenuti nei progetti EDU.
Quando procediamo a valutazioni sull’empowerment dei partecipanti, dobbiamo verificare accurata-
25. KAHLIL, M.S., Report of the Capacity Building Work of Amnesty International Middle East and North Africa Regional Office – Beirut (IS Beirut) for the Period April 2004 – March
2008, 2009, p. 8.
54
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
mente:
•ogni informazione contestuale pertinente (quale, per esempio, l’appartenenza a un gruppo vulnerabile);
•le caratteristiche dei programmi (ad esempio: i temi relativi ai diritti umani trattati nel corso delle
formazioni, i mezzi di follow up forniti);
•il grado dell’intervento (per esempio, il numero d’ore della formazione).
Questo ci aiuterà a capire quali caratteristiche del programma e dei partecipanti potranno aiutarci
a spiegare il processo di cambiamento e i risultati osservati che ne derivano. È la ragione per cui la
valutazione dell’impatto del REAP comprendeva anche la raccolta di dati relativi al numero d’ore
di presenza per i “moltiplicatori”, per definire se esisteva una relazione tra i risultati individuali e il
numero d’ore di formazione ricevuto.
Se siamo in grado di raccogliere informazioni dettagliate sulle caratteristiche del nostro programma
EDU e di associarvi l’empowerment dei partecipanti, potremo allora affermare che l’EDU ha contribuito a questa situazione. Non è necessario provare che l’EDU sia la causa esclusiva dei risultati che
otteniamo.
55
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
RETI EDU
COMUNITÀ DI PRATICA
Una rete EDU è un gruppo i cui membri condividono un interesse comune per l’EDU e l’obiettivo di
promuoverla. Nel campo dell’educazione degli adulti, queste reti talvolta sono chiamate “comunità di
pratica”. I membri condividono informazioni e punti di vista al fine di sviluppare l’apprendimento e la
loro crescita personale. Le reti sono pensate per rafforzare le capacità di coloro che vi partecipano.
RETI DI AMNESTY INTERNATIONAL
In seno ad Amnesty International è presente una rete EDU internazionale. Questa comprende i coordinatori delle attività EDU e i focal point di quasi tutte le Sezioni e Strutture. Esistono poi anche reti a
livello nazionale che comprendono membri di Amnesty International, “moltiplicatori” e simpatizzanti
che prendono parte ai diversi programmi. Tali reti possono funzionare con modalità diverse, come ad
esempio la posta elettronica, le Newsletter, un sito web, delle wiky, riunioni e laboratori “in presenza”
o ancora una chiamata amichevole da parte di un responsabile EDU di Amnesty.
RISULTATI OTTENUTI DALLE RETI EDU DI AMNESTY INTERNATIONAL
Le reti EDU permettono di sostenere l’empowerment delle persone. Di conseguenza, potremo integrare la valutazione delle attività della nostra rete EDU nella “Dimensione del cambiamento” riguardante
“il rafforzamento della capacità di agire delle persone”. Tuttavia, dato che i membri delle nostre reti
agiscono anche per conto delle organizzazioni cui appartengono, le reti EDU possono anche andare a
sostenere la seconda “Dimensione del cambiamento” che fa riferimento alla “capacità di agire delle
ONG”. Passiamo di nuovo in rassegna questi ultimi risultati:
CAMBIAMENTI NELL’ATTIVISMO E LA MOBILITAZIONE (l’“unità di analisi” sono le ONG)
•Cambiamenti nelle competenze o nella capacità di mobilitazione e di attivismo dei gruppi organizzati che rappresentano i rights holders (ad esempio ONG, organizzazioni della società civile e
movimenti sociali);
•Numero di organizzazioni che operano a favore dei diritti umani;
•Cambiamenti a livello della collaborazione e della sinergia strategica tra le suddette organizzazioni;
•Livello di partecipazione delle organizzazioni ai processi decisionali dei duty bearers;
•Numero di persone impegnate nella mobilitazione, nelle campagne e nell’advocacy di Amnesty
International;
•Numero di persone che fanno parte di Amnesty International in qualità di soci e/o appartengono
alla sua rete di collaboratori.
METODOLOGIA DI RACCOLTA DEI DATI
La valutazione di una rete EDU avverrà generalmente nel quadro di un programma EDU più ampio.
Sarà difficile distinguere i risultati della rete dagli altri elementi del programma, ma cionondimeno
potremo valutarne le caratteristiche, le cui principali sono: (a) livello di attività della rete, (b) apprezzamento della rete e suo utilizzo da parte dei membri.
È possibile studiare gli elementi di una rete attraverso dei rapporti, o qualsiasi altra documentazione
disponibile sulle sue attività, come ad esempio le visite mensili alle pagine del sito web o i contributi dei membri ai dibattiti on line. All’interno delle reti di Amnesty International, cercheremo poi di
identificare gli sforzi fatti dai coordinatori EDU e dai focal point per sostenerle. Il questionario REAP
somministrato ai coordinatori EDU, per esempio, chiedeva loro di indicare quali tra gli strumenti
offerti dalla rete avessero proposto agli educatori ai diritti umani del loro paese (➔13.REAP HRE co–
ordinator survey).
Cercheremo anche di verificare in che modo questi strumenti vengono utilizzati e il valore che viene
dato loro. Queste informazioni possono essere ottenute attraverso lo studio di documenti e indagini o
colloqui con i coordinatori EDU e gli altri membri della rete.
La “letteratura” sull’educazione sottolinea come le reti si caratterizzino per la loro flessibilità, la loro
56
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
capacità di reazione, l’importanza che accordano alla collaborazione e la condivisione delle informazioni e delle risorse26. Le valutazioni delle nostre reti EDU dovranno integrare questi elementi oltre ai
risultati ottenuti dai membri della rete.
MATERIALI SCRITTI, RISORSE E ALTRI PRODOTTI EDU
Differenti tipi di prodotti legati all’EDU possono essere realizzati all’interno di un programma e potranno essere valutati sia in termini di qualità del contenuto e sia in termini del loro utilizzo. Esempi
di materiali di questo tipo sono:
•Kit formativi (da utilizzare nella “formazione dei formatori”, possono essere multimediali)
•Percorsi (lezioni/attività da utilizzare in contesti formali e non formali)
•Materiali di campaign e di sensibilizzazione (inclusi posters, magliette)
•Prodotti correlati alle attività EDU come riviste, newsletter o siti web
Come per le reti EDU e le formazioni, la valutazione dei materiali scritti, degli strumenti e degli altri
prodotti EDU sarà probabilmente un elemento di una più complessa valutazione del programma generale.
VALUTAZIONE FORMATIVA DEI MATERIALI DIDATTICI
Poiché lo sviluppo di materiali educativi richiede parecchie risorse e molto tempo, vorremmo lavorare
strettamente con i partecipanti nell’identificazione delle risorse veramente necessarie al raggiungimento dei risultati e degli obiettivi del nostro progetto EDU. Una volta poi che la produzione sarà avviata, sarà normale che altre persone revisionino la bozza, prima che questa venga finalizzata. Il tutto
sarà parte di un processo di valutazione formativa che ha luogo prima della vera fase di “pilotaggio”
dei materiali.
Nei casi in cui decidessimo di effettuare una revisione formativa dei testi dei nostri materiali, potremo applicare un sistema standardizzato di criteri, da sviluppare in collaborazione con altri. I seguenti
criteri sono stati utilizzati per valutare la qualità dei testi e possono essere adattati e ampliati per
includere sia materiali educativi “tradizionali” sia materiali non scritti, come i video:
Contenuto: Il contenuto è valido e accurato?
Linguaggio: Il linguaggio è accessibile?
Metodologia: La metodologia è adatta all’età dei partecipanti e al loro livello? Gli esercizi proposti
e i materiali sono giudicati utili?
Presentazione e design: Il livello è appropriato, in termini di impaginato, grandezza e stile del
carattere, leggibilità generale, spaziatura, margini e qualità di stampa?
Illustrazioni: Le illustrazioni sono pertinenti e appropriate in termini di qualità di esecuzione,
stile, legame col testo, accuratezza e uso del colore?
Originalità: Quali elementi di originalità e creatività sono presenti? Ci sono elementi di particolare
appeal per il partecipante?
Qualità dei materiali: In che misura la risorsa educativa supera il livello minimo in termini di carta, materiali e rilegatura?
Supporto agli educatori: Quale aiuto viene offerto attraverso la guida per educatori o gli altri materiali a supporto, nelle informazioni di contesto, nella metodologia d’insegnamento, negli esercizi e
nella valutazione27?
Questi criteri generali di valutazione e revisione dei materiali possono essere valorizzati da principi e
temi legati ai diritti umani. Per esempio, potremo volere aggiungere i due seguenti criteri alla lista di
cui sopra:
26. Education Comission of the States, A Policymaker’s Guide to Education Reform Networks, Denver, Colorado, 1997.
27. T.Hunt, presentazione su “Effective interpetation of curriculum into print materials”, Education for an Open Society Conference, settembre 2005, citato in Evaluation in the
Human Rights Education Field: Getting Started di Felisa Tibbitts, HREA/Netherland Helsinky Committee, 1997, pp. 15 –16.
57
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
Motivante: Il materiale educativo può interessare partecipanti ed educatori e motivarli ad apprendere di più e diventare più attivi?
Di successo: L’uso di questi materiali può condurre alla conoscenza/comprensione, a attitudini/
valori, competenze/comportamenti EDU e ad altri obiettivi identificati per i partecipanti?
REVISIONE DI TESTI PRODOTTI DA ALTRI
Potremo trovare ulteriori esempi di criteri di revisione da progetti di ricerca su testi condotti non in
contesti di valutazione formativa, ma da testi educativi già esistenti per poter identificare eventuali
contenuti e approcci “non–human rights friendly”. La ‘History Foundation’ in Turchia ad esempio ha
condotto un’analisi approfondita di 190 testi di scuola primaria e secondaria per identificare implicite
o esplicite violazioni degli standard e dei principi legati ai diritti umani. I criteri per l’analisi qualitativa hanno richiesto una revisione della forma, del contenuto e delle tecniche pedagogiche dei testi
scolastici. L’analisi aveva l’obiettivo di individuare contenuti e approcci in contraddizione con i valori
legati ai diritti umani.
Le aree tematiche analizzate includevano:
• Violazione diretta dei diritti umani: cattiva rappresentazione, distorsione deliberata o ignoranza
dei fondamentali concetti legati ai diritti umani;
• Militarizzazione dello spazio civico;
• Promozione del nazionalismo e dell’identità nazionale in maniera xenofoba;
• Presentazione di principi anti–democratici e contrari al pensiero laico;
• Presenza di elementi di tipo patriarcale e discriminatorio nei confronti delle donne;
• Fallimento nel promuovere il pensiero critico e uso dell’educazione come strumento per l’“indottrinamento”.
Ulteriori dettagli su questo progetto si possono trovare nell’allegato (➔14.Turkey History Foundation
Textbook Analysis).
PILOTAGGIO DEI MATERIALI
Potremmo inoltre dedicare una fase intera del nostro progetto EDU al “pilotaggio” dei materiali, conosciuto anche come “test sul campo”. Quest’ultimo non implica solo una revisione del testo da parte
di coloro che lo usano (come educatori e formatori) ma comprende anche feedback su come le attività
possono concretamente essere condotte nella pratica. Questo tipo di valutazione formativa può essere
molto utile per comprendere quali attività funzionano bene e perché, ed è ugualmente un investimento importante da fare in tutti quei casi in cui è prevista una produzione e distribuzione su larga
scala dei materiali educativi. A questo riguardo, quando Amnesty International ha avuto occasione di
collaborare con i Ministeri dell’Istruzione su testi scolastici EDU, questo tipo di test è stato richiesto
dagli stessi Governi.
STRUMENTI DI AMNESTY INTERNATIONAL
È disponibile una “letteratura” che offre una panoramica dei processi di “test sul campo”, inclusi
quelli dei programmi EDU28. Tra gli allegati, sono disponibili brevi e semplici questionari di feedback
usati da Amnesty UK per il pilotaggio dei materiali del progetto Lift Off per la scuola primaria (➔15.
Ireland–Northern Ireland Field Testing Feedback Forms).
METODOLOGIA DI RACCOLTA DATI
I metodi di raccolta dei dati comunemente utilizzati sono i seguenti: questionari compilati dagli
educatori (e talvolta dai partecipanti) alla fine di ogni attività o sessione formativa, osservazioni da
parte del curatore dei materiali durante le attività, colloqui con gli educatori e i partecipanti, e infine
revisione di ogni prodotto associato alla fase di test (come i lavori dei partecipanti).
Ecco alcuni esempi di domande generiche che possono essere poste agli educatori che stanno pilotando i materiali per avere i loro feedback sul modo in cui si è svolta la sessione:
28. Si veda: F. Tibbitts, “Field testing of materials” in Evaluation in the Human Rights Education Field, Getting Started, HREA/ Netherland Helsinky Committee, 1997.
58
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
• L’attività era in linea con quanto presentato nel testo? È stata in qualche modo modificata? Se
sì, come e perché?
• La lezione è stata portata a termine?
• La lezione è stata efficace? Commenti.
• Suggerimenti per eventuali modifiche.
I colloqui con i partecipanti, organizzati sotto forma di focus group, forniranno preziose informazioni
sul loro punto di vista rispetto a una determinata sessione formativa. I valutatori potranno proporre ai
partecipanti di condividere un elemento della lezione che per loro ha rappresentato una novità, verificare se l’incontro li ha fatti riflettere in modo diverso rispetto a un determinato tema, se è piaciuto,
quale è il loro parere rispetto ad altri incontri.
VALUTAZIONE FINALE E MISURA DELL’IMPATTO
Se lo desideriamo, potremo poi integrare la valutazione finale o la misura dell’impatto con un’analisi
qualitativa e sull’utilizzo dei materiali didattici. L’analisi della qualità dei materiali educativi potrà
essere fatta anche utilizzando gli stessi criteri impiegati per una valutazione formativa – anche se, a
questo stadio delle attività, il contenuto del nostro materiale dovrà essere già definito – e dovremmo
piuttosto assicurarci che i materiali siano utilizzati correttamente contribuendo all’empowerment delle
persone, sia che si tratti di educatori sia che si tratti di altri partecipanti.
Potremo poi includere informazioni come, ad esempio, il numero di DVD realizzati e distribuiti, o il
numero di visite alle pagine del nostro sito dedicate all’EDU. Potremmo infine consultare direttamente i partecipanti per sapere come utilizzano concretamente i materiali e la loro percezione dei risultati
ottenuti.
L’ufficio regionale di Amnesty International in Medio Oriente e in Nord Africa ha proceduto a una valutazione finale del proprio notiziario Mawered, una pubblicazione bi–trimestrale che ha come oggetto
l’EDU. Potete trovare il rapporto finale di questa valutazione tra gli allegati (➔16.AI Mawered evaluation).
La metodologia utilizzata per la valutazione era in linea con i suggerimenti formulati in precedenza:
•Una lettura attenta di dieci numeri di Mawered, prestando attenzione alla relazione tra il contenuto
della rivista e la strategia di Amnesty International. Questo processo di lettura prendeva in esame i
principali temi trattati e la coerenza della presentazione.
•Un’indagine condotta sulle opinioni e sulle raccomandazioni delle parti interessate tramite interviste semi – strutturate con attivisti e con membri di Amnesty International nei paesi del Medio
Oriente e del Nord Africa.
EDUCAZIONE AI DIRITTI UMANI INTEGRATA NEI
PROGRAMMI DIDATTICI
(PER ESEMPIO NELLE SCUOLE O IN ALTRI CONTESTI, INCLUSA LA FORMAZIONE A DISTANZA)
Un progetto EDU integrato nei programmi didattici può essere costituito da una serie organizzata di
lezioni o addirittura da un corso di studi. Questa tipologia di programma attingerà dagli elementi e
dalle metodologie di valutazione già citati, come i workshop, gli eventi formativi singoli, i prodotti e,
laddove possibile, anche le reti EDU. I programmi di questo tipo si sviluppano generalmente in contesti formali come le scuole, gli enti di formazione degli insegnanti, le scuole di polizia, le ONG, oppure
gli ambienti di formazione a distanza.
AMBITI DI RICERCA
•Le valutazioni dei progetti EDU integrati nei programmi didattici verteranno attorno alle seguenti
59
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
quattro aree:
•Il contesto didattico nel quale il programma EDU è inserito;
•Il grado e la qualità del programma EDU;
•I processi di cambiamento che hanno avuto luogo;
•I risultati sui partecipanti.
METODOLOGIA DI RACCOLTA DATI
La complessità dei programmi e delle valutazioni implica un approccio qualitativo della raccolta dei
dati, incluse le interviste e i focus group con partecipanti e stakeholders, l’osservazione dei processi e
del contesto didattico, l’analisi delle conoscenze e delle opinioni, lo studio dei documenti.
Possono essere comunque raccolti anche dati quantitativi, come le presenze, i voti e altri dati numerici già normalmente raccolti nel contesto didattico. Se vogliamo documentare i risultati di un programma EDU curriculare su un gruppo di partecipanti e compararli con i risultati di altri studenti non
partecipanti al nostro programma, potremmo includere, nella nostra valutazione, delle comparazioni
o dei “gruppi di controllo”. Questo tipo di valutazione sarà probabilmente inserito nell’ambito della
misura dell’impatto e includerà anche analisi statistiche.
La metodologia di valutazione finale per l’iniziativa EDU Lift Off! di Amnesty International Irlanda e
Amnesty International Irlanda del Nord nelle scuole primarie si basava su due tipi di approccio, quello qualitativo e quello quantitativo.
•Raccolta di dati qualitativi grazie a:
∙ Focus group con insegnanti, genitori e bambini, e colloqui individuali con le principali parti interessate: membri del comitato direttivo, team di progetto e dirigenti d’istituto;
∙ Studi di caso in quattro scuole, due in Repubblica d’Irlanda e due in Irlanda del Nord. Per questi,
i valutatori si sono spostati nelle quattro scuole, hanno parlato con i bambini, con gli insegnanti,
con il capo d’istituto e con un certo numero di genitori.
•Raccolta di dati quantitativi a cura del coordinatore e dei responsabili del progetto.29
FOCUS: APPROCCIO TRAMITE STUDI DI CASO
Gli studi di caso sono spesso utilizzati per analizzare i cambiamenti sopraggiunti in una classe, in un
programma e in una scuola. Ci permettono di integrare le molteplici fonti di dati per rappresentare
il contesto ricco e variegato nel quale avrà luogo l’intervento, con i suoi processi di cambiamento e i
risultati. Insomma possono aiutarci a comprendere il perché dei nostri programmi.
Per la valutazione del progetto Lift Off! nel 2002 gli studi di caso prendevano in considerazione i
seguenti elementi:30
•contesto generale: tipo di scuola, grandezza, settore, coinvolgimento nei curricoli, personale;
•contesto rispetto alla partecipazione al progetto: motivi della partecipazione, reazione degli insegnanti, coinvolgimento del consiglio d’istituto, consenso dei genitori;
•valori, etica e disciplina applicate dalla scuola;
•metodo pedagogico;
•percezione dell’obiettivo del progetto – le scuole devono partecipare a questo genere di iniziativa?
•difficoltà e domande relative all’impegno per i diritti umani;
•risultati per gli studenti, per gli insegnanti e per la scuola nel suo insieme;
•studio degli elementi–chiave del progetto;
•futuro del progetto.
Gli studi di caso si basano ampiamente sui colloqui. I protocolli di intervista semi–strutturati, utilizza-
29. KING, P. e AUSTIN, Cross–Border Primary School Rights Education Iniziative 2000–2003, An Evaluation, 2002, effettuata per Amnesty International – Irlanda, pag. 24.
30. GLEESON e altri 1999, p. 72–73, citato in KING, P. e AUSTIN, R., Cross–Border Primary School Human Rights Education Initiative 2000–2003, An Evaluation, 2002, effettuato per Amnesty International – Irlanda, pag. 25.
60
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
ti per la valutazione del 2002 del progetto Lift Off! con gli insegnanti, gli studenti, i capi d’istituto, i
genitori, il team Amnesty e il consiglio d’istituto sono inclusi tra gli allegati (➔17.Ireland – Northern
Ireland interviewee protocol).
Ora che abbiamo affrontato le diverse metodologie che possono essere impiegate per la valutazione
di un programma EDU integrato nei programmi didattici, ritorniamo ai quattro ambiti ai quali deve
interessarsi la ricerca:
•Il contesto didattico nel quale il programma EDU è inserito;
•Il grado e la qualità del programma EDU;
•I processi di cambiamento che hanno avuto luogo;
•I risultati sui partecipanti.
Può essere utile mettere assieme le informazioni sul contesto didattico studiando:
•il contenuto previsto del programma d’insegnamento;
•le modalità di insegnamento e di apprendimento implicite ed esplicite (tradizioni educative e cultura);
•il contenuto e i tipi di valutazione (in particolare il cosiddetto “high stakes testing”);
•la serie di valori che devono essere promossi presso i partecipanti (come la cittadinanza consapevole);
•le condizioni “ambientali” dell’apprendimento (l’accesso alle risorse, il numero di studenti per
classe, ecc.)
Questi elementi del contesto didattico daranno agli educatori Amnesty le “lenti” giuste per decidere
quali elementi dei programmi EDU saranno trattati, come e con quale obiettivo. Nel caso in cui il programma EDU sia la sola attività proposta, ad esempio in corsi organizzati con delle ONG partner o in
corsi a distanza organizzati direttamente da Amnesty International, la nostra valutazione potrà porre
meno attenzione a molte di queste informazioni.
VALUTAZIONE DEI PROGRAMMI DI EDUCAZIONE AI DIRITTI UMANI NELLE SCUOLE
Nel contesto di una scuola, la valutazione delle componenti curricolari potrà comportare la decisione
di adattare il programma EDU a quello scolastico, affinché siano armonici. Questo esercizio di adattamento può essere fatto in un primo momento tramite l’esame dei documenti, confrontando il contenuto del nostro programma EDU, e degli obiettivi che cerca di raggiungere, con gli aspetti corrispondenti all’interno del sistema scolastico.
Tuttavia, per poter riuscire ad effettuare davvero questo adattamento, dovremo sapere quale uso
“reale” viene fatto del programma EDU. Questo tipo di analisi ci pemetterà di capire in quale misura
il programma EDU sia adatto ai moduli di insegnamento esistenti e, al contempo, di identificare gli
elementi favorevoli o gli ostacoli presenti all’interno della scuola. Ci porta dunque a una valutazione
del grado e della qualità della realizzazione del nostro programma.
Nonostante si abbia la tendenza a considerare il programma EDU curricolare come un intervento unico, esso è in realtà costituito da una serie di interventi distinti pianificati (o no, talvolta!).
Per questi interventi, disponiamo dei seguenti elementi:
•il materiale educativo;
•il supporto continuo che forniamo agli educatori affinché possano utilizzare i materiali educativi;
•le lezioni individuali;
•la qualità di queste lezioni.
Il paragrafo riguardante il “pilotaggio” suggerisce diverse modalità di raccolta delle informazioni sul
modo in cui avviene l’intervento educativo: interviste, colloqui e osservazioni. Al momento della valutazione del grado e della qualità dell’intervento, cercheremo di capire ciò che ha influenzato le scelte
degli educatori nell’utilizzo del programma.
61
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
VALUTAZIONE FINALE E MISURA DELL’IMPATTO DELLO SVOLGIMENTO DEI PROGRAMMI
Dovremo valutare noi stessi, domandandoci se abbiamo svolto il programma come previsto. Studiando
ancora una volta il progetto Lift Off! del 2002, vediamo che la valutazione finale prendeva in esame
una serie di strategie destinate a aiutare le scuole, gli insegnanti e i ragazzi, che comprendeva in
particolare:
•la costituzione di un gruppo di lavoro formato da insegnanti in Irlanda del Nord e nella Repubblica
d’Irlanda, affinché adattassero i materiali esistenti o ne sviluppassero di nuovi;
•la facilitazione della costruzione di forti legami transfrontalieri tra le scuole, partendo dal principio
che è “riconosciuto che i legami transfrontalieri stabiliti tra comunità diverse possano favorire un
reciproco riconoscimento e rispetto”;
•il ricorso a tecnologie di comunicazione interattiva per gettare dei ponti tra le due zone.31
La valutazione finale ha anche passato in rassegna la programmazione dei processi, che possiamo
considerare come parzialmente “a specchio” dell’approccio basato sui diritti umani: si trattava, infatti, di analizzare i bisogni/opportunità di un approccio EDU transfrontaliero nella Repubblica d’Irlanda
e in Irlanda del Nord e di portare a termine un processo di consultazione per la strutturazione e la
realizzazione del programma pilota.
PROCESSI DI CAMBIAMENTO CURRICOLARE
Nel momento in cui studiamo il modo in cui il programma EDU condotto nelle scuole è stato realizzato, possiamo anche esaminare i processi di cambiamento avvenuti. Nel nostro piano di monitoraggio e
valutazione avremo identificato i legami tra le attività previste e i risultati attesi. La valutazione della
realizzazione concreta del programma potrà poi cercare le prove di questi processi di cambiamento,
che ci aiuteranno a interpretare gli elementi raccolti in relazione ai risultati.
La valutazione del programma Lift Off! si basava in modo esplicito sui lavori di Fullan e Stiegelbauer.
Il paragrafo che segue è un estratto del rapporto di valutazione Lift Off! del 2003:
Esistono sostanzialmente due tipi di cambiamento che Fullan e Stiegelbauer (1992)32 denominano con i termini di “cambiamento di primo ordine” e “cambiamento di secondo ordine”.
I “cambiamenti di primo ordine” sono cambiamenti volti a migliorare il rendimento e l’efficacia
delle azioni già messe in pratica, senza sconvolgere il modo in cui l’insegnamento è impartito agli
studenti o le strutture. I “cambiamenti di secondo ordine” hanno una più grande portata e riguardano la cultura e la struttura delle scuole.
I secondi sono più importanti ed efficaci. I cambiamenti nei curricoli che rientrano nell’ambito dei
“cambiamenti di secondo ordine” implicano:
l’utilizzo di nuovi materiali o di materiali rivisti;
l’utilizzo di nuove tecniche;
la modifica delle convinzioni, ossia del modo in cui le persone percepiscono ciò che fanno;
lo sviluppo di nuove strutture.33
Per questa valutazione, i ricercatori hanno in seguito effettuato degli studi, nell’ambito delle scuole
pilota del progetto Lift Off!, sui seguenti temi: significato, innovazione, fattori di avvio e di realizzazione, scuole, insegnanti, aggiornamento, facilitatori esterni e innovatori. Questi rapporti di valutazione
illustrano in modo dettagliato le metodologie utilizzate per studiare i processi di cambiamento curricolare nelle scuole.
DIMENSIONI DEL CAMBIAMENTO
La valutazione dei programmi curricolari, come in ogni altro programma EDU, studierà anche le ripercussioni sui partecipanti. Nel vocabolario delle “Dimensioni del cambiamento”, questo può anche
31. KING, P. e AUSTIN, R. Cross–Border primary School Human Rights Education Initiative 2000–2003. An evaluation, 2002 effettuato per Amnesty International – Irlanda, pag. 6.
32. FULLAN, M.G. e STIEGELBAUER, S., The New Meaning of Educational Change. Cassel, Londra, 1992.
33. FULLAN, M.G. e STIEGELBAUER, S., The New Meaning of Educational Change. Cassel, Londra, 1992, pag. 29.
62
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
essere presentato come il cambiamento nella vita delle persone attraverso l’empowerment di partecipanti ed educatori.
Questi risultati dovranno essere chiaramente individuati nei progetti e apparire nei piani di monitoraggio e valutazione. A titolo esemplificativo citiamo due obiettivi di empowerment nell’ambito dell’iniziativa Lift Off!:
• incoraggiare la comprensione da parte degli alunni delle scuole primarie della Repubblica d’Irlanda e d’Irlanda del Nord dei loro diritti e delle loro responsabilità, come enunciati nella Dichiarazione universale dei diritti umani e nella Convenzione sui diritti dell’Infanzia e dell’Adolescenza, e le
ripercussioni che questo potrebbe avere sulle loro vite;
• incoraggiare la comprensione dei diritti umani e delle responsabilità degli insegnanti facendo in
modo che l’EDU sia parte integrante del loro lavoro nella scuola primaria, in particolare grazie al
lavoro delle associazioni degli insegnanti della scuola primaria in Irlanda del Nord e nella Repubblica d’Irlanda.34
Cambiamenti nelle vite dei beneficiari primari: da tenere a mente quando raccogliamo elementi sui
risultati sui partecipanti, sono le altre dimensioni del curricolo che abbiamo già citato, e che avranno
di sicuro un’influenza su di essi. Ricordiamoli: il contesto didattico nel quale il programma EDU è
inserito; il grado e la qualità del programma EDU; i processi di cambiamento che hanno avuto luogo;
i risultati sui partecipanti. I paragrafi precedenti hanno presentato diversi metodi per raccogliere le
informazioni sui risultati legati alla conoscenza e alla comprensione, ai valori e attitudini e alle competenze e comportamento. La letteratura ci fornisce un aiuto supplementare sul modo in cui dobbiamo misurare il cambiamento e i progressi dei partecipanti al termine di un programma EDU. Queste
tecniche di raccolta dati comprendono:
•interviste “prima e dopo”, questionari e/o test;
•domande dirette sull’impatto del corso;
•osservazione della partecipazione degli studenti alle lezioni;
•osservazione della partecipazione degli studenti alle attività scolastiche e del clima della scuola;
•stime dei cambiamenti nel comportamento all’interno alla scuola;
•stime dei cambiamenti nella società.35
Le tecniche di ricerca cosiddette “aperte” potranno includere domande (per esempio “che cosa sono
i diritti umani?”), ma anche metodi (come per esempio quelli che si basano sull’arte, la scrittura, il
teatro).36 Tali metodi ci aiuteranno a capire i temi dal punto di vista dei partecipanti, anche se più
complessi da analizzare e confrontare.
I cambiamenti esercitati sull’attivismo e sulla mobilitazione: fin qui ci siamo interessati prevalentemente alle ripercussioni sui partecipanti. Tuttavia possono esserci anche dei cambiamenti istituzionali, visto che i programmi si svolgono nell’ambito di organizzazioni. Questa possibilità ci permette di
collegare tutte le “Dimensioni del cambiamento” di Amnesty International al nostro programma EDU
in ambito curricolare. La realizzazione di tale programma da parte di Amnesty International o di una
ONG partner può infatti produrre cambiamenti nell’attivismo e nella mobilitazione (la nostra seconda
“Dimensione del cambiamento”). Se il programma viene realizzato in collaborazione con un’istituzione governativa, allora possiamo osservare dei cambiamenti concreti nelle politiche e nell’”accountability” (la nostra terza e quarta “Dimensione del cambiamento”). Queste “Dimensioni del cambiamento” saranno affrontate più avanti in questo capitolo.
34. FULLAN, M.G. e STIEGELBAUER, S., The New Meaning of Educational Change. Cassel, Londra, 1992, pag. 9.
35. Si veda: SINCLAIR M. e altri, Learning to Live Together: Design, Monitoring and Evaluation of Education for Life Skills, Citizenship, Peace and Human Rights. Eschborn e Parigi,
GTZ e UNESCO, 2008, pag. 100.
36. Si veda: SINCLAIR M. e altri, Learning to Live Together: Design, Monitoring and Evaluation of Education for Life Skills, Citizenship, Peace and Human Rights. Eschborn e Parigi,
GTZ e UNESCO, 2008, pag. 96 e pag. 134.
63
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
ISTITUZIONI DI FORMAZIONE E FORMAZIONE A DISTANZA
Gli esempi di programmi curricolari citati riguardano generalmente l’insegnamento scolastico. Questa
guida può tuttavia essere adattata anche al lavoro negli istituti di formazione o all’e–learning. Nonostante non esista ancora nessuno studio disponibile sull’EDU in tali strutture e contesti, gli studi
esistenti su temi connessi possono risultare utili. Potrete trovare alcuni rapporti rappresentativi della
valutazione di programmi di formazione professionale e della formazione a distanza tra gli allegati.
Inoltre è possibile effettuare ricerche on line sul sito dell’ERIC (Education Resources Information
Center: www.eric.ed.gov) o su qualsiasi altro motore di ricerca per trovare studi che utilizzano metodologie che potrebbero esserci utili.
PROGRAMMI ESPERIENZIALI
(PER ESEMPIO SCHOOL CLUBS, CAMPI ESTIVI, VISITE DI STUDIO)
METODOLOGIE PER LA RACCOLTA DEI DATI
La valutazione di programmi EDU di breve durata, che si basano su un’esperienza concreta, comprende processi e metodologie simili a quelli esposti precedentemente. I nostri piani di monitoraggio,
valutazione e di raccolta dati dovranno riunire informazioni sui risultati previsti per l’empowerment
delle persone e dovranno essere realistici in relazione al nostro intervento.
Dovremo cercare di raccogliere dati prima e dopo l’evento, per poter giudicare se si sono verificati dei
cambiamenti rispetto a conoscenza/comprensione, valori/attitudini, così come a competenze/comportamento. Questo tipo di informazioni è generalmente raccolto grazie a questionari che potremo integrare con interviste effettuate al termine del programma. Inoltre, dal momento che alcuni di questi
programmi implicano un processo di riflessione, i partecipanti potrebbero tenere un diario. Come per
i programmi integrati ai curricoli, potremmo poi fare ricorso a metodi di indagine “aperti”, una volta
che l’evento fosse terminato, basati su una serie di domande o anche sull’arte, la scrittura o il teatro.
Questi programmi fondati sulle esperienze sono pensati per avere effetti duraturi sui partecipanti. Per
quanto possibile cercheremo quindi di rimanere in contatto con loro dopo la fine del programma per
verificare se i cambiamenti permangono in termini di percezione di loro stessi, percezione degli altri,
visione del mondo, preoccupazioni, comportamenti, ecc. Cosa i partecipanti ricordano e valutano sarà
importante per noi per sviluppare poi nuovi programmi di questo tipo. Ad esempio, nell’ambito del
progetto REAP, alcuni insegnanti hanno anche indicato, al momento della valutazione dell’impatto
della partecipazione degli studenti delle scuole medie ai gruppi sui diritti umani in Polonia, che numerosi di essi avevano in seguito fondato dei gruppi sui diritti umani all’interno delle loro scuole.
Questi programmi sono più divertenti rispetto ai modi di “insegnamento” più classici e permettono ai
partecipanti di vivere nuove esperienze. I punti di forza e i processi di cambiamento avvenuti dovranno essere oggetto di un esame minuzioso al momento della valutazione. Per esempio:
•i gruppi scolastici possono costituire un “forum” in cui i partecipanti potranno, magari per la prima
volta, avviare attività o azioni di sensibilizzazione sui diritti umani.
•I campi estivi possono riunire giovani provenienti da gruppi che non sono soliti frequentarsi o che,
talvolta, sono addirittura in conflitto.
•Le visite di studio ci permettono di realizzare programmi EDU in un contesto molto diverso dal
nostro.
La nostra valutazione dovrà cercare di determinare in cosa queste esperienze si distinguono dalle
altre, ciò che i partecipanti hanno appreso e ciò che per essi ha rappresentato.
Per i programmi radio nelle comunità, il teatro o altri eventi di sensibilizzazione, le valutazioni potranno comprendere indagini e interviste con il pubblico, così come osservazioni etnografiche.
In genere queste ricerche analizzano:
•il tipo di pubblico e le sue caratteristiche (raggiungiamo quelli che vogliamo raggiungere?);
64
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
•il livello di ricettività dell’evento (quanti partecipanti hanno ascoltato, letto o guardato?);
•le reazioni all’evento (è stata apprezzato?);
•l’impatto all’evento (cambiamenti nella conoscenza, attitudini o comportamenti?).
Il capitolo “Riferimenti bibliografici” alla fine di questa guida cita un documento sulla valutazione di
un programma radio locale in Sudafrica.
Le valutazioni formative condotte nel corso o all’inizio dei programmi esperienziali ci permetteranno
di effettuare adattamenti per aiutarci a raggiungere gli obiettivi prefissati.
ORGANIZZAZIONI E ISTITUZIONI PARTNER
PER L’EDUCAZIONE AI DIRITTI UMANI
(PER ESEMPIO: HUMAN RIGHTS FRIENDLY SCHOOLS, ORGANIZZAZIONI DI COMUNITÀ DI BASE,
ORGANISMI GOVERNATIVI)
Numerosi programmi EDU implicano la costruzione o il rafforzamento delle capacità in ambito EDU
delle organizzazioni. Questo implica il nostro rafforzamento delle capacità EDU! In questa sezione
studieremo i diversi modi in cui potremo valutare gli obiettivi relativi al capacity building istituzionale o di altri “ambienti favorevoli” per l’EDU in generale, tramite politiche e azioni promosse da altre
istituzioni.
Sviluppo della capacità di Amnesty International in materia EDU
Lo svolgimento di programmi EDU ci aiuterà necessariamente ad apprendere e a rinforzare la nostra
capacità in questo senso. La partecipazione ad un processo di monitoraggio e valutazione continuo e
ragionato ci assisterà in questo processo.
METODOLOGIE DI RACCOLTA DATI
Gli elementi che compongono il nostro programma EDU possono essere valutati in modo quantitativo.
Cercheremo di riunire le informazioni sui risultati e l’impatto in seno al nostro Movimento, tramite
indicatori come:
•il numero di formatori chiave di cui disponiamo;
•il materiale educativo che abbiamo adattato o messo a punto;
•il numero di membri che compongono le reti EDU;
•i tipi di supporto che forniamo agli educatori ai diritti umani;
•i continui sviluppi dei programmi EDU;
•il livello di impegno istituzionale nella realizzazione di politiche e programmi relativi all’EDU (discussioni, reazioni, budget).
È anche possibile valutare gli elementi che compongono il programma in modo qualitativo. Faremo il
possibile allora per misurare le capacità e l’efficacia dei formatori e il successo riscontrato dai “moltiplicatori”, verificando inoltre se i nostri materiali educativi siano stati utilizzati. Sarebbe opportuno
raccogliere queste informazioni al momento della valutazione formativa, in modo da adattare i nostri
programmi di conseguenza.
L’analisi di alcune informazioni legate ai programmi ci fornirà anche una valutazione quantitativa
delle capacità interne in ambito EDU, indicando per esempio il numero di formazioni organizzate, il
numero dei partecipanti, ecc. le cui cifre sono raccolte nel corso delle valutazioni.
65
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
UN ESEMPIO DI AMNESTY INTERNATIONAL
La valutazione di un programma di formazione EDU realizzato dall’ufficio regionale del Medio Oriente
e del Nord Africa comprendeva un’analisi delle capacità di Amnesty International di gestire il programma. Grazie a colloqui e allo studio di documenti, i valutatori esterni hanno potuto fare commenti
e suggerire miglioramenti relativamente ai processi di pianificazione, gestione, valutazone e follow–up
in Amnesty International. Potete trovare questa valutazione tra gli allegati (➔11.Beirut follow–up
capacity building questionnaire).
DIMENSIONI DEL CAMBIAMENTO
Come indica il Piano strategico integrato 2010–2016, l’EDU è considerato uno strumento essenziale
per raggiungere gli altri obiettivi dell’ISP, inclusi la crescita e lo sviluppo del Movimento mondiale dei
diritti umani, la promozione della partecipazione attiva dei/delle soci/e e dei/delle sostenitori/sostenitrici; e l’investimento nei/nelle volontari/e, nel personale, nei/nelle dirigenti e nei sistemi.
Questi risultati sono inseriti all’interno della “Dimensione del cambiamento” legata all’attivismo e alla
mobilitazione, e le ONG ne costituiscono “l’unità di analisi”.
CAMBIAMENTI NELL’ATTIVISMO E LA MOBILITAZIONE (l’“unità di analisi” sono le ONG)
•Cambiamenti nelle competenze o nella capacità di mobilitazione e di attivismo dei gruppi organizzati che rappresentano i rights holders (ad esempio ONG, organizzazioni della società civile e
movimenti sociali);
•Numero di organizzazioni che operano a favore dei diritti umani;
•Cambiamenti a livello della collaborazione e della sinergia strategica tra le suddette organizzazioni;
•Livello di partecipazione delle organizzazioni ai processi decisionali dei duty bearers;
•Numero di persone impegnate nella mobilitazione, nelle campagne e nell’advocacy di Amnesty
International;
•Numero di persone che fanno parte di Amnesty International in qualità di soci e/o appartengono
alla sua rete di collaboratori.
Una valutazione interna dello sviluppo delle capacità del nostro programma EDU potrà di conseguenza tenere conto di questi altri obiettivi per la nostra organizzazione. La misura dell’impatto effettuata
nell’ambito del programma REAP comprendeva un questionario destinato ai coordinatori delle attività
EDU che passava in rassegna ambiti di impatto così come lo sviluppo di partenariati per l’EDU. Potete trovare il questionario tra gli allegati (➔13.REAP HRE co–ordinator survey).
Sviluppo delle capacità dei partner istituzionali
Lo sviluppo delle capacità dei partner dovrà essere integrato negli obiettivi dei nostri programmi EDU.
Questo aspetto rientra perfettamente anche nell’ambito della campagna (((Io pretendo dignità))) di
Amnesty International che incoraggia i partenariati e lo sviluppo delle capacità nelle ONG e nelle
organizzazioni della società civile, con l’obiettivo di eliminare la povertà. L’EDU si integrerà perfettamente in questo tipo di approccio.
I nostri partner potranno essere non solo ONG e organizzazioni della società civile, ma anche organizzazioni istituzionali come Ministeri, uffici dell’amministrazione locale e regionale, centri di formazione o scuole.
La programmazione, così come i piani di monitoraggio e valutazione, dovranno definire in modo preciso gli obiettivi di sviluppo delle capacità dei partner. Dovremo disporre di strategie chiare che vadano
ben al di là della formazione dei singoli e che siano in linea con gli obiettivi definiti che cercheremo
di misurare.
OBIETTIVI PER I PARTNER
Il programma EDU può migliorare in diversi modi le capacità dei partner di realizzare attività EDU.
Tra queste strategie citiamo:
66
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
•l’integrazione di staff/ formatori delle organizzazioni partner in programmi di formazione di Amnesty International;
•un lavoro di “pressione” nell’organizzazione partner affinché integri l’EDU nei suoi programmi;
•la fornitura di materiali educativi e di risorse;
•il supporto e il sostegno continui alle attività EDU effettuate dall’organizzazione partner.
Capacità di svolgere attività EDU: potremo anche cercare diversi tipi di prove relative alla capacità dei
nostri partner di svolgere attività EDU, che in gran parte rispecchierebbero quelli elencati in precedenza per la stessa Amnesty:
•il numero di formatori chiave di cui disponiamo;
•il materiale educativo che abbiamo adattato o messo a punto;
•il numero di membri che compongono le reti EDU;
•i tipi di supporto che forniamo agli educatori ai diritti umani;
•i continui sviluppi dei programmi EDU in Amnesty;
•il livello di impegno istituzionale nella realizzazione di politiche e programmi relativi all’EDU (discussioni, reazioni, budget).
Strutture di project management: dovremo valutare la capacità generale dei nostri partner di pianificare, coordinare e realizzare attività EDU che corrispondano ai bisogni locali, in particolare creando
strutture di project management. Questa capacità è stata sviluppata per i partner nell’ambito del
Progetto EDU in Africa. Potrete trovare riferimenti su questo tra gli allegati. (➔18.West Africa HRE
capacity development of partners).
Maggiore collaborazione: le analisi dell’impatto associato a questa “Dimensione del cambiamento”
dovranno cercare di rafforzare la collaborazione tra Amnesty International e le organizzazioni partner
per il sostegno all’EDU o per altre questioni relative ai diritti umani.
DIMENSIONI DEL CAMBIAMENTO
Potremo anche analizzare le seguenti aree, riferendoci alla “Dimensione del cambiamento” relativa
alle “politiche e all’accountability”:
CAMBIAMENTI NELLE POLITICHE E NELL’ACCOUNTABILITY (l’“unità di analisi” sono gli organi
governativi, le organizzazioni intergovernative e altri attori non statali)
•Accrescimento della capacità di “dare conto” attraverso le conoscenze dei duty bearers in materia
di diritti umani e dell’obbligo, che compete loro, di rispettarli;
•Elaborazione di nuovi programmi/leggi/politiche connessi ai diritti umani o all’EDU;
•Realizzazione di nuovi programmi/leggi/politiche connessi ai diritti umani o all’EDU;
•Livello di impegno istituzionale nella realizzazione di politiche/programmi EDU (dibattiti, risposte,
finanziamenti);
•Livello di accoglienza dei diritti umani o dell’EDU da parte dei gruppi della società civile;
•Livello di trasparenza dei processi istituzionali;
•Misura dei mezzi partecipativi delle organizzazioni della società civile nei processi decisionali;
•Cambiamento nel dibattito e nell’opinione pubblica.
Dovremo infine ricordare che i cambiamenti nelle politiche scolastiche, nella legislazione, nei programmi formativi e nei materiali di Amnesty International, possono anche avere un’influenza sul lavoro di altri nell’ambito dell’Educazione ai diritti umani, facilitando lo sviluppo di “ambienti favorevoli”
che possono essere coltivati grazie al lavoro di molti altri attori nell’ambito dell’EDU.
L’ESEMPIO DI AMNESTY INTERNATIONAL
Nel programma EDU in Africa occidentale, i risultati ottenuti grazie al lavoro di Amnesty International
a livello nazionale si possono considerare “ambienti favorevoli” per l’EDU. Gli obiettivi presi in considerazione erano i seguenti: accesso agli strumenti e ai materiali di formazione e di sensibilizzazione
rivisti, aumento della cooperazione e dell’efficacia degli attori EDU. (➔19.West Africa HRE enabling
67
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
environments for HRE).
MODELLO DI CAMBIAMENTO: MAPPA DEI RISULTATI
La prima parte di questa guida ha introdotto il concetto di “mappa dei risultati”, centrata sui percorsi di cambiamento piuttosto che sugli indicatori di risultato a partire dall’inizio del programma.
La mappa dei risultati è una forma di valutazione utilizzata nello sviluppo delle capacità dei partner.
Gli indicatori del lavoro dei partner potranno essere individuati in fase di progettazione, e il lavoro di
Amnesty International potrà essere considerato come un “contributo” piuttosto che come la causa
esclusiva dei risultati ottenuti.
La mappa dei risultati può essere integrata nei quadri logici in quei progetti di Amnesty International
che implicano lo sviluppo delle capacità organizzative.
LAVORO DI CAMBIAMENTO NELLE SCUOLE
Questo approccio è particolarmente adatto nel lavoro di cambiamento nelle scuole come quello promosso dal progetto Human Rights Friendly Schools di Amnesty International. Questo “sviluppo delle
capacità” presuppone che le scuole realizzino dei propri piani di azione e propri indicatori relativi ai
prodotti e ai risultati. Ciò riflette l’approccio della mappa dei risultati, che permette di vedere alcuni
risultati apparire naturalmente nei progetti di sviluppo delle capacità.
Il progetto Human Rights Friendly Schools ha identificato quattro aree per l’integrazione dei principi e
delle pratiche relativi ai diritti umani nella vita scolastica: le attività curricolari, quelle extra–curricolari, la governance scolastica e le relazioni tra i membri della comunità scolastica.37 Questo programma ha previsto azioni di monitoraggio e valutazione in tutte le tappe del suo sviluppo, fornendo alle
parti interessate gli strumenti necessari alla loro realizzazione. Questi comprendono:
•strumenti che permettono una prima analisi che funge da base di riferimento e che comprende
l’attività “Tastate il polso della vostra scuola in materia di diritti umani” e l’analisi SWOT (➔20.
Human rights friendly schools initial analyses).
•modelli di monitoraggio e valutazione, che comprendono database, prodotti e risultati associati
al piano operativo, la realizzazione di focus group e di sondaggi in tutta la scuola per favorire il
dialogo e il feedback sul progetto (➔21.Self–evaluation and monitoring for human rights friendly
schools).
Il tutto è poi completato dal quadro teorico di Amnesty International che include principi generali per
il cambiamento in ogni scuola (che si basa sul sistema dei diritti umani) raggiungibile attraverso piani
di azione e il progetto Human Rights Friendly Schools. Ciascuno dei dieci Principi generali è composto da quattro tappe di sviluppo che le scuole potranno utilizzare come riferimento per valutare i
propri progetti. Il decimo Principio generale, per esempio, è il seguente: “una scuola sensibilizzata ai
diritti umani incoraggia l’integrazione in tutti gli ambiti della vita scolastica”. Di seguito sono elencate le quattro tappe di sviluppo per raggiungere questo principio.
37. AMNESTY INTERNATIONAL, Guidelines for Human Rights Friendly Schools, (Index AI: POL 32/002/2009) p. 17.
68
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
DIAGRAMMA 10: REALIZZAZIONE PROGRESSIVA DEL PRINCIPIO GENERALE N. 10: COME POSSONO LE SCUOLE INCORAGGIARE L’INTEGRAZIONE?38
Caratteristiche
Tappa 1
La scuola non è una comunità pienamente
inclusiva, i membri delle minoranze o dei gruppi
marginali vengono tenuti fuori.
Le scuole cercano assieme di determinare, tramite riunioni nei municipi o nei consigli all’interno dell’istituzione o ancora tramite laboratori in
classe che coinvolgono tutte le parti interessate,
gli ostacoli che impediscono alla scuola di essere
un luogo che favorisce maggiormente l’integrazione, elaborano strategie per aumentare l’accoglienza.
Caratteristiche
Tappa 2
I membri della comunità scolastica si sensibilizzano sulle questioni relative all’accoglienza e
migliorano la loro comprensione del fenomeno,
attraverso sporadiche e non sistematiche iniziative.
I dirigenti scolastici fanno delle raccomandazioni generali, basate su queste prime rflessioni,
per definire possibili azioni per una scuola più
inclusiva e attivare iniziative per una maggiore
accoglienza.
Caratteristiche
Tappa 3
Tutti i membri della comunità scolastica lavorano I dirigenti scolastici consultano diversi membri
assieme per l’integrazione basandosi sui principi della scuola e realizzano progetti destinati a
dei diritti umani.
favorire l’empowerment degli studenti all’interno
della scuola, vigilando in particolare sull’inclusione degli alunni delle minoranze e dei gruppi
marginali. La partecipazione è incoraggiata come
parte del processo.
Caratteristiche
Tappa 4
La scuola rappresenta una comunità accogliente, in cui i membri delle minoranze e dei gruppi
marginali si vedono dare uguali opportunità di
partecipazione alla vita dell’istituto.
Le scuole misurano i progressi definendo degli
indicatori, conducendo analisi dell’impatto o interviste di gruppo, integrano poi le informazioni
raccolte in un nuovo piano strategico.
METODOLOGIA DI RACCOLTA DATI
La valutazione delle attività di sviluppo delle capacità è molto adatta a un approccio di studio di caso
che implica la raccolta di dati sia quantitativi che qualitativi.
Uno di questi studi di caso sulla valutazione dell’impatto del REAP comprendeva la valutazione,
da parte di Amnesty Sudafrica, dello sviluppo delle capacità di altre ONG in materia EDU. Questo
studio si trova nel rapporto di valutazione completo del REAP e si basava su interviste, sull’esame dei
documenti – come i programmi di formazione – e dei dati raccolti tramite questionari somministrati al
coordinatore EDU, ai formatori e agli altri membri di staff formati per agire da “moltiplicatori”.
38. AMNESTY INTERNATIONAL, Guidelines for Human Rights Friendly Schools, (Index AI: POL 32/002/2009) p. 46.
69
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
CONTENUTI DEGLI ALLEGATI
Gli allegati (in inglese) contengono diversi strumenti pratici per il monitoraggio e la valutazione facilmente adattatabili ai nostri programmi EDU. In dettaglio:
1. REAP log frame
2. Africa HRE log frame
3. West Africa HRE empowerment of beneficiaries
4. REAP beneficiary survey
5. Amnesty International UK BIHR Teacher training evaluation questionnaire
6. Measuring attitudes through hypotheticals
7. West Africa HRE capacity development of trainers
8. REAP multiplier survey, comparison group survey, instructions
9. REAP key trainers survey and instructions
10. Equitas training evaluation methodology
11. Beirut follow–up capacity building questionnaire
12. EIP peer and self–evaluation of teacher trainers
13. REAP HRE co–ordinator survey
14. Turkey – history foundation textbook analysis
15. Ireland – Northern Ireland field testing feedback forms
16. AI Mawared evaluation
17. Ireland – Northern Ireland interviewee protocol
18. West Africa HRE capacity development of partners
19. West Africa HRE enabling environments for HRE
20. Human rights friendly schools initial analyses
21. Self–evaluation and monitoring for human rights friendly schools
70
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
NOTE
1. Tutti i trattati sui diritti umani, a partire dalla Dichiarazione universale sui diritti umani del 1948,
pongono al centro la persona come titolare di diritti (rights holder) nella sua relazione con chi
ha (porta) il dovere di rispettarli e promuoverli (duty bearer). I duty bearers (governi, istituzioni,
famiglia e individui) sono vincolati a rispettare, proteggere e promuovere i diritti umani. I rights
holders shanno il diritto di reclamare i propri diritti dai duty bearers, ma devono anche rispettare
i diritti degli altri. L’essere titolare di diritti comporta infatti delle responsabilità prima di tutto
verso se stessi e di conseguenza verso gli altri. (Save the Children Italia Onlus, Verso una pedagogia dei diritti, 2007, pag. 10)
2. Amnesty International, Human Rights Education: Building a Global Culture of Human Rights
(Index: POL 32/006/2005).
3. Amnesty International, Global Priority Statement (GPS) – 2010 & 2011: Transition into the New
ISP, 2009 (Index: POL 50/012/2009).
4. Amnesty International, 29th International Council Meeting. Circular 45. ISP 2010–2016, adottato all’ICM 2009 (Index: ORG 52/004/2009).
5. Brian Kern, International Projects: Human Rights Education Evaluation and Impact Assessment
Project, presentato all’International Human Rights Education Forum, 23 February 2008.
6. Si veda: American Evaluation Association, Guiding Principles for Evaluators. Fairhaven, MA: American Evaluation Association, 2004.
7. Amnesty International, AI’s Dimensions of Change, 2008 (Index: POL 50/010/2008).
8. D.L. Kirkpatrick, et al, Evaluating Training Programs: The Four Levels, 3rd edition. San Francisco:
Berrett–Koehler Publishers, citato da Equitas e l’Alto Commissariato delle Nazioni Unite per I
diritti umani (in uscita), Evaluating Human Rights Education Activities: A Handbook for Human
Rights Educators, Ginevra: l’Alto Commissariato delle Nazioni Unite per i diritti umani, bozza
giugno 2009, p. 34.
9. Amnesty International, Friendly Project Management Manual, 2006.
10. Troverete ulteriori dettagli sulle analisi PEST o SWOT: in Amnesty International, Friendly Project
Management Manual, 2006, pp. 7–11.
11. Troverete ulteriori informazioni sull’analisi della situazione tramite un approccio basato sui diritti
umani sul sito: www.ohchr.org/Documents/Publications/FAQen.pdf e più precisamente, per quanto
riguarda le analisi da condurre nel quadro di un programma a sui diritti deiminori, sul sito (in
inglese): www.crin.org/docs/Child_Rights_Situation_Analysis_Final%5B1%5D.pdf.
12. Si veda: Amnesty International, Friendly Project Management Manual, 2006, capitolo “Project
Management Tools: Stakeholder Analysis”, che fornisce linee guida sull’analisi degli attori coinvolti.
13. Si veda Amnesty International, Friendly Project Management Manual, 2006, capitolo “Definitions
of terms – project planning and management” p.5.
14. Amnesty International, How To Raise Millions Toolkit, 2008 (Index: FIN 21/002/2008).
15. Canadian International Development Agency, How to Perform Evaluations – Participatory Evaluations. Quebec: CISA, 2001, pp. 3–4.
16. I livelli 3 e 4 delle “Dimensioni del cambiamento” di Amnesty International (“render conto” e
politiche), entrambi riguardanti i duty bearers, sono stati raggruppati in un unico punto per maggiore semplicità.
17. D. Roduner, W. Schläppi and W. Egli, Logical Framework Approach and Outcome Mapping. A
Constructive Attempt at Synthesis. Zurich: AGRIDEA and NADEL, 2008, p. 16.
18. Sul sito dello Human Rights Education Associates: www.hrea.org/index.php?base_
id=104&language_id=1&erc_doc_id=5452&category_id=2&category_type=3&group, è disponibile un elenco delle potenziali competenze riguardanti l’EDU a cura di L. Davies e altri, Human
Rights Education Core Competencies, 2010.
19. Si veda: Amnesty International, Guidance on Developing Your National Amnesty International
Human Rights Education Monitoring and Evaluation Plan. Il capitolo 3 di questa guida contiene
alcuni esempi di indicatori adatti ai programmi EDU.
20. Amnesty International, Impact Assessment Methodology – step by step, 2009.
21. Amnesty International, Impact Assessment Methodology – step by step, 2009.
71
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
22. D.L. Kirkpatrick, et al, Evaluating Training Programs: The Four Levels, 3rd edition. San Francisco:
Berrett–Koehler Publishers, citato da Equitas e L’Alto Commissariato delle Nazioni Uniteper I
diritti umani (in uscita), Evaluating Human Rights Education Activities: A Handbook for Human
Rights Educators, Ginevra: L’Alto Commissariato delle Nazioni Unite per i diritti umani, bozza
giugno 2009, p. 34.
23. Si veda: L. Davies et al, Human Rights Education Competencies, bozza, gennaio 2010 www.
hrea.org/index.php?base_id=104&language_id=1&erc_doc_id=5452&category_id=2&category_
type=3&group
24. Si veda: M. Sinclair et al, Learning to Live Together: Design, Monitoring and Evaluation of Education for Life Skills, Citizenship, Peace and Human Rights. Eschborn and Paris: GTZ and UNESCO, 2008, pp. 113–115.
25. M.S. Khalil, Evaluation Report of the Capacity Building Work of Amnesty International Middle
East and North Africa Regional Office – Beirut (IS Beirut) for the Period April 2004 – March
2008, 2009, p. 8.
26. Education Commission of the States, A Policymakers’ Guide to Education Reform Networks. Denver, CO: Education Commission of the States, 1997.
27. T.Hunt, presentazione su “Effective interpetation of curriculum into print materials”, Education
for an Open Society Conference, settembre 2005, citato in Evaluation in the Human Rights Education Field: Getting Started di Felisa Tibbitts, HREA/Netherland Helsinky Committee, 1997, pp.
15–16.
28. Si veda: F. Tibbitts, “Field testing of materials” in Evaluation in the Human Rights Education
Field, Getting Started, HREA/ Netherland Helsinky Committee, 1997.
29. P. King and R. Austin, Cross–Border Primary School Human Rights Education Initiative 2000–
2003, An Evaluation, 2002, effettuata per Amnesty International – Ireland, p. 24.
30. Gleeson et al 1999, pp. 72–73, citato in P. King and R. Austin, Cross–Border Primary School
Human Rights Education Initiative 2000–2003, An Evaluation, 2002, effettuato per Amnesty
International – Irlanda, p. 25.
31. P. King and R. Austin, Cross–Border Primary School Human Rights Education Initiative 2000–
2003, An Evaluation, 2002, effettuato per Amnesty International – Irlanda, p. 6.
32. M.G. Fullan and S. Stiegelbaur, The New Meaning of Educational Change. Cassel, London, 1992.
33. M.G. Fullan and S. Stiegelbaur, The New Meaning of Educational Change. Cassel, London, 1992,
p. 29.
34. M.G. Fullan and S. Stiegelbaur, The New Meaning of Educational Change. Cassel, London, 1992,
p. 9.
35. Si veda: M. Sinclair et al, Learning to Live Together: Design, Monitoring and Evaluation of Education for Life Skills, Citizenship, Peace and Human Rights. Eschborn and Paris: GTZ and UNESCO, 2008, p. 100.
36. Si veda: M. Sinclair et al, Learning to Live Together: Design, Monitoring and Evaluation of Education for Life Skills, Citizenship, Peace and Human Rights. Eschborn and Paris: GTZ and UNESCO, 2008, pages 96, 134.
37. Amnesty International, Guidelines for Human Rights Friendly Schools, (Index: POL
32/002/2009),p. 17.
38. Amnesty International, Guidelines for Human Rights Friendly Schools, (Index: POL
32/002/2009), p. 46.
72
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
RIFERIMENTI BIBLIOGRAFICI
Teoria: Modelli di valutazione e approcci
The Logic Model Workbook disponibile su: Innovation Network (“Transforming Evaluation for Social Change”) www.innonet.org
The Evaluation Handbook disponibile online dalla Fondazione W.K. Kellogg Foundation: www.
wkkf.org/knowledge–center/resources/2010/W–K–Kellogg–Foundation–Evaluation–Handbook.aspx
Measuring Program Outcomes: A Practical Approach disponibile online da United Way of America
su www.national.unitedway.org
Canadian International Development Agency, How to Perform Evaluations – Participatory Evaluations, Quebec: CIDA, 2001, disponibile su: www.oecd.org/dataoecd/8/3/35135226.pdf
S. Ulrich and F. M. Wenzel (n.d.), Participatory Evaluation – A Perspective for Human Rights
Education, Bundeszentrale für politische Bildung, disponibile su: www.hrea.net/index.php?base_
id=104&language_id=1&erc_doc_id=4238&category_id=4&category_type=3&group
M.G. Fullan, and S. Stiegelbaur, The New Meaning of Educational Change, Cassel, London 1992
Risorse sulla valutazione educativa e sulla valutazione EDU
F. Tibbitts, “Evaluation in the Human Rights Education Field”, Getting Started, HREA/Netherland
Helsinki Committee, 1997, disponibile su: www.hrea.org/pubs/EvaluationGuide/index.html
Include linee guida su modelli di valutazione, metodologie di raccolta dati, e strumenti pratici.
A. Mihr, Human Rights Education – Methods, Institutions, Culture, and Evaluation (Institute for
Political Sciences, University of Magdeburg, 2004, disponibile su: http://www.anjamihr.com/resources/HRE–Discussion–Paper–MIHR–PDF.pdf
K. Hirseland and M. Cecchini, Evaluation in the Field of Education for Democracy, Human Rights,
and Tolerance – A Guide for Practitioners, Bertelsmann Foundation, 2004, disponibile su:
www.bertelsmann–stiftung.org/cps/rde/xchg/SID–0A000F0A–BA90B1E1/bst_en/hs.sl/publikationen_2799.htm
P. Martin, Self Help Human Rights Education Handbook, Center for the Study of Human Rights,
Colombia University, 1996, disponibile su: www.hrea.org/index.php?base_id=104&language_
id=1&erc_doc_id=213&category_id=4&category_type=3&group
Amnesty International, Evaluation: A Beginners Guide, 1999, disponibile su: http://www.amnesty.
org/en/library/info/POL32/003/1999
Questo documento prodotto dal Segretariato Internazionale “presenta un approccio di facile
utilizzo al processo di valutazione ed è particolarmente indicato per coloro che realizzino programmi per l’introduzione dei principi e dei valori sui diritti umani nei curricoli scolastici”. Sebbene
necessiti di aggiornamenti, il documento include suggerimenti e strumenti pratici molto utili.
M. Sinclair, et al, Learning to Live Together: Design, Monitoring and Evaluation of Education for
Life Skills, Citizenship, Peace and Human Rights, Eschborn and Paris, GTZ and UNESCO, 2008.
Tool for Quality Assurance of Education for Democratic Citizenship in Schools (UNESCO,
Council of Europe), 2005, disponibile su: www.coe.int/t/dg4/education/edc/Source/Pdf/Documents/2006_4_Tool4QA_EDC.pdf
Sito dell’International Association for Impact Assessment: www.iaia.org
73
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
Sito dell’International Initiative for Impact Evaluation: www.3ieimpact.org
Esempi: Strumenti e rapporti di Amnesty International
REAP log frame
Country Level Logical Framework – Africa Human Rights Education Project
Amnesty International, Engaging, Listening, Hearing, Changing. Exploring Aspects of our Human
Rights Work: Case Studies on Brazil and Albania, 2009.
M.S. Khalil, Evaluation Report of the Capacity Building Work of Amnesty International Middle East
and North Africa Regional Office – Beirut (IS Beirut) for the Period April 2004–March 2008, 2009.
Amnesty International, Guidance on Developing your National Amnesty International Human Rights
Education Monitoring and Evaluation Plan, West Africa Human Rights Education Project.
P. King and R. Austin, Cross–Border Primary School Human Rights Education Initiative 2000–2003,
An Evaluation December 2002, carried out for Amnesty International – Ireland.
M. Morgan and K. Kitching, An Evaluation of “Lift Off, The Cross–Border Primary Human Rights Education Initiative”, 2006.
Amnesty International, Guidelines for Human Rights Friendly Schools, 2009 (Index: POL
32/002/2009).
Amnesty International, Human Rights Friendly Schools Workbook, 2009, (Index: POL 32/003/2009).
Y. Moustafa, Evaluation of Mawared Magazine. Final Report, prepared for Amnesty International, Middle East and North Africa Regional Office, 2008.
Esempi: Strumenti e rapporti di altre organizzazioni
H.Starkey and K.Vincent, An Evaluation of UNESCO Publications on Human Rights Education.
Report to UNESCO Section of Education for Universal Values, by Audrey Osler, Centre for Citizenship Studies, University of Leicester, 2002, dsiponibile su: www.hrea.org/index.php?base_
id=104&language_id=1&erc_doc_id=3532&category_id=4&category_type=3&group
P. Ilkkaracan and L. Ercevik Amado, “Human Rights Education as a Tool of Grassroots Organizing
and Social Transformation”, Intercultural Education, May 2005. Illustra un programma EDU destinato alle donne in Turchia, focalizzandosi sull’impatto e sugli elementi metodologici che hanno
contribuito al suo successo.
Review of Human Rights Education and Training, curato da J. Reilly and U. Niens, UNESCO
Centre, School of Education, University of Ulster, March 2005. www.hrea.org/index.php?base_
id=104&language_id=1&erc_doc_id=4744&category_id=4&category_type=3&group
K. Covell and R.B. Howe, Rights, Respect and Responsibility. Report on the Hampshire County
Initiative, Children’s Rights Centre, Cape Breton University, 2007, disponibile su: www.hrea.
org/index.php?base_id=104&language_id=1&erc_doc_id=4715&category_id=4&category_
type=3&group
Partners in Human Rights Education Evaluation Program: una misura dell’impatto di un programma EDU in un curricolo sviluppato dalla University of Minnesota Human Rights Center e dal
Minnesota Advocates for Human Rights per gli studenti della scuola primaria e secondaria del
Minnesota. Costituisce un esempio di analisi quantitativa:
www.umn.edu/humanrts/edumat/HREEval.shtm
74
imparare dall’esperienza
Guida al monitoraggio e valutazione
nell’Educazione ai diritti umani
“Section 5. Evaluation and Assessment Approaches”, Human Rights Education in the School
Systems of Europe, Central Asia and North America: A Compendium of Good Practice. Warsaw:
Organization for Security and Co–operation in Europe, pp. 223–237 disponibile su:
www.hrea.org/compendium
Y. Ramkissoon and M. Nethavhakone, Labor Community Radio Project: An Audience Research
Evaluation of Local Community Radio Stations and the Weekly Labor Show, disponibile su: www.
comminit.com/en/node/280482/376