Autori: Meme Pandin
Titolo: Un modello sostenibile per l’autovalutazione
dell’efficacia e dell’efficienza del Servizio Riduzione del Danno
1. Obiettivo della relazione
Il seguente rapporto ha l’obiettivo di presentare, un’esperienza “sostenibile” di autovalutazione dell’efficacia e dell’efficienza delle attività realizzate nell’anno 2003 dall’U.O.
RdD del Servizio Marginalità Urbane della Direzione Centrale Politiche Sociali, Educative
e Sportive del Comune di Venezia. Essa rappresenta lo step finale del processo annuale
di valutazione del Servizio, percorso che si articola nelle fasi di valutazione ex-ante,
monitoraggio ed ex-post.
Tale esperienza, di ex-post, cioè di valutazione dei risultati, fa riferimento ad una
giornata di formazione realizzata dagli operatori del Servizio a fine anno, e la seguente
relazione cercherà di evidenziare i nodi metodologici, il percorso fatto e gli elementi di
contenuto emersi.
Attori e protagonisti del seguente lavoro sono stati: Giorgio Bombieri, Silvia Citton,
Giuseppe Di Pino, Alberto Favaretto, Olivia Fagnoni, Monica Folin, Tamara Izzi, Laura
Mazzi, Gabriele Soave, Loris Trevisiol.
I disegni che appaiono sulle finestre sono di Fulvio Fenzo.
Un ulteriore ringraziamento va a Olivia Fagnoni e Tamara Izzi, referenti dell’attività di
valutazione del Servizio, per la revisione dell’articolo e per aver garantito i dati e le
informazioni con le quali poter realizzare il presente lavoro.
2. Premesse metodologiche
2.1. Il modello di valutazione
Come abbiamo più volte sostenuto, riteniamo che uno degli aspetti più critici nei
progetti di intervento sociale risieda nella difficoltà di fare affermazioni dimostrabili ed
attendibili sugli effetti prodotti dagli interventi realizzati (Pandin M – Fagnoni O. Giampedrone F., 2001, 2001a, 2002). In particolare la valutazione dell’efficacia (rapporto
obiettivi/risultati) e dell’efficienza (rapporto costi/risultati) non sempre è di facile rilevazione,
legata a modelli di misurazione complessi ed articolati.
Nel modello di valutazione che il Servizio Riduzione del Danno si è dato, la “valutazione
degli interventi” è intesa come la possibilità di esprimere giudizi rispetto a:
Le risorse immesse nel programma (input)
Le prestazioni ed attività rivolte al target (output)
Le modalità di erogazione delle prestazioni (process)
I possibili esiti o cambiamenti prodotti (outcome)
Tale modello è ispirato da una visione pragmatica della valutazione, intesa come attività
volta a fornire informazioni e dati utili alle decisioni e alle attività degli operatori ed è
praticata cercando un equilibrio tra preoccupazioni e rigorosità scientifiche. Così pensata
l’attività di valutazione non appare come forma di controllo o d’adempimento burocratico,
1
ma come ricerca della maggiore efficacia della politica e degli interventi. In più, è volta a
garantire valore alle azioni intraprese e ad avviare processi di riflessione e
consapevolezza con i diversi soggetti coinvolti realizzando processi di costruzione di
significato.
2.2. I soggetti coinvolti
Per quanto estese in tutto il territorio del Comune di Venezia, le attività del Servizio
Riduzione del Danno sono rivolte ad un target (tossicodipendenti attivi non agganciati in
modo significativo dai servizi) che, dal punto di vista statistico, rappresenta una “piccola”
popolazione. Ciò pone serie difficoltà al controllo delle variabili relative al rapporto
azione/risultati. I cambiamenti registrabili, infatti, potrebbero essere dovuti a fattori estranei
all’attività del Servizio stesso, il che renderebbe difficile discernere ciò che è attribuibile
all'azione degli operatori da ciò che non lo è. Inoltre, l’intervento con il suo radicale taglio
di “lavoro di strada " si esplica a stretto contatto con la quotidianità della vita delle persone
alle quali è rivolto. I cambiamenti di breve e medio periodo, che le diverse attività possono
provocare, devono essere colti attraverso le modificazioni anche minime che si producono
nell’ambiente, modificazioni che solo una presenza costante nel territorio può permettere
di rilevare. Ciò significa che spesso gli attori coinvolti, in particolare le operatrici e gli
operatori del Servizio, costituiscono rilevatori molto più adatti di quanto potrebbero esserlo
altri provenienti da agenzie esterne (con i conseguenti problemi d’imparzialità). Di
conseguenza, l’attività di valutazione è diventata, col tempo, una modalità insita all'interno
dell'azione, parte del sistema informativo del Servizio stesso.
Inoltre, la scelta di coinvolgere coloro che quotidianamente lavorano con gli utenti
rimanda a una visione della valutazione come “occasione di crescita professionale tramite
un processo di scambio e riflessione” (Leone L.-Prezza M., 1999) e permette di perseguire
obiettivi quali
capire se l’intervento ha senso e se produce cambiamenti;
condividere l’esperienza in équipe;
dare visibilità ai risultati;
prevenire il burn out (ricercando il senso delle proprie azioni e motivando allo
scopo);
acquisire conoscenze.
Ma esistono anche dei riferimenti di tipo epistemologico che, in questa sede, vanno
ricordati e che fanno riferimento all’approccio costruttivista alla valutazione (che si
distingue da quello realista), rispetto al quale “non esistono condizioni oggettive in termini
assoluti ed indipendenti dall’osservatore e la valutazione va intesa come processo di
ricerca di senso e non può essere intesa come un insieme di procedure asettiche e
neutrali” (ibidem).
Tratto da Leone L.-Prezza M., 1999
2
E’ evidente quindi che la funzione che si vuole qui attribuire alla valutazione è querlla di
permettere di “produrre significato”. In questi termini, fare valutazione significa porsi in un
atteggiamento di ricerca, di apertura all’inatteso, finalizzato a riprogettare per permettere di
“costruire correggendo” (ibidem).
3. Il percorso realizzato per la valutazione dell’efficacia
e dell’efficienza
L’autovalutazione dei gradi d’efficacia e d’efficienza raggiunti nel corso del 2003 è stata
formulata attraverso una giornata di valutazione che aveva i seguenti obiettivi:
1. Analizzare l’attività svolta nel corso dell’anno;
2. Ricondurre le attività realizzate agli scopi prefissati;
3. Formulare un giudizio di risultato sugli obiettivi perseguiti.
Il percorso metodologico adottato ha fatto riferimento alle seguenti sessioni:
1. Presentazione della giornata;
2. Analisi dell’albero degli obiettivi proposto dalle Linee Guida sulla RdD;
3. Associazione delle attività realizzate con gli obiettivi analizzati;
4. Analisi dei dati relativi alle attività;
5. Espressione di un giudizio sui gradi di efficacia ed efficienza raggiunti.
Nei prossimi paragrafici, la descrizione specifica della metodologia adottata
durante le diverse sessioni della giornata, apparirà all’interno di una finestra.
3.1. L’albero degli obiettivi
La necessità di dare sostegno alle pratiche operative e di poter operare con metodologie
basate sull’evidenza scientifica, ha sempre orientato il nostro Servizio a ricercare delle
linee guida. In particolare, sono state adottate le Linee Guida del Ministero della Sanità,
presentate alla 3° Conferenza Governativa sulle Tossicodipendenze di Genova (28-30
novembre 2000), e il relativo ventaglio degli obiettivi rivolti a:
Popolazione Target
1. Conoscere il target ed i cambiamenti degli stili del consumo e delle dinamiche del mercato
2. Favorire il primo contatto e l’aggancio
3. Stabilizzare la relazione tra il soggetto target e l’operatore
4. Fornire informazioni sui diritti di cittadinanza
5. Produrre cambiamenti nei comportamenti a rischio (sanitari e sociali)
6. Facilitare l’accesso del target ai servizi di media soglia e alle risorse del territorio
Tabella n° 1
Sistema dei servizi
7. Definire a livello di rete locale dei servizi le priorità in materia di politiche sulle dipendenze
8. Prevedere in ogni sistema di servizi unità operative di strada con caratteri di stabilità e continuità
9. Garantire un’interfaccia tra lavoro di strada e il sistema dei servizi
10. Osservare e monitorare a livello di sistema il fenomeno, il mercato delle sostanze, le tipologie di
consumatori e le modalità d’uso
3
11. Raccogliere e analizzare i bisogni e le domande della popolazione target dando ad esse visibilità
nel sistema dei servizi sociosanitari
12. Moltiplicare le opzioni e le risorse da offrire all’utenza
13. Porre attenzione alla formazione delle équipe
14. Garantire un sistema di raccolta dati e di valutazione
Tabella n° 2
Territorio e popolazione
15. Ridurre l’ ”impatto ambientale” tra gruppi di tossicodipendenti e cittadinanza
16. Promuovere una corretta informazione nei media sul fenomeno “droga”
17. Garantire accordi d’intesa con le Forze dell’Ordine che operano sul territorio
18. Promuovere una cultura della "cittadinanza" delle persone tossicodipendenti
19. Promuovere il consenso sul territorio attorno all’intervento e ai suoi scopi
20. Utilizzare il patrimonio del lavoro di valutazione e misurazione degli esiti
Tabella n° 3
Il riferimento alle Linee Guida viene costantemente perseguito nelle attività del servizio,
pur nella consapevolezza che si tratta di raccomandazioni, in quanto assistono gli
operatori sulle modalità più appropriate in determinate situazioni, permettono di migliorare
la qualità e l’efficienza degli interventi e forniscono strumenti educativi (linguaggio
omogeneo, pertinenza, scientificità).
Nonostante gli obiettivi sopra elencati siano noti agli operatori, dopo la
presentazione della giornata, il gruppo di lavoro si è dedicato alla loro
analisi, tramite proiezione su schermo e commento collettivo.
3.2. Le attività realizzate nel corso del 2003 in riferimento agli obiettivi
Per quanto nel Servizio si utilizzi la logica del lavoro per progetti e siano, in teoria,
abbastanza chiari finalità e obiettivi dei diversi interventi, dopo l’analisi degli obiettivi è
stato proposto un esercizio di gruppo per collegare gli stessi alle attività svolte. Lo
strumento impiegato è stato il “Diagramma delle affinità” (Serpelloni G. – Simeoni E. –
Rampazzo L., 2002), utile quando fatti o pensieri non sono certi e necessitano di
organizzazione e quando c’è il bisogno di creare unità nel contesto di un gruppo.
Il lavoro si è svolto inizialmente come una sorta di “brainstorming itinerante”:
gli obiettivi, riportati su cartoncino e raggruppati per i tre ambiti di intervento
(target, servizi e territorio), sono stati appesi lungo le pareti della stanza.
Ogni operatore/trice, vagando liberamente per l’ambiente, poteva associare
ai diversi obiettivi le attività svolte dal servizio (scritte su biglietti adesivi) che
riteneva agli stessi collegate. Una volta conclusa la raccolta delle idee ogni
obiettivo è stato “pulito”: dopo aver eliminato le attività riportate più volte,
sono state precisate le definizioni e chiariti i significati.
Le tabelle che seguono presentano il risultato di tale sessione.
Popolazione Target
Attività
1. Conoscere il target ed i cambiamenti degli
Mappatura, collaborazione con Opinion Leader, questionario di
stili del consumo e delle dinamiche del
gradimento su servizi e target
mercato
Uscite di UdS, laboratorio tatuaggi in carcere, distribuzione
2. Favorire il primo contatto e l’aggancio
materiale informativo presso altri servizi, drop-in
4
3. Stabilizzare la relazione tra il soggetto
target e l’operatore
Uscite UdS, relazioni significative, accompagnamenti,
counselling
4. Fornire informazioni sui diritti di
cittadinanza
Opuscoli informativi, consulenza legale, orientamento ai servizi
5. Produrre cambiamenti nei comportamenti
a rischio (sanitari e sociali)
Counselling, corsi, laboratorio tatuaggi in carcere, materiale
informativo, distribuzione materiale sterile, relazioni
significative, lavoro con i pari
6. Facilitare l’accesso del target ai servizi di
media soglia e alle risorse del territorio
Invii, accompagnamenti, orientamenti, attività di lavoro di rete
tra servizi (riunioni, ecc.), distribuzione di materiali informativi
sui servizi
Tabella n° 4
Sistema dei servizi
Attività
7. Definire a livello di rete locale dei servizi le priorità in
materia di politiche sulle dipendenze
Presenza al Dipartimento Dipendenze ULSS 12
8. Prevedere in ogni sistema di servizi unità operative di
strada con caratteri di stabilità e continuità
Politiche locali, bilancio EELL
9. Garantire un’interfaccia tra lavoro di strada e il sistema dei
servizi
10. Osservare e monitorare a livello di sistema il fenomeno, il
mercato delle sostanze, le tipologie di consumatori e le
modalità d’uso
11. Raccogliere e analizzare i bisogni e le domande della
popolazione target dando ad esse visibilità nel sistema dei
servizi sociosanitari
12. Moltiplicare le opzioni e le risorse da offrire all’utenza
13. Porre attenzione alla formazione delle équipe
Lavoro di rete con i servizi (riunioni periodiche,
ecc.)
Politiche sociali, confronto tra UdS, drop-in
Supervisioni, seminari formativi, équipe
14. Garantire un sistema di raccolta dati e di valutazione
Attività di valutazione
Attività di mappatura
Attività di mappatura, ricerche sull’utenza,
attività di rete tra servizi
Tabella n° 5
Territorio e popolazione
Attività
15. Ridurre ”l’impatto ambientale” tra gruppi di
tossicodipendenti e cittadinanza
16. Promuovere una corretta informazione nei media sul
fenomeno “droga”
17. Garantire accordi d’intesa con le Forze dell’Ordine che
operano sul territorio
Attività di mediazione sociale (tramite focus
group, ecc.), uscite UdS, attività con pari,
mappatura
Newsletter LdB, marketing comunicativo e
lavoro con i media, analisi e raccolta
informazioni e notizie (rassegna stampa, ecc.)
Formazione congiunta, protocolli, accordi
Attività “pubbliche” (tornei sportivi, mostre, gite,
ecc.), marketing comunicativo e lavoro con i
media, newsletter LdB, sportelli informativi,
Counselling, attività con i pari
Iniziative pubbliche (seminari, convegni, ecc.),
attività di mediazione dei conflitti (“mediazione
partecipata”), newsletter LdB
18. Promuovere una cultura della "cittadinanza" delle
persone tossicodipendenti
19. Promuovere il consenso sul territorio attorno
all’intervento e ai suoi scopi
20. Utilizzare il patrimonio del lavoro di valutazione e
misurazione degli esiti
Diffusione dati (CD Rom e altro), iniziative
pubbliche (seminari, convegni, ecc.)
Tabella n° 6
5
3.3. Analisi dei dati relativi alle attività (dati di output)
Nel nostro Servizio il livello di valutazione relativo all’output viene garantito dagli
operatori tramite la regolare registrazione su schede cartacee dei dati relativi agli indicatori
delle attività svolte. I dati così raccolti sono periodicamente inseriti in un database e quindi
elaborati e riassunti in un report composto da tabelle e grafici. Tale rapporto è stato
utilizzato nella quarta parte della giornata di valutazione.
I dati di attività del 2003 sono stati presentati e, tenendo presente i dati
relativi agli anni precedenti, commentati a caldo dagli operatori. La
discussione si è svolta in plenaria ed è stata verbalizzata.
Per cercare di descrivere il lavoro svolto, presentiamo di seguito alcuni dati (in forma di
tabelle o grafici) con relativi commenti, osservazioni e domande emersi durante la
sessione.
Risorse: presenza in strada e contatti
“C’è un picco di primi contatti ad aprile e luglio, che coincidono con i cambi di stagione”,
“Il rapporto tra ore di presenza in strada e
numero di contatti offre la media di 5,8
persone contattate per ogni ora di strada”.
“Ogni operatore in media dedica 30
minuti ad ogni persona contattata”,
“Siamo un servizio che costa molto in
rapporto al numero di utenza contattata?”,
“Sarebbe utile ed interessante inserire
all’interno del sistema di valutazione un
capitoletto sull’efficienza (rapporto tra
risorse impiegate e risultati)”.
Tabella n° 7
Postazioni raggiunte, contatti e primi contatti
“Rispetto agli anni scorsi non c’è stato
complessivamente un calo dei contatti”, “Nello
specifico la riduzione si osserva per
l’intervento a Venezia in centro storico (un
terzo degli anni scorsi) e le spiegazioni
possibili sono legate al modo diverso di
essere presenti in strada (sia ore in meno che
luoghi diversi frequentati)”, “Rispetto i primi
contatti, sono in aumento i primi contatti
stranieri, mentre sono diminuiti i primi contatti
non tossicodipendenti”, ”La rilevazione relativa
alla sostanza usata dai primi contatti è poco
Grafico n° 1
affidabile, quindi va cambiata o cassata”.
Stima delle persone diverse contattate dall’Unità di Strada (UdS)
“Le persone diverse che vengono spesso in UdS, agli operatori sembrano molte di più di
quelle che forse effettivamente sono”, “Esiste una percezione di ‘pesantezza’ rispetto ad
alcuni contatti che forse non corrisponde al loro numero effettivo”, “La percezione
6
individuale è necessariamente influenzata dal numero delle uscite che effettua un
operatore”, “Sembrano molte di più le persone diverse che vengono spesso all’UdS”,
“Cosa s’intende per relazione significativa?” “(..) è da mettere solo in relazione con le volte
che una persona viene in UdS?”, “Qual è il nostro obiettivo rispetto alle persone contattate
in UdS?”, “Cosa significa aggancio o consolidamento della relazione?”
Distribuzione e ritiro siringhe
”I numeri sulla distribuzione sono simili agli anni scorsi”, ”Quest’anno però sono state
ritirate solo il 30% delle
Totale
Percentuale
Siringhe Corpi
Siringhe
Totale aghi siringhe consegnate”, “E’ la
siringhe
siringhe
1 ml
2 ml
ritirate
distribuiti percentuale più bassa mai
distribuite
ritornate
registrata”, ”Forse perché la
7.577
10.488
18.065
6.053
33,5
15.582
gran
parte
dei
Tabella n° 8
tossicodipendenti
va’
a
Padova ad acquistare e consumare”, ”Forse gli operatori non hanno sottolineato a
sufficienza l’importanza dello scambio”, ”Sono aumentati i controlli delle Forze dell’Ordine”,
”Le postazioni dell’UdS non sono vicine i luoghi di consumo”, “Andrebbero proposti dei
piccoli raccoglitori portatili e introdotte nuove regole per la distribuzione/ritiro delle
siringhe”, ”E’ ulteriormente aumentata la distribuzione di aghi rispetto ai corpi”, ”Questo
dato, in rapporto all’obiettivo ‘modifica dei comportamenti a rischio’, può essere
interpretato sia in senso negativo, sia in senso positivo”, “Avere un ago pulito e un corpo
sporco, può contribuire a rafforzare l’idea che si stia usando uno strumento sterile, ma in
realtà risulta inefficace a prevenire l’eventuale infezione”, “(…) mentre i corpi sono
voluminosi, gli aghi vengono ritirati e conservati senza problemi”, “(…) per il consumo di
sostanze diverse o per il consumo della stessa sostanza in più modi sono usati aghi
differenti”, ”Sarebbe
opportuno
realizzare
una
‘indagine
di
mercato’
sul
materiale
preferibile”.
Distribuzione
materiale
sterile
ed interventi
Grafico n° 2
“Il numero di profilattici distribuito è ulteriormente diminuito”, ”Gli steribox non sono
apprezzati…si potrebbe contattare la ditta produttrice, segnalare la cosa e proporre
un’eventuale resa o cambio con altro materiale”, “Il numero di fiale di Narcan distribuite è
sempre più basso… perché?”, “Si fa molto uso di cocaina (…), i soccorsi per overdose
effettuati nel 2003 sono stati tutti dovuti all’Alcover”, ”Per il 2004 si possono ordinare meno
fiale di Narcan”.
Distribuzione materiale informativo
”Il numero di opuscoli distribuiti è diminuito parecchio”, ”Forse perché sono vecchi e
datati”, ”(…) o gli operatori si sono stufati di proporli”, ”Forse il formato dell’opuscolo non è
più attuale e facilmente spendibile”, ”La newsletter Ladri di Biciclette viene distribuita poco
in UdS, anche se il giornale rimane in camper per molto tempo e la distribuzione si spalma
nel tempo”.
7
Colloqui
“E’ difficile fare dei paragoni rispetto agli
anni precedenti perché da sempre ci sono
problemi di rilevazione del dato”, ”Quest’anno
il dato è sicuramente più attendibile”, ”Forse
si sta raggiungendo una condivisione sullo
stile di rilevazione”, ”(…) si sente la
mancanza di uno spazio adeguato di lavoro
per discutere degli stili diversi di counselling,
per confrontarsi sul come si lavora, parlare
dei casi specifici e/o scambiarsi informazioni
e conoscenze”. ”Rispetto all’aumento dei
colloqui con tematiche legali, si può dire che
più gli operatori sono formati, maggiori sono
le informazioni e l’orientamento che possono
fornire direttamente all’utente”.
Tabella n° 9
Invii
“I dati raccolti non sono confrontabili con quelli relativi agli anni passati, i quali
risultavano meno attendibili e dettagliati”.
Consulenza legale
“Nel corso dell’anno la risorsa è stata certamente sotto utilizzata”, ”E’ necessaria
un’approfondita riflessione sull’utilità di questo
dispositivo e sulla sua fruibilità”.
Laboratorio tatuaggi in carcere
“Il laboratorio è stato frequentato con buona
costanza e risulta essere un presidio ottimo per
contattare nuovi utenti e consolidare relazioni
significative”. ”Il dato complessivo dei colloqui risulta
poco attendibile”.
Grafico n° 3
Ladri di Biciclette e attività con i pari
”Le attività con i pari sono state interrotte a causa di problemi tecnico-amministrativi, ciò
ha inciso fortemente sull’intero progetto e sul suo monitoraggio”. ”L’obiettivo di quest’anno
era monitorare e valutare il lavoro dei pari a partire dalle singole persone e dal loro
progetto individuale, ma lo strumento individuato (agenda/diario delle varie attività) si è
rivelato troppo complesso e di difficile applicazione, ed andrà ripensato per il futuro”, ”Lo
strumento per il monitoraggio dei lavori della redazione di LdB si è dimostrato utile e
sostenibile e verrà utilizzato anche nel 2004”, ”Nel 2003 sono usciti 4 numeri più uno
speciale”, ”Le diverse pubblicazioni sono state particolarmente ricche”.
3.4. Espressione del giudizio d’efficacia ed efficienza raggiunti
Nelle premesse abbiamo ricordato le difficoltà legate alla valutazione d’efficacia sull’esito
degli interventi sociali. Quando non è possibile definire condizioni misurabili
“oggettivamente”, la letteratura (Bertin, 1989) consiglia gli “approcci soft alla valutazione”.
In pratica si ricorre a valutazioni legate a giudizi espressi dai professionisti o alle opinioni
degli utenti.
Nel nostro caso, siamo ricorsi alla self-evalutation imperniata sul giudizio espresso dai
singoli operatori. La sua applicazione non è semplice, in quanto comporta un giudizio sul
8
proprio operato e lascia gradi estremamente ampi di discrezionalità. Si può infatti
presumere che la valutazione costruita su un giudizio espresso in merito ad un intervento
già avvenuto sia ampliamente permeata da percezioni personali ed orientamenti ideali
propria dei singoli “giudici”. Ma, seppur di fronte a tali rischi, (ibidem), la strategia basata
sulla costruzione di indicatori di sintesi legati all’osservazione di items specifici (individuati
attraverso criteri di giudizio dell’attività professionale) offre alte garanzie di “obiettività”,
obiettività che non va certo intesa come assoluta. D’altra parte, questa strategia permette
una reale autovalutazione dell’operatore, favorendo l’innescarsi di processi di
autoapprendimento, responsabilizzazione, empowerment.
La teoria della valutazione (Niero, 1995) propone delle misure caratteristiche che
permettono di sintetizzare i risultati: si tratta dell’efficacia e dell’efficienza. La prima ha a
che fare con il raggiungimento degli obiettivi, la seconda con l’uso delle risorse. Tali
misure per essere utilizzate necessitano di almeno due precondizioni: devono essere
riferite a degli eventi formulati in termini di obiettivi e per la loro rilevazione è possibile
ricorrere alla formulazione di giudizi esplorati attraverso scale di misurazione).
La seguente tabella presenta le caratteristiche di tali misure di sintesi:
Misure
Descrizione
Effectiveness
(efficacia)
Risultati raggiunti / risultati attesi
Efficiency
(efficienza)
Risorse / risultati
Domande a cui rispondono
Quanto è stato raggiunto l’obiettivo?
Che percentuale di obiettivo è stata raggiunta?
Quanto è stato investito sull’obiettivo?
Che quantità di risorse è stata utilizzata per
ottenere un certo livello di prestazioni?
Tabella n° 10 (Tratto da Niero, 1995)
Nell’ultima
sessione
della
giornata,
si
è
svolta
la
valutazione ex-post delle attività
realizzate nel corso dell’anno.
A tutti gli operatori è stato
richiesto di esprimere un giudizio
in
merito
all’efficacia
e
all’efficienza
raggiunte
relativamente ai diversi obiettivi.
Per raccogliere tali giudizi, è
stato utilizzato uno strumento di
self-report (tabella n°11) con il
quale era possibile assegnare
ad ogni obiettivo un voto rispetto
all’efficienza (quanto è stato
investito) e all’efficacia (quanto
l’obiettivo è stato raggiunto),
utilizzando una scala da 0 a 5.
9
Tabella n° 11
La rappresentazione dei giudizi è stata realizzata impiegando una
griglia/finestra
che, a partire
dall’incrocio tra
le due variabili
(“efficienza” ed
“efficacia”),
permette
di
evidenziare
quattro possibili
“situazioni tipo”
sulle
quali
collocare
la
valutazione dei
diversi obiettivi
sottoposti
a
giudizio.
Grafico n° 4
Sull’asse
verticale della griglia sono disposti i valori relativi all’efficacia, su quello
orizzontale i valori relativi all’efficienza. E’ possibile rappresentare i diversi
obiettivi collocandoli sui 4 quadranti, a seconda della votazione conseguita
(grafico n° 4).
Gli obiettivi che compariranno sul quadrante in alto a sinistra (n° 1)
avranno conseguito una valutazione caratterizzata da alta efficacia e basso
investimento (inteso in termini di risorse, tempo dedicato, professionalità
utilizzate, ecc.). Per cui si avrà un risultato di successo, dovuto all’abilità
degli operatori e/o alle circostanze favorevoli.
Nel quadrante in alto a destra (n° 2) saranno riportati gli obiettivi valutati in
termini di successo, corrispondente ad un alto investimento di risorse.
Le variabili che appariranno nel quadrante in basso a destra (n° 3)
avranno conseguito una valutazione contraddistinta da insuccesso,
nonostante il forte investimento di risorse.
Infine, nel quadrante in basso a sinistra (n° 4) verranno collocati gli obiettivi
valutati in termini di evidente insuccesso, anche a causa di uno scarso
investimento sull’obiettivo da perseguire.
1
2
3
4
La giornata di lavoro si è conclusa con una sessione dedicata alla valutazione degli
obiettivi. Per una migliore esposizione, di seguito presentiamo i risultati raggruppando gli
obiettivi per livello di intervento specifico (target, servizi e territorio).
La prima osservazione riguarda il posizionamento delle righe tratteggiate sui grafici più
sotto riportati. Si tratta del voto medio, cioè dei valori medi relativi ai giudizi assegnati dal
gruppo degli operatori, rispetto all’efficacia e all’efficienza. Osservando i grafici si può
sostenere che, mediamente, il gruppo ha ritenuto che nel corso del 2003 si è investito di
più rispetto a quanto raggiunto. Analizzando i grafici, infatti, la linea che indica il voto
medio dell’efficienza (valore 2,93) è superiore alla mediana (valore 2,5), mentre sotto
quest’ultima si attesta il valore medio relativo all’efficacia (2,45).
Dal grafico n° 5 appare evidente come gli obiettivi relativi al lavoro con il target siano
stati valutati positivamente dalle operatrici e dagli operatori. Gli obiettivi infatti sono
concentrati nel quadrante n° 2. L’unico fattore che si colloca sotto la mediana e la media
dei voti dei partecipanti, è l’obiettivo “informare il target sui diritti di cittadinanza” (n° 4).
10
Tale obiettivo è stato
perseguito
tramite
diverse attività, tra le
quali: distribuzione di
opuscoli informativi,
orientamento
ai
servizi,
consulenza
legale, ecc. Sia dai
dati di output, sia dai
commenti svolti in
gruppo le suddette
attività
si
sono
rivelate
nel
complesso
insoddisfacenti.
1
2
3
4
Grafico n° 5
Il grafico n° 6, relativo al lavoro con i servizi, illustra risultati meno lusinghieri. Gli
obiettivi infatti sono
collocati in modo
più
diffuso
nei
quadranti
relativi
all’insuccesso.
Nonostante
l’investimento
profuso nel corso
dell’anno su questi
obiettivi, il giudizio
degli
operatori
riflette
la
reale
difficoltà di fare
rete tra servizi.
E’ da notare che
l’obiettivo
Grafico n° 6
“osservare
e
monitorare a livello
di sistema il fenomeno, il mercato delle sostanze, le tipologie di consumatori e le modalità
d’uso” (n°10) è stato collocato nel quadrante n° 3 (bassi livelli di efficacia ed efficienza).
Ciò è dovuto in parte ad un giudizio negativo espresso dagli operatori rispetto all’attività di
mappatura del servizio e, in parte, alla mancanza -all’interno del sistema cittadino dei
servizi - di un osservatorio metropolitano delle dipendenze, il quale potrebbe garantire le
attività di osservazione e monitoraggio.
1
2
3
4
Completamente negativo risulta il giudizio espresso dagli operatori rispetto all’intervento
svolto con il territorio (grafico n° 7). Se si esclude lo sforzo di utilizzare il patrimonio della
valutazione del servizio (n° 20), che ha visto nel corso del 2003 la pubblicazione e la
distribuzione su scala locale e nazionale di un cd rom sul modello di valutazione adottato
(visionabile ai seguenti indirizzi web: www.comune.venezia.it/danno/cdrom/index.html e
www.dronet.org/rid_danno), i rimanenti obiettivi hanno registrato nel corso dell’anno un
completo insuccesso.
11
Per alcuni (n°
17
“Garantire
accordi con le
Forze
dell’Ordine” e n°
16 “Promuovere
una
corretta
informazione sui
media”)
il
giudizio mette in
luce anche lo
scarso
investimento;
per
altri
(“promozione
della
cultura
della
Grafico n° 7
cittadinanza” n° 18, “riduzione dei conflitti” - n° 15 e “promozione del consenso” - n° 19), nonostante il
lavoro svolto, la percezione dell’efficacia risulta negativa. I risultati evidenziano che nel
corso del 2003, al di là delle difficoltà legate al contesto esterno, il servizio ha investito
poco su questo livello d’intervento.
1
2
3
4
4. Conclusioni
Come appare dal lavoro presentato, il modello di valutazione del servizio s’ispira ai
quattro principi proposti nelle linee guida della legge 285/’97 a favore dell’infanzia e
dell’adolescenza (Istituto degli Innocenti - Centro Nazionale di Documentazione ed Analisi
sull’Infanzia ed Adolescenza 2000).
Il primo principio è quello dell’autovalutazione, “rispetto al quale l’operatore è
responsabile e primo utilizzatore della propria valutazione che non va assimilata a una
semplice azione di controllo, ma costituisce un momento di verifica e di apprendimento per
il miglioramento dei risultati nel quale il soggetto si mette in gioco, essendo responsabile e
primo fruitore della propria valutazione e acquisendo suggerimenti per migliorare il proprio
operato in relazione agli obiettivi da perseguire” (ibidem). Il modello presentato ben
permette di cogliere la possibilità di “apprendere dall’esperienza”, se condotto con la
partecipazione di tutto il gruppo degli operatori. Nello specifico, alcuni limiti, sono evidenti
in questo lavoro: l’esperienza è nata da una buona intuizione, ma andrebbe migliorata
nella conduzione (opportuna la presenza di un facilitatore esterno) e andrebbe riproposta
in serie, come momento finale dopo una prima valutazione ex ante (per l’analisi degli
obiettivi –importanza e fattibilità- e per la valutazione della coerenza delle attività proposte)
e a seguito di una valutazione intermedia, che dia agli operatori la possibilità di esprimersi
in itinere sul grado di raggiungimento degli obiettivi. Inoltre, evidentemente, per poter ben
sostenere la bontà del modello applicato, sarebbe opportuno capire che giudizio danno gli
operatori su questa esperienza e, soprattutto quali esiti ha concorso a produrre nei bagagli
professionali.
Il successivo principio è quello della non autoreferenzialità: per quanto possibile la
valutazione deve considerare dati oggettivi, esterni al soggetto valutatore e, nel modello
12
presentato, sono evidenti i riferimenti costanti all’attività di valutazione di output che il
servizio esplica costantemente nel corso dell’anno.
Il terzo principio è quello della confrontabilità: “le valutazioni devono essere condotte
sulla base di criteri di giudizio e metodi omogenei e permettere confronti nel corso del
tempo, anche fra più esperienze” (ibidem). In questo senso, va vista l’attenzione per le
linee guida, le evidenze scientifiche e i materiali di valutazione sulle esperienze di
riduzione del danno che appaiono nella letteratura e alle quali il servizio fa costantemente
riferimento.
Infine, l’ultimo principio è quello dei diversi livelli di valutazione, secondo il quale “il
processo di valutazione interessa tutti i livelli (…) coinvolti (…) e ogni livello procede a una
valutazione del proprio operato e dei risultati ottenuti” (ibidem). Sarebbe stato interessante
applicare il modello ad altri soggetti (dirigenti, amministratori, utenti), anche se sappiamo
che se diversi sono gli attori interessati alla valutazione, diversi sono pure i criteri adottati
per valutare (ad esempio, per l’amministratore: i costi e l’efficienza; per l’operatore:
l’efficacia; per l’utente: la qualità del servizio) e le strategie metodologiche a cui fare
riferimento. In questo senso, oltre l’approccio di self-evalutation qui presentato, il Servizio
è ricorso al metodo della analisi delle opinioni (Bertin, ibidem), con il quale sono stati
richiesti giudizi sul grado di soddisfazione sulle attività svolte dal servizio direttamente ai
propri utenti. Va segnalato in modo critico che tali iniziative rivolte all’utenza dovrebbero
però essere seguite da reali cambiamenti nelle attività proposte, possibilmente entro tempi
non troppo lunghi.
Bibliografia
Bertin G. (1989), Decidere nel pubblico, ETAS, Milano;
Comune di Venezia - Regione Veneto (2003), Report. Il modello di Valutazione del
Servizio Riduzione del Danno, Cd Rom (visionabile ai seguenti indirizzi web:
www.comune.venezia.it/danno/cdrom/index.html e www.dronet.org/rid_danno);
Istituto degli Innocenti - Centro Nazionale di Documentazione ed Analisi sull’Infanzia ed
Adolescenza (2000), Il Calamaio e l’arcobaleno. Orientamenti per progettare e
costruire il Piano Territoriale della L. 285/’97, Dipartimento Affari Sociali;
Leone L. - Prezza M. (1999), Costruire e valutare i progetti nel sociale, Franco Angeli,
Milano;
Niero M., (1995), Metodi e tecniche di ricerca per il servizio sociale, Milano;
Pandin M. – Fagnoni O. - Giampedrone F. (2001), “La riduzione del Danno vista
dall’opinione pubblica”, Animazione Sociale n° 4;
ibidem (2001°), “Per una Valutazione del fai da te”, in Polis, n° 75;
ibidem (2002), “La valutazione degli interventi di riduzione del danno”, in Polis, n° 81;
Serpelloni G. – Simeoni E. – Ramazzo L. (2002), Quality Management, La Grafica,
Verona;
13