La valutazione delle politiche sociali Monica Raiteri Università degli Studi di Macerata 2 Valutazione delle/nelle politiche Valutazione: delle/nelle politiche pubbliche/sociali dei servizi sociali del lavoro dell’assistente sociale Chiave di lettura: Efficacia delle norme giuridiche in rapporto alla discrezionalità degli operatori dell’amministrazione (street level bureaucrats, agenti di spesa) 3 …la scelta dei beneficiari delle politiche sociali viene effettuata sul campo dagli operatori e non sulla carta dai programmi che essi debbono «attuare». Chi non coglie questo aspetto non può capire come «le grandi attese di Washington si polverizzino a Oakland», per usare il titolo di un famoso libro… M. Palumbo, La valutazione sociale. Un excursus fra teoria e percorsi attuativi incerti, «Rivista delle politiche sociali», 2005, n. 2, pp. 157-179, p. 173 Come è possibile ridurre l’elemento discrezionale senza distruggere l’efficacia della legge come strumento di una politica pubblica? L’esperienza insegna che in molti settori della regolazione e del welfare non è possibile produrre una legislazione efficace senza lasciare spazio alla decisione amministrativa nel rule-making e nella adjudication. H.W. Jones, The Rule of Law and the Welfare State, «Columbia Law Review», 1958, Vol. 58, N° 2, pp. 143-156, p. 152 4 Input Processo Output Esiti “diretti” Outcome Esiti imprevisti o “perversi” Indicatore di performance Misura riferita ad un fenomeno il cui andamento è correlato alla proprietà della politica pubblica che assume una relazione causale tra obiettivi, output e outcome Genova 5 maggio 2009 Funzione latente Impatto Esempi di indicatori di performance: 5 Grado di copertura del target potenziale Grado di diffusione di pratiche innovative di intervento Grado di dispersione del servizio Variazione del numero di utenti per tipologia Numero di nuovi utenti sul totale dei servizi erogati Genova 5 maggio 2009 Costi pro-capite degli utenti in relazione al livello di intensità assistenziale sovrapposizione conflitto assenza di servizi nell’ambito della comunità Punto di vista delle Confronto del processo con ORGANIZZAZIONI Obiettivi (strutture ) o aspettative dei decisori Punto di vista degli Bisogni UTENTI mete da raggiungere oppure valori-soglia Genova 5 maggio 2009 Punto di vista degli dei destinatari degli interventi bisogni impliciti/espliciti manifesti/latenti, ecc. OPERATORI rispetto all’erogazione dei servizi 6 Standards valutate rispetto a parametri prestabiliti Modalità di realizzazione degli interventi predefiniti o stabiliti nel corso della valutazione 7 Quali interventi è possibile realizzare alla luce di competenze e di vincoli di carattere procedurale all’azione? Contesto istituzionale Influenza i vincoli e le competenze Diritto Decisione Implementazione Contesto politico Contesto economico Influenza le risorse Economia Definizione degli obiettivi di una policy Contesto sociale Valutazione Influenza le Scienza politica finalità Influenza i bisogni Sociologia Quali soluzioni sono praticabili alla luce del contesto istituzionale, delle finalità e nei limiti delle risorse disponibili? Genova 5 maggio 2009 Esempio di progetto di valutazione Obiettivo 1 Obiettivo 2 Obiettivo 3 In che misura i servizi di cura primaria erogati dai CLSC (Local Community Service Centres) raggiungono gli utenti più vulnerabili nelle aree di riferimento del progetto? Produrre informazione sui livelli di deprivazione della comunità e sulla accessibilità ed utilizzazione dei servizi dei CLSC da parte degli utenti con i più elevati livelli di deprivazione Facilitare l’integrazione di tali informazioni con le pratiche di management e decisionmaking dei CLSC M.D. Philibert et al., Material and Social Deprivation and Health and Social Services in Québec (2007) 8 scostamento di aspetti noti Valutazione della programmazione: Monitoraggio tempi risorse Controllo di legittimità procedure Certificazione e revisione della qualità secondo le norme ISO Verifica dei risultati (*) Accreditamento istituzionale (*) il concetto di valutazione viene sfumato in quello di «verifica dei risultati», secondo una deriva frequente…in cui il giudizio di validità di una politica rischia…di stemperarsi in un giudizio di conformità, ad effetto della tradizionale cultura giuridica che tende a leggere la valutazione in termini di controllo. Dietro il concetto di «verifica»…pare…di leggere un’oscillazione tra la «cultura del risultato», rispetto al quale si fa la valutazione e che chiama in causa…i destinatari delle politiche e la «cultura dello standard», maggiormente legata alle procedure, regno incontrastato degli operatori (M. Palumbo, La valutazione sociale. Un excursus tra teoria e percorsi attuativi incerti, 2005) 9 10 Art. 18 D. Lgs. 3/2/1993 n. 29 Analisi e valutazione dei costi degli uffici 1. Ai fini dell’economicità dell’azione amministrativa e della verifica dei risultati conseguiti dai dirigenti l’organismo di cui all’art. 2, comma 1, lettera mm) della legge 23 ottobre 1992 n. 421 definisce, sulla base delle indicazioni del Ministero del tesoro, i criteri e le procedure per l’analisi e la valutazione dei costi dei singoli uffici, rilevati nei modi di cui all’art. 64, per evidenziare, tra l’altro, gli eventuali scostamenti rispetto a valori medi o standard. 2. I dirigenti generali adottano misure organizzative idonee a consentire le analisi e le valutazioni di cui al comma 1. New Public Management Performanceoriented Management Audit Society Evaluative State Genova 5 maggio 2009 E conomia fficienza fficacia Valutazione “Value for Money” 11 Art. 2, comma 1, lett. mm) l. 23/10/1992 n. 421 Il Governo della Repubblica è delegato a emanare…uno o più decreti legislativi, diretti al contenimento, alla razionalizzazione e al controllo della spesa per il settore del pubblico impiego, al miglioramento dell’efficienza e della produttività, nonché alla sua riorganizzazione; a tal fine è autorizzato a: ….. mm) al fine del completamento del processo di informatizzazione delle amministrazioni pubbliche e della più razionale utilizzazione dei sistemi informativi automatizzati, procedere alla revisione della normativa in materia di acquisizione dei mezzi necessari, prevedendo altresì la definizione dei relativi standard qualitativi e dei controlli di efficienza e di efficacia; procedere alla revisione delle relative competenze e attribuire ad un apposito organismo funzioni di coordinamento delle iniziative e di pianificazione degli investimenti in materia… Genova 5 maggio 2009 Accreditamento istituzionale di strutture e servizi (legge 328/2000) Articolo 11 legge 328/2000 Autorizzazione e accreditamento [….] 3. I comuni provvedono all'accreditamento, ai sensi dell'art. 6, comma 2, lettera c), e corrispondono ai soggetti accreditati tariffe per le prestazioni erogate nell'ambito della programmazione regionale e locale sulla base delle determinazioni di cui all'art. 8, comma 3, lettera n). 4. Le regioni, nell'ambito degli indirizzi definiti dal Piano nazionale ai sensi dell'art. 18, comma 3, lettera e ), disciplinano le modalità per il rilascio da parte dei comuni ai soggetti di cui all'art. 1, comma 5, delle autorizzazioni alla erogazione di servizi sperimentali e innovativi, per un periodo massimo di tre anni, in deroga ai requisiti di cui al comma 1. Le regioni, con il medesimo provvedimento di cui al comma 1, definiscono gli strumenti per la verifica dei risultati. 12 13 1. Valutazione come strumento di modernizzazione dell’organizzazione amministrativa 2. Valutazione come strumento di produzione di cambiamenti nelle pratiche organizzative 3. Valutazione per il miglioramento della qualità della gestione pubblica 4. Valutazione come strumento di orientamento delle scelte allocative del decisore pubblico 14 MODALITA’ APPLICATIVE Regolamentazioni condizionali attraverso un processo di sussunzione (SE…ALLORA) Programmi finalizzati realizzati in modo progressivo dall’amministrazione attraverso azioni (mezzi/fini) concatenate CONTROLLO mediante un controllo giuridico di conformità mediante valutazione di “efficacia” Perché si valuta? Legislazione per obiettivi o programmi finalizzati 15 Corti Regole del processo decisionale Implicazioni della decisione Assemblee legislative decisione adottata da un giudice imparziale con obbligo di motivazione principio di maggioranza accertamento dei fatti e della regola rilevante che è “la sola soluzione corretta” allocazione di risorse secondo la soluzione “politicamente possibile” Burocrazie principio di razionalità limitata (mezzi/fini) efficienza soluzione “economicamente razionale” Perché si valuta? Valutazione e modelli di decisione 16 Obiettivi della legislazione La legge persegue una pluralità di obiettivi, tra cui occorre distinguere obiettivi impliciti ed espliciti. Limitare l’analisi agli obiettivi espliciti può comportare: una distorsione delle finalità di una legge: spesso, infatti, vengono dichiarate «finalità» tendenti a dissimulare conflitti di interessi sottesi alla formulazione del testo legislativo; una rappresentazione distorta del processo legislativo, che sembra concludersi con l’approvazione del testo della legge, senza tenere conto delle successive interpretazioni e quindi dell’implementazione delle politiche. Nel caso dei programmi finalizzati l’approvazione del testo rappresenta il punto di partenza di un processo di «concretizzazione progressiva» degli obiettivi. Alcune leggi sono essenzialmente simboliche: in apparenza perseguono obiettivi sostanziali, in realtà servono: ad attenuare un conflitto; a creare un clima di fiducia intorno ad una aspettativa; a sperimentare soluzioni. Clausole valutative Valutazione ex post 17 Valutazione e principio della separazione tra i poteri Chi valuta? La valutazione dell’efficacia si risolve in un “controllo” della legge? Oggettività della valutazione la misurazione delle performances come criterio “oggettivo” Imparzialità del valutatore analogie con il controllo giurisdizionale singoli interventi (qualità degli interventi) servizi (certificazione delle strutture) politiche (efficacia delle politiche) Benessere dell’individuo Benessere della famiglia Risultati Bisogni Profili organizzativi in presenza di vincoli Che cosa si valuta? 18 19 Funzioni del benessere sociale A→B accresce il BENESSERE SOCIALE anche se, in concreto, una famiglia vede ridursi il proprio benessere senza alcuna compensazione (KALDOR-HICKS) MASSIMO BENESSERE RAGGIUNGIBILE A=PUNTO DI OTTIMO VINCOLATO (risorse disponibili e tecnologia) 20 Funzioni del benessere sociale W=U1+U2 funzione del benessere sociale di Bentham-Edgeworth La società è indifferente rispetto al grado di disuguaglianza W=a.U1+b.U2 a e b sono i coefficienti di benessere che dipendono dal livello di utilità raggiunto 21 La funzione del benessere sociale di J. Rawls Il benessere di una società dipende esclusivamente dall’utilità della famiglia più povera. La società non trae alcun beneficio dall’aumento del benessere della famiglia 1, mentre “sta meglio” se aumenta il benessere della famiglia 2 (la famiglia più povera) Come si valuta? 22 Genova 5 maggio 2009 Criterio Definizione Efficienza Risultati/risorse Efficacia interna Risultati/obiettivi Efficacia esterna Risultati/bisogni Economicità Efficacia/efficienza Rilevanza Obiettivi/bisogni Utilità Risultati/soddisfazione dei destinatari Equità Distribuzione dei costi/distribuzione dei benefici Coerenza interna Obiettivi/finalità del programma Coerenza esterna Obiettivi/finalità politiche del decisore Analisi costi-efficacia (Cea) I benefici vengono calcolati facendo riferimento ad unità fisiche. Confrontando i costi per unità di risultato il programma prescelto è quello che, a parità di costi, assicura i maggiori miglioramenti o, alternativamente, a parità di risultati garantisce i costi più bassi. La struttura teorica di riferimento è un modello neoclassico difficilmente applicabile alle società complesse, rispetto al quale il giudizio di qualità degli interventi valuta la congruenza tra domanda e offerta (efficacia esterna) prescindendo dall’integrazione con l’economia del benessere e l’etica. Reti sociali Genova 5 maggio 2009 Scambio sociale Scelta razionale della solidarietà di gruppo Lippi Bruni & Ugolini, 2007 23 24 Cosa si intende per “domanda”: Analisi della domanda emersa (schede-utenti); Rilevazione sul territorio di riferimento esterna al servizio (Osservatorio dei bisogni) Esempi: Osservatorio sulla povertà della Caritas Osservatorio sui senza fissa dimora della Federazione Italiana Organismi Persone Senza Dimora (F.I.O.P.S.D.) Osservatori sulla dispersione scolastica dei Provveditorati agli Studi 25 Problema di equità I benefici vengono valutati in termini monetari, consentendo di adottare una prospettiva più ampia rispetto a quella dei soli destinatari dei trattamenti. Il fondamento metodologico è il principio di compensazione, secondo il quale una modifica dello status quo va perseguita se chi ne trae beneficio è potenzialmente in grado di compensare chi viene danneggiato, per un ammontare tale da non peggiorare la posizione di alcuno (ottimo paretiano). Approccio dell’individualismo metodologico: si valuta unicamente la variazione del benessere individuale Genova 5 maggio 2009 Lippi Bruni & Ugolini, 2007 Analisi costi-benefici (Cba) 26 Principio dell’ottimo paretiano Problemi di decisione in presenza di vincoli problema di ottimizzazione o di programmazione classica: MAX f(x) S .V. g(x) = b EFFICIENZA ottimizzazione ECONOMICITÀ minimizzazione dei costi si utilizza interamente l’ammontare di risorse disponibile, che costituisce il vincolo alla massimizzazione della funzione problema di programmazione non lineare o approccio satisficing: MAX S .V. f(x) g(x) ≤ b, x≥0 l’ammontare di risorse disponibile si utilizza in tutto o in parte 27 28 L’analisi costi-utilità misura gli effetti di un determinato trattamento in termini non solo quantitativi ma anche qualitativi. I benefici sono misurati … sulla base del livello di soddisfazione o miglioramento della qualità della vita o dello stato di salute. Genova 5 maggio 2009 Lippi Bruni & Ugolini, 2007 Analisi costi-utilità (Cua) 29 Needs assessment (valutazione dei bisogni) L’individuazione di standards e procedure per la determinazione dei bisogni pone ai policy makers problemi di misurazione (indicatori economici e sociali) Ricerca e identificazione di soluzioni ai problemi di specifiche categorie tenendo conto degli interventi eventualmente già progettati 30 Funzione degli indicatori Apprendimento mediante: confronto condivisione imitazione Learning Evaluation strumento cognitivo strumento normativo Benchmarking Quale istituzione determina i criteri rispetto ai quali valutare la prestazione? Fissare punti di riferimento Processo mediante il quale gli stati apprendono (learn) le politiche che forniscono gli esiti migliori e adottano quelle degli stati che si collocano nelle prime posizioni dell’ordinamento Come vengono interpretate e gestite le diverse normative? Chi detiene il potere di valutare le prestazioni? 31 Benchmarking Approccio sistematico e continuo di misurazione di prodotti/servizi/processi mediante il confronto tra organizzazioni simili. La comparazione viene effettuata utilizzando una serie di indicatori standard, individuati come punti di riferimento. Obiettivo finale dell’attività è il miglioramento della qualità in termini di prodotti, servizi e processi attraverso l’individuazione dei punti di forza e delle aree migliorabili, prendendo spunto anche dalle performances degli altri, e stimolando in questo modo il cambiamento. Genova 5 maggio 2009 Sistema di apprendimento organizzativo Genova 5 maggio 2009 1 Leadership orientata alla creazione di una organizzazione innovativa 2 Cultura della sperimentazione 3 Capacità di trasferire conoscenze all’interno e all’esterno dell’organizzazione 4 Cultura del lavoro in équipe e della cooperazione 32 Indagine valutativa O.L.S. Organizational Learning System (Cousin & al., 2004) New Public Management 33 Osborne e Gaebler, Reinventing Government (1992) “Management by measurement” Funzioni della misurazione: 1. Individuazione di connessioni tra obiettivi, risorse, outputs (effetti diretti) e outcomes (effetti imprevisti) Trasparenza dell’amministrazione Efficacia 2. Valutazione degli outputs dell’azione organizzativi e degli outcomes amministrativa Genova 5 maggio 2009 34 N.P.M. “Management by measurement” Logica “planning and control” Pone l’attenzione sulla struttura organizzativa Critica: Effetti “collaterali” La performance viene misurata e controllata mediante una comparazione tra indicatori riferiti ai targets (obiettivi del programma o della politica) e ai “fatti” (realizzazioni) Eccessiva proceduralizzazione Timore dell’innovazione ossification Problema etico VME Valutazione Value for Money Problema politico Stato di diritto Funzione simbolica delle politiche Nozione di “pubblico” Genova 5 maggio 2009 35 Gruppo sperimentale Gruppo di controllo Assegnazione casuale dei soggetti (random) Problema etico Problema giuridico “Misurazione” del livello di welfare Partecipazione al programma di sostegno Esclusione dalla partecipazione al programma Controfattuale Rivalutazione del livello di welfare Genova 5 maggio 2009 36 con e senza integrazione salariale con e senza l’obbligo di lavorare per la comunità con e senza la possibilità di scegliere liberamente la scuola tenendo presente che mediamente un gruppo di destinatari di misure di welfare riduce nel tempo la sua dipendenza e incrementa il reddito anche in assenza di programmi assistenziali Genova 5 maggio 2009 R.A. Maynard, 2000 Si tratta di individuare le differenze indotte dal programma (o “valore aggiunto”) analizzando “cosa sarebbe successo se” il programma non fosse stato implementato (logica controfattuale) confrontando due gruppi, es.: 37 Gli indicatori di performance costituiscono proxies (imperfette) del “valore aggiunto” del programma assistenziale Aspetti negativi occorre monitorare in modo continuo la performance delle organizzazioni che erogano misure di welfare a livello locale, per cui la sperimentazione deve essere molto estesa; problema etico della negazione di misure assistenziali a coloro che sono stati assegnati al gruppo (o ai gruppi) di controllo e non al gruppo sperimentale; diverso trattamento dei due gruppi sotto il profilo della regolazione giuridica Genova 5 maggio 2009 38 Problema dell’accuratezza degli indicatori di performance come proxies del “valore aggiunto” dei programmi Genova 5 maggio 2009 1 Capacità dell’organizzazione di esercitare un controllo a livello locale sulla composizione delle categorie di utenti e sulle azioni concretamente richieste per l’implementazione del programma 2 Capacità di monitorare gerarchicamente gli operatori e le strutture che a livello locale potrebbero sovvertire gli obiettivi del programma per accrescere artificialmente la performance 3 Necessità di valutare tutte le prese in carico evitando comportamenti di triage creaming da parte degli operatori dei servizi 39 Triage creaming E’ l’azione mediante la quale gli operatori effettuano una cernita (to cream = scremare) dell’utenza in modo da selezionare i destinatari che hanno una più elevata probabilità di beneficiare dei programmi o degli interventi e di migliorare così i punteggi sugli indicatori di performance. Si configura, di fatto, una offerta selettiva dei servizi mediante un meccanismo antitetico alla adverse selection (*), che pone, anche in questo caso, un problema etico. (*) fenomeno originato da asimmetrie informative nella stipulazione dei contratti che indica la capacità di attrarre «bidoni» che compromette la proprietà dell’ottimalità dell’equilibrio concorrenziale Genova 5 maggio 2009 Un aspetto spesso trascurato: 40 conseguenze della valutazione Family Support Act (1988) JOBS Programma di avviamento all’occupazione Kansas Nessuna esplicita ricompensa o sanzione Maryland Se l’obiettivo della partecipazione è soddisfacente gli obiettivi dell’uscita dal regime di sovvenzione e dell’autonomizzazione dell’utente diventano eleggibili per l’assegnazione di incentivi North Carolina Classificazione delle counties in exemplary, commendable (raggiunti 3 obiettivi di processo su 5 e 5 su 10 outcomes previsti), needs improvement. Exemplary e commendable ricevono ulteriori finanziamenti Oregon Nessuna ricompensa o sanzione formale, ma se la performance è inferiore ad un limite stabilito è possibile un intervento statale o regionale al fine di apportare cambiamenti Pennsylvania Le Service Delivery Areas che hanno conseguito gli obiettivi sono eleggibili per l’attribuzione di quote di fondi incentivanti. In caso contrario potrebbe essere richiesto di elaborare piani correttivi Wisconsin Forti ricompense o sanzioni: il budget di JOBS dipende quasi interamente dalla performance Genova 5 maggio 2009 41 situazione che opera in mancanza del raggiungimento dell’accordo sulla base della regola decisionale, e che quindi può essere modificata soltanto a seguito dell’operatività dei contenuti della decisione Il problema della valutazione del default L’A.I.R. (Analisi di Impatto della Regolazione) si pone alcuni obiettivi come quello di assicurare la corretta rilevazione dell’esigenza di cui si richiede la soddisfazione, definire con chiarezza gli obiettivi che si perseguono, la congruità dei mezzi individuati per conseguirli, l’adeguatezza dell’arco temporale previsto per l’intervento, valutare costi e vantaggi per l’organizzazione pubblica, i cittadini e le imprese, stabilire se l’intervento richiesto deve essere realizzato previa adozione di una normativa pubblica e, infine, individuare la fonte normativa più appropriata alle esigenze da soddisfare e più “economica” per l’ordinamento. a) descrizione degli obiettivi del provvedimento e delle opzioni alternative; b) individuazione dei soggetti destinatari; c) valutazione dei costi e dei benefici; d) disponibilità di bilancio per l’attuazione dell’intervento; e) valutazione della c.d. “opzione nulla”, cioè dell’alternativa di lasciare immutata la situazione esistente. Genova 5 maggio 2009 42 La valutazione del default (segue) Niskanen Regola di aggregazione delle preferenze che definisce la struttura della situazione richiedendo l’unanimità tra i decisori e, in mancanza del raggiungimento di un accordo, stabilisce che per il periodo successivo non vengano erogate risorse: { Bt+1 = dove Bbc se Bbc=Bs 0 altrimenti Bt+1 = combinazione budget-output per il periodo successivo Bbc = combinazione budget-output proposta dal funzionario amministrativo Bs = combinazione budget-output accettata dallo sponsor La prima parte specifica l’esito derivante da un accordo unanime; la seconda parte precisa l’esito in assenza di accordo, corrispondente alla condizione di default. Niskanen assume che l’assegnazione di fondi: in mancanza risorse! Genova 5 maggio 2009 questo di tipo di accordo regola consentirebbe nessuna di cancellare erogazione di 43 La valutazione del default (segue) Romer e Rosenthal Regola di aggregazione delle preferenze che definisce la struttura della situazione richiedendo l’unanimità tra i decisori e, in mancanza del raggiungimento di un accordo, stabilisce che per il periodo successivo venga confermato lo stanziamento di risorse dell’anno precedente { Bt+1 = Bbc se Bbc=Bs B altrimenti t dove Bt = livello attuale della combinazione budget-output Bbc = combinazione budget-output proposta dal funzionario amministrativo Bs = combinazione budget-output accettata dallo sponsor La prima parte specifica l’esito derivante da un accordo unanime; la seconda parte precisa l’esito in assenza di accordo, corrispondente alla condizione di default in mancanza di accordo persiste lo status quo! Genova 5 maggio 2009 44 U. De Ambrogio, La valutazione partecipata nei servizi sociali. La descrizione di un approccio attraverso alcuni esempi concreti, «Rassegna italiana di valutazione», 2000, n. 17/18, pp. 5774, p. 66 Genova 5 maggio 2009 I risultati negativi della valutazione non sono sanzionati Valutazione e accountability 1) Responsabilità (consapevolezza, responsabilizzazione nei confronti dei risultati dell’azione) concetto e lessico giuridico 2) Rendere conto dei risultati concetto e lessico manageriale a cui non sono estranei profili etici teoria principale-agente (Breton & Wintrobe, 1988) 45 46 Valutazione e accountability forte domanda di accountability correlata all’espansione dell’intervento pubblico; mandato valutativo dei programmi finanziati con fondi pubblici; uso della valutazione e erogazioni di fondi verso le istituzioni filantropiche dimensione assistenziale non profit