Acción SOL - Encuentro de Trabajo internacional Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Roma - Italia Lavoro, 20 maggio 2013 Modelli, metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Marco Centra ISFOL, Università La Sapienza Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Programma 1. Introduzione 2. Finalità e forme di valutazione 3. Valutazione d’impatto 4. Approccio controfattuale 5. Metodi sperimentali e non sperimentali 6. Tecniche di valutazione degli effetti Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 1. Introduzione Politica: politics e policy Politics. la competizione esistente tra gruppi e/o tra individui per la conquista e il mantenimento delle risorse necessarie all’esercizio del potere Policy. l’insieme di azioni messe in atto da attori pubblici al fine di affrontare un problema collettivo L’oggetto di interesse dell’attività di valutazione sono le policy vale a le azioni messe in atto per la soluzione di un problema Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 1. Introduzione Definizione di valutazione • “La valutazione è un’attività cognitiva rivolta a fornire un giudizio su di un’azione, intenzionalmente svolta o che si intende svolgere, destinata a produrre effetti esterni, che si fonda su un’attività di ricerca delle scienze sociali e che segue procedure rigorose e codificabili”. Mauro Palumbo • “Valutare significa analizzare se un’azione intrapresa per uno scopo corrispondente ad un interesse collettivo abbia ottenuto gli effetti desiderati o altri, ed esprimere un giudizio sullo scostamento che normalmente si verifica”. Nicoletta Stame • “La valutazione è principalmente (…) un’attività di ricerca sociale applicata (…) avente come scopo la riduzione della complessità decisionale, attraverso l’analisi degli effetti diretti e indiretti, attesi e non attesi, voluti e non voluti, dell’azione, compresi quelli non riconducibili ad aspetti materiali (...)”. Claudio Bezzi Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 1. Introduzione Definizione di valutazione. • La valutazione è un’attività tesa alla produzione sistematica di informazioni per dare giudizi su azioni pubbliche, con l’intento di migliorarle”. Alberto Martini, Marco Sisti Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 1. Introduzione Finalità della valutazione • Ottimizzare l’allocazione delle risorse • Controllo delle performance delle organizzazioni • Comunicazione dell’azione pubblica • Controllo dei processi di attuazione • Stimare gli effetti delle politiche Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 2. Finalità e forme di valutazione Forme di valutazione delle politiche 1. Valutazione ex-ante Verificare la corrispondenza teorica tra azione e risultato 2. Valutazione di implementazione Analizzare il processo di attuazione delle politiche 3. Valutazione di impatto Valutare gli effetti delle politiche 4. Valutazione di efficienza Misurare il rapporto costi-benefici Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 3. Valutazione d’impatto Definizione “Verifica della capacità dell’intervento adottato di trasformare la realtà nella direzione voluta” (Martini, Sisti) Ipotesi Assunzione del rapporto di dipendenza causale tra azione e risultato Possibilità di fondare il risultato della valutazione su robuste evidenze empiriche Azioni Stimare gli effetti dell’intervento e acquisire informazioni sulla misura del raggiungimento degli obiettivi posti Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 3. Valutazione d’impatto La misura degli effetti della politica Formulazione della domanda di valutazione 1. Definizione della variabile risultato: effetto su cosa 2. Definizione del trattamento: effetto di cosa Effetto su cosa: identificazione della variabile risultato Una quantità Y misurabile, osservabile e disponibile Effetto di cosa: riduzione dicotomica dell’applicazione della politica Una variabile binaria T che indica la presenza (T=1) o l’assenza (T=0) dell’applicazione della politica o trattamento Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 3. Valutazione d’impatto Formalizzazione analitica della stima degli effetti Modello di Rubin dei risultati potenziali Y = variabile risultato i individuo = T = applicazione del trattamento t = momento di applicazione del trattamento 1 valore assunto dalla variabile risultato che avrebbe l’individuo i nel caso sia stato trattato 0 valore assunto dalla variabile risultato che avrebbe l’individuo i nel caso non sia stato trattato Yi Yi Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 4. Approccio controfattuale Si definisce effetto del trattamento sul singolo individuo come differenza tra ciò che la politica ha prodotto sulla variabile obiettivo e ciò che sarebbe accaduto in assenza della politica: i Yi Yi 1 0 Generalmente, per un generico individuo, solo uno dei due valori è osservabile: Yi1 se l’individuo i è stato trattato Yi 0 se l’individuo i non è stato trattato Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 4. Approccio controfattuale L’effetto sul singolo individuo assume una scarsa importanza ai fini della valutazione. E’ necessaria una misura sintetica riferibile all’intera politica e non ai singoli individui: si ricorre generalmente alla media. L’effetto medio del trattamento è ottenuto calcolando la media della quantità sul totale dei trattati E i E Yi1 Yi 0 E Yi1 E Yi 0 Con altra notazione, specificando che la media è calcolata sui soli soggetti trattati (T = 1), si ottiene: E i E Yi1 Yi 0 E Yi1 | T 1 E Yi 0 | T 1 L’impatto della politica è quindi definito, in termini di medie, dalla differenza tra ciò che è accaduto ai trattati in seguito alla politica attuata e ciò che sarebbe accaduto ai medesimi soggetti se la politica non fosse stata attuata. Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 4. Approccio controfattuale L’obiettivo dell’operazione della valutazione d’impatto si riassume nel calcolo di una quantità E i composta da un parte osservata: E Yi1 | T 1 e un parte non osservata e non osservabile: E Yi 0 | T 1 Realtà fattuale ciò che realmente è successo ed è stato osservato Controfattuale cosa sarebbe accaduto in assenza dell’intervento e non sarà mai osservabile Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 4. Approccio controfattuale Realtà fattuale. E’ per definizione osservabile ma non necessariamente osservata o, quantomeno, non in maniera esaustiva rispetto a quanto sarebbe necessario Controfattuale. Non è osservabile per definizione. Rappresenta il problema maggiore per produrre una stima degli effetti netti della politica La maggior parte degli sforzi messi in campo nel corso dello sviluppo della valutazione riguarda l’affinamento di tecniche di ricostruzione del controfattuale Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 4. Approccio controfattuale Poichè ciò che sarebbe accaduto ai trattati in assenza della politica non è una realtà osservabile, le strategie di identificazione degli effetti si servono di un gruppo di controllo di individui non trattati dalla politica per stimare la quantità E Yi 0 | T 1 Utilizzando un gruppo di individui non trattati le sole quantità osservabili sono: 1. la misura del risultato potenziale sui trattati in caso di trattamento 2. la misura del risultato potenziale sui non trattati in caso di non trattamento Dalle due quantità si ottiene la differenza osservata DOSS E Yi1 | T 1 E Yi 0 | T 0 quantità che non coincide con l’effetto del trattamento definito in precedenza E i E Yi1 | T 1 E Yi 0 | T 1 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 4. Approccio controfattuale La differenza osservata DOSS E Yi1 | T 1 E Yi 0 | T 0 non coincide con l’effetto medio del trattamento E i E Yi1 | T 1 E Yi 0 | T 1 a meno che si adotti l’assunzione: E Yi 0 | T 0 E Yi 0 | T 1 Ciò equivale a supporre che il risultato che si sarebbe avuto sul gruppo dei trattati in assenza di trattamento sarebbe uguale al risultato che si osserva, in assenza di trattamento, su un gruppo di non trattati. Tale assunzione non è testabile e, nel caso non sia verificata, genera una grave distorsione sulla misura dell’impatto, detta distorsione da selezione Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 4. Approccio controfattuale Calcolando la media degli effetti potenziali separatamente sul collettivo dei trattati e dei non trattati si ottiene una utile espressione dell’effetto osservato: DOSS E Yi1 | T 1 E Yi 0 | T 0 E Y | T 1 E Y | T 0 E Y | T 1 E Y | T 1 E Y | T 1 E Y | T 1 E Y | T 1 E Y | T 0 1 0 i i 1 0 0 i i 0 i 0 i 0 i i DOSS E E Yi 0 | T 1 E Yi 0 | T 0 L’effetto osservato si scompone cioè in due addendi, uno dei quali è la misura dell’effetto della politica, obiettivo dell’intera operazione di valutazione d’impatto, e l’altro misura la differenza dell’effetto medio in assenza di trattamento tra trattati e non trattati. Tale quantità è determinata dalle sole differenze tra i due gruppi, dal momento che l’applicazione della politica è assente nella quantità E Y 0 | T 1 E Y 0 | T 0 i i Tale quantità rappresenta la distorsione da selezione Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 5. Metodi sperimentali e non sperimentali Le differenze nella composizione tra gruppo di trattati e gruppo di controllo genera distorsione nella misura dell’impatto delle politiche. La distorsione è tanto più elevata quanto le differenze incidono direttamente sulla variabile risultato, senza il tramite dell’applicazione della politica oggetto di valutazione. Una differenza tra i due gruppi che non influisce sulla variabile risultato non genera infatti alcuna distorsione. Una complicazione ulteriore attiene al fatto che la differenza nella composizione tra i due gruppi che genera distorsione può riguardare anche caratteristiche non osservabili e pertanto non controllabili. Una tecnica per eliminare le differenze di partenza tra i due gruppi deriva dalle procedure di sperimentazione clinica che si avvalgono di metodi sperimentali. e prevede l’attribuzione casuale degli individui al gruppo di trattati o al gruppo di controllo. In tal modo, grazie al processo di randomizzazione, la composizione attesa dei due gruppi rispetto a tutte le caratteristiche, sia osservabili che non osservabili, è uguale. Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 5. Metodi sperimentali e non sperimentali E’ evidente la elevata potenza metodologica del metodo sperimentale. Tale metodo tuttavia non è generalmente applicabile alla valutazione delle politiche. • Tecnicamente il metodo non è utilizzabile in caso di valutazione di politiche universali, applicate cioè a tutta la popolazione, dal momento che in tali casi non è possibile definire un gruppo di non trattati • Sul piano etico appare inaccettabile escludere dalla fruizione di un beneficio individui che teoricamente ne avrebbero diritto solo per valutare in modo più preciso gli effetti della politica. • Sul piano politico sarebbe difficile motivare l’esclusione di una parte dei potenziali fruitori di un beneficio con la sola necessità di valutare la politica. • Sul piano metodologico le tecniche sperimentale non garantiscono totalmente dall’assenza di selezione, dal momento che individui appartenenti al gruppo dei trattati potrebbero abbandonare volontariamente la fruizione del beneficio (non compliance) reintroducendo una quantità di selezione tra due gruppi. • Sul piano della disponibilità dei dati necessari alla valutazione occorre constatare che le informazioni si rendono disponibili generalmente dopo l’applicazione della politica, rendendo impossibile la costruzione ex-ante dei due gruppi. Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 5. Metodi sperimentali e non sperimentali Per tali ragioni la valutazione delle politiche si serve di metodi non sperimentali. Tali metodi prevedono l’utilizzo di tecniche statistiche in grado di eliminare, o quanto meno ridurre, la distorsione da selezione e sono basate, in estrema sintesi, sul tentativo di spiegare il processo di selezione tra trattati e non trattati. I metodi non sperimentali sono fondati su dati osservazionali, prodotti dal naturale corso degli eventi, a differenza di quanto accade nei metodi sperimentali che presuppongo invece di poter controllare gli eventi. Le tecniche utilizzate impongono il ricorso ad assunti non verificabili, legati principalmente alla possibilità di spiegare totalmente il processo di selezione con i dati a disposizione., che rappresentano un sottoinsieme dei dati osservabili. Nei casi di studio, conoscenze pregresse sui fenomeni oggetti di valutazione indicano che la selezione tra trattati e non trattati è in gran parte spiegata da caratteristiche non osservate e spesso non osservabili. Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 5. Metodi sperimentali e non sperimentali Un’altra forma di distorsione: la dinamica spontanea Y Differenza pre-post T=1 Controfattuale T=0 t-1 Effetto t+1 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 6. Metodi sperimentali e non sperimentali 1. Metodo diff-in-diff 2. Modello di regressione lineare 3. Metodo dell’abbinamento (matching) 4. Discontinuità attorno discontinuity design) ad una soglia (regression 5. Analisi delle serie storiche interrotte 6. L’utilizzo delle variabili strumentali (IV estimator) Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 6.1 Metodo diff-in-diff Y Y(1,t+1) impatto pre-post Y(0,t+1) Y(1,t-1) controfattuale Y(0,t-1) t-1 impatto d t+1 differenza pre-post = [ Y(1,t+1) - Y(1,t-1) ] t controfattuale - [ Y(0,t+1) - Y(0,t-1) ] Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 6.2 Regressione lineare Y T Trattati: [T=1] => E Y Controllo: [T=0] => E Y Impatto = Y(trattati)-Y(controllo) = Y T X Indipendenza condizionale Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 6.3 Abbinamento (matching) L’abbinamento statistico. Presupposti fondamentali Il metodo dell’abbinamento rappresenta una tecnica in grado di spiegare il processo di selezione in funzione dell’informazione accessoria disponibile. Lo schema prevede un gruppo di trattamento e un gruppo di controllo e la disponibilità per entrambi di informazioni in grado di “spiegare” l’appartenenza all’uno a all’altro. Presupposto fondante del metodo è la CIA (Conditional Independence Assumption). Tale assunzione ipotizza che per individui simili rispetto alle caratteristiche considerate l’attribuzione al trattamento sia casuale, assimilabile cioè ad un disegno sperimentale dello schema di valutazione. Spiegare il processo di selezione Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 6.3 Abbinamento (matching) L’abbinamento statistico. Propensity score La traduzione operativa e computazionale della similitudine tra individui è impraticabile poichè comporterebbe la ripartizione dei dati secondo tutte le caratteristiche nidificate che concorrono a spiegare il processo di selezione. Un sintesi proposta da Rosenbaum e Rubin nel 1983 prevede la costruzione di una misura univariata, funzione delle caratteristiche osservate, in grado di assegnare a ciascun individuo la probabilità di essere trattato, indipendentemente dall’appartenenze al gruppo dei tratti o a quello dei non trattati. La costruzione del propensity score sfrutta tecniche statistiche come i modelli probit o logit. Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 6.3 Abbinamento (matching) L’abbinamento statistico. Tecniche di abbinamento Una volta disponibile il propensity score, il metodo prevede l’abbinamento di ciascuna unità trattata con una unità non trattata e il confronto tra i corrispondenti valori della variabile obiettivo. Le tecniche di abbinamento sono diverse e ciascuna presenta caratteristiche e proprietà specifiche. Nearest neighbor. Ad ogni unità trattata viene assegnata l’unità non trattata con il valore del propensity score più vicino. Radius. Ad ogni unità trattata vengono assegnate tutte le unità non trattate che ricadono all’interno di un raggio definito del propensity score. Stratificazione. Il campo di variazione del propensity score viene diviso in intervalli in modo che in ciascun intervallo le unità trattate e quelle non trattate abbiano lo stesso valore medio del propensity score. Kernel. A ciascuna unità trattata vengono assegnate tutte le unità non trattate ma con un peso inversamente proporzionale al valore del propensity score. Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 6.4 Discontinuità (regression discontinuity desing) Y 1.000 900 800 700 600 500 400 300 200 100 0 0 20 40 60 80 100 P Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 6.5 Serie storiche interrotte Si applica a politiche universalistiche dove non è identificabile un gruppo di controllo. Si utilizza la storia pre-intervento immediatamente precedente all’intervento per stimare il controfattuale. ATTENZIONE Stagionalità Implementazione graduale impatto Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 6.6 L’utilizzo delle variabili strumentali (IV estimator) Si applica quando si identifica un fattore esterno (STRUMENTO)che influenza il processo di selezione (T=1, 0) ma tale fattore non ha alcun effetto sulla variabile risultato Y. Le tecnica consente di scomporre la propensione al trattamento (che genera selezione) in due parti: 1) dovuta alla decisione dell’individuo e ad altri fattori, che generano selezione 2) dovuta a fattori esterni non controllati dall’individuo, che NON generano selezione Si utilizza come trattamento solo la parte della che dipende da fattori non controllati dell’individuo La randomizzazione è un caso estremo di strumento Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 6.6 L’utilizzo delle variabili strumentali (IV estimator) Stimatore di Wald E Y | Z 1 E (Y | Z 0) W ALD Pr(T 1 | Z 1) Pr(T 1 | Z 0) ˆ Un rapido esempio Y laureati in città con ateneo – Y laureati in città senza ateneo Numero laureati in città con ateneo – numero laureati in città senza ateneo Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Bibliografia di riferimento • Alberto Martini , Ugo Trivellato, Sono soldi ben spesi? Perché e come valutare l'efficacia delle politiche pubbliche, Marsilio, (2011) • Martini A. Sisti M., Valutare il successo delle politiche pubbliche, Il Mulino (2009) • Bezzi C., Il disegno della ricerca valutativa, FrancoAngeli (2003) • Rubin D.B., Estimating Casual Effect of Treatments in Randomized and Non-randomized Studies, Journal of Educational Psicology, n.66 (1974) • Andrea Ichino, The Problem of Causality in the Analysis of Educational Choices and Labor Market Outcomes, Slides for Lectures (2006)