La valutazione di efficacia secondo il paradigma “misurazione degli effetti”delle politiche del lavoro Verso la costruzione del «protocollo sperimentale» per la misurazione degli effetti delle politiche passive-attive del lavoro Roberto De Vincenzi ISFOL Definizioni di carattere generale Monitoraggio: raccolta sistematica di informazioni standard su attuazione (finanziaria e fisica) di politiche / programmi / progetti Valutazione: Un processo di “conoscenza” svolto in modo intenzionale • orientato alla costruzione di un supporto informativo coerente, utile a dare risposte alla collettività (valutazione investimenti pubblici) • volto ad esprimere un “giudizio” relativo ad un sistema di effetti-obiettivi attraverso metodi e strumenti tipici delle scienze sociali, codificati e rigorosi Valutazione come Accountability (Rendicontazione) Valutazione come Learning (Apprendimento) 2 La valutazione di efficacia delle politiche Due assunti: Esiste un nesso di causalità tra effetto e trattamento (Inferenza causale) Effetto = differenza tra due valori variabile risultato misurati con trattamento e senza trattamento La valutazione di efficacia richiede l’individuazione e la definizione di una situazione controfattuale (la più verosimile possibile), ovvero la verifica di cosa sarebbe successo in assenza di intervento o mediante realizzazione di interventi alternativi (sugli individui più simili possibili) Metodi quasi-sperimentali Opportunità e limiti del quasi-experimental design Banche dati esistenti razionamento-selezione e soglia esistente (per regression discontinuity design) dati integrabili e confrontabili su gruppo trattati e non trattati prima, durante e dopo intervento (per propensity score matching) e metodi sperimentali L'oggettiva superiorità dell' experimental design: è il metodo che meglio approssima la situazione controfattuale (assegnazione random e controllata a due gruppi di trattati e non trattati) L’esperimento sociale su vasta scala e la interdiscipliarità ✓Accompagnement renforcé (individualizzato, patto di servizio sottoscritto tra operatore e utente, durata max 6 +2 mesi difficoltà famil. ) - Unédic OPP Operatori Privati di Placement 41.000 trattati - Anpe CVE “Cap Vers L’Entreprise” 40.000 trattati ✓Accompagnement classique (poco individualizzato, senza sottoscrizione patto di servizio durata max 8 mesi , ex Anpe 120.000 trattati Coinvolgimento strutture dedicate agli aspetti gestionali, informativi e metodologici (DARES – CREST – ECOLE d’ECONOMIE PARIS) – interdisciplinarità “orizzontale e verticale” L’adozione di un protocollo sperimentale applicato a monte della realizzazione ha consentito il raffronto degli effetti prodotti dai diversi tipi di intervento sul reinserimento occupazionale dei disoccupati coinvolti. Maggiore consapevolezza nelle decisioni seguenti : Accord national interprofessionnel du 31 mai 2011 relatif au contrat de sécurisation professionnelle •Convention du 19 juillet 2011 relative au Contrat de sécurisation professionnelle •Loi n° 2011-893 du 28 juillet 2011 pour le développement de l'alternance et la sécurisation des parcours professionnels • Verso la costruzione del «protocollo sperimentale» per la misurazione degli effetti delle politiche passive-attive del lavoro L'analisi valutativa realizzata in Francia (esperimento sociale controllato su circa 200 mila persone) dimostra come la valutazione (adeguatamente progettata e supportata) rappresenti lo strumento migliore per l'adozione di programmi, politiche o misure d'intervento più rispondenti ai reali bisogni della collettività (efficacia dell'investimento pubblico): l'esperimento sociale controllato può (deve) adottare un gruppo di controllo scientifico diverso dal cosiddetto “gruppo non trattato” dall'intervento su cui si concentra la valutazione; la misurazione degli effetti prodotti da interventi alternativi rivolti alla stessa categoria di destinatari (differenziali di efficacia) consente di superare i tradizionali problemi etici giuridici connessi all'assegnazione di individui bisognosi del trattamento (ad esempio, disoccupati) ad un gruppo al quale non è consentito partecipare; infine senza un buon sistema di raccolta sistematica, periodica e standardizzata delle informazioni su destinatari e interventi, non può esserci buona valutazione; progettazione operativa a monte dell'avvio del programma/ politica Interdisciplinarità – coinvolgimento orizzontale e verticale degli attori coinvolti