Barbara Befani & Alessandra Decataldo
presentano
Counterfactuals and
Causal Inference – II
by Stephen Morgan & Christopher Winship
Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009
Introduzione
Logica della valutazione o metodo di attribuzione
causale utile quando si devono gestire grandi
numeri?
Concentrazione del valore dell’intervento su un’unica
variabile risultato quantitativa
Logica di base dell’attribuzione causale
LOPC (Lista di cause possibili)
GEM (Metodo generale di eliminazione)
Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009
Introduzione (2)
Per attribuire la causalità ci sono almeno otto metodi tutti altrettanto validi che si
applicano a seconda delle diverse situazioni:
(i) osservazione diretta (visiva, tattile)
(ii) osservazione riportata (studi di caso)
(iii) inferenza eliminativa (autopsia, guasto meccanico)
(iv) inferenza teorica, basata sull'uso di una teoria o di un'analogia, es. fisica,
geologia, astronomia
(v) manipolazione diretta (es. in cucina o in laboratorio)
(vi) esperimenti naturali (metereologia, epidemiologia)
(vii) quasi-esperimenti (medicina, pedagogia)
(viii) RCTs randomizzazione, assegnazione casuale (farmacologia)
Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009
Le cose di Patton
But from a philosophy of science perspective, which is where the notion of counterfactuals
originated, a counterfactual does not mean a control group or an RCT. So, for example,
the General Elimination Method of examining different explanations and seeing which
best matches the evidence trail (e.g., forensic or epidemiological science) can still
employ counterfactual reasoning. Thus, it is important not to treat RCTs as equivalent to
using counterfactual logic. Most counterfactual arguments in philosophy are entirely
logical, without data. And it is important to know that counterfactual reasoning is
controversial in philosophy of science with both adherents and critics.
Conditional counterfactual reasoning, if x then y, is a form of logic that works well with
discretely identifiable and measurable causes and effects within relatively short time
periods. In my view, the if x, then y, and if not x, then not y logic of counterfactual
conditionality does not work well in complex, dynamic interventions because such logical
reductionism can actually distort and misrepresent actual complex system dynamics.
Thus, in the philosophical literature on counterfactual reasoning, you will find that most
of the examples are specific events and actions with immediate consequences (John
shot Robert. Did the shot cause Robert's death? But John was told to shoot Robert by
James. Is the primary cause James' command or Robert's shot? And why did James
give the command? And why did Robert follow the command? Philosophers can quickly
get entangled in sorting out these causal links -- and they use counterfactual reasoning
to test out the viability of various causal attributions and links. One sees, however, that
if the simple causal question of whether John's shot caused Robert's death becomes a
philosophical quagmire, how much more difficult is it to formulate definitive causal
chains for complex development interventions?)
Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009
Commenti a Veronica
L'obiettivo generale è quello di individuare (misurare l'entità di) l'effetto netto
dell'intervento, che può essere letto come il tentativo di individuare le cause
del risultato post-intervento (da cosa dipende? Dall'intervento o da altro?). Per
essere utilizzato richiede moltissima informazione, moltissima teoria,
prevedere gli effetti inattesi, etc. Devi fare un sacco di ipotesi che non sempre
sono verificate. Secondo alcuni questo è un limite, secondo altri è un fatto
positivo perché "ti spinge" a cercare tutte queste informazioni in altri modi e
con altri metodi.
Se serve fare analisi controfattuale piuttosto che qualcos'altro, dipende secondo
me da due cose: 1) il tipo di domanda valutativa e 2) il tipo e la qualità delle
informazioni / conoscenze disponibili o che si possono raccogliere. E' cmq
importante distinguere da logica controfattuale (che è una variante della logica
generale dell'attribuzione causale, come ci dice Patton nelle cose che ci ha
inviato Nicoletta) e metodi quantitativi per la ricostruzione del controfattuale
(di cui parlano Morgan & Winship).
Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009
La logica del
controfattuale
Voglio stimare l’effetto netto dell’intervento su una
popolazione che è più ampia di quella dei trattati
Ipotizzo che i trattati non siano rappresentativi
della popolazione per la quale io voglio ottenere
informazioni
Opero una netta divisione fra trattati e non trattati
e il grosso del lavoro è capire come queste due
popolazioni si differenziano
Nel caso pre-post, invece di popolazione parlo di
CONTESTO trattato e contesto non trattato
Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009
Lo stimatore ingenuo
lo stimatore ingenuo sottrae cavoli a patate, ossia confronta due
valori riferiti a entità diverse
δNAIVE -> E(Y1|D=1) – E(Y0|D=0) = la differenza tra il valore
osservato sui trattati e il valore osservato sui non trattati
Mancano dei pezzi: il valore che mi interessa è l’effetto netto
sull’intera popolazione, composta da (individui simili a i) trattati e
(i.s. a i) non trattati = media ponderata tra due effetti: l’effetto
sulla popolazione simile ai trattati e l’effetto sulla popolazione
simile ai non trattati. L’effetto è (la media di) una differenza tra
due valori
δ = π*(δ|D=1) + (1-π)*(δ|D=0)
(Y1-Y0) = π*(Y1-Y0|D=1) + (1-π)*(Y1-Y0|D=0) =
= π*[(Y1|D=1)-(Y0|D=1)] + (1-π)*[(Y1|D=0)-(Y0|D=0)]
E(δ) = π*E[(Y1|D=1)-(Y0|D=1)] + (1-π)*E[(Y1|D=0)-(Y0|D=0)]
Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009
La scomposizione
dell’effetto netto
E(δ) = δNAIVE + π*E[(Y1|D=1)-(Y0|D=1)] + (1-π)*E[(Y1|D=0)-(Y0|D=0)]
– [E(Y1|D=1) - E(Y0|D=0)] =
E(Y1|D=1) - E(Y0|D=0) (differenze empiricamente osservate) - [E(Y0|D=1) - E(Y0|D=0)] (differenze di partenza) (1-π)*[E(δ|D=1) - E(δ|D=0)] (differenze di progresso durante
l’intervento, indip. dalle differenze di partenza)
Se la differenza finale è pari alla differenza di partenza,
l’intervento non ha avuto nessun effetto!
Oppure potrebbe aver avuto effetto perché si suppone che
senza intervento il gruppo dei trattati sarebbe arretrato
Alle differenze empiricamente osservate devo sottrarre quelle di
partenza e la differenza tra le dinamiche proprie di ciascun
gruppo durante l’intervento
Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009
Randomizzazione (RCTs)
I due gruppi sono equivalenti per costruzione, e ognuno di essi rappresenta
l’intera popolazione
Le differenze di partenza sono nulle
Le differenze di dinamica interna durante l’esperimento sono nulle
Quindi la differenza di arrivo mi riflette effettivamente l’effetto
Dinamica durante l’esperimento
Il campione può non essere più casuale per:
Possono cambiare le caratteristiche dei gruppi durante
l’esperimento
Uscita dal gruppo (diversa tra i due gruppi - differential
attrition) (anche per il matching)
Cross-contamination (i non trattati imitano i trattati)
Hawthorne effect (la consapevolezza di appartenere a un
certo gruppo modifica il comportamento)
Doppio cieco (ignoranza del partecipante e di chi
somministra) (certo questo è molto più facile in
farmacologia…)
Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009
Regressione
Stimo il valore della differenza di partenza
E(Y0|D=1) - E(Y0|D=0)
E il valore della differenza tra le dinamiche
interne / velocità di progresso durante
l’esperimento
(π-1)*[E(δ|D=1) - E(δ|D=0)]
Che poi vado a sottrarre alla differenza tra
i valori osservati
Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009
Esempi Regressione
Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009
Serie Storiche
Interventi in cui tutta la popolazione è esposta all’intervento (dati PRE/POST)
I due gruppi sono due contesti, quello PRE e quello POST intervento; devo
capire in cosa si differenziano
Dinamica spontanea dei fenomeni fa sì la che il contesto di arrivo non sia lo
stesso rispetto a quello di partenza; il contesto cambia.
Devo attribuire la situazione del contesto di arrivo all’intervento o ad altro
Ho due contesti: contesto di partenza (Cp) e contesto di arrivo (Ca)
Il dato in assenza di intervento (non trattati) è riferito a Cp
Il dato in presenza di intervento (trattati) è riferito a Ca
E(δ) = E(Y1|Ca) - E(Y0|Cp) (differenze empiricamente osservate) –
[E(Y0|Ca) - E(Y0|Cp)] (differenze di partenza) –
(1-π)*[E(δ|Ca) - E(δ|Cp)] (differenze di sensibilità all’intervento dei due
contesti, indip. dalle differenze di partenza)
Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009
Esempi Serie Storiche
Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009
Costruire un gruppo di
controllo tramite
matching
Per rendere comparabili i due gruppi si costruisce un gruppo di controllo in cui ogni
componente ha un corrispondente nel gruppo sperimentale
Matching rispetto a cosa? Come faccio a sapere quali sono le variabili
causalmente rilevanti?
Mi serve tanta teoria
Il gruppo di controllo somiglia ai trattati!
Non mi stima né le differenze di baseline (perché non ho informazioni sui non
trattati, cioè sul totale o su un campione rappresentativo dei non trattati) né le
differenze di velocità di crescita, perché mi manca sempre uno dei due gruppi
Mi serve per stimare E(Y0|D=1), quindi E(δ|D=1), ovvero l’effetto netto medio sulla
popolazione di cui sono rappresentativi i trattati, non su tutta
Funziona solo se i trattati sono rappresentativi di tutta la popolazione a cui si vuole
generalizzare l'intervento
A volte non riesco a fare il matching neanche dei trattati perché non esistono
individui comparabili con tutti i trattati (vedi esempio Trivellato)
Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009