Elementi di
Epidemiologia Clinica
Lettura e commento di un articolo su uno
studio di efficacia
Angelo Cavicchi
Medico di Famiglia
Voghiera (Ferrara)
1
L’osservazione
della realtà
Il caso di
Nadia
2
LA RAGIONE E L’ OSSERVAZIONE
SONO DUE STRUMENTI NATURALI DELL’UOMO
PER INDAGARE LA REALTA’
L’USO DELLA RAGIONE E’ CONSEGUENTE ALL’USO DELLA
OSSERVAZIONE

( RAGIONE COME APERTURA ALLA REALTA’ )
SE LA RAGIONE E’ USATA INDIPENDENTEMENTE DALLA
OSSERVAZIONE, VI E’ IL PRIMATO DEL MODELLO RISPETTO
INTERPRETAZIONE DELLA REALTA’

(RAGIONE COME MISURA DELLA REALTA’)
3
... Ci siamo confinati nelle astrazioni anziché andare incontro
alla realtà concreta. [ …] Forse la pigrizia naturale dell’ uomo
gli suggerisce la semplicità dell’ astratto anziché la
complessità del concreto. E’ meno arduo salmodiare le
formule o sonnecchiare sui principi che cercare
laboriosamente come sono fatte e quale sia il metodo per
servirsene.
… Osservare è meno facile che ragionare.
E’ risaputo che scarse osservazioni e molti ragionamenti
sono causa di errore. Molta osservazione e poco
ragionamento conducono alla verità. […]
… La nostra è un’ epoca di ideologie, nella quale invece di
imparare dalla realtà in tutti i suoi dati, si cerca di
manipolare la realtà, secondo la coerenza di uno schema
fabbricato dall’ intelletto.[…]
( Alexis Carrel 1873-1944,
premio Nobel per la Medicina1912 )
4
IL METODO INDUTTIVO
Molta osservazione……
“…Tutta l’ arte della medicina sta nella osservazione … Osservate,
memorizzate, collocate al giusto posto, comunicate. Usate i
vostri cinque sensi. Imparate a vedere, udire, toccare… Non
lasciate che le vostre concezioni delle malattie vengano da
parole udite o lette. Guardate e poi ragionate, ma per primo
guardate…
sir William Osler
“… Mi sia permesso di entrare nel dettaglio della mia scoperta.
Vedrete che non è il risultato di un lungo ragionamento, ma di
una semplice osservazione…”
Charles Robert Richet, premio Nobel 1913
“… Ogni scoperta consiste nelL’osservare ciò che tutti hanno
visto e nel pensare ciò a cui nessuno ha mai pensato… “
Albert Szent-Gyorgyi, premio Nobel 1937
5
L’apertura alla realtà è una dote
o un metodo?
E’ un metodo.
 Lasciarsi guidare da ciò che si vede della realtà
secondo la totalità dei suoi fattori (apertura),
 e non da ciò che si crede di dover trovare
(preconcetto) ,
 confidando che vale la pena ricercare perché
esiste nella realtà qualcosa che ci sorprende e ci
richiama a qualcosa di altro.
6
Sempre caro mi fu quest’ermo colle
e questa siepe che da tanta parte
dell’ultimo orizzonte il guardo esclude.
Ma sedendo e mirando, interminati
spazi di là da quella, e sovrumani
silenzi, e profondissima quïete
io nel pensier mi fingo; ove per poco
il cor non si spaura. E come il vento
odo stormir tra queste piante, io quello
infinito silenzio a questa voce
vo comparando: e mi sovvien l’eterno,
e le morte stagioni e la presente
e viva, e il suon di lei: Così tra questa
immensità s’annega il pensier mio:
e il naufragar m’è dolce in questo mare.
Giacomo Leopardi
7
LOGICA
LOGICA INDUTTIVA
Affermare in base a numerose osservazioni
LOGICA OSSERVAZIONALE
-
Osservazione: gli ipertesi hanno molti eventi cardiovascolari
Logica: la ipertensione aumenta il rischio cardiovascolare
8
LOGICA
LOGICA DEDUTTIVA
Affermare in base al risultato di una indagine:
LOGICA SPERIMENTALE
-
-
Ipotesi: gli ipertesi trattati con risultato hanno un rischio
cardiovascolare più basso rispetto ai non trattati o ai refrattari
al trattamento
Logica: la riduzione della pressione arteriosa abbassa il rischio
cardiovascolare
9
PER LA DIMOSTRAZIONE DI UNA IPOTESI
METODO INDUTTIVO
La dimostrazione della ipotesi con questo metodo
prevede una serie sistematica di osservazioni
per verificare se il fenomeno si verifichi sempre.


Semplice
Incline all’ errore per l’ affermazione del
conseguente: “post hoc ergo propter hoc”
Il gallo canta ogni mattina prima del sorgere del sole
Il sole sorge ogni mattino
Il canto del gallo fa nascere il sole
10
PER LA DIMOSTRAZIONE DI UNA IPOTESI
METODO DEDUTTIVO
La dimostrazione della ipotesi con questo metodo
prevede una modifica artificiale della realtà
( occorre effettuare un esperimento alterando artificialmente la realtà,
attraverso regole definite)


Tecnicamente complesso
Incline all’errore per le difficoltà nell’esecuzione
si tira il collo al gallo e si verifica se il sole continua a sorgere.
11
STRUMENTI EPIDEMIOLOGICI PER LA
DIMOSTRAZIONE DELLA IPOTESI
STUDI ANALITICI ( Osservazionali)


TRASVERSALI (studi di Prevalenza)
LONGITUDINALI ( studi di Prevalenza ed Incidenza)


Studi di Coorte
Studi Caso-Controllo
STUDI SPERIMENTALI
 Sperimentazioni Cliniche Controllate (RCT): (studi di
efficacia )
12
STUDIO ANALITICO TRASVERSALE
Presente
Popolazione
studiata
Con malattia/
evento
Rischio/fattori
+
Rischio /fattori
-
Senza malattia/
evento
Rischio/fattori
-
Rischio/fattori
+
13
Presente
STUDIO ANALITICO
LONGITUDINALE (prostettico)
Popolazione
studiata
COORTE
Rischio/fattori
-
Malattia/evento
+
Malattia/evento
-
COORTE
Rischio/fattori
+
Malattia/evento
-
Malattia/evento
+
Futuro
14
STUDIO ANALITICO
LONGITUDINALE (retrospettivo)
Presente
Sani
Malati
(Casi )
(Controlli)
FR+
FR-
FR+
FR-
?
?
?
?
Passato
15
STUDIO SPERIMENTALE
Sperimentazioni Cliniche Controllate
Presente
Popolazione
studiata
Esperimento/
intervento
Malattia/evento
+
Malattia/evento
-
Controllo
Malattia/evento
+
Malattia evento
-
Futuro
16
LE REGOLE SOSTANZIALI DEGLI RCT
a) SPERIMENTAZIONE
Test prospettico
con intervento
di esito incerto
valutazione nel tempo
modificazione artificiale
potenzialmente utile (altri
menti non etico)
su una ipotesi
sulla base di effetti ipotizzati
con una attesa
beneficio clinico
di rapporti causali
per esistenza rapporto causa/effetto
clinicamente rilevanti
con ricadute importanti
statisticamente significativi da accertare con il beneficio del dubbio
17
LE REGOLE SOSTANZIALI DEGLI RCT
b) CLINICA
Volto a verificare la efficacia di un intervento … “Capacità di
modificare la storia naturale di una malattia o lo stato di salute
di un individuo” (Cochrane 78)
EFFICACIA TEORICA (efficacy):
Capacità di un intervento di raggiungere un determinato
obbiettivo in ideali di assistenza
EFFICACIA PRATICA (effectiveness)
Capacità di un intervento di raggiungere uno specifico
obbiettivo in condizioni normali di assistenza
18
LE REGOLE SOSTANZIALI DEGLI RCT
c) CONTROLLATA
Caratterizzata dalla presenza di un gruppo di CONTROLLO
( non trattato o soggetto al trattamento considerato migliore al
momento)
19
GLI STRUMENTI FORMALI DEGLI RCT
Due gruppi di pazienti
comparabili nelle caratteristiche di base
rappresentativi della popolazione
su cui verificare nel tempo la efficacia
del trattamento in sperimentazione
rispetto a quello di riferimento
20
1) RANDOMIZZAZIONE
Ottenere due gruppi di soggetti (trattato e controllo)
sovrapponibili per variabili note e non note, capaci di
influenzare l’ evoluzione della malattia.
E’ necessario affidarsi alla casualità
La randomizzazione è una casualità formalizzata che rende la
causalità dei risultati probabile
(Marchioli- Tognoni 1994)
21
POPOLAZIONE
Fattori ambientali, genetica, fattori
di rischio, patologie concomitanti,
altri trattamenti
RANDOMIZZAZIONE
Trattamento sperimentale
Trattamento di controllo
22
2) RAPPRESENTATIVITA’ DEL CAMPIONE
Posta una popolazione in esame, la rappresentatività del campione in
studio rispetto ad essa si ottiene:
a) Dalla modalità di selezione (nel campione devono essere
rappresentate tutte le categorie di pazienti della popolazione di
riferimento)
b) Dalla riproducibilità ed accuratezza dei criteri di determinazione del
problema in oggetto, anche in rapporto ai suoi gradi di gravità
Il campione è rappresentativo solo della popolazione a cui si riferisce,
pertanto i risultati dello studio saranno estrapolabili solo su pazienti
simili ai reclutati
23
POPOLAZIONE DI RIFERIMENTO
POPOLAZIONE SPERIMENTALE
PARTECIPAZIONE AL PROGRAMMA
ASSEGNAZIONE (RANDOMIZZAZIONE
GRUPPO DI TRATTAMENTO
GRUPPO DI CONTROLLO
VALUTAZIONE
24
N Engl J Med. 1989 Dec
28;321(26):1825-8.
N Engl J Med. 1989 Jul
20;321(3):183-5.
Final report on the aspirin
component of the ongoing
Physicians' Health Study.
Steering Committee of the
Physicians' Health Study
Research Group.
25
PHYSICIANS' HEALTH STUDY
Randomization Scheme
22,071
Randomized
11,037
Aspirin
5,517
Beta-carotene
11,037
Aspirin placebo
5,520
5,519
Beta-carotene Beta-carotene
placebo
5,515
Beta-carotene
placebo
26
PHYSICIANS HEALTH STUDY
POPOLAZIONE DI RIFERIMENTO
261.248
Lettere di invito
112.528
59.285
Rispondono
Disponibili a partecipare
Esclusi 26.062
33.223
Esclusi 11.152
22.071
11.035
11.035
Fase di “run in”
Randomizzazione
(meno del 10% dei selezionati)
Trattamento con ASA
Placebo
27
PHYSICIANS' HEALTH STUDY I
Baseline Characteristics
Assignment
Demographic
Mean age (years)
Geographic region
Northeast
Midwest
South or Southwest
Mountain or Far West
Other
ASA + BC
(n = 5,517)
ASA + PL
(n = 5,520)
PL + BC
(n = 5,519)
PL + PL
(n = 5,515)
53.2±9.5
53.3±9.6
53.2±9.5
53.2±9.5
27.8
22.4
26.8
22.0
1.0
27.9
21.9
26.1
23.3
0.9
27.3
22.1
27.0
22.8
0.7
28.8
20.3
27.9
22.1
0.9
28
PHYSICIANS' HEALTH STUDY I
Baseline Characteristics
Assignment
ASA + BC
Medical history
Reported hypertension
11.8
Mean systolic BP
126.0±11.9
Mean diastolic BP
78.8±7.6
High cholesterol
7.9
Mean cholesterol mg/dl) 211.7±43.9
Diabetes mellitus
2.1
Mean BMI
24.9±3.1
Overweight
13.5
History of angina pectoris
1.2
Parental history of Ml
12.7
ASA + PL
PL + BC
PL + PL
11.8
126.3±12.1
78.9±7.5
7.5
212.3±45.0
2.5
24.9±3.0
14.0
1.4
13.3
12.4
126.1±11.7
78.9±7.5
8.0
212.7±46.5
2.2
24.9±3.0
13.6
1.1
12.7
11.5
126.1±11.7
78.7±7.5
8.0
211.4±44.8
2.2
24.9±3.0
13.6
1.2
13.6
29
PHYSICIANS' HEALTH STUDY I
Baseline Characteristics
Assignment
ASA + BC
Health habits
Cigarette smoking
Never
49.8
Past only
39.3
Current
10.9
Mean cigarettes/day
21.7±13.0
<15 (of current smokers)
28.8
15-24 (of current smokers)
32.5
25+ (of current smokers)
38.7
Current cigar smoking
4.7
Current pipe smoking
8.8
ASA + PL
PL + BC
PL + PL
48.8
40.1
11.1
22.1±12.9
27.4
33.7
38.8
4.2
7.7
49.6
39.1
11.4
22.4±13.7
27.3
34.7
37.9
4.3
8.2
50.1
39.0
10.9
22.8±13.5
24.6
35.4
40.0
4.3
8.0
30
PHYSICIANS' HEALTH STUDY I
Baseline Characteristics
Assignment
Health habits
Alcohol use
Mean drinks/week
Daily
Rarely or never
Exercise frequency
Mean times/month
Rarely or never
ASA + BC
ASA + PL
PL + BC
PL + PL
3.5±3.2
24.8
14.8
3.5±3.2
24.9
14.6
3.5±3.2
24.7
14.7
3.5±3.3
25.2
15.4
10.2±8.5
12.8
9.8±8.3
14.2
10.0±8.6
14.0
10.0±8.6
13.5
31
This trial of aspirin for the primary prevention of
cardiovascular disease demonstrates a conclusive
reduction in the risk of myocardial infarction, but the
evidence concerning stroke and total cardiovascular
deaths remains inconclusive because of the
inadequate numbers of physicians with these end
points.
32
A che tipo di popolazione vanno applicati quei
risultati?






Medici
Maschi
Giovani con poche patologie
Bassa prevalenza di FR (peso, ore di attività fisica, fumo,
alcool, ecc)
Attenti alla prevenzione
Meticolosi nell’assumere il farmaco (per 8 anni)
Al termine dello studio si ottenne meno di ¼ delle morti
attese nel gruppo di controllo. La vera conclusione quindi
sarebbe: condurre una vita sana (non fumare, non bere,
fare attività motoria, ecc.) è il miglior intervento di
prevenzione cardiovascolare e neoplastica.
33
3) DEFINIZIONE DEGLI ESITI
a) STABILIRE A PRIORI GLI OBIETTIVI DELLO STUDIO PER
RICONDURRE GLI ESITI A QUEGLI OBIETTIVI
PRINCIPALI (mortalità totale, causa specifica, eventi non fatali).
SECONDARI (O INTERMEDI) (riduzione di un evento causa
secondariamente di mortalità)
. HARD (solido) (di facile e sicura determinazione)
. SOFT (sfumato) ( di valutazione meno sicura)
b) STABILIRE I CRITERI ESPLICITI PER LA LORO DETERMINAZIONE
. RIPRODUCIBILITA’ (osservatori diversi o lo stesso osservatore in
tempi diversi ottengono analoghi risultati con quei criteri
. ACCURATEZZA ( capacità di individuare i veri positivi ed i veri
negativi sul totale dei risultati)
c) LO STUDIO DEVE RIPORTARE TUTTI GLI ESITI RICONDUCIBILI AL
TRATTAMENTO
d) IL TEMPO DI CONDUZIONE DELLO STUDIO DEVE ESSERE
ADEGUATO ALLA EMERGENZA DEGLI ESITI
34
4) STUDIO CIECO/APERTO
Nascondere al paziente (cecità semplice) o al
medico ed al paziente (cecità doppia) la natura
del trattamento effettuato.
Gli studi in aperto è opportuno siano cechi alla
rilevazione dei risultati (es. Gissi)
Fonti di distorsione:
. Contaminazione somministrazione accidentale del
trattamento sperimentale al gruppo di controllo
. Cointervento esecuzione di trattamenti addizionali nei due
gruppi
35
5) POTENZA DELLO STUDIO
Probabilità di vedere un effetto del trattamento quando
questo esista, evitando un “falso negativo”

Viene fissata arbitrariamente (80-90%: 1-beta %)

E’ influenzata dalla numerosità del campione
Errore del 2° tipo:
accettare l’ ipotesi Ho ( i due trattamenti sono uguali)
quando invece sono diversi (errore beta)
36
6) SIGNIFICATIVITA’ STATISTICA
Probabilità che la differenza osservata nei due
trattamenti sia legata al caso.
Per probabilità <5% (p<0.05) o <1% (p<0.01) la
differenza viene detta statisticamente significativa e
viene rigettata la ipotesi nulla Ho
(H0: i due trattamenti sono uguali)
Viene fissata arbitrariamente (5% o 1% , indicata con
“p”)
Errore del 1° tipo: rigettare la H0 (la quale ipotizza che i due
trattamenti siano uguali) quando invece sono uguali
veramente: la probabilità di commettere tale errore è
legata al “p” (errore alfa)
37
La significatività statistica è calcolata con test
statistici
per variabili nominali X2 ( Chi quadrato)
per variabili continue
. a distribuzione normale

T di Student ,

analisi della varianza
:
. a distribuzione non normale :

test non parametrici
( Wilcoxon, Kruscall Wallis, Mann Witnei, K. Smirnov
ecc.)
38
Analisi Statistica
 per variabili nominali X2 ( Chi quadrato)
 per variabili continue
la distribuzione è Normale?
St. Non Parametrica
St. Parametrica
SI
NO
I gruppi soni più di due?
SI
NO
Sono indipendenti?
NO
t di Student
per d.
appaiati
SI
t di Student
per d.
indipendenti
ANOVA
I gruppi soni più di due?
SI
NO
KrusskallWallis
Sono indipendenti?
NO
Test di
Wilcoxon
SI
Test di K.
Smirnov
Mann
Witnei
39
7) DIMENSIONE DEL CAMPIONE
La dimensione adeguata del campione si
ricava da tabelle, in cui occorre precisare:

la entità della differenza attesa fra i due
trattamenti (trattamento sperimentale contro
trattamento di controllo)


il valore di alfa (posto dagli sperimentatori)
la potenza dello studio (1-beta%) (posto dagli
sperimentatori)
40
Potenza dello studio (1-beta)
Numerosità del
campione
Valore della
significatività
statistica
L’ unico modo per aumentare potenza senza ridurre la
significatività o viceversa, stante una differenza reale nei
trattamenti è aumentare le dimensioni del campione.
41
Esempio






Una malattia produce il 5% di esiti all’anno
Si dispone di un nuovo trattamento maggiormente
efficace del 20%
Si programma uno studio sperimentale in 3 anni (attesa
di 15% di esiti nei controlli)
Si pone p = 0.05 ; potenza dello studio = 80%
Ricavo il numero dei pazienti randomizzabili
Ricavo il numero dei casi attesi nei sottoposti al
trattamento (attesi nei controlli – 20%)
42
Cause ed effetti in medicina (Marchioli e Tognoni, Il pensiero Sc. Ed. 1994)
Tabella 1: potenza di un trial su un trattamento capace di ridurre gli eventi del 10%, in funzione della percentuale di
eventi attesi nel gruppo di controllo (p=0.05)*
% eventi attesi nel gruppo di controllo
Potenza
95%
90%
80%
50%
10%
2335 (44694)
1805 (36100)
1358 (27160)
653 (13064)
20%
1999 (19994)
1615 (16148)
1215 (12150)
584 (5844)
30%
1765 (11760)
1425 (9500)
1072 (7146)
516 (3438)
Tabella 2: potenza di un trial su un trattamento capace di ridurre gli eventi del 20%, in funzione della percentuale
degli eventi attesi nel gruppo di controllo (p=0.05)*
Potenza
95%
90%
80%
50%
% eventi attesi nel gruppo di controllo
10%
20%
429 (10634)
1805 (8590)
323 (6462)
155 (3110)
478 (4384)
386 (3864)
291 (2908)
140 (1398)
30%
425 (2834)
343 (2290)
258 (1724)
124 (828)
*Numero di eventi nel gruppo di controllo e numero totale di soggetti (tra parentesi) che dovrebbero essere randomizzati
in un trial per ottenere tali eventi nel gruppo di controllo
43
Cause ed effetti in medicina (Marchioli e Tognoni, Il pensiero Sc. Ed. 1994)
Tabella 3: potenza di un trial su un trattamento capace diridurre gli eventi del 30%, in funzione della percentuale degli
eventi attesi nel gruppo di controllo (p=0.05)*
Potenza
95%
90%
80%
50%
% eventi attesi nel gruppo di controllo
10%
20%
224 (4480)
202 (2026)
181 (3620)
164 (1636)
136 (2722)
124 (1230)
65 (1310)
59 (598)
30%
181 (1206)
146 (974)
110 (734)
53 (352)
* Numero di eventi nel gruppo di controllo e numero totale di soggetti (fra parentesi) che dovrebbero essere randomizzati
in un trial per ottenere tali eventi nel gruppo di controllo
44
8) RILEVANZA CLINICA
Importanza della differenza rilevata negli esiti fra il
gruppo dei trattati ed i controlli tale da indurre una
modifica nella pratica clinica
a)
b)
non tutte le differenze di esito statisticamente
significative possono essere clinicamente
rilevanti
la rilevanza clinica può essere tale che in
assenza di significatività statistica delle
differenze di esito si possa ripetere la ricerca
con un altro metodo (aumento del campione)
45
9) ANALISI FINALE
a)
Il numero di pazienti inclusi deve essere uguale a
quello dei risultati
b)
Gli esiti clinici devono essere tutti espressi,
compresi quelli indicanti disabilità o riduzione di
qualità della vita anche dei pazienti usciti dallo
studio
Gli esiti clinici dei soggetti mancanti, se non
descritti, devono essere considerati ricalcolando la
significatività
- attribuendo un esito negativo ai mancanti del
gruppo favorevole
- ed un esito positivo ai mancanti del gruppo
sfavorevole
46
c)
Devono essere indicate le misure di dispersione
1.
Deviazione Standard (DS): misura della dispersione dei valori
originali: nella distribuzione normale il 95% dei valori è
compreso fra media +/- 1.96 DS
2.
Errore Standard (ES): misura non la variabilità delle
osservazioni ma la precisione con cui la media del
campione stima la media vera della popolazione
(Deviazione Standard della distribuzione campionaria delle
medie)
3.
Limiti di confidenza (IC) :intervallo che con una certa
probabilità contiene la differenza reale, quella che ci si
potrebbe aspettare nel caso in cui il campione comprendesse
l’intera popolazione di riferimento
47
10) CONSENSO INFORMATO
Codice di Norimberga, agosto 1947
Helsinki: 18° assemblea di World Medical
Association, 1964
“… il medico dovrà ottenere dal paziente il consenso liberamente …
… il consenso dovrà essere di regola scritto …
… il ricercatore deve rispettare il diritto di ciascun individuo di
salvaguardare la propria integrità individuale …
…. È richiesto un comitato indipendente che valuti il protocollo della
sperimentazione … “
48
Problemi:
a)
quanto è cosciente il paziente?
Esempio: gruppo di sperimentazioni effettuate in Africa, Thailandia e Repubblica
Dominicana tese a valutare l’ efficacia di nuovi farmaci antivirali nel
prevenire la trasmissione da madre a figlio di HIV. Tipo di trial: studio in
doppio cieco (controllo con placebo).
Finanziatori: CDC Atlanta; National Institute of Health USA.
Critiche: New Eng Jour. Of Med 337 (1997); 335 (19969
b)
esiste un fine “buono a priori” nei procedimenti
medici (sperimentali e non)?
Occorre definire che cosa sia il “bene” per quel paziente ed il “bene
comune”; occorre conoscere e concordare sui fattori costitutivi
biologici e non solo, della natura umana. … Non vi è possibilità
di Etica a prescindere dalla Ontologia…”
Cesana 2000
49
11) ETICITA’
Un comportamento medico è etico quando rispetta il soggetto su cui
agisce e promuove il suo bene, anche quando la persona non è
consapevole
Cesana 2000
a)
ETICA DELLE ASPETTATIVE: una sperimentazione è etica se
esiste il dubbio fondato che il nuovo trattamento possa essere più
efficace di quello normalmente utilizzato
b)
ETICA DEI RISULTATI : i risultati sono etici se ricercati ed ottenuti
per problemi clinicamente rilevanti
c)
ETICA DEGLI SPERIMENTATORI : “ … la falsificazione dei dati, l’
analisi scorretta, la presentazione non obbiettiva dei risultati, il
ritardo nella comunicazione dei risultati sfavorevoli influiscono sulla
eticità della ricerca …”
( Marchioli e Tognoni, 1994)
50
IL MEDICO DI MEDICINA GENERALE DI FRONTE ALLA
RICERCA
1)
2)
COME “REGISTA/ATTORE”
In prima persona identifica il problema,
conduce lo studio, giunge a conclusioni
COME “ATTORE”
per indagini complesse che richiedono
. competenza che vanno oltre la sua cultura ed attività
. strutture dove queste vengano progettate e guidate
3)
COME UTILIZZATORE
lettore critico ed utilizzatore di esperienze altrui
51
52