APPROCCI E TECNICHE DI VALUTAZIONE Lezione del 13 e 14, 21 e 27 novembre 2014 IL QUESTIONARIO Perché la ricerca valutativa usa il questionario con un vasto numero di persone da intervistare, selezionate con la tecnica del campionamento, per un’adeguata rappresentatività può favorire un’efficace analisi dei bisogni e la valutazione di impatti e risultati della ricerca per esplorare il parere dei beneficiari ex post per oggetti di ricerca dal forte impatto sociale per misurare la qualità dei servizi valutata ex ante, in itinere ed ex post per conoscere il grado di soddisfazione del cliente e/o la percezione soggettiva rispetto all’oggetto della ricerca Definizione e obiettivi Cos’è un questionario • Uno «strumento di misura» raccoglie in modo sistematico caratteristiche, comportamenti o opinioni dei rispondenti • Uno «strumento di comunicazione standardizzato» facilita l’interazione tra ricercatore, rilevatore e intervistato le domande sono rivolte a tutti nella stessa forma le domande hanno lo stesso significato per tutti i rispondenti La progettazione del questionario • prima fase: definizione degli obiettivi e concettualizzazione • seconda fase: redazione del questionario • terza fase: verifica del questionario La progettazione del questionario: prima fase La definizione degli obiettivi e concettualizzazione • documentarsi sull’argomento • individuare delle variabili da raccogliere rispetto ai temi d’interesse • identificare i destinatari del questionario La progettazione del questionario: seconda fase La redazione del questionario • prevedere la successione logica dei temi trattati • preservare l’anonimato degli intervistati • verificare l’opportunità di introdurre rispetto anche a questionari realizzati con tecniche CATI e CAWI: Domande filtro Domande di controllo Domande retrospettive Quesiti su temi delicati La progettazione del questionario: la redazione Prevedere la successione logica dei temi trattati • predisporre una sequenza di domande che riguardano lo stesso argomento, evitando di tornare su argomenti già trattati, inoltre fare in modo che i quesiti seguano un percorso logico e coerente • le domande poste devono essere collocate in modo che non condizionino le risposte a domande successive • impostare la successione degli argomenti/temi in modo da non creare salti radicali La progettazione del questionario: la redazione Prevedere la successione logica dei temi trattati • la successione a imbuto: si passa da domande generali a domande particolari • la successione ad imbuto rovesciato: si antepongono le domande specifiche a quelle più generali La progettazione del questionario: la redazione Verificare l’opportunità di introdurre le domande filtro • dalla risposta alla domanda filtro dipendono diverse sezioni del questionario • la domanda o le domande successive alla domanda filtro entrano talmente nel dettaglio da diventare frustranti per chi non possiede i requisiti per rispondere • diventa uno strumento per non condizionare la risposta (in quanto in caso contrario c’è il rischio che chi si trova a dover rispondere ad una domanda “non pertinente” possa rispondere a caso) La progettazione del questionario: la redazione Verificare l’opportunità di introdurre le domande di controllo • per verificare la coerenza e l’attendibilità di una risposta data in precedenza • si inseriscono a opportuna distanza dalle domande che si vogliono verificare • presentano lo stesso quesito che si vuole verificare, formulato in modo diverso La progettazione del questionario: la redazione Verificare l’opportunità di introdurre le domande retrospettive • quando si vogliono richiamare alla memoria del rispondente fatti avvenuti nel passato • collocarli verso la metà del questionario • hanno lo scopo di sollecitare la memoria senza influenzare i ricordi • suggerimenti: ridurre l’intervallo di riferimento della domanda porre una batteria di domande per collocare a livello temporale i ricordi proporre un buon numero di alternative di risposta per sollecitare la memoria ricorrere a un diario La progettazione del questionario: la redazione Verificare l’opportunità di introdurre i quesiti su temi delicati • ad esempio quando si fanno domande su uso di droghe o su comportamenti violenti subiti • porre queste domande verso la fine del questionario quando si è instaurato un clima di fiducia tra intervistatore e rispondente La progettazione del questionario: la redazione Formulazione dei quesiti: il linguaggio tenendo conto dell’argomento su cui si vuole indagare e la popolazione oggetto di indagine • • • • • • • usare termini semplici evitare termini tecnici usare termini precisi usare domande dirette brevi evitare espressioni in negativo non influenzare la risposta alle domande fare esempi per chiarire la corretta interpretazione delle domande La progettazione del questionario: la redazione Formulazione dei quesiti: la preparazione delle domande Stabilire quanta libertà lasciare all’intervistato: • Domande aperte (a risposta libera) lasciano all’intervistato la possibilità di esprimersi nella forma che preferisce, utilizzando parole proprie • Domande chiuse (a risposta fissa predefinita) prevedono a priori delle alternative di risposte predefinite (spesso i questionari sono AUTOSOMMINISTRATI) • Domande semiaperte (a risposta mista) prevedono un insieme di possibili risposte già fissate e poi un’ultima risposta con la modalità «altro (specificare)» a risposta semplice a risposta multipla La progettazione del questionario: la redazione Formulazione dei quesiti: domande aperte I vantaggi • minimo rischio di condizionare la risposta • uniche domande possibili quando il fenomeno indagato non si conosce bene • utili nel trattare argomenti delicati La progettazione del questionario: la redazione Formulazione dei quesiti: domande aperte Gli svantaggi: • alti costi e lunghi tempi per la codifica delle risposte • elevato rischio di errore nella registrazione delle risposte da parte degli intervistatori • necessità di personale addestrato affinché non ci sia distorsione nell’interpretazione delle risposte • maggiore sforzo di elaborazione da parte del rispondente • la qualità delle risposte fornite è funzione del livello culturale del rispondente La progettazione del questionario: la redazione Formulazione dei quesiti: domande aperte Quando usarle • per la messa a punto del questionario definitivo • nei sondaggi sulle opinioni, gli atteggiamenti e le motivazioni • quando si prevedono risposte quantitative (età, reddito, ecc) • quando le risposte sono molto variegate (luogo di nascita, attività lavorativa, ecc) La progettazione del questionario: la redazione Formulazione dei quesiti: domande chiuse I vantaggi • riduzione tempi di codifica, che è effettuata direttamente sul campo • riduzione degli errori di codifica e dei tempi di elaborazione • riduzione degli errori di trascrizione degli intervistatori • sollecitano la memoria • facilitano il rispondente La progettazione del questionario: la redazione Formulazione dei quesiti: domande chiuse Gli svantaggi • se la lista delle risposte è lunga, l’ordine con cui vengono lette le risposte può influenzare gli intervistati • possono indurre a fare scelte non molto ragionate soprattutto quando le domande riguardano opinioni, motivazioni o atteggiamenti • l’elenco delle risposte potrebbe non coprire tutti i casi possibili, inducendo il rispondente su una risposta di ripiego oppure a non rispondere La progettazione del questionario: la redazione Formulazione dei quesiti: domande semiaperte Per godere dei vantaggi delle domande aperte e chiuse: • si formula la domanda che prevede un insieme di possibili risposte già codificate e poi un’ultima risposta con l’opzione «altro (specificare)» La progettazione del questionario: la redazione Formulazione dei quesiti: cosa domandare Individuare delle macro-tipologie di domande: • domande di struttura • domande di contesto • domande di scopo La progettazione del questionario: la terza fase La verifica del questionario • il pre-test • il test delle alternative • l’indagine pilota IL FOCUS GROUP Che cos’è il focus group Il focus group è una tecnica di rilevazione per la ricerca sociale Non è un’ intervista ma elaborazione approfondita, da parte di un piccolo numero di persone, di un tema proposto da un moderatore attraverso una libera discussione (di gruppo) Ciò che importa è sia cosa ogni membro risponde o dice, sia come i membri interagiscono verbalmente tra loro nel fornire risposte Il focus group è considerato una tecnica di ricerca qualitativa (non fa ricorso a tecniche di analisi statistica) E’ sempre condotto da un moderatore (facilitatore) con un gruppo di 6/9 individui, supportato da un tutor che prende appunti Perché si usa il focus group in ricerca valutativa Il focus group è una tecnica di rilevazione per la ricerca sociale e come le altre non può dirsi una tecnica valutativa Può essere efficace: nelle fasi iniziali di una ricerca valutativa per orientare un valutatore poco esperto o alle prese con un caso complesso/inedito quale tecnica principale fra quelle utilizzare nella fase metodologica per poter coinvolgere gli stakeholders rapidamente e in senso partecipativo nelle fasi conclusive di un percorso valutativo per verificare i risultati ottenuti con questo gruppo di confronto, magari di esperti per favorire l’incontro e il confronto fra stakeholders che non si conoscono o sono in opposizione di vedute, ottenendo anche una finalità formativa rispetto all’oggetto di valutazione Finalità del focus group Il focus group può essere utilizzato nelle fasi esplorative e preliminari di ricerche standard (acquisire familiarità con un tema) Permette di formulare delle ipotesi da sottoporre poi a controllo empirico Permette di costruire il questionario quantitativo Trovare concetti vicini alla vita dei soggetti Includere aspetti importanti del tema per il target Utilizzare il linguaggio utilizzato dal target La validità dei risultati Le risposte fornite dal focus group non sono generalizzabili, anche se… Il compito del focus è quello di mostrare la complessità e le modalità di funzionamento di un determinato fenomeno/ tema presso un certo target Si sopperisce ai limiti del focus integrandolo all’interno di un disegno di ricerca dove si compongono tecniche di rilevazione diverse maggiore affidabilità dei risultati Il setting Luogo neutro, cercare di creare una situazione distesa di conversazione Durata di circa 1h 30’ Le persone che partecipano devono appartenere al target di riferimento I partecipanti non devono conoscersi tra loro La dinamica del focus group Il moderatore del focus deve prendersi carico della dinamica, saperla gestire, sollecitare e contenere, pena la perdita di controllo del focus stesso fino alla sua possibile degenerazione Il moderatore deve costantemente tener presente Gli obiettivi che deve raggiungere I tempi del gruppo Che cosa sta capitando nel gruppo e al gruppo TUTOR Stanno parlando tutti? Chi parla di più, chi di meno? Che ruolo hanno i partecipanti? Ci sono delle fazioni? Che relazione sta instaurando il moderatore con tutti loro? Che ruolo ricopre? Conduzione non direttiva La discussione di gruppo deve avvenire nel modo più libero e aperto possibile (“Questa sera parleremo di … che cosa si può dire? …”) Il moderatore “focalizza” l’argomento ma … … evita di “forzare” lo sviluppo della discussione con un intervento in un determinata direzione Come? Tacendo… Con la tecnica del “rilancio” Evitando di esprimere opinioni personali o di appoggiare una tesi o un’altra emersa nel gruppo (tutti hanno ragione) Chiarificare le diverse posizioni e non giudicarle il riepilogo Struttura del gruppo e ruoli UN GRUPPO E’ RIUSCITO QUANDO IL MODERATORE NON SERVE PIU’ ALLA DISCUSSIONE Il moderatore non è l’interlocutore dei partecipanti ma colui che facilita il passaggio e la circolazione della parola Il moderatore “corregge” gli intervistati non sul piano dei contenuti ma sui modi in cui le cose che gli intervistati dicono agiscono nel gruppo Il moderatore deve contenere i “leader” e far parlare chi non parla Criteri guida per la stesura di una guida (1) Andamento “ad imbuto” Prima parte più libera, aperta, spontanea Seconda parte più strutturata, chiusa, sollecitata L’apertura come warm up Conoscenza sommaria dei partecipanti (ci si fa un’idea di con chi si ha a che fare) Esplicitazione delle regole e consegna del tema Criteri guida per la stesura di una guida (2) La prima parte Il tema in generale: “questa sera parleremo di … cosa si può dire? …” DISCUSSIONE SPONTANEA dove il moderatore si limita a rilanciare La seconda parte Fase di razionalizzazione Necessità di scendere nello specifico, raggiungendo obiettivi più analitici e focalizzando aspetti di dettaglio Fasi di progettazione di un focus group 1- definire il FOCUS del dialogo 2- definire i PARTECIPANTI 3- scegliere il LUOGO 4- fare un PIANO dello svolgimento: - DURATA prevista - preparare almeno 10 DOMANDE - assegnare RUOLI e funzioni ai collaboratori 5- scegliere come REGISTRARE i dati raccolti: - video tape - registrazione audio IL METODO DELPHI La costruzione del piano come processo collaborativo: il Metodi Delphi(1) Si tratta di una tecnica di ricerca valutativa deduttiva basata sulla raccolta di pareri esperti chiamati a fornire consulenza su temi specifici con funzione “oracolare” a. I pareri, a differenza di quel che accade nel brainstorming, vengono raccolti separatamente e senza conoscere l’identità degli altri. Ogni esperto invia all’ente che ha promosso la consultazione un proprio parere che illustra la soluzione prospettata per il problema. b. Un curatore raccoglie i contributi pervenuti e l’elenco dei risultati viene inviato in maniera anonima agli stessi esperti già interpellati nel primo “giro”, affinché possano esprimersi sulle proposte, indicando per esse i corrispondenti livelli di probabilità La costruzione del piano come processo collaborativo: il Metodi Delphi(2) c. La documentazione così formata viene di norma conservata e poi ritrasmessa, sempre in modo anonimo, dopo qualche tempo, agli stessi esperti per raccogliere eventuali osservazioni e/o rettifiche di aggiornamento. d. L’iterazione prosegue fino a quando si raggiunge una sostanziale convergenza di pareri. Va osservato che ad ogni iterazione una parte dei partecipanti può ritirarsi e nel qual caso le iterazioni devono essere conseguentemente ridotte. Le tappe del Metodi Delphi (1) 1. Selezione degli esperti: individuare studiosi competenti, noti, disponibili anche con ricerca bibliografica 2. Reclutamento degli esperti: descrizione dell’oggetto di valutazione, decisore e mandatario; articolazione del Delphi e dei suoi round; tempi di lavoro; compenso previsto 3. Definizione prima traccia: il valutatore/ricercatore definisce i termini dell’oggetto di valutazione con alcune domande tematiche generali che consentano risposte argomentate 4. Invio prima traccia: il valutatore/ricercatore invia con lo strumento accordato la traccia e i termini per operare con il metodo 5. Primo intervallo: il valutatore/ricercatore attende le risposte, vagliando i ritardi per non favorire defezioni nella panelist 6. Secondo invio: dopo aver ricevuto le risposte, il valutatore/ricercatore le legge e sintetizza rilevando, specie per le questioni cruciali, le divergenze Le tappe del Metodi Delphi (2) 7. Invio seconda traccia: il valutatore/ricercatore inserisce una sintesi prodotta sulla base delle risposte al primo round e focalizza aspetti più specifici in una seconda traccia 8. Secondo intervallo: il valutatore/ricercatore attende di nuovo le risposte, vagliando i ritardi – che aumenteranno - per non favorire defezioni nella panelist 9. Nuovi invii traccia: il valutatore/ricercatore raccoglie le ulteriori argomentazioni del secondo round e in passaggi successivi seleziona con metodo deduttivo gli elementi dirimenti dell’oggetto valutato fino ai particolari per arrivare alla stima di livelli di probabilità 10. Chiusura del panel: il valutatore/ricercatore prepara un report con i risultati del metodo applicato e ufficializza i nomi degli esoperti coinvolti, sebbene si tratti di outputs che non vanno diffusi all’esterno Il Metodi Delphi: vantaggi e limiti I vantaggi del Metodo Delphi sono: relativamente facile partecipazione di esperti anche lontani eliminazione di inconvenienti connessi al rischio di gelosie e/o prevaricazioni accademiche grazie alla privacy elaborazione di documenti scritti, nono alterabili con l’interpretazione I limiti del Metodo Delphi sono: il fondamentale ruolo del ricercatore nel “rilancio” deduttivo dei round propensione dei partecipanti a convergere verso soluzioni medie, indotte dalla ripetizione dei quesiti. i lunghi tempi di realizzazione IL BRAINSTORMING Il brainstorming Tecnica per la generazione creativa di idee su un argomento prestabilito (trad. assalto mentale) necessita di un modo di operare ordinato e metodico permette di ottenere un gran numero di idee in un tempo breve particolarmente utile nella fase di identificazione di un problema da affrontare, nella ricerca delle cause e nella definizione delle soluzioni: COSA e non “come” o “perché”: ad es. “cosa costituisce la natura delle criticità oggetto di valutazione”? favorisce la coesione del gruppo ed il coinvolgimento attivo di tutti i partecipanti Il brainstorming nella ricerca valutativa Quale tecnica per la generazione creativa di idee richiede l’apporto di esperti specie nelle fasi costruttive della ricerca (domande valutative, esplorazione campo semantico ecc.) COSA costituisce il nucleo del problema valutato? Da cosa è composto? Quali ne sono gli indicatori? Il rischio dell’autoreferenzialità del gruppo Il ruolo “centrale” del facilitatore La focalizzazione degli aspetti da valutare Tipologie di brainstorming (1) BS “strutturato”= ciascuno deve esprimere la proprie idea a turno pro contro spinge ognuno a partecipare può portare contributi “forzati” e non spontanei Tipologie di brainstorming (2) BS “non strutturato” = ciascuno esprime la proprie idea senza rispettare turni pro l’atmosfera generale è più rilassata contro i meno estroversi possono rimanere un po’ “schiacciati” Come preparare una sessione di brainstorming Gruppo di persone in numero inferiore a 12 (limite inferiore 5) disposizione a ferro di cavallo così che tutti vedano tutti atmosfera distesa e desiderio di partecipare strumenti per scrivere e prendere appunti (se possibile lavagna visibile a tutti per redigere la “lista delle idee”) Come preparare una sessione di brainstorming Regole del BS note a tutti (eventualmente richiamate dal facilitatore) Chiara identificazione e spiegazione al gruppo del tema Durata limitata (max 2 ore) Come condurre una sessione di brainstorming Fissare in modo chiaro e non vago l’argomento Non criticare nessuna idea, né ragionarci sopra Andare a ruota libera (OK anche le idee pazze, perché possono essere lo spunto per generarne altre di valide) Obiettivo: massima quantità di idee generate, non qualità Trascrivere ogni idea, anche se esposta in altro modo Come condurre una sessione di brainstorming Lista delle idee visibile a tutti No al “mattatore” Prima fase creativa del BS: esplorazione campo semantico con trascrizione pubblica delle idee Seconda fase classificatoria del BS: riunione in insiemi o famiglie/votare le idee per focalizzare i concetti in grandi gruppi tematici Terza fase sintetica del BS: sintetizzare gli insiemi nelle indicazioni più pertinenti eliminando le altre/comparare i voti Il caso: i problemi individuati da una classe in relazione all’apprendimento in un corso di formazione 1. Novità degli argomenti 2. Difficoltà confronto con altri partecipanti 3. Costanza nello studio 4. Distanza argomenti con propria realtà 5. Tempo 6. Carenza materiale didattico 7. Mancanza simulazioni esame finale 8. Teoricità alcuni argomenti 9. Difficile seguire argomenti che richiedono determinate conoscenze di base 10. Scarsa focalizzazione dei concetti 11. Mancanza di programma dettagliato di tutto il corso 12. Poca finalizzazione su argomenti di proprio interesse in azienda 13. Mancanza filo logico Un esempio: i problemi individuati da una classe in relazione all’apprendimento in un corso di formazione 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. Difficoltà di memorizzare norme, concetti non maggiormente approfonditi Poche esercitazioni Necessità di legare concetti teorici ad aspetti applicativi Mancanza di individuazione degli argomenti più importanti Poca capacità di sintesi nello studio Insegnamento non omogeneo Distanza fase aula da fase studio a casa Materiale didattico ripetitivo e non integrativo della lezione Scarso approfondimento di alcuni argomenti Poca applicabilità alla propria realtà Difficoltà ad apprendere un terminologia tecnica Insufficienti conoscenze di base di alcune tematiche Un esempio: i problemi individuati da una classe in relazione all’apprendimento in un corso di formazione 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. Aula differenziata per le conoscenze di base Scarsa applicazione degli strumenti alla realtà Mancanza nel materiale didattico di specifici esercizi di apprendimento Linguaggio in alcune dispense poco chiaro Scarso collegamento fra gli argomenti Stesso docente per stessa materia provoca noia Scarsa applicazione guidata Scarso stimolo all’apprendimento Ritmo espositivo diverso dei docenti Insufficiente discussione risultati prova d’esame finale Poca chiarezza obiettivi di studio (esame o professionalità) Dicotomia obiettivi (docente, discenti, azienda) Lo strumento del Voto Permette di effettuare la scelta fra le proposte presentate dai partecipanti ad un gruppo Il voto è tipicamente usato in circostanze quali: la scelta del problema da affrontare la selezione delle cause sulle quali investigare la decisione riguardo alle soluzioni da adottare Possibili modalità di votazione A) Voto semplice B) Voto ponderato Voto semplice Procedura: votare individualmente 3 soggetti (o un qualsiasi altro numero prefissato) fra tutti quelli presenti classificare i soggetti in base al punteggio ottenuto I problemi del reparto Argomenti Voti totale Obiettivi troppo ambiziosi || 2 Ritmi di produzione eccessivi ||||| 5 Scarsa motivazione del personale Lontananza da altri reparti Logistica interna inadeguata Carenza di personale III 3 IIIII II 7 II 2 IIIII III 8 Voto ponderato Procedura: votare individualmente 3 soggetti (o un qualsiasi altro numero prefissato) fra tutti quelli presentati, assegnando un punteggio da 1 a 3 in ordine di importanza crescente classificare i soggetti in base al punteggio ottenuto I problemi del reparto Argomenti Punteggio totale Partecipanti A B C D E F G H I Obiettivi troppo ambiziosi Ritmi di lavoro eccessivi 1 Lontananza da altri reparti 2 2 1 2 3 2 1 1 2 3 3 3 3 2 3 2 3 2 Logistica interna inadeguata Carenza di personale 1 1 1 1 1 2 Scarsa motivazione personale L 7 1 3 3 3 2 10 15 6 2 21 Brainstorming “Migliorare l’arrivo del paziente nel Servizio di Endoscopia Digestiva” Appuntamenti con orari più precisi Maggiore professionalità Migliorare la conoscenza della burocrazia Spiegare come avviene l’esame Assenza di procedure scritte per l’accoglienza Assenza di un locale per l’accoglienza Assenza di un locale separato per maschi e femmine per preparazione all’esecuzione della colonscopia Mancanza di una persona dedicata all’accoglimento Spiegazione come avviene la preparazione per la colonscopia Voto ponderato Argomenti Voti totale Appuntamenti con orari più precisi Migliorare la conoscenza della burocrazia Spiegare come avviene l’esame Assenza di procedure scritte per l’accoglienza Spiegare come avviene la preparazione per la colonscopia 2+1 3 2+3+3 8 1+2+2+1 6 3+3+2+3 11 1+1 2 Assenza di procedure scritte per l’accoglienza personale Mancanza di formazione I.P. Medici di Medic. Generale poco collaboranti Carichi di lavoro elevati metodiche Assenza di avvisi per i pazienti Modulistica complessa Utenti non informati Utenti stranieri Tipologia utenza Utenti anziani Assenza di procedure Assenza di lavagna per novità Impegnative incomplete Disagio del paziente All’ingresso Mancanza di locale per l’accoglienza struttura