“Le prove di accertamento delle conoscenze che definiamo tradizionali hanno il grave limite di costringere sia l’allievo sia il docente a compiere una mediazione troppo soggettiva che talvolta può diventare persino arbitraria, nella interpretazione, rispettivamente delle domande e delle risposte” Le prove oggettive o prove strutturate di conoscenza nascono dalla necessità di eliminare il peso delle componenti soggettive nella strutturazione del giudizio valutativo. • Validità – capacità di una prova, o di uno strumento di misura, di essere in grado di rilevare esattamente quello che, attraverso il suo impiego, si vuole di fatto rilevare. • Attendibilità – quando la rilevazione risulta la stessa chiunque sia il soggetto che la rileva; possibilità di interpretare in modo univoco gli esiti della rilevazione, di essere costanti in misurazioni compiute da più operatori e di avere misura costanti in successive rilevazioni. PREGI E LIMITI DELLE PROVE TRADIZIONALI PREGI E LIMITI DELLE PROVE OGGETTIVE (Misurazione del prodotto e non del processo ) USARLE ENTRAMBI Le caratteristiche formali dei quesiti di una prova oggettiva determinano in maniera sostanziale la qualità complessiva della prova stessa. • ANALISI COMPARATA DEL CONTRIBUTO DI CIASCUNA DISCIPLINA • DEFINIZIONE DEGLI OBIETTIVI OPERATIVI , DEL CONTENUTO, DEL GRADO DI DIFFICOLTÀ, DELLA LUNGHEZZA, DELLA TIPOLOGIA DI PROVA, DEL “COSA” E “COME” VALUTARE, … • FEED-BACK, META- VALUTAZIONE, AUTOVALUTAZIONE Un obiettivo deve: specificare ciò che l’allievo deve saper fare per dimostrare il possesso dell’abilità richiesta cominciare con un verbo che esprima il comportamento desiderato: riconoscere, distinguere, ricordare, produrre, identificare, comparare, elaborare, … racchiudere solo un tipo di risultato Identificare gli obiettivi da sottoporre a verifica per mettere in evidenza: il pensiero convergente/riproduttivo: sapere meccanico, analogico e ripetitivo (conoscenza dei termini, conoscenza dei fatti, conoscenza di regole e principi) il pensiero divergente: uso creativo ed originale delle conoscenze (capacità di effettuare trasformazioni e adattamenti, capacità di compiere applicazioni) Esempio Un sistema di acquisizione dati deve campionare un segnale a onda quadra la cui frequenza è di 20 KHz. Per ottenere la precisione richiesta è necessario considerare, nello sviluppo in serie di Fourier del segnale di ingresso, almeno le prime tre componenti armoniche. Indica, tenendo conto del fenomeno di aliasing, una frequenza di campionamento opportuna. a) 600 KHz b) 50 KHz c) 200 KHz d) 150 KHz Questo esempio, relativo al problema del campionamento di un segnale in un sistema di acquisizione dati, risulta probabilmente incomprensibile alla maggior parte dei lettori; proprio questa situazione di “disagio” ci spinge ad analizzare criticamente il quesito. Per rispondere correttamente l’allievo deve: • dimostrare di conoscere e padroneggiare una serie di elementi: sistema di acquisizione dati; segnale ad onda quadra; sviluppo in serie di Fourier; • riflettere sull’interpretazione da dare alla specifica: per ottenere la precisione richiesta e sull’influenza che il fenomeno di aliasing può avere sulla situazione di lavoro; • riunire, infine, in una struttura logicamente coerente i diversi elementi di conoscenza e di giudizio critico elaborati e sintetizzarli per fornire la risposta considerata corretta. Il quesito quindi, indipendentemente dall’argomento che propone, evidenzia la complessità della situazione problematica proposta allo studente e dimostra la possibilità di verificare, con questa tipologia di quesiti, anche il conseguimento di obiettivi che fanno riferimento al pensiero divergente, quelli cioè che nella tassonomia di Bloom sono corrispondenti ai livelli dell’analisi, della sintesi e della valutazione. PROVE SEMI-STRUTTURATE (stimolo chiuso – risposta aperta) •Domande strutturate •Saggi brevi •Rapporti di ricerca •Riassunti •Colloquio strutturato •Colloquio semistrutturato •Riflessione parlata PROVE STRUTTURATE (stimolo chiuso – risposta chiusa) •Vero/Falso •Si possono rilevare solo conoscenze molto semplici, quasi sempre riproduttive, che non vanno oltre il banale riconoscimento di un evento, di una regola, di un principio. •La probabilità di rispondere bene (causalmente) è molto alta (50%). Per ovviare a tale inconveniente si può chiedere di argomentare sinteticamente le ragioni della scelta. •Solo un piccolo numero dei quesiti di un test è di questo tipo; è opportuno inserirli nella prima parte della prova in quanto la loro semplicità facilita l’immersione graduale nel compito richiesto e un positivo avvicinamento al test • Completamenti / cloze test •In questo tipo di quesiti, per evitare soluzioni ad incastro, l’elenco dei termini o dei dati offerti deve comprenderne un numero maggiore di quelli necessari. • Corrispondenze o riordinamenti •Si chiede di indicare le corrispondenze esistenti tra ciascun dato della prima serie con quelli dell’altra, o di riordinare secondo appositi criteri i dati presentati. Per evitare l’inserimento “ad incastro”, una delle due serie deve contenere più elementi dell’altra. •Scelte multiple ad una o a due soluzioni •Sono i quesiti che presentano il più alto livello di flessibilità della struttura (più di due alternative di risposta) •Offrono la possibilità di impiegare, oltre al linguaggio verbale scritto, anche diagrammi, tabelle, disegni, mappe, ecc. •L’informazione sul numero delle risposte esatte deve, per correttezza, precedere le domande e deve essere data prima della somministrazione della prova. a – Nucleo tematico centrale (problema) seguito da alcune alternative di soluzione b – Domanda con più alternative di risposta c – Affermazione incompleta che va integrata con il completamento esatto scelto tra quelli offerti. Una prova oggettiva si presenta come un insieme di domande o quesiti, ciascuno dei quali offre alcune alternative di risposta di cui una (o più di una) esatta e le altre sbagliate, poste con funzione di disturbo, perciò chiamate DISTRATTORI I DISTRATTORI devono: • essere sintatticamente congruenti • avere la stessa lunghezza e complessità delle altre alternative • essere non solo plausibili, ma anche, quando sia possibile, parzialmente veri Quale numero corrisponde a 3 unità, 12 decine, 5 centinaia? •423 •623 •123 •523 Il problema che si intende porre deve essere chiaro ed esplicito; non si deve caricare l’allievo anche dell’onere della individuazione della domanda “vera” o più plausibile. •Scarsa o nulla pertinenza dei distrattori con il tema del quesito; se le alternative si presentano come platealmente false annullano il processo di discriminazione e scelta della risposta esatta, inficiando totalmente la validità della misurazione. •Palese infondatezza delle alternative “sbagliate”: tutti i distrattori devono essere plausibili. •Incongruenza sintattico-grammaticale della domanda e delle risposte: ogni alternativa di risposta deve potersi leggere di seguito alla domanda in modo che non incongruenze sintatti-grammaticali. vi siano •Inclusione nella domanda di elementi informativi non necessari: anche se in alcuni casi può essere opportuno inserire dati e informazioni sovrabbondanti rispetto a quelli strettamente necessari, è anche vero che gli elementi inutilmente aggiuntivi possono presentare un inutile impaccio, se non la causa di molte ambiguità interpretative. •Evitare l’impiego della doppia negazione “NON PUO’ NON …” (in tal caso tanto vale usare un’affermazione). •Evitare l’uso frequente della negazione semplice nella formulazione dei quesiti. Se è proprio indispensabile, evidenziare la negazione in neretto, sottolinearla,… (NON). •Evitare l’uso di alternative del tipo “nessuna delle precedenti” (confondono o disorientano). •Evitare di presentare la risposta esatta più estesa dei distrattori . •Usare un linguaggio adeguato al livello dei destinatari e delle tematiche da valutare. •Evitare l’uso dei quantificatori quali sempre, spesso, qualche volta, mai, ecc. in quanto inducono a ritenere più giusta o errata l’affermazione a prescindere dal quesito. •Quando si tratta di risposte che indicano cifre o quantità disporle in ordine crescente o decrescente. •Fare in modo che i quesiti siano tra loro indipendenti. •Non usare alcuna risposta precedente come distrattore o come risposta corretta in altri quesiti. •Le alternative di risposta dei quesiti che terminano con il punto interrogativo devono cominciare con la maiuscola. •I distrattori dei quesiti a completamento devono iniziare con la minuscola. •Per convenzione, alla fine di ogni alternativa di risposta si usa il punto. •Non dividere il quesito tra due pagine. •Le alternative di risposta vanno elencate e non disposte di seguito una dietro l’altra. •La lunghezza degli spazi vuoti deve essere sempre la stessa e non proporzionale al termine da inserire. •I termini da inserire devono essere elencati seguendo un ordine alfabetico. “L’atto del valutare può considerarsi come una vera e propria operazione di attribuzione di «valore» a fatti, eventi, oggetti e simili (non a persone), in relazione agli «scopi» che colui che valuta intende perseguire.” (G. Domenici, Manuale della valutazione scolastica, Bari, Laterza, 1993) Valutare rispetto al CRITERIO: standard assoluto cui confrontare le risposte - numero minimo di risposte esatte predeterminato al momento della costruzione delle prove che rappresenta il livello di accettabilità Valutare rispetto alla NORMA: i risultati dipendono da quello medio dell’intero gruppo •Fissare la soglia di accettabilità (solitamente 60% del punteggio massimo) •NON penalizzare le risposte sbagliate •Punteggi diversi, per ogni quesito, valutando la gravità dell’errore in base alla scelta del distrattore (vengono definiti punteggi decrescenti, dalla risposta esatta alla scelta del distrattore che indica l’errore più grave) E’ molto utile per verificare la qualità dello strumento di verifica elaborato: •INDICE DI DISCRIMINATIVITÀ cioè in che misura ciascun quesito è in grado di separare chi possiede le abilità che con esso si sono volute verificare da chi di fatto non le possiede. Se il G1 consegue nella prova i punteggi più elevati, perché i soggetti possiedono una maggiore e più appropriata conoscenza dell’argomento, rispetto al G2 che, nella medesima prova, consegue i punteggi più bassi, le risposte esatte date dal G1, ad un quesito, devono essere più numerose delle risposte esatte date dal G2 allo stesso quesito. •Un determinato quesito ha quindi il massimo valore di discriminazione positiva (+1) se ad esso tutto il G1 risponde correttamente e nessuno del G2 risponde bene. •Ha il massimo valore di discriminazione negativa (-1) se si verifica esattamente il contrario. Il quesito è mal formulato o, ad esempio, qualche distrattore trae in inganno apparendo, proprio ai soggetti che conseguono i migliori risultati, più plausibile della risposta esatta. •Il valore di discriminazione è nullo (0) se il numero delle risposte corrette è identico nei due gruppi. •INDICE DI DIFFICOLTÀ inteso come la percentuale delle risposte errate date da tutti i soggetti. Il grado di difficoltà di un item è tanto maggiore quanto più alta diviene la percentuale delle risposte sbagliate. Potrebbe anche essere che quell’item valuti delle abilità sottostimate o scarsamente considerate nell’attività didattica svolta.